陈夏妮 章 鹏 严世振 贾丽娜 马晓博 俞怡帆 金 花
(1 教育部人文社会科学重点研究基地天津师范大学心理与行为研究院，天津 300387) (2 郑州大学体育学院，郑州 450040)(3 天津商业大学法学院，天津 300134) (4 郑州大学教育学院，郑州 450001)
空间邻近效应（spatial contiguity effect）是多媒体学习的重要原则之一，指的是书页或屏幕上对应的词语和图像邻近呈现比分隔呈现能使学生学得更好（Mayer, 2005, 2014, 2020）。Mayer（2014）把多媒体定义为用文本（打印文本和口头叙述）和图像（动态和静态）来共同呈现的学习材料，本研究重点关注以印刷文本和静态图像共同呈现的学习材料。
空间邻近效应的学习效果常以保留成绩、迁移成绩和总成绩为指标；
前两个成绩分别考察学习者对多媒体材料的识记能力、理解能力，总成绩为保留成绩与迁移成绩之和。空间邻近效应在多个专业知识如机械（Mayer, 1989）、地理（Makransky et al., 2019）和物理等（de Koning et al., 2020）的学习中得到了证实。如Makransky等人使用“闪电雷暴的形成”多媒体材料，考察了78名在校大学生在整合格式和分散格式下的保留成绩和迁移成绩，结果显示，整合格式下的迁移成绩显著高于分散格式，结果支持空间邻近效应。但上述结果都是基于无材料冗余（冗余指图或文单独存在都可以理解）的材料得到的。
而对于空间邻近效应的产生机制，目前尚未取得一致的认识。这可能和不同理论的探测指标差异和测量方法的敏感性较低有关。认知负荷理论（Sweller et al., 1998）从认知负荷变化的角度来解释，认为空间邻近效应的产生可能是因为“整合格式下的外在认知负荷更小”。实证研究中多使用心理努力量表（Paas & van Merriënboer, 1994）来测量外在认知负荷；
结果在能观察到空间邻近效应存在的22个研究中，仅有半数研究观察到了认知负荷的显著差异（Schroeder & Cenkci, 2020），未能为理论提供有力的证据。认知负荷测量的主观性可能是结果不稳定的主要原因。而多媒体学习认知理论（Mayer, 2005）试图从整合加工程度的角度来解释，认为空间邻近效应的产生可能是因为“整合格式下增加了整合加工”。整合加工指的是从两个单独表征（言语模型和视觉模型）向一个整合的表征转变，即各自模型中的成分进行相应的匹配，并整合先验知识，然后输出一个整合后连贯的心理模型的认知加工过程（Mayer,2005, 2020）。相关研究主要以眼跳切换（包括图-文、图-图、文-文之间的切换）为指标反映整合加工（Johnson & Mayer, 2012; Makransky et al., 2019;Pouw et al., 2019）。但也有研究发现，无论是否存在空间邻近效应，整合格式下的眼跳切换均显著高于分散格式（Cierniak et al., 2009; Johnson &Mayer, 2012; Pouw et al., 2019）。这提示，以眼跳切换为指标得到的结果也难以解释空间邻近效应下的整合加工。
脑电的α频带活动被证明随着任务难度的增加和语义记忆负荷的增加而下降（Puma et al., 2018）。Makransky等人（2019）试图利用脑电技术从神经活动变化的角度来解释空间邻近效应的产生机制。行为结果显示，整合格式组的迁移成绩显著高于分散格式组，支持空间邻近效应；
但两组在各个电极点上的α频带活动都没有显著差异。而如果按测试成绩分组，成绩差的被试在α频带的活动更小，提示α值可以反映材料难度和内源性认知负荷的变化。该研究无法从神经科学的角度解释其产生机制，可能和脑电技术无法精确分离不同类型认知负荷有关。
相比于脑电技术，功能性近红外光谱成像技术（functional near-infrared spectroscopy, fNIRS）能够有效探测认知加工中神经活动的空间特征。而且，和功能性磁共振技术相比，fNIRS的无噪声和不封闭的扫描环境能让被试在更接近自然阅读的状态下完成数据采集，更具有生态效度和可行性。已有研究表明，较高的工作记忆负荷往往会在前额叶皮质内产生更大的激活（Csipo et al., 2021;Fishburn et al., 2014; Midha et al., 2021），尤其是背外侧前额叶皮质（Fishburn et al., 2014）；
而工作记忆中更多的认知加工，如更多的信息保持和操作（Kim et al., 2015），更多信息的整合认知加工（Prabhakaran et al., 2000），会引起背外侧前额叶皮质或额极更大的激活（Hagoort et al., 2009;Hagoort & van Berkum, 2007）。这提示，通过fNIRS测量不同格式下认知加工的神经活动空间特征，有可能揭示空间邻近效应的神经基础并验证两种理论假设。
因此，本实验拟采用fNIRS，通过比较以不同格式呈现的存在冗余的学习材料加工过程中的前额叶神经活动差异，来考察多媒体空间邻近效应潜在的神经基础，并从神经活动变化角度去解析空间邻近效应的产生机制。
在学习材料上，本研究选择符合文化传统的古诗多媒体；
而且，古诗多媒体是一种很好的图文冗余材料的代表。古诗文本本身是可以理解的，古诗文本配图会出现冗余；
但另一方面，好的配图能呈现出古诗的意境，使读者更好地领会和理解作者所表达的意念。依据已有研究结果，本研究假设：（1）如果被试在整合格式下的测试成绩（总成绩、保留成绩或迁移成绩中任何一项或多项）显著高于分散格式，说明古诗多媒体空间邻近效应存在；
（2）鉴于较高的认知负荷往往会在前额叶皮质内产生更大的激活（Fishburn et al.,2014），如果学习阶段前额叶的血氧变化在整合格式下小于分散格式，则说明空间邻近效应的产生和前额叶的活动减少有关，整合格式下学习者的认知负荷小于分散格式，结果支持认知负荷理论对空间邻近效应的理论假设；
（3）鉴于阅读过程中更多的整合加工会产生更大的额叶激活（Lau et al., 2008），如果整合格式下前额叶的血氧变化大于分散格式，则说明空间邻近效应的产生和前额叶的活动增加有关，整合格式下有更多的整合加工，结果支持多媒体学习认知理论。
2.1 被试
采用G*Power3.1软件对研究所需被试量进行计算，设定d=0.5，则需要34名被试以达到0.80的统计检验力（power）。招募48名被试参与实验（男性26人，年龄范围为18～22岁，平均年龄为19.63±0.82岁）。所有被试视力或矫正视力正常，无精神病或者神经病史，无相关实验经验。被试在实验前签署知情同意书并在实验后获得相应报酬。
2.2 实验设计
采用单因素两水平被试内设计，自变量为学习材料呈现格式，分为整合和分散两个水平。行为学因变量分别为被试的保留成绩、迁移成绩、总成绩、认知负荷（心理努力为认知负荷主要指标，学习时间为辅助指标）；
神经层面因变量为学习阶段的氧合血红蛋白（HbO）的相对变化量。
2.3 实验材料
实验材料为8首古诗多媒体，有整合和分散两种格式（见图1）。实验采用的8首古诗词（6首来自齐白石1910年创作的《石门二十四景图》图卷，2首为其它古诗）的材料难度、图文匹配程度均经李克特9点计分方式预评估。70名志愿者和69名志愿者分别在线完成了材料难度和图文匹配度的评估。结果显示，难度得分为4.25±0.29（3.75～5.94），说明材料难度在中等水平；
图文匹配度得分为6.52±0.58，高于9点评分的中值5，视为图文匹配程度较高，即图像能够反映诗词内容，并协助读者理解诗词文本。
图 1 古诗多媒体学习材料示例
每首古诗多媒体的实验过程包括古诗学习、阅读测试和评估3个部分。阅读测试题6道，为与它前面出现的古诗内容相关的选择题（4选1）。其中保留测试题4道，如“这首诗的名字是什么？”；
迁移测试题2道，如“这首诗抒发了作者怎样的情感？”。评估题包括认知负荷评估和熟悉度评估。认知负荷评估采用心理努力量表（Paas &van Merriënboer, 1994），如“在学习这首古诗时您需要付出心理努力的程度为”（1表示“非常轻松”，9表示“非常努力”）；
熟悉度评估作为控制变量进行测量，题目为“学习这首诗之前，您对这首诗熟悉吗？”（1表示“非常熟悉”，9表示“非常陌生”）。被试从1～9个数字中选择适合自己实际情况的数字作答。
不同版本的实验材料组合成2套，每套包括4首整合格式和4首分散格式的古诗，同一首古诗的不同格式不出现在同一套材料中。每套材料随机分配给被试。
2.4 实验流程
实验程序采用E-Prime 2.0软件编写，呈现刺激的显示器为23英寸，刷新频率为64 Hz，分辨率为1920×1080像素。古诗汉字为20号宋体加粗，和配图以整合或分散的方式组合成为完整图像（即古诗多媒体），分散格式图像大小为1470×886像素，整合格式图像大小为1109×886像素。材料以组块形式呈现，一个组块内为同一格式的4首古诗，共2个组块。组块内古诗完全随机呈现，组块顺序在被试间平衡。
实验在安静的近红外实验室进行。被试与电脑屏幕的水平距离为60～70 cm。正式实验开始时，屏幕中央出现提示框，被试填入年龄等信息后进入指导语页面，随后为3分钟的闭眼静息和静息结束提醒。12 s间隔后，屏幕中央呈现1 s黑色的惊叹号“!”，接着呈现需要学习的古诗多媒体，被试完成学习后按任意键呈现学习和测试之间的12 s间隔页面和1 s的黑色注视点“+”，随后呈现1道测试题及4个选项，被试按要求依次完成6道测试题和2道评估题。测试题和评估题均出现在屏幕中央，每次呈现1道，被试按键作答。选择题采用字母键盘（A键为答案“A”，S键为“B”，D键为“C”，F键为“D”）；
评估题作答通过右侧数字小键盘1～9按键作答。当屏幕出现3 s提示语“即将学习下一首古诗”时，表示进入一个新试次。组块中间有30 s的休息时间。正式实验前被试在另一台电脑上进行1个试次的练习，以便熟悉实验流程。
2.5 fNIRS数据记录
使用美国NIRScout台式近红外脑功能成像系统（NIRx Medical Technologies LLC）实时记录被试完成实验时大脑前额叶皮层的氧合血红蛋白（HbO）、脱氧血红蛋白（HbR）和总血氧（HbT）浓度的相对变化情况。该系统包括785 nm、830 nm两种波长，采样频率为7.81 Hz。根据Villringer和Chance（1997）的研究，前额叶皮层（PFC）被激活时，典型的血流动力学反应是：血流量增加，氧合血红蛋白（HbO）增加伴随脱氧血红蛋白（HbR）轻微减少，以及总血红蛋白（HbT）整体增加。有研究指出HbO对任务反应更为敏感，信噪比相对较高，因此本研究只报告HbO这一指标（杨海波 等,2019; Pinti et al., 2020）。
参考已有文献对认知负荷和整合加工脑区的定位（Fishburn et al., 2014; Kim et al., 2015; Xu et al.,2016），本研究把观察脑区定为前额叶。采用国际10-20系统源位置兼容帽（Easycap）安置光学探头，设置8个光源发射器和7个探测器，共组成20个有效观测通道，覆盖整个前额叶。发射器和探测器之间的平均距离为3 cm，通道布排见图2。本实验以每个通道的中间点为该通道探测的主要脑区，并以此为圆心标定每个通道的脑区，通过概率配准的方法把fNIRS通道位置与MIN空间坐标配准，获得与布鲁德曼分区的对应关系。覆盖脑区主要包括：背外侧前额叶皮层（主要包括额上回，BA9/46）；
布洛卡区三角部分（主要包括额中回，BA45）；
眶区（主要包括额眶回，BA11）；
额极（主要包括额上回，BA10）。
图 2 NIRS通道布排示意图
2.6 fNIRS数据分析
首先，运用nirsLAB软件对个体数据进行预处理，包括：设置刺激呈现时长；
删除与实验无关的数据段；
对信号的不连续性进行矫正；
去除尖峰伪迹；
通过带通滤波（band pass）的方法去除由动作和呼吸造成的漂移和伪迹等与实验无关的频带。其次，再采用一般线性模型进行任务效应分析，求出学习阶段整合格式和分散格式下的beta值，并以此作为相应脑区激活的比较指标（因变量）（雷震 等, 2021; 田媛 等, 2021; 杨海波 等,2019）。
3.1 行为实验结果
7名被试因头发过多或设备问题造成信号不良的通道过多而被删除，4名被试动作幅度过大造成伪迹较多而被删除，1名被试实验后自述一只眼睛弱视被删除。此外，1名被试因为所有材料的熟悉度评分均在3个标准差以外被删除。最后得到有效被试35人。
为了排除测试时间的影响，先对总测试时间进行了配对样本t检验。结果发现，整合和分散格式下的总测试时间无显著差异[47.21±10.29 vs.46.37±9.62;t(34)=0.60,p=0.555]。
整合格式和分散格式下的测试成绩（保留成绩、迁移成绩、总成绩）、认知负荷（心理努力）及其辅助指标（学习时间）的描述性统计值见表1。
配对样本t检验和Bootstrap检验结果详见表2。结果显示，整合格式的保留成绩和总成绩显著高于分散格式，但迁移成绩和分散格式没有显著差异。两种格式下以心理努力量表测得的认知负荷的差异边缘显著，辅助指标学习时间无显著差异。
3.2 脑成像结果
通过Shapiro-Wilk法对各通道beta值进行正态性检验，发现部分通道数据不满足正态分布，因此在对各通道整合格式、分散格式下的HbO浓度变化beta值进行配对样本t检验的同时，采用Bootstrap检验，并进行FDR校正，校正后p＜0.05为显著（Noble, 2009），以控制假阳性结果。各通道详细结果见表3（仅显示差异显著通道）。结果显示：与分散格式相比，整合格式在通道7、8、9、10上HbO的beta值显著增加，说明整合格式下左侧额极和双侧背外侧前额叶皮质有更高的激活（见图3）。
图 3 整合和分散格式下大脑皮层的活动差异
表 1 测试成绩、认知负荷及其辅助指标的描述统计结果（M±SD）
表 2 测试成绩、认知负荷及其辅助指标的配对样本t检验和Bootstrap结果
表 3 整合格式和分散格式下HbO的beta值t检验和Bootstrap结果
3.3 空间邻近效应和激活脑区相关分析
对差异显著通道（通道7、8、9、10）整合格式、分散格式下的HbO浓度变化beta值和测试成绩（保留成绩、迁移成绩、总成绩）之间进行相关分析，激活强度和测试成绩的相关程度见表4。结果显示：整合格式下保留成绩和通道9（r=-0.37,p=0.029）、总成绩和通道8、9（r=-0.34,p=0.048;r=-0.42,p=0.011）均存在中度负相关；
分散格式下，上述通道和测试成绩均不存在显著相关，说明整合格式下至少双侧背外侧前额叶皮质和整合加工有关。
表 4 差异显著通道和测试成绩的相关分析结果
本实验利用fNIRS技术，以古诗多媒体为材料，探讨了多媒体空间邻近效应的神经基础，并试图从神经科学的角度解析空间邻近效应的产生机制。结果发现，古诗多媒体学习存在空间邻近效应，且整合格式在左侧额极和双侧背外侧前额叶皮质比分散格式有更强的激活，说明这两个区域至少和古诗多媒体空间邻近效应的发生有关。
随着多媒体在教育领域的广泛使用，多媒体材料对学习效果的影响引起了研究者的关注。研究表明，多媒体学习的效果优于单一媒体（Mayer,2009），而遵循空间邻近效应原则的教学设计能产生更好的多媒体学习效果（王福兴 等, 2020; Mayer,1989; Moreno & Mayer, 1999; Owens & Sweller, 2008;Purnell et al., 1991; Yum et al., 2021），本研究首次以古诗多媒体为材料得到了相同的结果，拓展了多媒体学习中产生空间邻近效应的知识类型。而且，已有研究多借助不存在图文冗余的学习材料揭示空间邻近效应的存在（Schroeder & Cenkci,2018），本研究采用的古诗多媒体学习材料，文本本身是可理解的，图文结合存在冗余。本研究结果说明，即使存在图文冗余，多媒体学习依然存在空间邻近效应，拓展了空间邻近效应的发生边界。可能的解释是，虽然学习材料存在冗余，但是相比于分散格式，整合格式下，图像和言语的选择和表征占据的认知资源相对较少，有限的工作记忆容量里能够分配出更多的认知资源来进行整合加工，因此可以提高学习成绩（Mayer, 2005）。
更重要的是，本研究还观察到，相比于分散格式，整合格式下左侧额极和双侧背外侧前额叶有更大的激活。这些脑区被发现和叙事理解中的整合加工（Mar, 2004）或是多模态信息的整合密切相关（Basso Moro et al., 2013; Jahani et al., 2017;Kim et al., 2015; Xu et al., 2016）。如Kim等人研究了额极和背外侧前额叶皮质在信息整合中的作用，研究设置了控制条件、简单任务和复杂任务。控制条件下，被试需要完成没有颜色和位置整合的简单算术任务；
简单任务和复杂任务条件下，被试均需要记住2个包含了位置和颜色整合信息的数字。结果发现，简单任务和复杂任务条件下，额极和背外侧前额叶皮质的神经激活均大于控制条件，肯定了这两个脑区在信息整合加工中的功能。另外，Xu等人发现处于背外侧面的额上回是连接基于记忆的模拟系统和基于语言的语义系统的关键区域之一。如前文所述，以往研究通过眼动追踪的方式没能得到支持多媒体学习认知理论对空间邻近效应发生机制解释的证据。基于脑功能的指标可能更为敏感和精准，本研究首次从神经层面为多媒体学习认知理论对空间邻近效应的理论假设提供了证据，但这一结果也需要更多的实验证实。
由于fNIRS技术本身的局限性，本研究只能探测到任务相关的大脑表层脑区的功能变化。空间邻近效应的神经基础有可能不局限于和整合加工有关的左额极和双侧背外侧前额叶的激活增加。必须指出的是，本研究对空间邻近效应差异通道和测试成绩的相关分析发现，通道8和9的激活和整合格式下的部分成绩存在中等程度负相关，即激活越多反而成绩越差。这一结果又似乎和多媒体学习认知理论中“整合加工越多成绩越好”的理论假设相矛盾。这一现象可能和脑功能的复杂性有关，但更精确的解释需要更多的实证研究。此外，本研究中的被试为在校大学生，而古诗学习在基础教育中更为重要，后续研究可以考虑以小学、初中、高中这几个基础教育阶段学生学习古诗多媒体的行为特点及神经机制，以验证本研究的结果，并进一步考察儿童青少年与成人之间空间邻近效应的行为及神经差异。
本研究以存在冗余的古诗多媒体为学习材料发现，与分散格式相比，整合格式下学习效果更好，且背外侧前额叶皮质、左侧额极有更大的神经激活。结果证明古诗多媒体存在空间邻近效应，且背外侧前额叶皮质和左侧额极的参与可能是古诗多媒体空间邻近效应的神经基础，为多媒体学习认知理论对空间邻近效应的理论假设提供了新的证据。
猜你喜欢前额古诗效应铀对大型溞的急性毒性效应核科学与工程(2021年4期)2022-01-12懒马效应今日农业(2020年19期)2020-12-14简单搓搓可养生养生月刊(2020年10期)2020-10-14“拟古诗”之我见中华诗词(2019年7期)2019-11-25品读古诗金桥(2018年2期)2018-12-06品读古诗金桥(2018年3期)2018-12-06品读古诗金桥(2018年1期)2018-09-28应变效应及其应用中学物理·高中(2016年12期)2017-04-22想意林(2009年8期)2009-02-11魔法精灵cookie world(2008年11期)2008-12-12