同伴评价能促进中小学生学习吗-基于58项实验与准实验研究的元分析

/同伴评价能促进中小学生学习——基于58项实验与准实验研究的元分析【摘要】同伴评价作为一种学生评价方式在改善学习结果方面被寄予厚望。国内外学者对此已开展大量的实验与准实验研究，但结果却不甚相同。文章采用元分析方法对国内外58项同伴评价的实验与准实验研究进行量化分析，综合审视同伴评价对中小学生学习的影响，结果发现，同伴评价对中小学生学习具有中等偏上程度的积极影响，对中小学生认知和情感的影响效果相似，年级、学科、任务类型、评级形式均显著调节了同伴评价对中小学生学习的影响。鉴于此，首先应深化学生评价改革，发挥同伴评价的最大效益；其次应强调背景要素，提供针对性的支持以促进同伴评价的开展；最后应注重评级形式，优化同伴评价的实施条件。【关键词】同伴评价；学生学习；学习评价；元分析；实验与准实验

一、问题提出 长期以来，我国中小学课堂教学大多是教师中心，教师处于相对权威和主导地位，学生处于被动的接受地位。因此，课堂评价的主体多以教师为主，整个评价过程更多体现的是教师的认知判断和价值取向，评价者与被评价者是一种评与被评的“单向性”关系。随着评价改革的不断深入，教育评价越来越注重评价主体的多元化、评价形式的多样化、评价内容的全面性和评价目标的多维化。鼓励学生积极开展自评和互评，从评价的接受者转变为评价的积极参与者，及时有效地调控自己的学习进程并从中获得成就感和自信心。同伴评价作为一种有效的学生评价方式引起了研究者们的广泛关注。 同伴评价在国外起步较早，20世纪90年代，在建构主义思潮的影响下逐步成为评价研究者们的重要课题。与同伴评价相似的教学形式，同伴批改早在1774年就出现在格拉斯哥大学哲学教授贾丁(Jardine，G.)的课堂，当时主要是为了应付写作课人数过多的问题。[1]1998年，托平(Topping，K.)首次对同伴评价进行较为全面的文献综述、理论建构和实践展望。他认为，同伴评价是个体对与其水平类似的同伴的学习成果或作品的数量、水平、价值、作用、质量等进行评价。同时，他从同伴评价的设计角度指出其包括17个组织要素，即课程领域、目标、焦点、任务与教师评价的关系、官方权重、方向、保密、交互、年级、能力、评价者、被评价者、地点、时间、要求、奖励。[2]学生的学习结果分为认知结果和情感结果两个方面。认知结果多以学业成绩或学业表现为表征。学业成绩或学业表现反映了学生对知识技能的理解和保留，通常通过考试或连续性评估来衡量。[3]情感结果是指与学生满意度、信心、动机、情绪、态度和学习感受相关的学习结果。[4] 与教师评价相比，同伴评价尊重学生这一评价主体，更可能促进中小学生学习。为探究同伴评价的促学效果，国内外学者开展了大量的实验和准实验研究，目前存在两种不同的实验结论：一是同伴评价对中小学生学习有显著的促进作用；二是同伴评价对中小学生学习没有显著影响。由此可见，学术界尚未对同伴评价的有效性达成共识，无法从整体上了解同伴评价对中小学生学习的影响。基于此，本研究采用元分析的方法从整体上探究同伴评价对中小学生学习的影响，梳理国内外同伴评价对中小学生学习影响的相关实证研究文献，试图探究并回答以下问题：第一，与教师评价相比，同伴评价能否促进中小学生学习?第二，同伴评价对中小学生学习的影响是否受到以及如何受到同伴评价背景(年级、学科、任务类型)、同伴评价过程(评价模式、评级形式、评分员培训和评价标准)、评价者和被评价者(每个任务的评价人员数量、匿名性)等调节变量的影响? 二、研究设计 (一)研究方法 本研究采用英国教育心理学家格拉斯(Glass，G.V.)提出的元分析(Meta-analysis)方法进行定量研究。元分析最早由格拉斯提出并应用于临床心理学，他认为元分析是“分析的分析”，是对大量的研究者的研究结果进行统计分析，目的就是探索多个独立研究结果的总体效应，从而得出普适性的结论。[5]其基本思路是通过一定的标准对某一领域内的文献进行检索和筛选，对结果进行标准化处理后，通过加权平均得出一个综合性结论，并利用一定的统计方法探讨异质性的来源。与传统的描述性的文献综述相比，元分析方法能够最大限度地减少偏倚，保证分析结论的科学性和稳定性。 (二)研究过程 1.文献检索 本研究选取了中国知网、万方数据库作为中文文献的数据来源，选取EBSCO(包括ERIC，PsycARTICLES，PsychologyandBehavioralSciencesCollection，PsycINFO，AcademicSearchPremier)、WebofScience、ProQuestDissertations&ThesesGlobal作为外文文献来源。检索时间为2022年9月中旬。共经过两轮检索：第一轮通过关键词进行文献检索。同伴评价的关键词包括：同伴评价/伙伴评价(peerassessment/evaluation)、同伴反馈(peerfeedback)、同伴互评/学生互评(peerreview)、同伴评分/评级(peerscoring/grading)。学生学习结果的关键词包括：学习结果(learningoutcomes)、学业成绩(learning/academicachievement)、学业表现(learnin/academicperformance)、学习效果(learningeffect)、动机(motivation)、自我效能/自信(self-efficacy/confidence)、情感表现(affectiveperformance)、满意度(satisfaction)、情绪(emotion)、态度(attitude)、感受(feeling)。第一轮最终获取11002篇文献；第二轮采取“滚雪球”的检索方式，即从已检索到的文献、相关同伴评价的综述类文献所引用的参考文献中进行二次检索，共获取26篇文献。通过两轮文献检索，共检索出11028篇文献。 2.文献筛选标准 由于检索到的文献并不完全符合元分析的要求，因此，制定了以下文献筛选标准：第一，题目、关键词或摘要中使用与同伴评价相关的术语；第二，在任何部分中使用与学生学习相关的术语，包括全文；第三，检索语言为汉语与英语；第四，通过实证研究检验同伴评价对学生学习的影响(排除理论、综述以及不相关的研究)；第五，研究方法为实验研究或准实验研究(排除调查研究、质性研究、单组前后测研究)；第六，分别采用两组方式评价，实验组采用同伴评价，控制组使用教师评价；第七，研究对象为中小学生；第八，报告样本量和至少一个数据用以计算效应量(标准差、t、F、p值)。 第一作者和第三作者根据筛选标准对文献进行严格筛选，共移除了2210篇文献，二者一致率是95％。若有不一致的，二者通过协商达成一致，最终得到符合标准的文献为58篇。由于部分文献包含多个效应值，最终共得到67个有效研究效应值。并且出版时间在2006年-2021年。 3.特征值编码 文献筛选完成后，为了方便统计分析和计算效应量，需要对筛选出来的文献的各项特征值进行编码。本研究主要从文献基本信息、因变量、调节变量三个方面对文献进行编码。文献基本信息包括作者、出版时间、样本量、实验数据；因变量为学习结果，包括认知结果和情感结果；调节变量包括同伴评价背景、同伴评价程序、评价者与被评价者。其中，同伴评价背景包括年级、学科、任务类型；同伴评价过程包括评价模式、评级形式、评分员培训和评价标准；评价者与被评价者包括每个任务的评价人员数量和匿名性。 此外，为保证资料提取过程的客观性，本研究的编码由第一作者和第三作者共同完成。两位研究者对筛选出来的文献独立编码。编码完成后，对编码结果进行一致性分析，若有意见不一致的，经过协商达成一致意见。最终对文献基本信息和因变量评估一致性Kappa值为1.000、1.000；对年级、学科、任务类型、评价模式、评分员培训、评价标准、评级形式、每个任务的评价人员数量、匿名性等调节变量评估一致性Kappa值分别为1.000、1.000、1.000、1.000、0.835、0.913、0.875、0.885、0.898，根据0.75及以上为一致性非常好的评判标准[6]，说明此特征值编码具有较高的一致性。 4.评估文章质量 在元分析过程中，所纳入文献的质量会影响到最终结果的质量。本研究采用凯梅特(Kmet，L.M.)针对量化研究开发的质量评估标准，从样本特征及其参与情况、研究设计、研究方法、研究结果的报告等14个维度对文献质量进行打分。单个维度完全满足标准的研究得2分；部分满足标准的研究得1分；不满足标准的研究得0分。[7]单个研究总成绩在最低得分(0分)和最高得分(28分)范围内，得分越高则说明该研究的质量越高。为确保文献质量的评价尽可能客观，这一过程由第一作者和第三作者独立进行，最终得出纳入研究的最低分为17分(占总分的60.7％)，最高分为27分(占总分的96.4％)，平均得分20.8分(占总分74.3％)。根据质量界定标准：研究得分占总分的80％以上为高质量研究；70％-80％为较好；50％-70％为适中；50％以下表示质量有限[8]，可以认为本研究所纳入的58篇文献的质量基本满足分析需求。 5.发表偏倚 发表偏倚是指统计结果为正向显著的研究成果更容易被期刊所接受并发表的一种现象。这会使检索到的相关文献不能全面系统地代表该领域的总体应用效果，进而影响元分析结果的可靠性，因此有必要进行发表偏倚检测及分析。[9]本研究采用漏斗图(Funnelplot)和失安全系数法(Fail-safeN，Nfs)对研究样本数据的发表偏倚情况进行综合判断。 首先，通过观测相对直观的效应量漏斗图，发现文献的效应量较为均匀的分散在漏斗图中平均效应量的两侧，这说明本研究存在出版偏倚的可能性极低。其次，采用失安全系数法(Nfs)来评估发表偏倚风险，通过计算得出Nfs值为8817，远远大于5k+10(k为纳入元分析的原始研究数量)，且p＜0.001，表明本研究没有明显的出版偏倚。[10] 6.异质性检验 异质性就是“纳入同一个元分析的所有研究间存在的差异”，异质性检验的目的是检查各个独立研究的结果是否具有可合并性。本研究采用Q检验和检验来判断研究间是否存在差异。Q检验反映的是效应量之间的异质性，主要看P值，P值大于0.1，则无异质性，P值小于0.1，则存在异质性。反映的是异质性部分在效应量总的变异中所占的比重，是根据Q统计量转换得到的。因此，统计量较Q统计量敏感，且取值范围是0—100％，取值越大，异质性越大：25％为低异质性；50％为中度异质性；75％为高异质性。[11] 在元分析中，效应量是衡量实验组和对照组均值差异性强度的重要指标，效应值用来评估同伴评价对学生学习的影响。在合并单个研究的效应量计算整体效应值时，可以选择固定效应模型或随机效应模型。固定效应模型仅对纳入元分析中的研究进行推断，而随机效应模型将元分析中包含的有限研究集合推广到已经或可能进行的类似研究中。[12] 异质性检验的结果表明不同研究之间存在显著的异质性(Q=248.015，p＜0.001，=73.389)，也表明纳入的效应量中有73.389％的变异是由效应值的真实差异引起的。 三、研究结果 (一)总体效应：同伴评价对中小学生学习具有中等偏上程度的积极影响 数据分析工具采用综合性元分析软件(ComprehensiveMeta-analysisVersion3.3，简称CMA3.3)。同时，使用标准化均数差Hedges’sg，即Cohen'sd的修正量作为效应值。[13]效应值的标准分别是0.2为小效应，0.5为中等效应，0.8为高度效应。[14] 为确定同伴评价对中小学生学习效果的整体影响，分别应用固定效应模型和随机效应模型进行分析，得到了同伴评价对学生学习影响的结果。数据结果表明，研究样本之间存在高度异质性。为消除多种原因导致的样本异质性以及将元分析中包含的有限研究集合推广到已经或可能进行的类似研究中，本研究选用随机效应模型。从随机效应模型中可以看出，合并效应值为0.601，大于0.5，表明同伴评价对中小学生学习有中等偏上程度的影响。 (二)具体效应：同伴评价对中小学生认知和情感的影响效果相似 为了解同伴评价对中小学生学习的具体效应，进一步从认知和情感两方面进行分析，同伴评价对认知和情感的影响之间不存在显著差异(Q=1.403，df=1，p＞0.05)。具体地说，认知结果的合并效应值大于0.5，而情感结果的合并效应值小于0.5，这表明认知结果指标衡量同伴评价的效果要高于情感结果指标。因此，未来研究可主要采用学业成绩或学业表现等认知结果指标衡量同伴评价的效果，但同时也需进一步关注用动机、自我效能感、态度等情感结果指标衡量同伴评价的效果。 (三)调节效应：年级、学科、任务类型、评级形式显著调节了同伴评价对中小学生学习的影响 1.同伴评价背景的调节效应 在同伴评价背景上，年级(=7.690，df=2，p＜0.05)、学科(=8.461，df=3，p＜0.05)和任务类型(=18.127，df=5，p＜0.01)均显著调节了同伴评价对中小学生学习的影响。 首先，就年级来说，年级越高，同伴评价对学生学习产生的影响越大。如同伴评价对高中生的学习产生的影响最大(g=0.658，95％CI[0.534，0.783])，其次是初中生(g=0.464，95％CI[0.265，0.592])，最小的是小学生(g=0.359，95％CI[0.168，0.550])。 其次，就学科来说，汽车维修(g=1.017，95％CI[0.370，1.664])和英语(g=0.623，95％CI[0.516，0.730])均具有中等偏上程度的影响，化妆(g=0.454，95％CI[0.084，0.825])和科学(g=0.282，95％CI[0.037，0.527])均具有中等偏下程度的影响。 最后，在任务类型上，虚拟训练(g=1.017，95％CI[0.370，1.664])、作文写作(g=0.623，95％CI[0.516，0.730])、课程设计(g=0.623，95％CI[0.203，1.043])均具有中等偏上程度的影响，考试试卷(g=0.113，95％CI[-0.561，0.335])、化妆练习(g=0.454，95％CI[0.084，0.825])、游戏开发(g=0.290，95％CI[0.076，0.505])均具有中等偏下程度的影响。 2.同伴评价程序的调节效应 在同伴评价程序上，只有评级形式显著调节了同伴评价对中小学生学习的影响(=9.695，df=2，p＜0.01)，评价模式(=0.644，df=1，p＞0.05)、评分员培训(=0.378，df=1，p＞0.05)、评价标准(=1.328，df=1，p＞0.05)均没有显著调节同伴评价对学生学习的影响。具体地说，在评级形式上，当分数和评语二者结合使用时产生的影响(g=0.640，95％CI[0.483，0.796])高于仅用评语(g=0.574，95％CI[0.467，0.682])或仅用分数(g=-0.113，95％CI[一0.561，0.335])。 3.评价者和被评价者的调节效应 在评价者与被评价者上，每个任务的评价人员数量(=0.013，df=1，p＞0.05)没有显著调节同伴评价对中小学生学习的影响，说明一个评价者和超过一个评价者之间的影响效果相似。同时，匿名性(=2.615，df=1，p＞0.05)的调节效应亦不显著，说明匿名评价与非匿名评价之间的影响效果亦相似。 四、研究讨论与建议 (一)深化学生评价改革，发挥同伴评价的最大效应 元分析结果表明，同伴评价对中小学生学习具有中等偏上程度的积极影响。这说明与教师评价相比，同伴评价能够促进学生学习。该结果与“同伴评价对中小学生学习有显著的促进作用”的观点一致。 传统的课堂评价主体多以教师为主，通常根据教师的权威评价进行修改与完善，这是一种典型的教师中心的个人主义取向评价关系。随着评价改革的不断深入，学生的评价主体性逐渐凸显，同伴评价越来越得到重视。根据社会发展理论的观点可知，社会互动在学习中扮演重要角色，儿童通过与同伴、教师和家长的互动获得社会性发展。另外，根据合作学习理论可知，学习者为了达到一定的学习目标，需要与其他学生进行互动和合作，以最大限度地提高自己和彼此的学习能力。[15]在这个过程中，同伴之间相互依赖、相互信任，不仅要对自己的学习负责，也要对同伴的学习负责，从而最大化学习效益进而达到双赢。 正因如此，新时代应如何进一步深化学生评价改革，发挥同伴评价的最大效应?首先，提高学习者的评价素养，确保评价结果的公平性与客观性；其次，透视同伴评价设计的基本原理，确保评价过程的科学性与合理性；最后，深度分析和挖掘同伴评价的过程数据，确保评价过程的动态性与评价结果的全面性。[16]除此之外，元分析结果亦表明，同伴评价对认知和情感的影响之间不存在显著性差异。具体地说，同伴评价对认知结果具有中等偏上的影响，对情感结果具有中等偏下程度的影响。基于此，未来研究在关注同伴评价对学生认知影响的同时也要关注同伴评价对学生情感的影响。 (二)强调背景要素，提供针对性的支持促进同伴评价的开展 元分析结果显示，年级显著调节了同伴评价对中小学生学习的影响。具体地说，同伴评价对高中生的学习影响最大，其次是初中生、小学生。这表明，同伴评价对中小学生学生学习的影响效应随着年级的升高而升高。根据依恋理论可知，相较于初、高中生，小学生身心不成熟，对教师权威高度认同，对教师有较高的依赖性，并以此获得心理支持，故而，同伴评价对小学生的学习产生影响较小。[17]进入初、高中后，学生一方面要面对升学、考试压力和繁重的学业负担，与教师的沟通日益减少；另一方面随着认知能力的发展，其更倾向于和同伴进行交流互动而非教师。因为，随着年级升高，同伴评价对中小学生产生的影响也逐渐增强。因此，同伴评价的开展要尊重学生学段差异，结合初、高中生的群体特征开展合适同伴评价活动，从而发挥同伴评价的最大价值。 元分析结果表明，学科显著调节了同伴评价对中小学生学习的影响。其中，英语课和汽车维修课中使用同伴评价均产生中等偏上程度的影响。由于汽车维修课中使用同伴评价的研究仅有1项，因此，其产生的效应应小心解释。基于此，未来理论工作者和实践工作者应在给与英语学科更多关注的同时，也要关注同伴评价在其他学科(如语文、数学)的应用，以此扩大同伴评价在学科领域的应用范围。 元分析结果表明，任务类型显著调节了同伴评价对中小学生学习的影响。其中，当任务类型是作文写作、虚拟训练、课程设计时，同伴评价对学生学习产生中等偏上程度的影响。由于虚拟训练任务和课程设计任务仅有1项研究，因此虚拟训练任务和课程设计任务的研究结果应谨慎解释。上述研究结果与已有的研究发现相一致，即“当任务类型是作文写作时，