阅卷管理与监测系统

1 / 10 阅卷管理与监测系统 大规模考试作文评分研究系列之六 上文说过，大规模考试中作文评分的误差控制包括三个不可缺少的基本环节，这就是评分标准、评分方法 和阅卷管理。监测系统是阅卷管理系统中一个有特殊意义的组成部分。一次大规模作文考试，如果没有一套完 善的管理制度，没有一个有效的监测系统，则任何评分标准的厘定、评分方法的改进都只是一句空话。 在测试研究中，考务管理是一个专门的领域；在测试机构中，考务管理是一个有特定职能的分支机构。考 虑到本刊的读者对象，以下只作约略的概述。 大规模作文考试的阅卷管理系统 大规模作文考试的阅卷管理系统应承担以下三个方面的职责：阅卷的业务领导，阅卷人员的行政 管理，阅卷质量的监测。在现阶段，我国比较完善的阅卷管理程度可以示意如下： 作文阅卷管理示意图 （附图 图 ） 现代科技的发展，为作文阅卷的管理提供了重要的辅助手段。借助这种手段，阅卷管理的主要工作有： 试卷的随机编排 2 / 10 试卷的随机编排就是把不同学校的考生打乱混合排列。有了电脑，这项工作在技术上 是不难解决的。重点 学校与非重点学校之间，水平可以相差很大，如果不解决随机编排问题，则监测系统的数据将失去代表性，既 使得这些数据缺乏应有的说服力，也容易出现盲目的调控。有了随机编排，不但阅卷员的评分状况能够得到比 较客观的反映，而且就阅卷员本人来说，由于一本试卷（即同一考场中）兼有各类学校的考生作文，可以大大 减弱评分心理的位置效应（参阅系列之一）。此举可以消除评分的系统误差，即各校的平均成绩与其实际 水平大体接近，但还不能遏制评分的随机误差（参阅系列之一文末注释）。 阅卷员的选择与 培训 系列之三所披露的数字表明，阅卷人员决不是“年龄大、职称高”才好。阅卷队伍的形成应该是一个 选择的过程，由于大规模考试作文评分的特点与困难，阅卷者应该是一支半专业化的队伍，为此，需要逐步建 立阅卷人员档案。“高考作文评分误差控制”课题组的试验省分有的正考虑实行“阅卷员证书”制度（国外已 有），这是条很有价值的措施。 在选择阅卷人员的基础上还要进行培训。以下两项调查反映了短期培训的效果。 调查 3 / 10 取各类作文篇，名阅卷员在培训前后两次重评。结果如下 ： 培训前 培训后 篇平均标准差 总体标准差 可见经过培训，阅卷员评分的一致性有所提高，在拉开分数距离方面情况有所改善。 调查 取各类作文篇，分成对等两组，名阅卷员先评第一组（作为培训材料），相隔日再评第二组， 结果如下： 第一次 第二次 篇平均标准差 观测结果与调查相近。 培训可以有两种方式：短期集中培训，结合阅卷过程进行。后者一般都与样 本卷讨论和典型卷讨 论合并进行，将在下面专门介绍。 样本卷的选定及其策略 即使有了比较完备的评分参照量表（参阅上期），每次大规模考试的样本卷仍是不可少的。这是因为每年 的试题都有其个性，有其需要特殊处理的矛盾，需要根据当年试题情况编制样本卷系列予以解决。 样本卷的功能，一是使评分标准明确化、具体化，4 / 10 二是针对影响阅卷稳定的心理因素予以尽可能的控制。 因此编制样本卷系列，在着眼点方面，在策略方面，和参照量表的编制可以有所不同。参照量表的编制要遵循 “等距性”原则，即各典型例 卷之间，如果按百分制计算，其分距大体上是相等的；样本卷系列的制订，则可 以进一步着眼于“分界线”和“分歧点”。 例如：“趋中倾向”（参阅系列之一）是大规模考试评分中一个比较突出的问题，针对这种情况， 年江西省在高考作文评分选定样本卷时采取了以下对策：一、二类样本卷取下限，三类卷取上 、下限。采取上述措施的结果，各类试卷的分布状况有所改善： 类别 一 二 三 四 五 百分比 高考作文每年分值不同，为了便于比较，重新划分分数段使之能与 年相对应，结果如下： (91)29-35 (91)20-28 (91)12-19 (91)1-11 (90)33-40 (90)23-32 (90)14-22 (90)1-13 1991 10% 46% 36% 8% 90(综 ) 6% 58% 27% 9% 90(综 ) 11% 62% 22% 5% 从表中的数据可以看出，高分数段的情况没有显5 / 10 著变化，而第二档次的人数有大幅度下降，第三档的数字 有明显上升。从 整体上看，打保险分，送“及格”分的倾向有所抑制。 再取同是采用分项评分法的年文科考生分与年全省考生抽样统计的平均数、标准差、变差系数（ 标准差平均分）相比，结果如下： 平均分 标准差 变差系数 年（满分分） （满分分） 统计表明，变差系数有所增加，即分数离散状况好于前一年。 “分歧点”就是容易引起分歧的问题。每年阅卷，都可以发现“有的作文好评，有的作文难评”现象。对 于某些作文，评分比较容易趋于一致，对于另一些作文，看法往往分歧。归纳、分析、研究这些评分差别较大 的试卷，及时提出来讨论，统一认识，纳入样本系列，是极其重要的。 阅卷流程管理 根据我国惯例，大规模作文考试通常在暑期或接近暑期进行。在高温、大兵团突击作战的阅卷条件下，应 该特别注意阅卷人员的生活安排和保健措施。就阅卷流程管理而言，要特别注意以下两项工作： 均衡投卷，控制速度 6 / 10 阅卷速度必须均匀，前松后紧之类都必然扩大误差。考虑到阅卷员熟练程度不断提高，可以先略慢后稍快 ，但各组之间必须同步前进。要严禁各组攀比速度，领导小组要掌握进度，但决不应公布进度，一公布必然对 较慢的组产生压力而滋生误差。此外，如果阅卷人员之间存在着利害关系（相互竞争的学校、区县等），试卷 的投放还要注意流向，以免人为因素干扰。 阅卷的速度与质量有直接关系，速度过快必然评估粗糙。由于目前实行的承包制以及阅卷数量与报酬挂钩 的原因，阅卷速度不断加快。据了解，高考作文有的地区个别阅卷员的速度竟达到日 份以上，在这种情 况下，阅卷质量是无法得到保证的。承包制不适用于作文阅卷，必须予以解决。 制订行为准则 “多元评定法”是减小各评阅者评分误差的重要措施。根据赛蒙兹（ Symonds）的研究，一组作文若由两人 评定，其相关系数为，经四人评定后再由另四人评定，则相关系数可达，若经八人评定后再 评定，相关系数可以增加到。目前，美国威斯曼的“快速印象法”和英国伦敦教育研究所的实验都要 求一份试卷经四人评定。在我国，一般原则上规定一份试卷应由两人共评，要求已经很低 ，但实际上仍无法做 到。在这种情况下，应该7 / 10 就“对子”行为作出一些规定，例如至少要求两人先共评若干份，分评后每天必须相 互抽查各等级的作文若干篇，发现问题及时磋商，并有相应的检查措施，等等。这已经是最低限度的要求。 纪律涣散、工作态度不严肃，是无法保证阅卷质量的。因此，还应当制订阅卷员守则，并且有相应的 奖惩制度。对于不合格的阅卷人员必须坚决汰除。课题组各试验省份都有被判“红牌”者，对维护阅卷的严肃 性有良好的作用。 监测及复查 由于这个问题的重要性，将在下文专门介绍 。 建立、健全监测系统 大规模作文考试如果没有一个有效的监测系统，则任何研究、条例和改进措施将毫无意义。我国长期惯用 的“复查”就是一种监测方法，不过随着科技手段的进步，监测手段日益丰富，怎样借助科技手段来发展监测 系统就成为人们研究的一个课题。 科技手段应用于评分监测，有“隐形笔”等注，不过目前主要是电脑。国外有利用电脑直接进行调控 的，即以试卷中某些客观性较强试题的得分为参照系，如果发现某地区或某阅卷员的主观题给分与其它地区或 其他阅卷员的评分平均值相比明显偏 低或偏高，可以通过数学方法加以8 / 10 调整。我国英语高考也曾采用过这种方 法。但语文是一门综合性很强的学科，其测试也属于异质性测试，经过多次测算，各试题（包括作文）的得分 之间没有必然联系。即以写作能力而论，母语和外语不同，母语作文的能力层次要求大大高于外语，高层次能 力（如立意）与低层次能力（如书写）之间，得分也没有必然联系。因此用其它试题作参照系的方法就作文评 分而论是不科学的，也是不可取的。再就各阅卷员之间的评分来说，由于评分对象的差别（例如一市集中阅卷 ，各区之间的水平就会有所不同），很难据此就作出“偏严” 、“偏松”的判断，如果骤然利用电脑直接调整 ，很难避免盲目调控。因此，至少就作文评分而言，机器只能及时发现问题，最后的裁断还必须由人工（专家 ）来做出。 当前，利用电脑监测主要有以下几种方法： 指标监测 用以监测的指标主要有“平均分”和“标准差”。平均分可以显示出阅卷者给分有没有偏高或偏低的问题 ；标准差显示给分的离散程度，显示出有没有“打保险分”的趋向。将阅卷员每日每份试卷的给分及时输入电 脑，如有问题，就可以及时发现。 参照系监测 由核心组 先随机抽阅一批试卷，将数据输入电脑，以所形成的曲线作为参照系。参照系有允许浮动的一定 幅9 / 10 度。阅卷员每日评分结果在图形显示上如果超越了幅度，电脑就能及时检出以备复查。 “暗点”监测 即由核心组随机抽阅一批试卷，秘密输入电脑，阅卷员评此卷时，如果给分差距过大，就能及时发现检出 ，显示该阅卷员所评其它试卷也可能存在问题。本方法原理虽然简单，但颇为有效。 内部相关监测 这是我国试验分项评分时所创造的一种方法。其原理是各分项得分之间往往具有一定的相关性，由此设计 了 数学模型，把测算结果称为 U 值。 U 值过大或过小，都可以提供信息供复查组审核、裁夺。此方法年 在河北省试验与指标监测法同时采用，当年结果如下（ X 拨为平均分为标准差）： 试卷 增加分 减少分 增加分 减少分 平均每 袋数 数篇数 数篇数 数总和 数总和 袋改动 X拨出线 出线 U 值小 U 值大 说明：平均分低于控 制线的袋，经复查，分数