（概率论与数理统计专业论文）关于非倾向性系统偏差测试员原始评分的修正.pdf

硕士学位论文 m a s t e r st h e s i s 摘要 湖北省普通话水平测试中心2 0 0 1 年对全省的国家级测试员进行了测评能力的 考核，根据这组考核数据，我们利用统计的方法对普通话测试员的信度进行了定量 分析，主要是采用了误差循环算法： 或者 雾葛嚣? 本文也从理论上论证了误差循环算法的收敛性，给出了在实际运用中循环停止 的法则，并结合经验原始评分的实例和原始评分的实例，进一步验证了误差循环算 法的正确性和可行性。通过误差循环算法对非倾向系统偏差的测试员的原始评分进 行循环修正，最终修正后的评分更接近真实成绩。对于有系统偏差的测试员的原始 评分，我们结合文献 1 给出的有倾向性系统偏差的测试员的原始评分的修正方法： lf 。土y 4 置； 、 j m 厶“” ( 其中，。0 ，1 ，2 ，) l 蜀一毛一：1 2 。n ( 一刁 和本文给出的非倾向性系统偏差的测试员的原始评分的修正方法，用这两种修 正方法，可以对有系统偏差的测试员的原始评分进行全面修正，修正后的分数更合 理、更科学、更符合实际，其真实性和可信度在原基础上都增强了。 关键词：实验数据；系统偏差：倾向性系统偏差；非倾向性系统偏差：信度 矿 矽 等等 甾田露妒 硕士学位论文 m a s t e r st h e s i s a b s t r a c t i ny e a r2 0 0 1 ，t h ep s cc e n t e ro fh u b e ip r o v i n c eh a dat e s to ft h ea b i l i t yo fn a t i o n a l p s ce x a m i n e ri nh u b e i ，a c c o r d i n gt ot h ec h e c k i n gd a t a ，w ea r eo i l q u a n t i t a t i v ea n a l y s i s o nt h er e l i a b i l i t yo fp s ce x a m i n e r sw i t hs t a t i s t i c a la n a l y s i s ，b et oh a v ea d o p te r r o r c i r c u l a t i o na l g o r i t h mm a i n l y ： j j 2 忡一j l p 一爻? 忡 爻：嘲一爻磐一叉? 呐一 t h i sp a p e rh a sp r o v e nt h ea s t r i n g e n c yo ft h ee r r o rc i r c u l a t i o na l g o r i t h mi nt h e o r e m ， a n dh a sg i y e nt h el a wo fs t o p p i n gc i r c u l a t i o ni nt h ep r a c t i c a la p p l i e s ，c o m b i n i n gt h e e x a m p l e so ft h ee x p e r i e n c i n gp r i m i t i v eg r a d e sa n dp r i m i t i v eg r a d e s ，w eh a v ev e r i f i e dt h e c o r r e c t n e s sa n df e a s i b i l i t yo ft h ee r r o rc i r c u l a t i o n a l g o r i t h mf u n h e r ，b yt h ee r r o r c i r c u l a t i o na l g o r i t h m ，t h ep r i m i t i v eg r a d e so ft h et e s t i n gm e m b e r sw i t ht h en o n i n c l i n i n g s y s t e m a t i ce r r o rh a v eb e e na m e n d e di n c i r c u l a t i o n t h eg r a d e st h a tb e e na m e n d e d a p p r o a c h t h et m ea c h i e v e m e n tm o r ea tl a s t ，t ot h ep r i m i t i v eg r a d e so ft h et e s t i n g m e m b e r sw i t ht h et e s t i n gm e m b e r sw i t ht h ei n c l i n i n gs y s t e m a t i ce r r o r w ec o m b i n et h e a m e n d i n gm e t h o do f t h ep r i m i t i v eg r a d e so f t e s t i n gm e m b e r sw i t h t h e i n c l i n i n g s y s t e m a t i ce r r o rb yt h ed o c u m e n t 1 ： j 巧。芬。乩， l 瓦- k 一：12 ：。n ( 一巧) w i t ht h ea m e n d i n gm e t h o do ft h ep r i m i t i v eg r a d e so ft e s t i n gm e m b e r sw i t ht h e n o n i n c l i n i n gs y s t e m a t i ce r r o rb yt h i sp a p e lu s i n gt h et w oa m e n d i n gm e t h o d s ，w ec a n a m e n dt h ep r i m i t i v eg r a d e so ft h et e s t i n gm e m b e r sw i t ht h es y s t e m a t i ce r r o ra 1 1 - r o u n d t h eg r a d e sw h i c hh a v eb e e l lr e v i s e db e c o m eb e t t e rr e a s o n a b l e ，b e t t e rs c i e n t i f i c ，a c c o r d w i t ht h ef a c tb e t t e r , t h er e a l i t ya n dr e l i a b i l i t yo fi tb e c o m e ss t r o n g e rt h a nb e f o r e k e yw o r d s ：e x p e r i m e n t a ld a t a ；s y s t e m a t i ce r r o r ；t e n d e n t i o u s n e s ss y s t e m d e v i a t i o n ：b en o tt h a tt e n d e n t i o u s n e s si ss y s t e m a t i cd e v i a t i o n ：r e l i a b i l i t y i i 塞行 蟛唧 譬 硕士学位论文 m a s t e r s t h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体己经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：多良强 日期：神年莎月8 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 ，c 作者签名：；锭；文导师签名：毋础7 1 0 日期：w 习年占月g 日日期：沙9 午。月8 日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的 规定享受相关权益。旦重途塞逞銮厦迸卮! 旦圭生；旦= 堡；旦三生发生! 作者签名：；良鸿 日期：阔年6 月3 日 导师签名 二和知荪 日期：2 夕力年6 月易日 硕士学住论文 m a s t e r s t h e s i s 引言 普通话水平测试是一项十分重要的国家级考试，它直接关系到普通话在全国范 围内的推广，所以，提高普通话水平测试的信度是尤为重要的。除了建立支高素 质测试员队伍从客观上提高信度以外，本文我们还试图从主观上探讨提高信度的可 靠办法。 普通话水平测试信度的高低，主要受测试员评判结果的制约。信度的关键是客 观和公平，要做到这一点就主要从测试员评判结果上加以改进和提高。因此，研究 普通话水平测试信度的意义在于如何最大限度地提高其分数的精度，使等级分数能 够客观地反映应试者普通话的真实水平，而不是保证其百分之百的纯度，因为测试 偏差 5 可以缩小，但不可能被完全排除。那么，文献 1 、文献 2 和本文的成果 已经全面地成功地给出了解决办法。 语言测试的理论告诉我们：考试的结果不可能绝对一致，即百分之百的信度是 难以做到的，尤其是在大规模的主观性考试中，因为总有一些外部因素或多或少地 影响着它。从理论上来说，每一个应试者在普通话水平测试中所获得的等级分数都 包括两部分：一部分是真分数，完全由测试标准的属性决定，纯正没有误差；另一 部分则是测试的偏差 6 。测试的偏差 1 1 1 6 有两类：一是系统偏差，二是随机 偏差，由于影响评分质量的主要原因是系统偏差，且随机偏差 7 是难以控制的， 因此，本文主要研究如何对有系统偏差的测试员的评分进行修正，而系统偏差又有 两类：一是倾向性系统偏差，二是非倾向性系统偏差。倾向性系统偏差是指测试员 所得出的成绩与真实成绩相比出现绝大部分( 整体) 偏高或偏低；非倾向性系统偏 差是指测试员所得出的成绩与真实成绩相比出现大部分偏高或偏低或者持平。关于 如何区别倾向性系统偏差的测试员和非倾向性系统偏差的测试员文献 i 已经解决 了，由于对倾向性系统偏差的测试员评分的修正文献 2 已经解决了。本文则主要 研究非倾向性系统偏差的测试员评分的修正问题。 普通话测试的成绩分为“三级六等”见文献 3 ：一级甲等的分数区间为 9 7 ， 1 0 0 ) ，一级乙等为 9 2 ，9 6 9 9 ) 。二级甲等为 8 7 ，9 1 9 9 ) ，二级乙等为 8 0 ，8 6 9 9 ) ， 三级甲等为 7 0 ，7 9 9 9 ) ，三级乙等为 6 0 ，6 9 9 9 ) ，6 0 分以下无等级。为了获得测 试员的系统偏差的信息，2 0 0 1 年安排了如下试验：从一甲、一乙、二甲、二乙和三 甲各普通话等级中分别随机地抽取一名考生，让全省9 3 位国家级测试员用同一份 试卷分别独立地测试这五位考生。 硕士擘位论文 m a s t er s t h e s i s 目前，湖北省普通话水平测试的主要对象在大学生、教师、部分公务员和播音 员。根据以往的经验，除播音员以外，其他考生的成绩大多数分布在三级甲等到一 级乙等中，其中又以二级乙等最多。为了让实验与实际情况相吻合，我们从普通话 水平为三级甲等、二级乙等的考生中各随机抽取一人，从考生最多的二级乙等随机 抽取两人。由于播音员的成绩主要分布在一级甲等和一级乙等两个等级中，我们又 随机抽取了一名一级甲等的考生。我们把抽取的6 名考生作为实验对象，让这批骨 干测试员( 5 1 人) 用同一份试卷分别对这6 名考生进行了评分，所得的实验数据记 录在跗表中。 2 硕士学位论文 m a s t e r s t h e s i s 1 1 总体思想介绍 1 实验数据的初步分析 在每年的全国普通话测试水平考试之前，进行一次试验设计，从往届考生中抽 取六个不同等级考生，全体测试员对这六个不同等级的考生进行测试，将每位考生 的成绩取平均作为该生的真实成绩，用每位测试员测试的成绩减去该生的真实成绩 得到该测试员对该生的评分误差 8 ： d f x x ， ( 其中下标f 表示测试员，下标，表示考生) 然后把该测试员对六位考生的评分误差取均值，就得出了该测试员的经验修正 系数： 万一言：。d f ( 其中露表示考生人数) 对倾向性系统偏差的测试员只有一个经验修正系数：若该测试员的评分与真实 成绩相对整体偏高，则得出的经验修正系数就为正，即正修正系数： d ? t 音：。d ； ( 其中n 表示考生人数) 若该测试员的评分与真实成绩相对整体偏低，则得出的经验修正系数就为负， 即负修正系数： d lt 去：。d i ( 其中一表示考生人数) 对非倾向性系统误差的测试员有两个经验修正系数( 一正一负) 。 d ? t 三n ty 1 ，1 j - i d j d 7 ；1 n 小w p 。d ，- ( 其中玛表示测试员的评分误差为正的项数，珂：表示测试员的评分误差为负的 项数，1 1 + ，1 2ln ) 评分误差为正的用正的经验修正系数，评分误差为负的用负的经验修正系数。 硕士学位论文 m a s t e r s t h e s i s 1 2 样本的获得 要使得出的实验数据具有科学性，与客观实际比较符合。我们可采取以下办法 抽样来得到样本，将上届普通话测试的六个等级中的各等级的总人数进行比值，然 后按照这个比值的结果对应在各等级中抽取相应人数。 n ：表示样本的容量：f ：表示来自总体的第i 个等级的人数，i = 1 ，2 ，6 ； 1 表示来自总体一级甲等的人数，6 表示来自总体三级乙等的人数： ：表示来自总体六个等级的总人数；用；：表示在抽样时从第i 等级中应抽取 的人数； n i m i x 等币百酉n 面i 丽其中，2 ，6 ) n n l + n ! + n 3 + n + n 5 + n 6 j?j 这里，可以以蹿一1 0 位来进行抽样，更精确些也可取n 。1 0 0 位。样本产生后， 对样本进行试验。还有一种更理想更精确更可靠的抽样办法，那就是建立一个立体 时序数据表，然后，根据这个立体时序表用m a t h e m a t i c a 软件来拟合 f i t ： f i t d a t a ，f u l 7 5 ，v a r s ； 或回归 r e g r e s s ： s t a t i s t i c s 、l i n e a r r e g r e s s i o n 、； r e g r e s s d a t a ， ，2 ，) ，v a r s 】 对这个比值进行优化! 然后，根据优化的比值进行抽样，产生样本。 由于没有做这样试验，所以，我们不能得到这种抽样情况下更加精确的修正系 数，本文还是按照文章第一章的抽样办法所产生的各等级的六位考生为例来进行分 析。 1 3 数据的产生 让全体普通话水平测试员对抽样所产生的考生进行考核，就会产生个二维数 据表，横坐标可取为考生( 即x j ) ，纵坐标可取为测试员( 即置) ，那么，交点即 是该测试员对对应考生测试的成绩( 即z 。) ，见附表的实验数据。 4 1 4 总体目标 通过对倾向性系统误差的测试员和非倾向性系统误差的测试员评分的修正，使 得修正成绩更合理更科学，减少了评分的主观因素影响。使得评分更公平、公正， 同时也使得修正成绩与真实成绩更接近，从总体上减少等级误判次数。 硕士学位论文 m a s t e r st h e s i s 2 非倾向性系统偏差的测试员原始评分的修正 2 1 引用文献的结论 文献 2 给出了倾向性系统偏差 9 的测试员原始评分的修正方法，即以六次评 分误差的平均值为修正系数： d i 一去；。( 一工) ( 其中f = l 2 ，5 1 ) 再用原始评分减去这个修正系数，即得到修正后的分数： 工：一x o d l ( 其中j 。1 ，2 ，6 ) 根据此方法我们可以对倾向性系统偏差的测试员原始评分进行修正，所得出的 修正评分更具有可靠性和可信度。 2 2 非倾向性系统偏差的测试员原始评分的修正方法 下面，我们也给出对非倾向性系统偏差 1 0 的测试员原始评分的修正方法，并 论证这种方法的有效性。受文献 2 的启发，我们可以按照下列办法来产生非倾向 性系统偏差的测试员的修正系数。 2 2 1 对原始评分进行初次修正的方法 将原始评分中误差为正的所有项取平均值( 即为正修正系数) ，然后用该正修 正系数对相应的原始评分进行修正，修正办法是：将原始评分减去该正修正系数得 到对应考生的修正评分：将原始评分中误差为负的所有项取平均值( 即为负修正系 数) ，然后用该负修正系数对相应的原始评分进行修正，修正办法是：将原始评分 减去该负修正系数得到对应考生的修正评分。修正过程如下： 设碰：经验原始评分：x ：经验真实评分：x ! ”：第k 次经验修正评分； d ：”+ ：第k 次经验修正正误差和，d ，卜：第k 次经验修正负误差和； h p ：第k 次经验修正正误差的项数，l 弘：第k 次经验修j 下负误差的项数； 硕士学位论文 m a s t e r st h e s i s z 雌卜：第七次经验修正正误差的平均值，瓦m ：第七次经验修正负误差的平 均值；栉：经验考生总人数； 商。：原始评分；需，：真实评分：霹：第七次修正评分； d 扩- 砑- x ，( 硝- x 2o ) d 一一j 一j ，( z 尹一彳j co ) 彳- - ；0 ) + - 刍秘卜 妒= 二1 x 4 , 矿( 其槲，+ 珂虬捍) 有两种方法产生第一次经验修丁f 评分： 方法：x ，。f 三! ：季t 萋x , ：! ：二：三：! ：； 方法z ：。 ；l ：享：! ：妻荽：三：； 对应有两种方法产生第一次修正评分： 方法1 ：膏：1 一 戈乳譬i + ( j 卜膏，叫 。 n 。 j 卜譬石m 一( j 卜膏，c 。) 方法z ：膏5 委荽：享三： 委i ：委：； ( 注：方法1 对整体平均，方法2 对部分平均) 第次通过经验修正正误差平均值对原始评分进行修正所得修正分数： 7 方法1 ：商1 卜一j ：“一生t l 影1 ) + ；方法2 ：船卜= 商”一霹卜 第一次通过经验修正负误差平均值对原始评分进行修正所得修正分数： 方法1 ：群卜t 蠢”一譬霹1 ) - 方法2 ：矗垆j p 一霹1 ) 一 设：毫。对应的等级为：爿1 ； 毫1 卜对应的等级为：丑； 戈。对应的等级为：c o ) ； 讨论：( 1 ) 当一( 1 ) - 口( 1 ) - c 1 时，此时考生的修正成绩为： 方法1 ：雪一；( j 尹+ 霹+ + 霹卜) ；崧“一妻加：1 厨m + n ? 厨1 ) 一) 方法2 ；霹，一三( 霹+ x o + x 。0 1 ) ) 一癣“一；( 厨1 ) + + 犀巾) ( 2 ) 当a o ) ，b o ) _ c 忡司臼m 。c ( 1 ) ，口m 或冯一c o ) 一彳时， 当月( 1 ) ：口( 1 ) c ( 1 时，此时考生的修正成绩为： 方法l ：叠圭鲫+ j ；霹，一警妒 方法2 ：蠢1 ) ；圭( 蠢。，+ 霹+ ) 一蠢“一主霹1 ) + 当4 ( 1 ) = c ( 1 ) _ b ( 1 时，此时考生的修正成绩为： 方法1 ：j = 丢口p + 曩1 卜) 一矗”一尝厨1 卜 方法2 ：蜀1 ) = 吾( 蠢。) + 崧1 卜) = 鄙一言厨1 卜 当口) ；c ( 1 ) # 爿f 1 时，此时考生的修正成绩为： 方法1 ：雪耻丢( 碧卜叠一一j 卜去( n ：”霹1 1 + + n 尹贾一 方法2 ：j = 丢( 戈p + 曩1 卜) ；碧一圭( 霹m + 霹1 ) - ) 硕士学位论文 m a s t e r st h e s i s ( 3 ) 当月( 1 ) - 口( 1 且b ( 1 ) ，c 1 且4 ( 1 l c ( 1 时，此时考生的修正成绩为： 方法l ：霹，。癍m 一( 坚厨m + 坚霹聃) 方法2 ：础。毫“一圆1 + + 冠驴) 这样就完成了对非倾向性系统偏差的测试员所有原始评分的修正工作。 2 2 2 对经验原始评分的初次修正方法进行检验 这种修正方法是否有效呢? 首先，我们来对比一下：非倾向性系统偏差的测试 员经验原始评分的修正方法产生的修正评分所带来的修正等级和真实成绩所带来 真实等级。下面，我们以4 5 号测试员为例来研究对其经验原始评分的修正： 表1 ：对4 5 号测试员评分的初次修正 分 7 7 9 28 1 0 58 3 6 68 9 39 3 5 59 7 4 3 真实 数误差平 成绩 等三级二级二级二级一级一级 方和 级甲等乙等乙等甲等乙等 甲等 分 8 0 57 78 2 68 9 59 0 59 4 2 经验 数 原始 等二级三级二级二级 二级 一级 4 3 9 6 级乙等甲等乙等甲等 甲等 乙等 评分 误 + 2 5 84 0 5一1 0 6 + 0 2 3 0 53 2 3 差 分 7 9 1 17 9 8 58 5 4 58 8 1 l9 3 3 59 7 0 5 经验 数 修正 等三级三级二级二级一级一级 7 6 6 级 甲等 甲等 乙等甲等 乙等甲等 评分 误 + 1 1 9一i 2+ 1 7 9一1 1 9 0 2 一o 3 8 差 见表l ，我们通过用非倾向性系统偏差的测试员经验原始评分的修讵方法对4 5 9 硕士学位论文 m a s t er s t h e s i s 号测试员的评分进行首次修正，从表1 中可知，原始评分对六位考生进行了四次误 判，而用非倾向性系统偏差的测试员经验原始评分的修正方法对4 5 号测试员的评 分修正后出现误判只有一次，首次修正后的评分与原始评分相比，真实性明显提高 了，这种方法的使用对提高我们普通话水平测试的质量有明显的效果。 另外，我们也可以从误差平方和来分析，原始评分的误差平方和是4 3 9 6 ，而 修正评分的是7 6 6 ，误差平方和是衡量整体评分与真实成绩差异的指标，其值越小 说明整体评分越靠近真实性，从两者的误差平方和可以看出：修正评分整体明显更 靠近真实性，所以，我们对原始评分傲这样的修正是有效的、可行的。 2 2 3 对原始评分进行多次修正的方法 通过对原始评分做首次修正后，还有误判的情况存在，那么，通过什么方法可 以进而减少这种误判次数呢。下面，我们介绍一种误差循环算法，通过这种方法可 以减少误判次数，实现修正评分更接近真实性。 误差循环算法如下： d 驴“x 一x it x - x i d p 一一x 一x it x - x t t 霉2 ；刍魏2 卜 。( 2 ) - f f i 击芝竺矿 有两种方法产生第二次经验修正评分： 方法1 ：x j 2 t 工一旦墨石2 卜( z 一x ，苫o ) n 。 x ：n 一兰墨i 2 卜( x ：”一z ，。o ) n 。 方法z ：石。 妻茹：享三： ；雾：妻：； 有两种方法产生第二次修正评分： 1 0 硕士学位论文 h l 蟠t e r st h e s i s 方法1 ：j 1 2 = j 一生兰石2 卜( j ：”一耍，：o ) r i j 黟譬万2 ) ( j 抄j ，。o ) 。 n 。 方法z ：j f 委；：要三： 霎；：委：； 第二次通过经验修正正误差平均值对原始评分迸行修正所得修正分数： 方法1 ：毫2 ，+ t 印一譬霹2 卜方法2 ：毫2 ) + t 商”一冒m 第二次通过经验修正负误差平均值对原始评分进行修正所得修正分数： 方法l ：毫习一霹，一- - 等稚i 卜 方法2 ：弩一一癣”一霹2 卜 设：巅u 对应的等级为：彳； 定2 + 对应的等级为：b 2 ； 宠2 对应的等级为：c 2 ； 讨论：( 1 ) 当爿( 2 】；曰( 2 ) 一c 1 2 时，此时考生的修正成绩为： 方法1 ：萱j 2 ) = ；( 露：1 ) + 蠢2 ) + + j p ) t 露”一去o ：封霹2 ) + + n 1 2 霹2 ) 一) 方法2 ：譬卜；( j 乳膏+ j ；重卜；( 矽+ 矿) ( 2 ) 当彳( 2 ) l 口( 2 ) 乒c ( 2 或爿( 2 ，暑c ( 2 ，乒曰( 2 或口( 2 - c ( 2 一彳( 2 时， 当4 ( 2 ) ；曰1 2 一c ( 2 时，此时考生的修正成绩为： 方法l ：岩弘三( 毫1 ，+ 膏一j 卜着r l ( 2 ) 妒 方法2 ：硝2 ) 一言( 毫1 ) + 蜀2 卜) = 霹一三霹2 ) + 当爿( 2 ) ；c 2 一日2 时，此时考生的修正成绩为 硕士学位论文 m a s t e r st h e s i s 方法1 ：毫2 ，- 丢( 崧1 ，+ j p ) 一j 尹一鲁厨2 卜 方法2 ：雪；2 ) 一三( 蜀1 ) + j 尹) = 毫”一三厨2 卜 当口( 2 j 。c 1 2 ) _ 爿( 2 时，此时考生的修正成绩为： 方法1 ：宠2 方法2 ：巅2 = 三( 萱p + 崧2 卜) 一j 一去( n j 2 霹2 ) + + n ? 厨2 卜) t 三( 雇夸+ 扁2 卜) ；崧“一三( 厨2 ) + + 厨2 ) - ) ( 3 ) 当爿( 2 ) ，曰( 2 且8 ( 2 ) - c 2 且一( 2 ) ，c 2 时，此时考生的修正成绩为： 方龇譬5 2 ) i 印一( 等( 2 ) 妒- - + 等矿) 、 方法2 ：癣2 - 霹一( 厨2 卜+ 霹2 卜) 给出误差循环计算递推公式为： 管“卜；砖“一z “”一；磷- x ， ( 耐“- x ，苫o ) ( 斟“一z c0 ) 矿卜= 毒芝：秘枷+ 卜。方磐妙 c 其”1 ) + 虬n ， 有两种方法产生第k + 1 次经验修正评分： f x 一 方法l ：z = lx 一 l 坐兰f m ( 其中k = o ，1 ，2 ，) 1 2 ( x y x ，o ) ( x 一工，co ) “ 一置 。竿 硕士学位论文 m a s t e r s t h e s i s 方法z ：j ：“1 ) 2 妻荽：要：二荽：； ( 其中k = 0 。1 ，2 ，) 有两种方法产生第k + 1 次修正评分： 方法1 ：膏”一 膏一型i + 1 ) + ( 萱一譬，乏o ) n 。 卫卜华i m 小( j 牡j ，。o ) 厅 。 ( 其中k = o ，1 ，2 ，) ( j 一膏j = o ) ( j 一j ，co ) 第k + 1 次通过经验修正正误差平均值对原始评分进行修正所得修正分数： 方法l ：霹哪= 霹，一竿厨忡 方法2 ：露+ 咖一群，一癣“，+ 第k + 1 次通过经验修正负误差平均值对原始评分迸行修正所得修正分数 方法1 ：毫“卜= 赢“一竿霹“卜方法2 ：露椰一；扁“一霹一 设：j 对应的等级为：4 “； j 攀哪+ 对应的等级为：暑即1 ； 宠“1 卜对应的等级为：c “1 ； 讨论：( 1 ) 当a ”“= b ”一c ”时，此时考生的修正成绩为： 方法l ： 碟哪一；( 群+ 碟哪+ + 群哪- ) = 矽一去“冒啡+ 谬哪露竹) 方法2 ：蜀+ 1 ) ；：( 矽+ 砖州+ + 霹“卜) ；硝_ j 圆+ + 鄙枷一) ( 2 ) 当一( “1 ) 暑丑( t + 1 ) 一c ( i “i 9 扫耻+ 1 ) = c 件+ 1 ；，b ( i + 1 或b f + 1 ) = c 件+ 1 ) 一爿( t + 1 时， h “ 0 f 一 一 2 件口仆# h xx ，r、【0 。 肛 枷 中 甜 漠 2 法方 当一( “) 。口( “) c ( “时，此时考生的修正成绩为： 方龇妒。丢嘟，+ 妒+ ) - 露，一警开圳+ 方法2 ：霹+ n 。丢( 霹，+ 露棚+ ) 一霹，一吾霹“卜 当4 ( “) 。c ( “) b 时，此时考生的修正成绩为： 方法1 ：霹枷一三( 霹，+ 矗“卜) 一霹一等鄙廿 方法2 ：j ，寻( 嚣，+ j p 一) 一霹，一丢墨“卜 当b k “，c ( k “) - a c k “) 时，此时考生的修正成绩为： 方法1 ：帮+ 1 = ；( 砰州+ + 霹棚) i 霹一去( 硝哪厨“) + + n 零仆) 方法2 ：重p = 三噼咖+ 霹+ 耻) 群一三( ) + + ) - ) ( 3 ) 当a 0 + 1 ) 曰( 且口( ) c ( “且+ 1 ) ，c “1 时，此时考生的修正成绩为： 方龇妒卅一举p + 竿秽一) 方法2 ：萱萝+ ”= 叠萝一( j r “卜+ 厨“驴) 2 2 4 循环误差算法停止法则的制定 循环停止法则：以第f 个测试员为标准规定其循环停止法则为： ( 1 ) 若当七。n o n ( n 为循环变量k 的最终循环上限) 时，有 4 ( ) 。曰( m ) 。c ( “) 或者a ( o + 1 ) ；b ( x o + 1 ) 一c ( “ ，则终止循环，此时循环变 量是的取值范围为：1 a k s n o ，最终修正的等级按照露一0 时来确定。 ( 2 )若当1 七s n 时，都有爿( “) ，曰( “和c ( “1 不全相等，此时循环变量k 的取值 范围为：1 s ks n 。最终修正的等级按照k = n 时来确定。 1 4 硕士学位论文 m a s t e r st h e s i s ( 3 ) 循环变量七的最终循环上限n 的制定，一般取n ；1 0 0 即可，主要由中心极 限定理作保证，同时，在n 一1 0 0 以后所带来的等级差异也基本消除了。 ( 4 ) 误差循环算法收敛的理论论证。 由误差循环算法的过程结合中心极限定理可知： 误差平方和：砰一啊i 。( 雹“一x ，) 2 一o ( 七一+ m ) 经验修正系数：x - - i k * 1 ) 詈：。蚓“一x ，) j l 型一( o ，1 ) 所以，按照方法1 和方法2 对经验原始评分的修正评分的极限： 方法1 ： l i r a l i m x ：枷一竿+ 卜舰研_ ( 正误差对应的经验真实成绩) 一l i r a l i m ， x i 1 小竿秽q 一卜一l i r a 。x i ，噬 ( 负误差对应的经验真实成绩) 方法2 ： l i m l i m 。 x ! ，小- - f ( “1 + 】；l i m 墨。x ， m ，。 ( 正误差对应的经验真实成绩) 照j 1 恐【砖卜一秽“卜】；l i r a 巧。x f m + 。y j ( 负误差对应的经验真实成绩) 按照方法l 和方法2 对原始评分的修正评分的极限： 方法1 ： 熙剿露卜一坐n 轳聃】；舰磊， ( 正误差对应的真实成绩) ， l i ml i m x ，。卜一竿i ；“) - 】= l i r a ) 弓一t ( 负误差对应的真实成绩) 方法2 硕士学位论文 m a s t er ，s t h e s i s 体， l i m l i r a + 。 叠- ，( 卜一秽- - ( 1 ) + 】i l i m2 i ，：_ 一卫， ( 正误差对应的真实成绩) 舰熙瞄卜吼- - ( “”一】一。l i m 。k ，一j ， 一。 ( 负误差对应的真实成绩) 又因为霹“卜和硝“卜与摩“1 卜和霸“一都可以近似认为来自同一考生总 所以：毫“m 近似服从磴“+ 所服从的总体分布， 。露“+ 1 赢r 露1 ；广j ，： 鄙“一近似服从砰“卜所服从的总体分布 帮“卜1 赢，易1 = 矿j ，。 2 2 5 对经验原始评分的多次修正方法进行检验 通过运用误差循环算法，我们对4 5 号测试员的经验原始评分进行了三次循环修 正评分，经过修正后的评分如下表2 。 表2 ：对4 5 号测试员评分的再次修正 真实 分 7 7 9 28 1 0 58 3 6 68 9 39 3 5 59 7 4 3误差 成绩 数 平方 等三级二级二级二级一级一级 x i 和 级甲等 乙等 乙等甲等 乙等 甲等 分 8 0 57 78 2 68 9 59 0 59 4 2 经验 数 原始 等二级三级二级二级二级一级 评分 4 3 9 6 级乙等甲等乙等甲等甲等乙等 x ：误 差 + 2 5 84 0 51 0 6+ 0 2 0一3 0 53 2 3 1 6 硕士学位论文 m a s t e r s t h e s i s 分 7 9 1 l7 9 8 58 5 4 58 8 1 19 3 3 59 7 0 5 修正 数 评分l 等三级三级二级二级一级一级 7 6 6 级甲等甲等乙等甲等乙等甲等 z ? 误 + 1 1 91 2 0+ 1 7 9- 1 1 90 2 0o 3 8 差 分 7 7 6 28 0 5 98 3 9 68 8 。8 59 4 0 99 7 7 9 修正 数 评分2 等三级二级二级二级一级一级 l - 0 2 级甲等 乙等乙等甲等乙等 甲等 j j ! ；2 误 差 一o 3 0o 4 6+ 0 3 0o 4 5+ o 5 4+ 0 3 6 分 7 8 0 28 0 9 98 3 5 68 9 2 59 3 6 99 7 3 9 修正 数 评分3 等三级二级二级二级一级一级 o 0 5 级 甲等 乙等乙等甲等乙等甲等 石_ ；| 3 ) 误 + 0 1 0o 0 6一o 1 00 0 5+ 0 1 40 0 4 差 通过表2 我们可知：原始评分中有四位考生出现了等级误判，分别是考生一、 考生二、考生五、考生六，通过首次评分修正后，只出现了一次等级误判，是考生 二，而通过第二次、第三次评分修正后，没有出现等级误判，而且，修正评分很接 近真实成绩。另外。我们可以从误差平方和来分析这种修正的合理性，原始评分、 修正评分l 、修正评分2 、修正评分3 的误差平方和分别为：4 3 9 6 、7 6 6 、1 0 2 、 0 0 5 ，呈递减趋势，我们知道误差平方和是衡量修正评分与真实成绩的整体差异大 小的一个指标，从这四个数的大小可以看出，修正评分随修正次数的增加而越来越 接近真实成绩。所以，我们做这种修正是合理的、科学的。 硕士学位论文 m a s t er st h e s i s 3 两种修正方法的比较 下面，我们对倾向性系统偏差的测试员经验原始评分的修正方法和非倾向性系 统偏差的测试员经验原始评分的修正方法这两种方法进行比较。 3 1 两种方法的初次修正分数比较 表3 ：对4 5 号测试员评分的两种修正方法的比较表 真实 分数 7 7 9 28 1 0 58 3 6 68 9 39 3 5 59 7 4 3误差 三级二级二级二级一级一级 皿 成绩等级 甲等乙等乙等乙等乙等甲等方和 分数 8 0 57 78 2 6 8 9 5 9 0 59 4 2 经验原= 级三级二级二级二级一级 始评分 等级 4 3 9 6 乙等甲等 乙等 甲等 甲等 乙等 误差 + 2 5 8 4 0 5 1 0 6+ o 23 0 53 2 3 修正评 分数 7 9 1 17 9 8 58 5 4 58 8 1 19 3 3 59 7 0 5 分( 方法等级 三级三级二级二级一级一级 7 6 6 一) 甲等甲等乙等甲等乙等甲等 误差 + 1 1 9一1 2+ 1 7 9 1 1 9 0 2 一o 3 8 修正评 分数 8 】9 47 8 ，4 48 4 0 49 0 4 49 1 9 49 5 6 4 分( 方法等级 二级三级二级二级二级一级 3 0 2 1 二) 乙等甲等 乙等 甲等甲等乙等 误差 + 4 0 2 2 6 1 + o 3 8 + 1 1 41 6 l- 1 7 9 ( 方法一：非倾向性系统偏差的测试员原始评分的修正方法； 方法二：倾向性系统偏差的测试员原始评分的修正方法。) 通过表3 ，我们可以清楚地看出：用非倾向性系统偏差的测试员原始评分的修 正方法对4 5 号测试员经验原始评分进行修正，修正后的评分只出现了一次等级误 判，而用倾向性系统偏差的测试员原始评分的修正方法对4 5 号测试员评分进行修 正，修正后的评分却出现了四次等级误判，误判次数明显增多。另外，我们从方法 一和方法二的误差平方和来比较：方法一、方法二的误差平方和分别为：7 6 6 、 1 8 硕士学位论文 m a s t er s t h e s i s 3 0 2 1 ，显然，方法二与真实成绩的整体差鼻比方法一要大很多。所以，对非倾向 性系统偏差的测试员，我们只能用方法一，而不能用方法二，这样可以提高等级判 别的准确性。 3 2 两种方法多次修正评分的比较 表4 ：对4 4 号测试员评分的两种修正方法的比较表 真实 分数 7 7 9 28 1 0 58 3 6 68 9 39 3 。5 59 7 4 3 误差平 三级二级二级二级一级一级 成绩 等级方和 甲等乙等乙等乙等乙等甲等 分数 7 5 17 7 88 2 28 6 29 2 79 5 7 经验原三级三级二级二级一级一级 始评分 等级 3 3 9 7 甲等甲等乙等甲等乙等乙等 误差 一2 8 2 3 2 5 1 4 63 1 00 8 5一1 7 3 分数 7 7 38 0 o8 4 18 8 49 4 99 7 9 修正评分 等级 三级二级二级：级一级一级 4 8 9 ( 方法一)甲等乙等乙等甲等乙等甲等 误差 一o 6 2 1 0 5 + 0 7 40 9 0 + 1 3 5 + o 4 7 分数 7 7 38 0 o8 4 18 8 49 4 99 7 9 修正评分1三级二级二级二级一级一级 ( 方法二) 等级 4 8 9 甲等乙等乙等甲等乙等甲等 误差 一o 6 2 一1 0 5+ o 7 4 一o 9 0 + 1 3 5 + o 4 7 分数 7 8 1 68 0 8 68 3 2 58 9 2 69 4 0 5 9 7 0 5 修正评分2三级二级二级二级一级一级 ( 方法二) 等级 o 6 6 甲等乙等乙等甲等乙等甲等 误差 + 0 2 4一o 1 9一o 4 10 0 4+ o 5一o 3 8 ( 方法一：有倾向性系统偏差的测试员原始评分的修正方法； 方法二：非倾向性系统偏差的测试员原始评分的修正方法。) 通过表4 ，我们可以清楚地看出：用倾向性系统偏差的测试员原始评分的修正 方法对4 4 号测试员评分进行修正，修正后的评分只出现了一次等级误判，而用非 倾向性系统偏差的测试员原始评分的修正方法对4 4 号测试员评分进行修正，修讵 1 9 后的评分也只出现了一次等级误判。所以，对倾向性系统偏差的测试员，我们既可 以用方法一，也可以用方法二，用方法二进行再次修正可以使修正评分与真实成绩 更接近，使等级判别得更准确。 2 0 硕士学位论文 m a s t e r s t h e s i s 4 对非倾向性系统偏差的测试员原始评分的修正和检验 4 1 对4 5 号测试员原始评分的取样 有文献 1 得出的结论可以知道，4 5 号测试员是非倾向性系统偏差的测试员， 我们从4 5 号测试员测试过的考生中选取五位考生的原始数据如下： i 真实成绩 8 8 0 39 4 6 08 5 0 37 6 1 39 3 8 0 l 原始评分 8 7 0 09 3 7 0 8 5 1 07 6 3 09 2 7 0 l 4 2 给出4 5 号测试员的循环经验修正系数 下面，我们利用误差循环算法对4 5 号测试员的原始评分( 毫) 进行修正，其 中，我们要用到4 5 号的循环经验修正系数，在循环经验修正系数中，有两个修正 f + l i 系数：正的循环经验修正系数( l 霹“1 卜或霹“1 卜) 和负的循环经验修正系数 n 。冲n ( 兰l j p “) 一或厨一) ，下面，我们根据表5 给出4 5 号测试员的循环经验修正 甩 系数，见下列表5 。 表5 ：4 5 号测试员的循环经验修正系数表： 循环次数 第一次 第二次第三次第四次 修正系数 ( k - 0 )( k ：1 )( k 一2 ) ( k