多选题作弊雷同判定标准的常模研究

多选题作弊雷同判定标准的常模研究赵世明张颖(作者简介：赵世明，博士，卫生部国家医学考试中心研究统计处；张颖，助理研究员，卫生部国家医学考试中心研究统计处。北京，100044)摘要：本文以全国医学博士生英语入学考试和医师资格考试为例，探讨了四选项选择题和五选项选择题作弊雷同判断标准的常模问题。通过随机抽取无作弊可能的正常考生样本，推论正常考生总体的平均错同率水平，为四选项和五选项单项选择题建立了作弊雷同的判断标准常模。当两个考生的双向错同率在统计学意义上显著高于正常考场平均水平，而且具备作弊的客观条件时，考试机构可以认定其存在作弊行为。研究结果对于无直接证据下的多选题作弊判定具有参考和应用价值。关键词：作弊雷同错同率估计一、问题的提出以往研究表明，在不存在作弊行为的正常考试情况下，考场内所有考生之间的平均错同率水平保持相对稳定[1][2]。平均错同率的稳定性不受分数水平、考场规模、选项个数和试题样本的影响，接近题目选项的随机选择率，四选项选择题的平均错同率接近0.25，五选项选择题的平均错同率接近0.20。如果两个考生的错同率明显高于正常考生的平均错同率，我们有理由怀疑其存在抄袭作弊的嫌疑。错同率是可能判断作弊雷同的有效指标。研究还发现，较高的单项错同率可能是随机因素造成的，只有双向错同率都较高，才能推断作弊雷同。所谓错同率是指A考生和B考生都答错且选项相同的题目数占各自答错题目总数的比例。A考生和B考生都答错且选项相同的题目数占A考生答错题目总数的比例称为错同率A，A考生和B考生都答错且选项相同的题目数占B考生答错题目总数的比例称为错同率B。二考生之间的错同率A和错同率B称为双向错同率。如果错同率为正态分布的话，判定作弊的依据应该是双向错同率在统计学意义上明显高于正常考试情况下的平均错同率。错同率达到多少时我们才可以认为其明显高于正常或平均水平呢？也就是说，需建立正常考试情况下错同率的平均水平或常模。一般来讲，我们可以从以下途径建立所谓“正常水平”。一是选择存在作弊嫌疑考生所在的考场；二是随机选择任一独立考场；三是随机选取常规考场人数的考生；四是随机选取任意数量的考生。首先，正常考试状态应该排除潜在的作弊可能性。其次，所谓“正常水平”应该是总体正常水平，而非某个考场的正常水平。再有，常模的应用和解释对象应该是常规考场，尽管有研究已经证明，非常规考场的平均错同率水平与常规考场并无差异，考生样本量大小对平均错同率分布不构成影响，不同样本量的各组样本平均错同率水平都接近选项的随机选择率。但是考试情境中面对更多的是常规考场。因此，我们随机选取常规考场人数的考生样本来估计并建立错同率的总体平均水平或常模。二、研究对象与方法(一)研究对象1．四选项选择题：（1）试题：2001年全国医学博士生英语入学考试(简称FATMD考试)的75道四选项单项选择题。（2）被试：采取自编的计算机程序从全体考生中抽取30人，保证这些考生分布在不同考场(无作弊可能)。2．五选项选择题：（1）试题：2001年医师资格考试(简称CNMLE考试)临床专业综合笔试基础科目l60道五选项单项选择题。（2）被试：采取自编的计算机程序从全体考生中抽取30人，保证这些考生分布在不同考场（无作弊可能）。(二)研究方法错同率的计算：对考生的作答情况进行两两比较，即每次从考生中任取2名不同的考生进行比较，得到相应的错同率。设考生量为n，两两比较的次数公式为：30名考生两两比较的次数为435次。随机选取常规考场人数的考生样本来估计并建立平均错同率的总体平均水平或常模，实际上是由随机样本的平均错同率推论总体的平均错同率。而判定是否存在作弊雷同，需要对特定考生的错同率与总体平均水平做出比较，并根据错同率这一随机变量的分布规律，做出统计推断。因此，我们需要解决平均错同率的总体估计和随机样本的错同率分布这两个问题。三、结果与讨论(一)随机样本错同率的分布可以推断，在随机抽取的正常常规考场中，错同率是围绕平均错同率上下波动的，应该符合正态分布规律。我们随机抽取的20个常规考场，以0.05为组距统计错同率次数分布。K—S检验表明，所有随机样本的错同率都呈正态分布。以下给出了四选项选择题随机样本错同率正态分布的K—S检验结果。表120个随机样本错同率正态分布的K—S检验(二)由样本平均错同率估计总体平均错同率样本统计量的总体估计结果应该与所选随机样本有直接关系。为四选项和五选项选择题分别随机抽取一个常规考场样本，这个样本应该对总体具有很好的代表性，其样本统计量与20个随机样本的平均值较为接近。四选项20个随机样本的错同率平均值为0.2444(A)／0.2457(B)，五选项20个随机样本的错同率平均值为0.2178(A)／0.2176(B)。所选四选项随机样本错同率A的平均值为0.2488，标准差为0.1018；错同率8的平均值为0.2502，标准差为0.1168。五选项随机样本错同率A的平均值为0.2168，标准差为0.0731；错同率8的平均值为0.2197，标准差为0.0752。由于总体方差未知，样本统计量平均错同率属于t分布。因此我们需利用样本平均错同率对总体平均错同率进行区间估计。以四选项错同率A为例，30名考生两两比较的次数为435次，即样本量n为435，样本统计量如前所示。推论总体平均值µ，标准差δ，由于总体方差未知，所以总体平均值和标准差分布的标准误分别为：由于样本容量足够大，总体统计量近似正态分布。如果设置信区间为.999，查表得Z.001/2=3.29，四选项错同率A的总体平均值和标准差的置信区间为：0.2488-3.29×0.00489<µ<0.2488+3.29×0.0046980.2327<µ<0.26500.1018-3.29×0.00345<δ<0.1018+3.29×0.003450.0904<δ<0.1132同理，各类错同率总体统计量的置信区间如表2所示：表2错同率总体统计量.999置信区间由此我们解决了错同率总体平均值和标准差的估计问题。以上数据表明，在随机抽取的任意一个正常考场中，四选项选择题的平均错同率最大不超过0.27，标准差最大不超过0.13；五选项选择题的平均错同率最大不超过0.24，标准差最大不超过0.09。做此推论的正确概率为99.95％(单侧上限)，错误概率为0.05%(0.1%／2)。我们随机抽取的20个常规考场的样本统计量全都符合这一估计。值得注意的是，五选项错同率的总体平均值分布在0.2053～0.2316之间，最低估计也在选项随机选择率0.20之上。这在以往研究和观察中也有发现，多数随机样本的平均错同率略高于选项随机选择率。为了考察错同率A与错同率8可能存在的差异或不同，我们在统计过程中分别估计了错同率A与错同率8的总体统计量。实际从总体上看，正常考试状态下错同率是随机分布的，两两比较形成的错同率A与错同率B是彼此对称的，以上统计数据也表明了这一点。因此在判断作弊雷同的具体问题时，错同率A与错同率B应该使用同一标准。(三)作弊雷同的推论和判定我们已知道错同率为正态分布，对常规考场错同率的总体统计量也进行了估计。这为作弊雷同的比较和判断提供了判定标准。如果发现某考生与其他考生的错同率异常偏高，考虑到要尽可能提高做出正确判断的概率，减小错误概率，固然不能以本考场的平均错同率为标准，也不能以随机考场的平均错同率为标准。由于我们研究的是作弊雷同可能造成的高错同率问题，判定标准应该是错同率总体平均估计的上限。其含义在于，任意随机抽取一个30人的正常常规考场，其平均错同率不会超过0.27(四选项)／0.24(五选项)，标准差不会超过0.13(四选项)／0.09(五选项)。我们将此上限作为参照标准。以四选项为例，同样选择.999的置信区间，随机变量错同率的上限估计应该为：0.27+3.29×0.13=0.70。这意味着，在不存在作弊行为的正常考试情况下，随机抽取的错同率不会超过0.699，做此推论的正确概率为99.9％。考虑到总体统计量的估计概率，实际上做此推论的正确概率为99.8％(.999×.999)。同理，五选项错同率的上限估计应为：0.24+3.29X0.09=0.54。(四)判定标准的双向原则由于错同率是一种随机变量，错同率A或错同率B有可能出现单调异常偏高。在分析判断作弊雷同的具体案例时，要特别注意错同率的对称性。因为作弊雷同也是相对存在的。必须是错同率A和错同率B同时出现异常偏高，即在统计学意义上同时显著高于错同率分布的正常水平，才可以认定存在作弊嫌疑。有关数据在以往研究中已有说明[2]。四、结论研究表明，作为随机变量的错同率属于正态分布。在无作弊行为的正常常规考场情况下，四选项选择题错同率平均值的高限估计为0.27，错同率的高限估计为0.70；五选项选择题错同率平均值的高限估计