××市××区英语测验分数双峰分布成因诊断研究报告.doc

市区测验数据分析成果之一英语测验分数双峰分布成因诊断研究报告中国教研网教研管理评价研究部北京京外维佳信息技术有限公司2013年9月目 录一、问题的提出3二、研究学科成绩分布形态对测验的重要意义3三、九年级三个学年分数分布状态的描述和分析31、分数分布状态描述和分析的方法32、九年级三个学年的“正态分布检验图”33、九年级分数分布状态变化的分析4四、八年级包含试题小分数据的详细分析61、与七年级“正态分布检验图”的对比62、试题难度分布梯度的分析方法63、从试题难度指数分布图分析异常试题的影响84、淘汰或改进异常试题可以显著提高测验信度105、学生应答倾向异常与双峰分布成因的研究11五、结束语12一、问题的提出从市区的多次质量监测的数据分析可以看出，英语学科测验分数频率分布较多地呈现出异常的“双峰分布”的形态，详细探究这种异常形态产生的原因，分析其带来的不利影响，制定改进测验命题和教学活动的措施，无疑是十分必要的。报告以详实的数据、科学的方法、不同的角度做出分析结果。报告深入每个试题，甚至到学校、班级，对基层学生的应答状况进行分析，为测验命题和教学过程的精细化评价提供了丰富的范例。报告可供本区教育局领导、教研员和教学干部参考。根据对用户数据进行保密的严格要求，真实的学校名称全部被隐去，换成101中学160中学等。二、研究学科成绩分布形态对测验的重要意义研究证实自然人群中个体智力分布特征，为处于中等智力附近的个体数量较多，并在分布图上呈现一高峰，由中间向两端数量逐渐减少，形成类似钟形的分布曲线，它符合统计学上的“正态分布”。学生学习成绩的分布通常也呈正态分布。当测验成绩分布接近正态分布时，测量效果符合自然分布规律，因此认为测验比较成功，试题质量较好。研究学生总体成绩分布可以对测验质量进行定性的评价：（1）正态分布。说明测试结果与学生的实际情况一致，各种难度的试题比例合理。可以最大限度地把成绩不同程度的学生区别开，有利于甄别和选拔性的测验。（2）正偏态分布。说明试题难度偏高，难度较大的试题比例偏大。呈这种分布的试题有利于将成绩优秀的学生和中等程度的学生区别开，但不利于将中下等程度的学生和成绩较差的学生区别开，一般适用于高考、竞赛等甄别和选拔性的测验。（3）负偏态分布。说明试题难度偏低，难度较低的试题比例偏大。呈这种分布的试题有利于将成绩较差的学生和中等程度的学生区别开，但不利于将中上等程度的学生和成绩优秀的学生区别开，适用于选拔性的测验。（4）双峰型分布。如果从试题命题的角度进行分析，说明对于该批考生总体而言，试题可能存在两极分化现象，即难度偏高的和难度偏低的试题较多，而中等难度的试题偏少，试题难度的分布缺乏梯度，不够合理。呈双峰分布的试题可以区别中等程度的学生，但不利于区别出成绩优秀的学生和成绩较差的学生。测验结果呈双峰分布形态时，对于该批考生而言，测验的信度不高。如果从考生的状况进行分析，双峰分布的样本可能混合了来自具有两个明显差异层次的学生团体，需要根据本地区的实际情况进行分析判定。（5）平峰分布（矩形分布），而且标准差较大。反映了易、中、难三类试题的比例接近或说明学生水平之间的差异较大，呈这种分布的试题区别不同程度的学生的能力都很差，测验呈平峰分布形态时，对于该批考生而言，测验的信度不高。通常的单元、期中、期末和毕业测验等都属于合格水平测验，目的是考核学生是否达到预定的教学目标和要求。并不一定要求学生的分数呈现正态分布，反而希望学生成绩的分布能呈现负偏态分布。从学校教育目的的角度来看，合格水平测验是更具有普遍意义、更重要的学校测验。因此，学生测验成绩呈现负偏态分布时，说明教学恰恰是成功的教学，也说明了测验具有较高的信度。三、九年级三个学年分数分布状态的描述和分析1、分数分布状态描述和分析的方法对一个测验分数分布的状态的描述和分析，可采用“偏度、峰度检验”和“频率分布正态检验比较”的方法进行。偏度系数SK可以定量地描述一组数据分布曲线的偏斜程度，是反映试卷整体难度的定量指标之一。偏度系数：SK 0 正偏态分布，SK = 0 对称分布，SK 0 高狭峰分布，KU = 0 正态峰分布，KU 0 低阔峰分布。学业质量监测与评价系统QMAS中设计的“频率分布正态检验图”，通常是学科考试质量统计分析的重要内容。因为标准正态分布的形式固定，其分布频率与标准差的关系也固定。因此可将实际样本的频率分布曲线（红色）的曲线与相同平均分和标准差的标准正态曲线（绿色）相比较做出图形。QMAS软件可根据所选择的样板自动完成主要指标的计算、查表以及推断分析的全部过程。成绩分布正态检验的两种方法均可从该功能模块的窗口中显示输出，如下述主要指标和图形所示。2、九年级三个学年的“正态分布检验图”（1）2010级九年级第1学年末，2011年08月25日测验略显负偏态的“双峰分布” 测验人数：9327 平均分：62.99 变异系数：38.27 偏度：-0.240 负偏态 峰度：-1.230 低阔峰。（2）2010级九年级第2学年中，2012年01月09日测验近似为“平峰分布”测验人数：9416 平均分：56.26 变异系数：40.20 偏度：-0.010 负偏态 峰度：-1.190 正偏态 峰度：-1.370 低阔峰。3、九年级分数分布状态变化的分析九年级学生三个学年的英语测验，从全区的分数频率分布形态来看，整体分布都很不合理：A、全区平均分由62.99到56.26，再到55.14，逐年下降。B、高、低分数的学生得分离散程度逐渐变大，其变异系数由38.27到40.20，再到45.45，尤其以第3学年为甚。C、第1学年，偏度系数：-0.240，负偏态；第2学年，偏度系数：-0.010，转为正偏态。D、频率分布曲线基本都呈双峰分布，第1学年，略显负偏态的双峰分布；第2学年，近似为平峰分布；第3学年，显著的双峰分布。而且双峰的程度越来越显著，尤其以第3学年为甚。在上述问题中，A、B、C可以理解为正常的结果：随着教学目标深入，合理地控制了试卷总体难度，中、低分数段学生因此随之滑坡等。但上述问题之D则有必要进行详细的分析。（1）如果从试题命题角度进行分析，试题是否存在两极分化现象，即试题难度偏高和难度偏低的试题较多，而中等难度的试题偏少？试题难度的分布梯度是否不够合理？由于没有细化的试题分析数据支持作为证据，暂时还不能先行判定。（2）如果从考生状况进行分析，双峰分布的样本也可能混合了来自具有两个明显差异层次的学生团体，现根据本地区的实际情况进行分析。在2010级九年级2011年08月25日测验和2013年01月27日测验数据中，我们选取了“全区”、“第1类校、第2类校、乡镇学校、民办学校”和水平较高的“101中、102中”。学业质量监测与评价系统QMAS中设计的模块，可以任意选择若干学校（或班级）画出一张频率分布比较图。A、2010级九年级第1学年中，2011年08月25日测验英语常用指标与分数段表单位人数平均分标准差 变异系数标准分100分90-99分80-89分70-79分60-69分50-59分40-49分30-39分20-29分10-19分0-9分全区933762.9924.1138.27301571151011631074934948100093416112第1类校309768.4323.5234.370.2516695613450323252225234243442第2类校143858.5823.6940.44-0.160159204175174175173161176383乡镇学校383356.3922.1639.3-0.252271513453511473516570452675民办学校96978.2623.0329.430.7712446180856634343563122101中90673.6621.7629.540.475263209141805448505150102中82770.8222.0531.130.348183186130996346535090表中红色粗体标注的是处于低峰值处的人数。B、2010级九年级第3学年，2013年01月27日测验英语常用指标与分数段表单位人数平均分标准差 变异系数标准分100分90-99分80-89分70-79分60-69分50-59分40-49分30-39分20-29分10-19分0-9分全区982655.1425.0645.4579111421116199888410041244166951710第1类校330860.1425.4842.370.2334456084263442612793284651490第2类校151851.3123.9746.72-0.12187184169146141185223301810乡镇学校407149.3322.6145.85-0.201204284404494454926428082398民办学校92969.0326.4338.290.6232592011265937485195482宜二中96665.3824.1736.960.42115522313711271727191330宜八中90463.322437.910.34112217914310484717393340C、2010级九年级第1学年中，2011年08月25日测验英语分数频率分布比较图D、2010级九年级第3学年中，2013年01月27日测验英语分数频率分布比较图2010级九年级2011年08月25日和2013年01月27日测验两次分数频率分布的比较：A、从表中以及图中都可以看出，红色全区、黄色第1类校、绿色第2类、深红乡镇学校、紫色民办学校，第三学年双峰分布的程度越来越显著；其中，第2类和乡镇学校的滑坡略大。B、全区水平较高的绿色101中学、橙色102中学，相对稳定，第1次考试基本呈负偏态，第3次也只在20-29分分数段出现了一个很小的峰值。点评：2013年01月27日测验显著双峰分布的产生，显然不能排除总体中包括了来自不同层次学生团体，而且的确存在低分数段滑坡的状况；但是，基于上述B点的思考，也可以说，对于全区考生总体而言，试题还是存在一定的两极分化现象，即难度偏高的和难度偏低的试题偏多，而中等难度的试题疑似偏少，试题难度的分布缺乏合理的梯度。因此，改进命题工作，并探究可能影响难度分布的其他因素，努力提高测验的信度，是完全必要的。四、八年级包含试题小分数据的详细分析1、与七年级“正态分布检验图”的对比 （1）2012级七年级第1学年，2013年06月测验低分数段尾部略大的“负偏态分布” 测验人数：10114 平均分：57.56 标准差：23.27 变异系数：40.26偏度：-0.390 负偏态 峰度：-0.880 低阔峰。点评：七年级“正态分布检验图”分析数据说明，本地区英语测验的分数频率分布并非都是“双峰分布”。（2）2012级八年级第2学年， 2013年06月测验略显负偏态的“双峰分布” 测验人数：10504 平均分：55.57 标准差：22.71变异系数：40.88 偏度：-0.040 负偏态 峰度：-1.260.60把2012级八年级2013年06月测验的试题指标汇总表的数据代入公式，计算出：难度分布率P ( x ) = 0.33 ，约折合73分，评价等级仅仅为“及格”。说明试题难易程度分布不尽合理，有需要改进的空间。3、从试题难度指数分布图分析异常试题的影响在试题难度指数分布图中，以考生学科考试得分为横坐标，相应人群的得分率为纵座标，可得到难度分布曲线（红色）。图中绿色直线表示所有试题得分率的平均值，可以作为难度分布分析的参考基准线。试题难度指数分布图对试题命题以及学生应答状况具有很好的分析与诊断作用。学业质量监测与评价系统QMAS中设计的试题难度指数分布图模块，可以十分方便地做出分析图形。从区分度较低试题的难度指数分布图中，分析学生应答状况，需找那些导致双峰分布产生低峰（本区主要为2035分数段）的异常试题，将对双峰分布的成因做出有力地佐证。例如T60题，在学科考试65得分值以下低于参考基准线，在65得分值以上高于参考基准线；整个曲线斜率稳定平滑，说明该题对全体学生都具有良好的区分能力。在5080处分数段曲线斜率最大，对该段学生的区分能力最强。例如区分度为负值的T43题，难度：0.206，区分度：-0.177。高分数段学生的得分率反而低于低分数段，对所有的学生都没有区分能力。在2535分数段出现异常的高得分率；该题区分度为负值，属于必须淘汰的试题。例如T14题，难度：0.190，区分度：0.024。该题只对85100分数段的学生有正常的区分能力；对2580分数段的学生不具备正常的区分能力；在2535分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如T20题，难度：0.345，区分度：0.040。该题只对80100分数段的学生有正常的区分能力；对3080分数段的学生不具备正常的区分能力；在2540分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如T15题，难度：0.318，区分度：0.060。该题只对80100分数段的学生有正常的区分能力；对2580分数段的学生不具备正常的区分能力；在2535分数段出现异常的高得分率；该题区分度 0.19，属于“劣，必须淘汰或改进以提高区分度”的的试题。例如T18题，难度：0.307，区分度：0.287。该题只对65100分数段的学生有正常的区分能力；对3065分数段的学生不具备正常的区分能力；在2535分数段出现异常的高得分率；该题区分度在0.2 0.29区间，属于“尚可，用时需作改进”的试题。点评：区分度异常的T43、T14、T20、T15、T21等5个题，以及区分度较低的T50、T18等2题都在在2535分数段出现异常的高得分率，无疑是双峰分布形成的重要因素之一。4、淘汰或改进异常试题可以显著提高测验信度 测验的信度则是指测验结果的可靠程度，是考试分析最重要的指标。教育考试中信度是指不同次实施的相同或等值考试产生的一致性。但实际操作中，很难取得“复本信度”和“再测信度”的数值，多数以单一考试测试结果估计其信度，即直接分析出考试的分半信度，或估计若干试题的内在一致性信度（同质性信度）。淘汰或改进那些因区分度低、导致产生双峰分布的异常试题，可以显著提高测验信度，也可以消除导致双峰分布产生低峰的因素。学业质量监测与评价系统QMAS中设计的模块可以十分方便地进行内在一致性信度信度的计算。例如：我们可以选取若干试题，估计它们的内在一致性信度，并可以从量表中删除某道试题后，研究信度变化，来测试该题与其他试题的相关的程度，甚至可能诊断出某试题存在的问题。在2013年06月测验试卷中，选择第1,45题（选择题，满分值均为1分），估计内在一致性信度的计算值为：0.9169和0.9057。当我们有意识地剔除区分度异常的T43、T14、T20、T15、T21等5个题，改换第6165题（保持试题数量不变，且同是选择题，满分值均为1分）之后，内在一致性信度的计算值迅速升为：0.9405和0.9304。点评：试验充分说明，采用淘汰或改进异常试题的方法，可以显著提高测验信度。5、学生应答倾向异常与双峰分布成因的研究 根据研究，英语学科双峰分布现象所显示的意义至少有下面两点：首先，对於学习得法的学生而言，英语是极简单的科目；对於学习不能掌握要领的学生，英语则是极困难的科目。其次，英语测验的特性（绝大多数题型是四选一的选择题），所以双峰成绩分布当中，低峰的那一组的许多学生（得分约20 至35 分）基本上是放弃英语学习、主要靠猜测答案得到的分数。根据多位老师的经验反映，像这样放弃英语学习的学生，大约佔全体学生三分之一强，个别学校甚至超过二分之一。对此，需要深入学校和班级的测验数据，对这样的经验进行验证。在2012级八年级2013年06月测验数据中，选取2030分数段占本校人数百分比最多的5个学校，即低峰水平最显著的121中学、122中学、123中学、124中学、125中学，如下表所示。每个学校随机抽取2个班的学生，抽样样本共计414名学生，用“SP表分析”方法对学生的应答倾向进行了详细的分析。单位人数平均分90-99分80-89分70-79分60-69分50-59分40-49分30-39分20-29分10-19分0-9分121中学23542.030.43 2.98 5.96 6.81 11.06 10.64 20.43 28.94 8.09 4.68 122中学22138.460.90 3.17 7.24 9.95 7.69 14.93 17.65 27.60 8.60 2.26 123中学10943.051.83 5.50 10.09 9.17 11.01 11.93 18.35 27.52 4.59 0.00 124中学22453.460.00 4.02 9.82 8.48 10.27 18.75 18.30 24.55 5.80 0.00 125中学19430.100.00 5.15 12.37 10.31 11.86 13.92 12.37 24.23 9.28 0.52 “SP表分析”是一种教学过程精细化管理与评价的工具，它将测试、练习的试题得分数据排成一览表，并对学生和问题的特性以视觉化的图表进行结构分析。其目的在于获得学生的学习诊断信息，并用图形化的分析结果将对学生S和问题P的特性（即学习反应信息）反映出来。S-P表分析与诊断模块除了对团体试题应答倾向的分析之外，还能对每个学生的试题应答倾向作出分析与诊断。S-P表的评价功能包括：（1）衡量学生总体的学习倾向，评价学生群体学习的总水平，判断学习有无两极分化，了解学生的优势部分和劣势部分等。（2）分析学生个体的试题应答倾向，学习情况如学习中的漏洞及异常，学生在集体中所处的位置等。（2）评价所出题目的难度、区分度，试卷的稳定性及信度和效度。（4）从曲线的总体分析，可对教学过程中存在的问题加深认识，有利于改进教学工作。学业质量监测与评价系统QMAS中设计的模块可以十分方便地进行SP表分析。试题应答倾向异常学生最多的123中学4班“SP表分析”如图所示：备注：在SP表中，“注意系数”0.5，即“应答稳定性需提高”或“随意答卷、成绩很不稳定”的，可以判定为应答倾向异常。123中学4班，共计29名学生，65个选择题中，正答数小于26，即正答率小于0.4的学生有15名，占51.72%；应答倾向异常学生多达19名，占65.52%。用“SP表分析”方法分析的结果如下表所示：学校名称抽样人数应答倾向异常的学生百分比121中学803341.25 %122中学91