第九章 测验质量分析

第九章测验质量分析

[本章提要]通过本章的学习，掌握题目难度和区分度的概念和计算方法，了解题目难度和区分度的之间的关系，理解题目难度、区分度与测验质量之间的关系。理解测验信度与效度的含义，掌握测验信度与效度的基本估计方法，了解影响测验信度与效度的因素。

第一节题目难度的概念和计算方法

一、题目难度的概念和意义（一）题目难度的含义题目难度是指被试完成试题的难易程度。（二）题目难度与测验的关系题目难度影响测验的难度分布和平均难度，从而影响测验的信度、效度以及测验结果区分被试水平高低的能力。二、难度的计算（一）二值记分法题目的难度计算当题目分数是二分变量(即答对为1，答错为0，如选择题)时：式中：P为题目难度值，R为答对或通过该题的人数，N为全体考生数。例题1：在一测验的某道选择题上，100名被试中选择正确答案的有37名。则该题难度为：

（二）非二值记分法题目的难度计算

当题目分数是多分值时，难度是全体被试在该题上的平均数与该题满分的比例：式中：P题目难度值，为全体被试平均得分，Xmax是题目满分。例题2：一组被试在某道题上得分分别为2，5，9，10，4，8，7，5，3，0。该题满分为10分。则该题难度为：三、测验难度的选择一般常模参照测验题目难度分布近似正态。特定的测验题目难度的分布应该根据测量的任务而定。第二节区分度的概念和计算方法一、区分度的含义区分度是指试题能区分被试水平能力的程度。二、区分度的计算（一）区分度的相关计算法它是求试题分数与总分的相关系数作为区分度的指标。或例如：根据下表数据求区分度。序号 XY Xp Xq 1 87 1 87

2 85 0

85 3 82 1 82

4 80 0 80 5 80 0 80 6 78 0 78 7 78 1 78 8 75 0 75 合计 645 3 247 398 平均

数 82.379.6 标准差3.67 解题步骤：..\区分度.xls（二）区分度的分组计算法它是首先将全体被试按总分高低进行排队；然后，将得分较高的27%的被试作为“高分组”，将得分较低的27%的被试作为“低分组”；最后求两组在试题上得分率的差。即：D=PH-PL式中：D为区分度；PH为高分组的得分率；PL为低分组的得分率。例如：某班40名学生，“高分组”做对第一题的有8人，“低分组”做对的有4人，那么，该题的区分度为：D=PH-PL=8/11-4/11≈0.36

三、区分度的评价区分度的取值范围–1≤D≤1。当用分组计算法得到的题目区分度大于0.4时，区分度的分组计算法被认为是性能良好的试题。

第三节测验的信度

一、信度的概念信度是指测验结果的可靠程度。二、信度的统计学原理rxx=S2T/S2X式中：rxx表示信度系数；S2T表示真分数方差；S2X表示实得分数方差。有关系式：X=T+E其中，X为实得分数；T为真分数。三、信度系数的估计方法1．稳定性系数（再测信度）它是同一被试总体用同一试卷间隔一段时间后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。2．等值性系数（复本信度）它是同一被试总体用两份等值的试卷，在间隔很短的时间内先后两次测验所得数据的一致性程度。通常用相关系数作为其估计值。3．内部一致性系数（1）分半信度系数

在测验没有复本且只能实施一次的情况下，可将测验项目分成对等的两半，根据学生在这两半测验中所得的分数计算相关系数rhh，然后用斯皮尔曼-布朗（Spearman-Brown）公式对其值加以校正，即得分半信度。式中：rtt

为分半信度系数；rhh为两个“半测验”的相关系数。例：用一个由100题构成的试卷测试10名学生，测试结果如下表，求测验的分半信度系数。学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536解题步骤如下：

1、先求两分测验的相关系数rhh

。

..\分半信度.xls

学号奇数题总分偶数题总分138372373733836441395403963634738388393994039103536

0.84

2、然后求分半信度系数rtt。

（2）α系数若测验中各个题目得分相关较高时，不论题目的内容或形式有何差别，测验都为同质；相反，即使所有题目看起来都好像是测量同一特性，但题目得分之间的相关很低，测验仍然是异质的。测验越同质，同质性信度的值也越大，则说明试题的内部一致性程度越高。因而，同质性信度又称作内部一致性系数。计算同质性信度的方法可用克龙巴赫（Cronbach）所创的α系数公式：式中，N为题目数；Si2为各被试在第i题得分的方差；St2为各被试测验总分的方差。例:5名被试参加一个包含6道试题的测验，测验结果如下表，求该测验的信度系数。题号被试Si2ABCDE1711811113.042697891.3636106892.5648116836.965711811113.046711811113.04合计416343575420

70.24解题步骤如下：

1、求各被试在第i题得分的方差Si2

。2、求各被试各自的总分。3、求方差Si2的和ΣSi2，以及各被试总分的方差St2

。..\α系数.xls4、求α系数4．评分者信度系数对于无法完全客观记分的测验，评分者的主观因素对测验结果的影响是很大的，因此需要控制评分误差和研究评分者信度。评分者信度的估计可以分为两种情况：（1）2人同时评多份相同的试卷这种情况可以用2人评分的相关系数作为评分者信度的估计值。例如:两位教师评三份试卷，求其评分者信度系数试卷教师X教师YDD2112-112211133300合计

2（2）多人同时评多份相同的试卷当由多个评分者同时评多份相同的试卷时，需用肯德尔和谐系数（Kendallcoefficientofconcordance）W作为评分者信度的估计值，其计算公式有两个。①无重复评定等级的W系数式中：S为各题等级之和的离差平方和，即或Ri为各试卷评定等级之和；K为评分者的人数；N为试卷的份数。②有重复评定等级的W系数式中：n是相同等级的个数。例如：三位教师评四份试卷，所评等级如下表，问该测验的评分者信度如何？教师试卷1234A3142B2141C2232Ri74115解题步骤：

（1）先计算ΣRi和ΣRi2ΣRi=7+4+11+5=27ΣRi2=72+42+112+52=211（2）计算S（3）计算ΣT（4）代入公式W（5）查表，检验W的显著性因为，K=3，N=4时，临界值S0.05≈64.4，由于S＜S0.05，所以，W不显著性，即表明三位教师的评分者信度较低。（K在3——20之间，N在3——7之间时，查附表5求临界值S0.05或临界值S0.01；若N＞7，检验W的显著性用χ2=K（N-1）W，按df=N-1查χ2值表进行比较。）参考书目：1.王汉澜主编《教育测量学》2.宋岭梅主编《教育测量学》四、影响信度的因素被试样本的影响。题目数量的影响。测验难度的影响。测验内容同质性的影响。评分客观性的影响。

第四节测验的效度

一、效度的概念效度是测验能实际测量出其所要测量特性的程度。二、效度的统计学原理rxy=S2v/S2X式中，S2v潜在真分数方差；S2x实得分数方差。有关系式：X=T+E=V+I+E其中，V为潜在真分数；I为系统误差。三、估计效度的方法1．内容效度(Contentvalidity)

内容效度指的是测验题目对有关内容或行为取样的适当性。（1）专家判断法采用专家判断法可以按下面的步骤进行：①定义好内容总体的范围；②确定考查内容或行为的细目；③列出双向细目表；④制订评定量表。（2）统计分析法统计分析法又称克龙巴赫估计法。克龙巴赫曾提出估计内容效度可以从同一教学内容范围的总体中抽取两套独立的测验试题，这两套测验试题对同一组考生分别进行两次测验，如测验得分求得的相关系数高，就可推论内容效度高；若相关系数低，这两套试题中至少有一套测验试题缺乏内容效度。

（3）再测法这种方法是，先对一组考生进行先期测验，这一组学生必须是对测验的内容知之甚少，然后对这一组学生进行有关内容的教学与训练活动，经过一段学习时间后，再进行后期测验，这样可以看出测验是否测量出深堂上所进行的教学与训练的效果。如果后期测验成绩好，就说明该测验对课程内容范围是有效的。

2.效标关联效度(Criterionrelatedvalidity)

效标关联效度指的是测验分数与效标分数之间的一致性程度。效标（criterion)。效标实际上是指本测验所想测量或要预测的特性和功能。

效标关联效度分为两种：效标与本测验分数同时获得的，称为同时效度或并存效度(concurrentvalidity)；效标在本测验之后相当时间获得的，称为预测效度(predictivevalidity)