测验的项目分析解析课件

1、测验质量信 度效 度测验项目如何分析项目的好坏？筛选题目编制测验第1页，共65页。第六章 测验的项目分析(Item analysis)第2页，共65页。项目分析的内涵项目分析是对测验中每个题目的质量进行的分析，包括质的分析和量的分析。质的分析:主要由专家对项目的内容和形式进行分析，包括考察内容效度、题目编写的恰当性和有效性等。量的分析：是通过计算项目的一些统计量作为项目质量高低的指标，包括项目的难度和区分度。目的：对项目进行筛选和修订，提高测验的信度和效度。 如题库的建立第3页，共65页。测验质量信 度效 度项目质量难 度筛选题目编制测验区分度目的第4页，共65页。教学目标通过本章的学习可解决

2、三个问题： 一、掌握什么是测验的难度，如何计算测验的难度（重点） 二、掌握什么是测验的区分度，如何计算测验的区分度，难度和区分度的关系怎样（重点）三、掌握项目分析的其他特殊形式 第5页，共65页。第一节 项目的难度一、难度的含义1.难度（difficulty）指测验项目的难易程度。2.一个测验项目，如果大部分被试都能答对，该项目的难度就小；如果大部分被试都不能答对，则该项目的难度就大。3.难度过大或过小的题目，都不能很好地将不同水平的被试区分开来，因此对常模参照测验的价值就不大 。第6页，共65页。二、难度的计算方法 难度通常以答对百分比作指标。 （一）二分法记分的项目 1.通过率若试题为二分

3、法记分项目（即答对给1分，答错记0分）时,难度的指标通常以通过率表示，即以答对或通过该题的人数的百分比来表示： 式中，P代表项目的难度，N代表全体被试者人数，R为答对或通过该项目的人数。 P值越大，则难度越小；反之越难。第7页，共65页。例题10名被试在某选择题上的得分如下，试计算该题的难度。被试12345678910得分1100110110第8页，共65页。2.极端分组法当被试人数较多时，则可根据测验总成绩将被试分成三组：分数最高的27%被试者为高分组（NH）,分数最低的27%被试者为低分组（NL）。分别计算高分组和低分组的通过率，以两组通过率的平均值作为每一题的难度。公式为：PH 、 PL

4、 分别代表高分组和低分组的通过率。第9页，共65页。例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的难度。组别选择各项答案的人数 A B C D 未答正确答案高分组低分组 8 36 34 21 1 4 30 46 20 0B第10页，共65页。练习题练习题1：80名学生参加了某个测验，答对第3道选择题的有64人，请问该题目的难度是多大？练习题2：100个学生参加了某测验，其中某选择题的答题情况如下表所示，计算该题目的难度。选项高分组低分组难度A*BCDE5150073

5、71205第11页，共65页。注意：标准化测验一般采用27%为分组点。也可以取总人数的1/4或1/3（即25%或33%）为分组点。当样本小于100时，一般选50%作为分界点。 第12页，共65页。（二）非二分法计分的难度当项目是多重计分时，难度等于平均分与满分之比。 P =试题的难度 =全体被试在该题上的平均分数 =该题的满分分数第13页，共65页。例题问答题满分为15分，10名被试在该题的得分如下。试计算该题的难度。被试12345678910得分131510109111091110第14页，共65页。问 题有A、B两个测题，项目A为四重选择题，通过率为0.58；项目B为五重选择题，通过率为0

6、.56，能否说项目A更容易，项目B更难？第15页，共65页。（三）难度的校正 由于选择题允许猜测，所以通过率可能因机遇作用而变大。备选答案的数目越少，机遇的作用越大，越不能反映测验的难度。为了平衡机遇对难度的影响，吉尔福特提出了一个难度的校正公式：CP=矫正后的难度P=未矫正的难度K=测题的选项数目第16页，共65页。例 题1.一个五择一的项目，其通过率为0.50，则排除猜测的影响，矫正后的难度为多少？2.有A、B两个测题，项目A为四重选择题，通过率为0.58；项目B为五重选择题，通过率为0.56，试比较两题的难度。第17页，共65页。P值的范围在0-1之间。P值越大，题目越容易；P值越小，题

7、目越难。P值与我们通常理解的难度意义正好相反，也有人将称它为容易度。P值的范围及其意义第18页，共65页。三、测验难度水平的确定 进行难度分析的主要目的是为了筛选项目，项目的难度多高合适，取决于测验的目的、性质以及项目的形式。一般准则：平均难度在0.50左右。 1. 成就或学绩测验：不考虑难度（Why?）目的是考察教学内容的掌握情况。只要是必须掌握的内容，不论其难度都可以作为考试项目，其难度可以从0-1之间变动。2.选拔性、竞赛性考试：其项目难度应接近录取率。思考：若选拔率为15，题目的难度该多少？若测验的目的在于选出20%的差生进行特别辅导，题目的难度该多少？第19页，共65页。3.选择题的

8、难度：P值要大于猜测概率。4.人格测验的难度：不存在难度问题，于此相应的指标是“通俗性”。 5.对于一般性测验而言，项目难度的一般标准应在0.3-0.7之间；第20页，共65页。四、难度的等距转换使用项目难度等距量表的理由： 测题的难度一般用答对某题的人数的百分比表示。百分量表是等级量表，而非等距量表。也就是说它只表示事物之间大小的关系，但没有相等的单位。用百分比P值作为难度指标，实际上是在顺序量表的水平上衡量题目的难度。 难度的等级量表是反序而行的，P值越大，项目越容易，这与我们的日常概念是相反的。第21页，共65页。当样本的容量很大时，测验分数接近正态分布。将某题的通过率P视为正态分布曲线

9、下的面积；查正态分布表找出正态曲线右侧面积所对应的Z分数。就可以将以等级量表表示的P值转换为具有相等单位的等距量表Z值。第22页，共65页。第23页，共65页。（一）Z值Z是均值为0、标准差为1的标准分数。Z在-3到3之间变动。通过查阅正态分布表，可以从P值查到Z值。Z值越大，题目越难；Z值越小，题目越容易。这一点与P值的含义相反。试题P值Z值1230.700.600.50-0.52-0.250第24页，共65页。（二）值美国教育测验服务中心（ETS）的难度指标：=13+4Z值是对Z值的线性转化，平均数为13，标准差为4。在1与25之间变动注意：值越大，难度越大；值越小，难度越小。这一点也与P

10、值的含义相反。第25页，共65页。 P=0.9987时, Z=3 , 故=13+4(3)=1 P=0.9772时, Z=2 , 故=13+4(2)=5 P=0.8413时, Z=1 , 故=13+4(1)=9 P=0.5000时, Z= 0 , 故=13+ 4(0) =13 P=0.1587时, Z= + 1 , 故=13+4(+1)=17 P=0.0228时, Z= + 2 , 故=13+4(+2)=21 P=0.0013时, Z= + 3 , 故=13+4(+3)=25 由此可见，常用的值域介于125之间，值越大，试题越难； 值越小，试题越容易。 第26页，共65页。例 题如果某测验两个题

11、目的难度分别是0.50和0.60，其对应的标准分数分别是：0和-0.25，则它们转换为等距量表的难度值是多少？第27页，共65页。五、项目难度对测验的影响1、项目难度影响测验的编排 一般根据试题的难度，按照由易到难的顺序编排。 2、项目难度影响测验分数的分布形态 整个测验的难度中等，测验的分数接近正态分布； 测验的难度偏大，则大多数被试集中在低分端，“正偏态分布”； 测验的难度过低，则大多数被试集中在高分端，“负偏态分布”。第28页，共65页。常态分布：平均难度在0.5左右负偏态分布：测验容易，P值大正偏态分布：测验过难，P值小ACB第29页，共65页。3、项目难度影响测验分数的离散程度 题目

12、难度过大或过小，测验分数的离散程度小； 题目难度在0.50左右时，分数分布的离散程度最大。4、项目难度影响测验信度 当测验难度的平均值在0.50左右时，分数的分布范围最广，以相关系数为基础的信度也变得相对较高。5、项目难度影响区分度第30页，共65页。第二节 项目的区分度一、区分度的含义1.区分度(discrimination)指测验项目对被试心理品质水平差异的区分能力或鉴别力。2.区分度良好的项目，能够将高水平与低水平的被试区分开来。即高水平个体在该项目上得分高，低水平被试在该项目上得分低。3.项目分析中，一般采用被试的测验总分作为判断其水平的效标分数，即内部效标。也可以采取外部效标。第31

13、页，共65页。区分度一般用D表示。D值在-11之间变动。D为正值时，称为积极区分；D为负值时，为消极区分；D为0时称作无区分作用。D值越大，区分的效果越好吗？区分度的大小是测验是否有效的指示器，常常能够决定是否删除或保留一个项目，它可以作为筛选项目的一个主要指标。区分度的范围及其意义第32页，共65页。项目特征曲线（item characteristic curve, ICC）项目特征曲线描述了效标分数不同的被试在该项目上的通过率。曲线坡度越陡，鉴别力越好，预测的误差越小。率概的目项答回确正1.000.000.50低 中 高 能力鉴别力较好第33页，共65页。低 中 高能力率概的目项答回确正1

14、.000.000.50低 中 高能力率概的目项答回确正1.000.000.50鉴别力为负鉴别力较低第34页，共65页。率概的目项答回确正1.000.000.50低 中 高能力ABC难度不同的3个项目的ICC第35页，共65页。率概的目项答回确正1.000.000.50低 中 高能力ABCD多项选择中每个选项的ICC第36页，共65页。二、区分度计算 项目区分度可以有不同的计算方法，我们要根据测验的目的以及测验分数的特征来选择合适的方法。1、鉴别指数法（适合0、1计分） 一个项目的鉴别指数指总分高分组与低分组在该项目上的通过率之差。 D = PH PL D鉴别指数PH高分组通过率PL低分组通过率

15、D=1D=0 各表示什么意思？D=-1第37页，共65页。例题选取有代表性的试卷370份，按照总分高低排序，将从最高分向下的27%（100人）作为高分组，将从最低分向上的27%（100人）作为低分组。某题的答题情况如下表。试计算该题的鉴别指数。组别选择各项答案的人数A B C D 未答正确答案高分组低分组8 36 34 21 14 30 46 20 0B第38页，共65页。选答人数正确答案B鉴别指数D？组别ABCD未答高分组884530低分组183522250第39页，共65页。鉴别指数的含义D为1时，表明高分组被试全部通过，而低分组被试全部失败；D为-1时，含义相反；D为0时，表明高分组和低

16、分组通过率一样。作为鉴别指数的D值的含义，是高分组比低分组通过率高出的百分比程度。第40页，共65页。鉴别指数的一般标准（美.艾伯尔）鉴别指数D题目评价0.4以上优0.30-0.39良好，如能修改，则更佳。0.20-0.29尚可，须修改在0.19以下劣，必须淘汰。第41页，共65页。极端组的划分，见P79第42页，共65页。2、相关法鉴别指数只考虑了高分组和低分组的情况，浪费了测验中的许多信息，统计结果的精确度与分析全体被试的数据要差一些。在大规模或标准化的测验中，大多采用相关法来计算项目区分度。可以有两种计算途径：其一，计算项目得分与测验总分的相关系数；其二，计算项目得分与外部效标的相关系数

17、。对相关系数进行显著性检验。相关越高，项目区分度越高。第43页，共65页。数据性质与计算相关系数的方法相关种类 变量1变量2公式点二列相关真正的二分变量，类别数据常态分布的连续变量二列相关常态分布的连续变量，但人为地分为两个类别。常态分布的连续变量相关真正的二分变量，类别数据真正的二分变量，类别数据积差相关连续变量，正态分布连续变量，正态分布见第四章公式.第44页，共65页。（1）点二列相关 一个是二分变量（如0、1计分），另一个是正态分布的连续变量。第45页，共65页。例题学生12345678总分9087838080777168项目得分11101000第46页，共65页。点二列相关系数的显著

18、性检验 用相关法计算出来的区分度，不能采用艾伯尔的鉴别指数评价标准，而是要进行显著性检验才能确定其意义。点二列相关系数的检验有两种方法：（1）采用积差相关系数的检验方法进行检验。查阅积差相关系数的检验表 。（2）用t检验，比较 与 是否存在显著差异。如果两者差异显著，则相关系数也显著。 第47页，共65页。（2）二列相关两个变量都是常态分布的连续变量，但其中一个被人为分为两个类别。 例如，项目是多重记分的连续变量，总分（效标）也是连续变量，但总分被人为地分为及格与不及格。或者，总分是连续变量，项目得分也是连续变量，但项目得分被人为地分成对、错两类（如计算题，分成全对得5分，其他分数计0分）。

19、第48页，共65页。二列相关系数的计算公式 公式中只有y不同于点二列相关系数的公式，它可以根据P的值，通过查正态分布表获得。第49页，共65页。例题学生12345678总分9087838080777168作文得分3635332824262122通过与否11111100第50页，共65页。（3）相关两个变量都是二分变量。有时连续变量也可以转化为二分变量，通过相关计算。 通过四格表来计算相关。r= 用卡方检验r的显著性第51页，共65页。（4）积差相关两个变量都是正态分布的连续变量。 r =第52页，共65页。三、区分度与难度的关系项目难度P鉴别指数D1.000.900.700.600.500.4

20、00.300.100.000.000.200.600.801.000.800.600.200.00第53页，共65页。0.200.40.60.81.0P值1.00.80.60.40.2D的最大值第54页，共65页。1.当难度为0.50时，该项目的潜在鉴别指数D最大，而难度分布在两端（0或1）时，潜在的鉴别指数D最小。2.较难的项目对高水平的被试的区分度高，较易的项目对低水平被试区分度高，中等难度的项目对中等水平被试的区分度高。是不是测验中所有项目的难度都要控制在0.50左右呢 ?3.实际编制测验时，最好使项目的难度分布广一些，梯度大一些，容易：中等难度：难=3：5：2，使整个测验的难度呈正态分

21、布，且平均难度保持在0.50左右。常模测验中要求项目难度保持在中等水平，可以最大程度地区分被试的水平差异。第55页，共65页。四、区分度的相对性1、不同计算方法得到的区分度指标不同。 鉴别指数法和相关法求出的区分度含义不同，所得数值也不相同。2、样本容量大小影响相关法区分度的大小。 样本容量越小，用相关法计算出来的相关系数越不可靠。样本容量越大，相关系数越可靠。3、分组标准影响鉴别指数。 25%、27%、33%、50%，分组越极端，D值越大。 4、被试团体的性质影响区分度大小。 项目的区分度是针对不同被试而言的。比如同一份测量试卷，让自考学生和全日制心理系大学生做，项目的区分度会有很大不同。第

22、56页，共65页。第三节 猜测问题与猜测率一、猜测误差1.猜相对于不猜的误差2.是否猜对引发的误差二、猜测的校正1.被试群体难度校正： CP=(KP-1)/(K-1)2.单个被试分数校正： S=R-W/(K-1)第57页，共65页。练习题1、100个人参加一个测验，有75人答对一个5选1的选择题，请问这个选择题的难度是多少？若对该选择题进行猜测校正，校正后的难度又是多少？2、一个5选1题目的难度值是0.61，另一个4选1题目的难度值为0.64，经过猜测校正后，请问哪一个题目的难度值更大？3.某被试参加由100道四重选择题组成的测验，测验结果是答对82道题，答错18道题，该被试的实得分数是多少？（每题1分）答案：1、 0.75 ，0.69；2、0.51 0.52；3、76分第58页，共65页。三、关于猜测校正的争论（一）支持的观点1.可避免降低测验的信度2.可反映被试的真实水平3.可培养被试诚实的美德4.比较公平第59页，共65页。三、关于猜测校正的争论（二）反对的观点1.校正公式的基本假设不成立2.若被试作答所有试题，校正分数无实质作用3.不采用猜测校正对信度无重大影响4.可能