心理测验的难度与区分度.ppt

第四章 项目分析 心理测量学 第四章 项目分析 第一节 项目的难度 1 第二节 项目的区分度 2 第三节 题目的猜测度与控制 3 第四节 选择题选项分析与修改 4 心理测量学 第四章 项目 第一节 项目的难度 1 一、难度的定义 u难度定义 n难度difficulty：指项目的难易程度，即就是 被试完成题目或项目任务时所遇到的困难程度 u难度系数 ：p n定量刻画被试作答一个题目所遇到的困难程度 的量数，就叫题目的难度系数，也常称为难度 值,用符号P表示。 二、难度系数计算方法 n以全体被试得分率为难度系数 n以全体被试通过率为难度系数 n P=K/N n以两端组被试得分率的均值为难度系数 nP=(PH+PL)/2 P：题目难度 X拔：被试在某题目上 的平均得分 Xmax：该题目的满分 P：题目难度 K：答对人数 N：全体被试人数 P：题目难度 PH：高分组被试的得分率 PL：低分组被试的得分率 （1）按被试的总分，将全体被试者从高到低进行排序。 （2）从高分往下找，找出高分组；由低分往高找，找出低分组 两组人数分别占总人数的27%。 （3）分别计算高分组、低分组的被试在该题目上的平均得分。 （4）代入公式分别计算高分组和低分组被试在同一个题目上 的难度系数。 （5）把 和 代入P=(PH+PL)/2 ，计算这个题目的难度系数。 难度计算实例 n例4-1 下表是随机抽取22名被试在某数学测验中四道题目的得分情况，每 题的满分分别为1分、2分、3分和4分，请分析其难度。 哪道题最难？ 三、难度系数变换 n上述所得难度系数，不论是得分率还是失 分率，都属于顺序变量，不具有相等的单 位，因此，通过p值比较并不能客观指出题 目难度之间的差异大小 。 uEg：三个题目难度系数分别为0.5、0.6、0.7 ，三个题目之间难度差是否相等？ 可知第一题最难，第二题次之，第三题最容易 难度系数相差都是10%，但并不代表第一题 与 第二题难度只差等于第二题与第三题难度之差 难度系数变换办法 n假设每个试题所要测量的潜在特质或能力是呈正 态分布的，然后就可以根据正态分布曲线,将试题 的难度系数P作为正态曲线下的概率面积，转换 成具有相等单位的等距量表,即Z分数（标准分数 ）量表。 难度等距转换实例 题号答对率难度Z值难度差异 10.151.04- 20.250.670.37 30.350.390.28 40.400.250.14 50.60-0.250.50 60.70-0.840.59 思考： uZ分数为负值时，说明 试题难还是容易？ nZ值存在负值不易理解，因此做如下转换 n难度Z值转换公式:=13+4Z n：题目难度；Z：由p转换来的标准分数 u思考：的取值范围？ n1-25 第1题：=13+4*1.04=17.16 第2题：=13+4*0.67=15.68 第3题：=13+4*0.39=14.56 第4题：=13+4*0.25=14 第5题：=13+4*（-0.25）=12 第6题：=13+4*（-0.59）=9.64 难度等距转换公式 四、题目的难度分布 nP的取值范围为：0P1 n当P=0时，试题的实际困难程度最大(所有 的考生都得0分) n当P=l时，试题的实际难度最小(所有的考生 都全对)。 常模参照测验难度分布 n要尽可能地区分被试的个别差异，测验结 果就尽可能拉开距离 。 nP值尽量接近0.50 为宜 u思考：P等于1或0时，以为着什么，是否还可 以区分被试？ 实验表明： n所有题目的难度系数分布在0.30至0.70之间 ，并且整个测验的平均难度系数在0.50左右 时，测验对被试有较大的鉴别力，测验分 数也接近正态分布 标准参照测验难度分布 n目的是检验被试是否已达到教学目标规定的掌握程度 n教师期望学生都能够在教学之后掌握所有的教学内容 n通过率达到1.00时，所有学生都掌握了教学内容。 n如果教学是有效的，多数试题的难度系数P值都会很大， n难度系数反映的是教学质量的好坏的成分多于试题质量的 好坏的成分 n不同测验，目的不同，难度值不同。 u奥林匹克测验？选择补习功课的学生？ 心理测量学 第四章 心理测量的难度与区分度 第二节 项目的区分度 2 一、区分度的定义 n定义： u指测验对考生实际水平的区分程度或测验对被 试特质差异的区分能力，用符号D表示。 n具有良好区分度的测验，实际水平高的应该得高 分，实际水平低的应该得低分。所以，区分度又 叫鉴别力。 n是评价试题质量，筛选试题的主要指标与依据 区分度的分类 n正区分(D0) u称积极区分，指实际水平高的考生得了高分， 实际水平低的考生得了低分 n负区分(D0)， u称消极区分，实际水平高的考生得了低分，实 际水平低的学生得了高分 n零区分(D=0) u指实际水平高低与得分之间没有太大的关系， 呈现出零相关 二、区分度的计算 n1、相关系数法 u点二列相关 u积差相关 n2、用极端分组法计算区分度： D=PHPL uD表示区分度 uPH表示高分组的难度 uPL表示低分组的难度 心理测量学江西师大心理与教育统计测量中心 n该方法的基本思想是，若题目有好的区分度 ，则高能力的被试在该题上应得高分，低能 力被试应得低分，即被试在题目上的得分应 与测验总分相一致。 n其基本假设是测验得高分的被试即为高能力 被试，测验得低分的被试即为低能力被试。 1、相关系数法 心理测量学江西师大心理与教育统计测量中心 n（1）点二列相关法 1、相关系数法 心理测量学江西师大心理与教育统计测量中心 n（2）积差相关法 1、相关系数法 心理测量学江西师大心理与教育统计测量中心 n基本思想： 2、极端分组法（鉴别指数法） 心理测量学江西师大心理与教育统计测量中心 n例4-2 下表是随机抽取22名被试在某语文测验中四道题目 的得分情况，四题满分分别为1分、3分、5分和60分，其 中第4题为作文题，请计算四题的区分度。 3、题目区分度计算实例 心理测量学江西师大心理与教育统计测量中心 3、题目区分度计算实例 心理测量学江西师大心理与教育统计测量中心 三、区分度的评价标准 1965年美国测量学家伊贝尔根据长期经验提出 如下标准： 四、区分度与测验信度、难度的关系 n区分度与信度关系 n此表是1962年RL艾伯发表的，这里是假定全部试题的 难度均为050时所预测的信度系数。里面的区分度指的 是平均值。可见，要想达到理想的测验信度，提高区分度 是一个好方法。 四、区分度与测验信度、难度的关系 n区分度与难度关系 n由上表可知，难度适中，可使区分度达到 最大值。 心理测量学江西师大心理与教育统计测量中心 n(1)题目难度 n(2)被试群体的同质性 n(3)全卷各题所测心理品质的一致性。 n(4)题目本身的文字与内容的质量也会 影响 题目的区分度 五、影响题目区分度的因素 心理测量学江西师大心理与教育统计测量中心 n(1)控制好题目难度。将题目难度在0.5左右时 ，区分能力理论上会比较高。 n(2)保证题目所测心理品质与全卷所测心理品 质的一致性。 n(3)题干及答案无歧义。 n(4)语言准确规范。 n(5)借助选项分析提供的信息对不良选项进行 修改，以提高题目区分能力。 六、提高题目区分度方法 心理测量学 第四章 心理测量的难度与区分度 第三节 题目的猜测度与控制 3 一、猜测度的定义 n猜测度是指被试全凭随机猜测而答对题 目的概率。猜测行为主要出现在客观题 （如选择题、是非判断题、配对题等） 心理测量学江西师大心理与教育统计测量中心 心理测量学江西师大心理与教育统计测量中心 n增加选择题选择项的个数(一般不少于 四个) 。 n增加干扰项的迷惑性。 n控制存在猜测行为的总题量，以保证 猜测误差控制在较小范围。 n如有特殊需要，还可采用警告、扣分 等方式控制被试的猜测行为。 二、猜测度的控制 心理测量学 第四章 心理测量的难度与区分度 第四节 选择题选项分析与修改 4 心理测量学江西师大心理与教育统计测量中心 一、选项分析基本过程 n1、根据被试的测验总分，对被试进行排序 n2、确定高分组和低分组被试 n3、分别登记高分组被试和低分组被试在每个备选项的人数 及未作答人数（也可以是人数百分比），最终整理成类似 表中的数据资料 n4、根据第3步整理好的数据资料，进行具体分析。 心理测量学江西师大心理与教育统计测量中心 n1、首先分析两组平均选答率 u一般正确答案的选答率应该在0.4到0.6之间， 每个干扰项应该平均分剩余的选答率。 u如果正确答案的选答率过高或过低，这都不利 于区分高分组和低分组被试。 u如果某干扰项选答率特低，则说明该干扰项错 的过于明显应加以淘汰； u若某干扰项选答率特高，则要考虑该题正确答 案是否错误或有两个正确答案。 二、选项分析的方法及选项修改原则 心理测量学江西师大心理与教育统计测量中心 n2、对于正确答案 u 主要考察高分组和低分组被试在正确答案上 的选答率是否是正差，及这一差距是否足够大 。只有当高分组和低分组被试在正确答案上的 选答率是正差，且这一差距足够大时，这时题 目质量较佳。 二、选项分析的方法及选项修改原则 心理测量学江西师大心理与教育统计测量中心 n3、对于干扰项 u考察高分组和低分组被试在干扰项上的选答率 是否是负差，及这一差距是否足够大。只有当 高分组和低分组被试在正确答案上的选答率是 负差，且这一距差足够大时，这时干扰项的设 置比较合理，否则干扰项设置不合理，应对干 扰项进行删除或修改。 二、选项分析的方法及选项修改原则 心理测量学江西师大心理与教育统计测量中心 n4、其它 u如果高分组被试的选答集中在两个答案上，且人数又相近 ，说明此题可能有两个正确答案，或者在某种意义上另一个 选择项也有一定道理。应考虑题目本身是否存有歧义或有两 个正确答案。 u如果高分组对正确答案的选答率与低分组相等或低于后者 ，说明该题所考察东西与被试水平无关，即不具有鉴别力， 此题应作大修改或删除。 u如果一个题目被试未作答的人数较多（速度测验除外）， 或选择各个备选项答案的人数相等，说明该题目过难或题意 不清，被试无法作答或全凭猜测。应修改或删除本题。 二、选项分析的方法及选项修改原则 心理测量学江西师大心理与教育统计测量中心 n例4-3 下表为一个由370人参加的英语测验中四道选择题 的统计结果，试分析每题难度、区分度是如何计算出来的 ？并对这四题的选项质量进行评价。 三、项目分析实例 心理测量学江西师大心理与教育统计测量中心 三、项目分析实例 心理测量学江西师大心理与教育统计测量中心 n选项分析： u第1题，正确答案和干扰项的两组平均选答率都 基本正常，在正确答案上高分组的被试选择人 数要多于低分组被试，且在非正确选项上，高 分组的被试选择人数要少于低分组被试，这符 合实际情况，四个选项的设置均较合理； 三、项目分析实例 心理测量学江西师大心理与教育统计测量中心 三、项目分析实例 n选项分析： u第2题，正确答案和干扰项B的两两组平均选答 率基本一致，且正确答案上高分组的被试选择 人数要少于低分组被试，而在非正确选项B