项目分析(ppt 90页).ppt

1、精神卫生学院 曹 运 华,第六章 项目分析 Item analysis,我们本章要解决的问题:5个,1.什么是项目分析及意义 2.什么是难度及难度的计算？ 3.难度的矫正公式？ 4.什么是项目的区分度及区分度的计算方法？ 5.测验的项目分析实例,本章前提：,怎样从校区到龙沙公园？,怎样从校区到龙沙公园？,1.大家知道两者的距离大约是？ 2.那方法和工具都有哪些啊？ 3.如果咱们把距离拉远，从齐市到哈市的方法都有哪些啊？ 4.各方法的效率是一样的吗？,小结论：,1.要想高效、经济地达到目的，选择一个合适的、良好的工具是必要的条件。 2.测量也是如此，要想完成测量目的，必须选择一个质量良好的测量工

2、具，对心理测量来说，就是选择一个良好的测验。 3.那么如何才能确定一个测验质量是良好的？,一.如何对测验进行分析和鉴定？,（一）测验进行鉴定 Test analysis,（二）题目进行鉴定 Item analysis,鉴定 测验 的 方法,(一)如何对整个测验进行鉴定？,整个测验,定性分析,统计量分析,信度值,效度值,（二）组成测验的题目进行鉴定,项 目 分 析,定性分析,定量分析,难度值,区分度,总结：,好的题目,好的测验,有效 完成 测量 目的,二.项目分析的意义：5个,1.可以为筛选和修改测题提供依据。 2.有助于提高测验的信度和效度。 3.有助于标准化题库的建设。 4.有助于测验结果的

3、合理解释。 5.有助于测验编制技能和技巧的提高。,第一节 测验的难度 Test difficulty,一、难度的意义,难度(difficulty)：是指测验项目（题目）的难易程度。 想一想： 1、在期末考试时数学老师出了一套考试试卷，全班30人中26人考了95分以上，这个试卷的题目难吗？ 2、要是30人中26人考了50分以下，这个测验难吗？,二、难度的计算：公式1,（一）二分法记分的项目计算,P：难度 R：答对该题的人数 N：全体被试人数,阅读：什么是二分法计分？,二分法计分：即一题目的得分只有0分、满分两种可能，也就是说被试答对该题得满分，答错了得0分。 大家想一下，它的适用题型有哪些： 1

4、、选择题； 2、填空题； 3、判断题等。,例题及分析：,例题1：设有80名被试参加某一个测验，答对其中某题的有32人，问该题的难度指数是多少？ 想一想： 1、P值的范围？ 2、P值与测题难度的关系？,分析与结论：P与难度,1、P值的范围：0，1 2、P值越大，难度越小； P值越小，难度越大。 3、其中P=0和P=1是极端难度。,想一想：此公式适用条件,1.用公式1计算一个测题的难度，需要知道哪些条件（数据）？ 2.要是被试人数较多（ N 100），用这个公式计算测题难度系数就会出现什么情况？,计算：公式2,P：难度 Ph：高分组的通过率 Pl：低分组的通过率,阅读：高分组和低分组怎么划分?,在

5、人数较多的时候，不宜采用公式1进行运算，这是可用极端分组法进行计算。分组的步骤如下： 1、先把所有被试的总分按从高到低排列 2、从最高分开始向下取27%的被试作为高分组； 3、从最低分开始向上取27%的被试为低分组。,相关例题分析1：,书上例题：P73 在370名被试中，高分组有70人答对第一题，低分组有40人答对第一题，那么该题的难度是多大？ 该怎样解答该题啊？,相关例题分析2：,2000年华东师范大学考试题（3分）： 一个测验高分组有80%的被试通过，低分组12%的被试通过，那么该题的难度是多少？,计算：公式3,（二）非二分计分项目的难度计算：,P：难度 X：被试的平均得分 X：该题的满分

6、值,阅读：什么是非二分计分？,非二份计分：是指被试在一个题目上的得分有从0分到满分的多种可能。 大家想一下，和二分法计分相比，非二分法计分适用题型有哪些： 1、简答题； 2、论述题； 3、作文题等,例题分析1：,书上例题2：P74 数学测验的第七题的满分是15分，在该题上考生的平均得分是9.6分，则该题的难度是多少？,相关例题分析2：,例题2： 一测验的第3题的满分是15分，在该题上高分组考生的平均得分是9.6分，低分组考生的平均得分是3.6分，则该题的难度指数是多少？,三、难度的矫正公式,在选择题和判断题上，有一个重要的问题是：测验得分是被试能力的反应还是因为猜测而获得的成功。 比如：考试时

7、有选择题不会，你会怎么办？ 这样大量的猜测会对被试在选择题和判断题的分数产生影响。,想一想猜测误差的种类,在客观性测题（选择、是非等）中，不可避免的存在着猜测误差。 那么，想一下猜测误差的种类有哪些？ 这样大量的猜测会对选择题和判断题的分数产生影响，这时就需要进行矫正。,（一）难度的矫正公式：,CP：矫正后的难度 P：未矫正前的难度 K：备选答案的数量。,相关例题分析：,2002年 华东师范大学考试题（4分）： 某一个测验中，一个五选一的测题的难度值是0.61，另外一个四选一的测题难度是0.64，请问这两个测题的哪个题难度较大？ 该怎样才能正确解答？,（二）猜测校正的基本假设：,校正公式的基本

8、假设是：被试不知道正确答案时，完全凭猜测作答，猜测的成功与否完全由随机因素所致，即被试选择某一个备选答案是随机决定的。 小问题：大家同意这个假设吗？ 同意，为什么？ 不同意，为什么？,（三）赞成使用的观点：2个,1.校正后的得分可以反应被试得分的真正水平和能力。 2.在教育测验中，可以培养学生诚实的美德。,（四）反对使用的观点：3个,1.校正公式并不是对难度系数的真正校正。 2.公式的基本假设不成立。 3.在实际生活中，经常缺乏充分的证据和资料，这时进行合理地猜测是值得培养的能力。,四、难度对相对性,一测题的难度并不是固定不变的，它为因情况不同而有所变化。也就是说，难度是相对的。 影响难度性对

9、性的因素： 1、团体的平均水平； 2、测验的编制技术。,五、难度对测验的影响,1.难度影响测验分数的分布形态及范围 2.影响测验分数的离散程度 3.影响测验项目的鉴别能力,分数分布形态：正偏态,想一想正偏与难度关系？,1.大家想一想，测验分数分布是正偏态分布，说明了什么情况？ 2.大部分被试的得分是比较高还是比较低？ 3.分数正偏态分布是说明测验较难还是相对比较容易？,分数分布形态：负偏态,想一想负偏与难度关系？,1.大家想一想，测验分数分布是负偏态分布，说明了什么情况？ 2.大部分被试的得分是比较高还是比较低？ 3.分数负偏态分布是说明测验较难还是相对比较容易？,相关例题分析：,1997年北

10、京师范大学实验心理学（含心理测量）试题。 简答题（5分） 2、记忆实验中出现很多被试的记忆量达到了100%的现象，说明此实验处理存在什么问题，应如何改进？,正偏与负偏及处理方法：,1.正偏态分布：即大多数集中在低分端，说明测验对被试来说偏难，因此必须增加足够数量的较容易的项目。 2.负偏态分布：即大多数被试的得分集中在高分端，说明题目偏易，应该增加一些较高难度的项目。,分数分布形态：正态,六、难度水平的确定,项目的难度水平多高合适，取决于测验的目的以及测验的性质。 1.当测验为教育测验和总结性测验时，可以不过多考虑难度，只要教育者认为重要的内容就可选用。 2.当测验目的是选拔录用人员时，难度视

11、录取率而定。 3.一般性测验中的难度应怎么样？,七、难度的等距转换,1.以项目的通过率P来表示一个项目的难度，计算方便，便于理解。 2.它是属于何种测量水平？ 3.这样的难度系数是否存在什么问题？,相关例题分析：,现已知某一个测验的第一题的难度P为0.027，第二题的难度P为0.50，第三题难度P为0.84，请问，这三道题中： 1、难度最大的是哪道题？ 2、第一题比第二题难多少？ 3、第二题比第三题难多少？,总结：,难度的等距转换,顺序,等距,（一）难度等距转换步骤：5步法,1.计算项目的通过率P； 2.把P转换为从右至左而行的正态曲线下的面积； 3.查Z表，看对应面积的Z值； 4.按Z=13

12、+4Z 转换； 5.比较Z值。,补充知识：正态曲线下的面积,面积转换示意图：,(二)相关例题分析1：,现已知某一个测验的第一题的难度P为0.027，第二题的难度P为0.50，第三题难度P为0.84，请问，这三道题中： 1、难度最大的是哪道题？ 2、第一题比第二题难多少？ 3、第二题比第三题难多少？,（二）相关例题分析2：,现已知有80人参加某一个测验，其中答对第一题的人数是32人，答对第二题的人数是48人。 请问： 1、这两道题的难度差距是多少？,第二节 测验的区分度 Test discrimination,一、区分度的意义：项目的效度,（一）区分度（discrimination）：又称鉴别力

13、，是指测验项目对被试心理品质水平差异的区分能力或鉴别能力。 （二）区分度的重要性： （1）测验有效的“指示器”； （2）评价测题质量，筛选测题的主要指标，又被称为“项目的效度”。,具有良好区分度的项目，应该将不同水平的被试区分开来。,中,得分高,高水平 被试,低,中等,得分低,二、区分度的计算：2类,区分 度 计算 方法：,（一）鉴别指数法,（二）相关法,二、区分度的计算,（一）鉴别指数法 discrimination index 高分组和低分组通过率的差别，来计算区分度。 情景：常用、易用 （二）相关法 interrelated method 单一项目分数与效标分数或测验总分的相关可作为区分

14、度的指标。 适用情景：大规模测验或标准化测验。,（一）鉴别指数法,1.鉴别指数（D指数）：高分组与低分组的通过率之差。 计算公式：D = PH PL 大家想一想，根据计算公式： （1）D的取值范围是多少？ （2）D值与项目质量的关系？,例题：1999年华东师大考研,计算题： 一个测验的测题全部是由五选一的选择题组成的，其中第一题上端27%的被试P=0.75，下端27%的被试P=0.35，请问它的鉴别力多大？,D的判定：,2.伊贝尔鉴别指数标准：,例题：1999年华东师大考研：,计算题： 一个测验的测题全部是由五选一的选择题组成的，其中第一题上端27%的被试P=0.75，下端27%的被试P=0.

15、35，它的鉴别力多大，该题可以接受吗 该怎样作答？,3.项目特征曲线：,通过率,1.00,0.00,0.50,低 中 高 能力,A,B,C,D,项目特征曲线分析：,项目特征曲线分析：,（二）相关法interrelated method,假设： 特质水平 测验总分数 项目分数,1点二列相关 条件：项目是二分记分，效标或总分是连续变量。,相关例题分析：,2、二列相关 适用条件：两个都是连续变量，但其中一个变量被人为分成两类。,3、 相关 适用条件：两个变量都是二分类型的变量,4、积差相关 适用条件：两个变量均是连续变量。,三、区分度与难度的关系,难度,区分度,区分度与难度的关系：,1、极端难度：区

16、分度低 2、中等难度：区分度最大 3、大家想一下，想提高测验的区分度，根据难度和区分的关系，一个可行的方法是什么？ 办法：难度正态分布，并把大部分测题的难度保持在中等难度,四、区分度的相对性,1.计算方法不同，区分值也不同; 2.用相关法计算受样本容量大小的影响; 3.用鉴别指数计算受分组标准的影响; 4.受被试团体异质性的影响; 5.受题目难度的影响.,五、项目分析报告 Item analysis report,如何做项目分析报告？,（一）项目分析步骤:6步,1.选取代表性样组N人，按规定程序施测。 2.按测验总分的高低次序排列，从最高分开始向下取27%（50%）为高分组，从最低分开始向上取

17、27%（50%）为低分组。 3.分别计算高分组和低分组在每一个测题上的通过率，即PH和PL。 4.按照公式P=（PH+PL）/2和D = PH PL计算测题的难度和区分度。 5.作项目分析报告。 6.根据项目分析报告，修改或选择测题。,项目分析例题：,（二）项目分析报告格式：3类,分析 报告 格式 ： 3类,1、项目分析简表,2、难度与区分度双向表,3、项目分析综合表,1、项目分析简表,项目分析简表实例:,2、难度区分度双向表,六、项目分析的特殊问题,一、多重选择题的项目分析（诱答分析） 多项选择题因能有效控制被试的猜测误差，能测量较复杂的认知目标，能为改进教学提供较多的反馈信息，且易于评分，

18、可用计算机阅卷等诸多优点，在教育测验中，应用广泛。 对于多重选择题，除了分析难度和区分度外，还要对每个选项进行分析。,多项选择题例题:,下列动物中，那些动物是澳洲特有的物种（ ） A、雪豹 B、袋鼠 C、考拉 D、狒狒 E、鸭嘴兽,1、正确的选项被所有被试选择，说明 2、正确的选项没有一个被试选择，说明 3、如果所有被试都选择某个错误选项，说明 4、 如果没有一个被试选择某个错误选项，说明该选项,选择题备选答案质量分析：,选择题备选答案质量分析：,5、 如果高分组被试的选择集中在两个选项上且两者的被选择率接近，说明 6、如果高分组对正确答案的选择率等于或低于低分组，说明该题 7、如果所有被试都未回答某个题目或者选择各个选项的人数几乎相等，说明该题,第三节 项目分析实例,项目分析步骤,1、