第六章 项目分析

第六章项目分析 学习目标掌握难度的估计方法了解测验难度水平的确定依据掌握项目区分度的求法了解难度和区分度的关系 项目分析的定义就是根据试测结果对组成测验的各个题目 项目 进行分析 从而评价题目好坏 对题目进行筛选 项目分析的目的项目分析可以说明一个测验为什么是可靠的或是不可靠的 有助于理解某些测验分数为什么能提供预测 还能通过删掉或改善一些项目提高测验的可靠性和有效性 项目分析包括定性分析和定量分析定性 内容效度 题目编写的恰当性和有效性定量 题目的难度和区分度 测验项目的关键特征 基本问题 项目所测量的属性是否与其他的项目测量的属性一致要回答这一问题需要了解以下三个方面 每个选项上有多少人选择 有多少人能够正确回答这个项目 测验中这一项目的反应和另一项目的反应相关吗 一 干扰项分析通常 测验中每个多重选择题都有一个唯一正确或理想的答案 通过考察一组被试选择不正确选项的频率可以从中得到很多信息 例 基础心理学测验项目妄想型患者的精神分裂症通常包括虐待或高贵妄想 下面哪个选项可能是妄想型患者精神分裂症的次级症状 A幻听B瘫痪C记忆丧失D厌食 一个理想的项目应具备两个特征 1 知道问题答案的人总能正确选择2 不知道问题答案的人将会在可能的选项上随机选择 5 6 9 6 5 0 88 9 195 4 23 13 构想效度Constructvalidity 二 项目难度 一 难度 difficulty 的定义难度 指测验项目的难易程度 在最高作为测验中 称为 难度 而在典型作为测验中 则指 通俗性 或 流行性 水平 两者都是指在总体中 能够正确或确切回答某项目的人数 难度分析 是对项目的难度进行估计以确定适宜的难度 二 估计项目难度的方法测验的计分方法不同 项目难度的计算方法也不同 二分法记分项目的难度多值计分项目的难度 1 二分法记分项目的难度二分法记分 项目计分只有答对和答错两种情况 计分为1 0 1 通过率 答对的百分比或比率P R NR 答对人数 N 总人数当项目以0 1记分时 难度等于通过率 用通过率表示难度 P值越大 难度越小 P值越小 难度越大 2 极端分组法 上下27 人数较多时 难度等于总分上高分组与低分组通过率的平均数 P PH PL 2 2 非二分法记分 多值记分 项目的难度P X XmaxX为所有被试在该项目上的平均得分 Xmax为该项目的满分 当测验以多值记分 且受测人数很多 难度等于总分上高分组与低分组平均分之和与2倍满分之比 P XH XL 2Xmax P值作为项目难度的标准要注意 P值实际上是个行为标准 它不是根据项目的本身特征来确定难度 而是通过答对人数与参加测验人数之比这种方法来定 难度既是项目本身又是参加测验的人的一个特征 三 选择题的难度修正在选择题测验中 猜测的成功率受项目备选答案数目 K 选择数目 的影响 为平衡机遇对难度的影响 采用以下矫正 CP 如果要比较两个选项数目不同的测验难度 必须应用以上矫正公式分别将两个测验的难度进行矫正 然后才能进行比较分析 KP 1 K 1 例 一个五择一的测题难度指数为0 50 一个四择一测题难度指数为0 53 哪一题的难度大 四 测验难度水平的确定 1 项目难度的确定难度分析的主要目的是筛选项目 项目难度水平取决于 1 测验的目的教育工作中 若为了了解被试在某方面知识技能掌握的情况 可以不必过多的考虑难度 大多数测验希望能较准确地测量个体之间的差异 选择题目时 最好使试题的平均难度接近0 50 而各题难度在0 50 0 20之间 2 测验的作用一般能力测验和成就测验的平均难度在0 50左右比较合适 筛选性测验 选拔性 竞争性测验 则要采用难度接近录取率的项目 3 项目的形式对于选择题来说 难度一般应大于猜测概率 P K 1 2K K为项目备选答案数目 对于是非题而言 其难度值应该为0 75最为合适对于四择一题目 其难度值约为0 63时最为合适 五 难度对测验的影响1 测验难度影响测验分数的分布形态难度大 正偏态难度低 负偏态 正态 假如在难度中等并且项目组间相关为零的条件下 分数分布将为正态 正偏态 由于缺乏难度低的项目 所有大部分被试分数会集中于左侧低分数 说明测验过于困难 选优 负偏态 大多数被试分数集中于右侧高分端 接近满分 这说明测验很多 项目太容易了 缺乏难的项目 淘劣 2 测验难度影响测验分数的离散程度测验过难或过易 分数全距缩小 信度降低 P 0 50时最佳 三 测验的区分度 一 区分度的意义区分度 discrimination 是指测验项目对被试心理品质水平差异的区分能力或鉴别能力 一个项目在测验所要测量的心理属性上将具有较高水平与较低水平的人区分开来的能力 也称鉴别力 项目的区分度是测验是否有效的 指示器 二 区分度的计算1 鉴别指数法1 鉴别指数 indexofdiscrimination D 的计算D PH PL取值范围 1 1 2 极端组的划分27 规则一般情况下 取上下25 33 均可 样本少时 可以取50 注意 由于计算机的方便使用 可以上下50 作为划分高低组的标准 或者多分几组 对区分度和难度作详细分析 因为只取上下两端 只利用了一部分资料 浪费了很多信息 有可能得出错误结论 例 个学生参加有 个项目的测验 得分最高的 个学生组成高分组 得分较低的 个学生组成低分组 然后计算高分组和低分组在每个项目上的通过率 数据如下表 通过百分比 2 相关法 项目 总分相关 1 点二列相关Xp Xqrpb pqSt适用 一个变量为连续变量 另一个为二分变量 2 二列相关Xp XqpqXp Xtprb 或rb StySty适用 两个变量都为连续变量 但一个被人为分为两类 3 相关ad bcr a b c d a c b d 适用 两个变量都为真正的二分变量4 四分相关5 项目和总分相关重叠的校正当测验项目超过20个项目时 校正法通常毫无意义 rtpSt Sprpq St2 Sp2 2rtpStSp 项目 总体相关 个别项目和总体测验测量同一属性的相关程度 相关为正 则说明 该项目可以成功区分在测验中表现好的被试和表现差的被试 项目与总体测量的属性一致优点 方法较熟悉 是项目分数和测验分数的简单相关 可以检验统计显著性 也可判断现实意义 四 干扰项 难度 区分度之间的关系 1 干扰项和难度例 斯金纳的 组织行为学 在哪年出版 A a 1457b 1722c 1938d 1996B a 1936b 1931c 1938d 1942干扰项的相似性极大影响项目的难度 有一个或两个及其相似 则该项目难度较大 2 难度和区分度的关系对个体而言 P值在0或1左右 鉴别差异的能力较小对团体而言 较难项目队高水平被试区分度高 较易项目对低水平被试区分度高 区分度与难度的关系 五 项目反应理论 传统的项目分析讲述了大量关于测验项目的知识 但同时又极大地受到参加测验的人影响 测验发展和分析的现代方法利用和项目反应理论想联系的统计和分析方法得到有关项目性质 通过项目所需要的能力 测验分数的信息丰富的 解释性的测量 Raju Vander Linden Fleer 1995 1 项目特征曲线 itemcharacteristiccurve ICC 项目特征曲线描述了效标分数不同的被试在该项目上的通过率 曲线坡度越陡 鉴别力越好 预测的误差越小 率概的目项答回确正 1 00 0 00 0 50 低高中能力 鉴别力较好 低中高能力 鉴别力为负 鉴别力较低 难度不同的3个项目的ICC 2 项目反应理论 IRT 该理论解释和分析了个体特质 如能力 和对个别项目反应的关系 它以一系列关于个体能力和被试答对问题的概率之间的数学关系的假设开始 主要优点 1 提供的测量 其样本一般恒定不变 即用于描述一个ICC的测量不依赖于用来得到测验数据的样本 2 对项目的任何反应都可能提供关于个体知识或能力的信息 鼓励对多重选择题目的每个反应 包括正确项反应和干扰项反应 都构建一个单独的ICC 有利于对选项进行修订 对个人能力了解更多的信息 多项选择中每个选项的ICC 四 区分度的相对性 一 不同的计算方法 所得区分值不同区分度有几种计算方法 二 样本容量大小影响相关法区分度值的大小样本越大 区分度越 三 分组标准影响鉴别指数分组越极端 区分度越 四 被试样本的同质性程度影响区分度值的大小样本越同质 区分度越 六 项目分析的特殊问题 一 选择题反应模式的分析如果所有被试都选择某一正确的选项 说明该选项 如果没有一个被试选择某个错误选项 说明该选项 如果所有被试都选择某个错误选项 说明该选项 如果高分组