项目分析培训讲座教学学习PPT.ppt

项目分析 项目分析 是指在组成测验前 一组分析被试对测验项目反应的统计方法 广义的项目分析还包括内容效度分析 项目编写分析 一般来说 测验的项目分析含定性 定量分析定性分析 主要依靠编制者丰富的经验 所受的训练 对项目的内容效度 形式恰当性 项目思想性教育性 表达的简洁性清晰性等进行分析定量分析 主要指用统计方法对项目难度 区分度 备选答案的合适度等进行分析 意义 有助于筛选 修订项目 从而提高测验信效度 使测验简洁 实用 有效 可靠 一 项目难度 1 定义 题目难易程度 在能力测验中称项目的难度水平 非能力 人格 测验中 称 通俗性 水平 即取自相同总体的样本中 能在答案方向上回答该题的人数 计算式定义 难度 p 常以通过率为指标p r n 100 p值大小与难度高低成反比 也称易度 适用于二值计分 2 计算方法 1 二分法计分的题目 客观题 不考虑被试作答是猜测成功的机遇 通过率例 在100个学生中 答对某题的人数为65个 则该题的难度是多少 p r n 65 100 0 65 分组法 当被试人数较多 先将被试依照测验总分从高到低排列 分成三组 总分最高的27 被试为高分组 nh 总分最低的27 被试低分组 nl 以两组通过率的平均值作为难度p ph pl 2 ph nh pl nl 2 例 在370名学生中 选为高分组与低分组的学生各有100人 其中高分组有80人答对第一题 低分组有40人答对第一题 则该题的难度是 p rh nh rl nl 2 80 100 40 100 2 0 60 用于多重选择题时 项目难度受机遇影响的矫正cp kp 1 k 1 检验实际难度 某题有75 的被试通过 有5个选项 则校正后的通过率应为 cp 5 0 75 5 1 0 69比较两个不同选项数题目的难度 有二道题 一题难度为0 50 五个选项 另一题难度为0 53 四个选项 x是全体考生在该题的平均分 xmax该题的满分分数某测验中某题的满分为20分 该题考生的平均得分为13 6分 则该题的难度为p x xmax 13 6 20 0 68 2 非二值计分 3 测验难度水平的确定 1 合适的项目难度水平 取决于测验的目的 形式 性质 2 在教育工作或实际工作 效标参照测验 掌握测验 中 若测验目的是为了了解被试在某方面的知识技能的掌握情况 可以不必过多考虑难度 只要教育者认为重要的内容就可以选用 甚至那些100 通过或通过率为0的项目 3 用于选拔录用人员 就应该将项目的难度控制在接近录取率左右 4 用于诊断 则p值高 只有少数不能通过 5 大多数测验 都希望能准确测量过个体差异 通过率接近0或1 就无辨别力 越接近0 5 越有区分力 6 每道题都是0 5 一方面不太可能做到 一方面 只有项目间相关为0得分才符合正态分布 而实际上个项目都有某种程度的相关 一般 把测验的平均难度控制在0 5 而每道题可在0 3 0 7中波动 7 选择题 p值一般应大于概率水平 等于概率 说明题目可能过难或题意不清 被试者凭猜测作答 小于概率无意义 说明题目质量有问题 二选一 p值0 75最为合适 四选一 p值0 63最为合适 8 分数分布是常态的 测题难度就恰当 4 难度的等距变换 1 通过率属顺序变量 不具相等单位 样本量大测验分数近正态 可据正态曲线表 将p作为正态曲线下的面积 转换成具有相等单位的等距量数 z分数 py0z 3 美国教育测验中心采用的难度指标 13 4 z 以消除正负号和小数点 为常态化等距难度值 z表示p转换得来的标准分数并提出标准正态分数的全距一般包括6个标准差 即难度指数 的全距由1至25 值越大 难度越高 平均数为13 标准差为4 ets难度指标等距变换的部分数值 5 难度对测验的影响 1 难度影响分数的分布形态样具有代表性的被试 接受中等难度测验 其分数呈正态分布 测验项目难度普遍较大 被试得分普遍较低 测验分数集中在低段 其分数分布呈正偏态 反之则呈负偏态 一般能力测验的平均难度在0 50 2 难度影响测验分数的离散程度及信度一般p 0 50 测题有最佳的离散程度 分数分布呈正态 且全距较大 信度 区分度 在测题中被试之间相互配对的可能性越多 就越有利于准确地鉴别被试的不同能力 如 100个学生参加考试 若p 0 50的题目 则对错各50 此题有50 50次配对比较p 0 7030 70 2100p 0 982 98 196 二 项目的区分度 1 定义 项目的区分度即鉴别力 指测验项目对被试心理品质水平差异的区分能力 2 意义 1 具有良好区分度的项目 能将不同水平的被试区分开来 实际水平高的被试的分高 2 测量专家把试题的区分度称为测验是否具有效度的指示器 并作为评价项目质量 筛选项目的主要指标与依据 3 评价测验项目区分度高低依赖于对被试水平的准确测量 常称作准则分数 测验项目区分度的准则分数更多的是用测验总分 称作内部准则 4 区分度的取值范围 1 00 1 00 通常d为正值 称积极区分 为负值为消极区分 0为无区分 具有积极区分作用的项目 d值越大 区分的效果越好 3 区分度的计算 1 鉴别力指数 indexofdiscrimination d 最常用 最简单 当效标成绩 测验总分 是连续变量 被试按总分高低排列 可从两端各取27 的被试 分别计算出每个题目上各自的通过率 d ph pl如 当某一个项目上 高分组和地分组的通过率分别为0 78 0 33 则d为0 45 极端组的划分 样本大于100或分数分布式正态 一般按高低分组各取27 或25 33 均可 样本小于100 可取50 分上下两半 鉴别指数与测题的评价 1965 美 艾伯尔 d测题评价 0 40以上非常优良0 30 0 39良好 如能修改更好0 20 0 29尚可 但必须修改0 20以下劣 淘汰 一般而言 d 0 30 该题目的鉴别度是可以接受的 2 方差法 被试在某一试题上的得分越分散 方差越大 则该题的鉴别力就越大 s2 xi x 2 nxi 第i个被试在该题的得分 当n 30 实际的项目分析不能小于30 s2 xi x 2 n 1 3 项目与总分相关法 一般以总分来衡量被试能力高低 项目与总分有一致性 项目与总分相关高则项目的鉴别力高 点二列相关 适用条件 项目是二值计分 总分是连续变量公式 答对该题的被试在总分上的平均分 答错该题的被试在总分上的平均分p 该题的难度q 1 pst 全体被试的总分标准差 注意 求出rpbi后 需检验其是否达到显著性水平 方法有积差相关法 t检验法 比较二分变量对偶的两组连续变量的平均数的差异是否显著 如平均数 xp和xq 的差异显著 则相关系数也显著 15个学生某测题的得分与总分情况 二列相关xp xq pq st y rb 适用于二列连续测量变量 其中一个被人为分成两类 如项目分数 效标或测验总分被人为分成 对 错 高 低 及格 不及格等 4 因素分析分析测题在一个因素上的负荷 负荷越大说明越有区分度 一般在0 30以上才是可以接受的5 相关 不要求二分名义变量成正态分布 两个变量都是二分名义变量ad bc a b c d a c b d r 6 积差相关法对于论文题目 得分有连续性 被试团体较大时 项目分数分布呈正态分布 可将项目得分与效标分数求积差相关系数以得到项目的区分度 4 区分度与难度的关系 1 难度和区分度是相对的 是针对一定团体而言 一般来说 相应难度的项目对相应水平被试区分度高 较难 中等 较易的项目分别对高 中 低水平的被试区分度高 这不与中等难度项目的区分度最高的说法相矛盾 2 由于人的多数心理特征呈正态分布 所以当需要人作最大程度的区分时 项目难度的分布也以正态为好 特难 特易的少 中等的多 且平均水平保持在0 50左右 但p值接近0 50并不保证项目有高的鉴别力 只能说在统计上已经没有限制了 难度p与区分度d的关系 5 区分度的相对性 1 不同的计算方法 所得区分值不同 在分析同一个测验时 各个项目的区分度值要采用用一种指标 否则不便分析比较 2 样本容量大小影响相关法区分度值的大小 一般样本量越小 其统计值越不可靠 应进一步用显著性检验法 来检验区分度值是否显著 3 分组标准影响鉴别指数值 d 分组越极端越大 4 被试样本的同质性程度影响区分度值的大小 被试越同质 区分度越小 被试越异质 区分度越大 5 评价项目的有效性时 应考虑到测验的目的 功能以及被试团体的总分水平 不能将区分度值作为筛选试题的绝对标准 三 猜测问题与猜测率 一 客观测验题中的猜测问题与猜测率1 被试凭猜测选择正确答案的机会是1 k k是每题的选项的数目 2 由猜测给测量带来误差 叫做猜测误差 猜测误差来源有 1 相对于不猜引起的误差 100道4选1 每题1分的考试中 甲乙都只会做50分的题 甲知之为知之不知为不知 50分 乙知其不可而为之 50 50 0 25 50 12 5 62 5分 2 是否猜得对引起的误差 猜测过程中因随机得分情况不同所引起的误差 二 项目难度受猜测影响的校正 1 全体被试在某项目上通过率的校正难度公式cp kp 1 k 1 或cp p q k 1 某个被试参加由多个项目组成的测验得分校正s r w k 1 s校正分 r答对项目数 w答错数 k项目数 例 某被试参加由100道四重选择题组成的测验 测验结果答对79题 答错21题 该被试的实得分数为 每题1分 s r w k 1 79 21 4 1 72 2 优点p88 1 可避免降低测验的信度 可用答错一题倒扣一定分数 使被试不敢盲目猜测 2 校正后的得分可反映被试的真正水平和能力 3 在教育测验中 可培养被试诚实的美德 4 比较公平 3 缺点 1 公式基本假设不成立 多数情况 被试先舍弃部分诱答 非盲目猜测 答错可能是观念模糊 记忆错误 粗心大意 2 只要被试能答完全部试题 则猜测校正无实质作用 校正只是进行线性变换成相对分数 3 不采用猜测校正对信度并无重大影响 据台湾学者黄国彦研究 1977 鼓励被试猜测 其影响只有4 左右 此项缺点可通过增加试题的数目来提高测验信度 4 有时会出现无法解释现象 一个学生答对的题数等于或少于答错的题数 校正后会得到零分或负分 5 在实际生活中 经常缺乏充分的证据与资料 需要凭借部分知识来判断 且进行合理猜测是值得培养的习惯 在答题时间充裕 备选答案在4个或4个以上的选择题 没有必须进行校正记分 总结 项目分析步骤1 选取有代表性的样组实施测验 2 计算每个人的总分 然后按总分分组 3 计算高分组和低分组通过每一题的比率 4 分别求出每一测题的难度和鉴别指数 5 选项分析 选项设置不当会降低题目的难度 所以也要对选项作分析 看有无异常情况 通常判断选项好坏有以下几点 1 正确答案无人选或少于其它选项的人数2 错误答案选的人太多3 正确选项高分组选择人数少于低分组4 错误选项上高分组选择人数多于低分组5 选项无人选择6 未答人数较多 6 备选答案的反应模式1 如正确的选项被所有被试选择 则说明该题目太容易或者题目中可能提供了某种暗示 2 如某个错误答案没有一个被试选择 说明该项目不具迷惑性 错得过于明显 一般说来 除非有2 以上的人选择 否则该备选答案应该修改或者删掉3 如所有被试都选择了同一错误答案 可能是编制测验时把答案定错了 也可能是在教学中发生了错误 4 如高分组被试的选择集中在两个答案上 二者选择率相近 说明该题可能有两个正确答案或另一个答案也有一定道理 5 如高分组对正确答案的选择与低分组相等或低于后者 说明所考察的东西与水平无关 及不具有鉴别力 此题应删除或做大的修改6 如一个题目被试未答人数过多 除速度性测验 或选择各个备选答案人数相等 则说明题目过难或题意不清 使得被试无法做答或凭猜测做答 7 修