第六章测验的项目.ppt

第六章测验的项目分析 概述 一 引言什么是好的测验 信度 效度信度和效度分析是对测验质量的整体评价一个好的测验肯定有好的项目 概述 一 引言那什么是好的项目呢 编制一个拥有良好项目的测验是很难的 幸好 我们有一种方法 它能够帮助我们知道什么样的项目是好的 什么样的项目是模棱两可的 是太简单或太难的 是不能够测出个体差异的 也就是需要修改或删除的 概述 二 项目分析这种方法就是项目分析 itemanalysis 项目分析是对组成测验的每个项目进行分析 项目分析的目的是通过分析改进项目统计量进而提高测验的信度和效度 项目分析包括质的分析和量的分析 概述 二 项目分析质的分析是对项目质量的逻辑分析 主要是依靠测验编制者丰富的经验和所受的训练 对项目的内容和形式是否得当进行分析 如 项目的代表性 项目与所要测量的特质的关联性 项目是否适合被试团体等 主要考虑内容效度 题目编写的恰当性和有效性等 概述 二 项目分析量的分析 通过计算项目的一些统计量作为项目质量高低的指标 进而挑选和修改项目 主要包括难度分析和区分度分析 质的分析和量的分析要有效的结合起来 量的分析提供了项目质量的客观指标 质的分析提供了项目质量的逻辑依据 第六章测验的项目分析 第一节测验的难度第二节测验的区分度第三节猜测问题与猜测率第四节多重选择题的项目分析 第六章测验的项目分析第一节测验的难度 一 难度的意义难度是表示项目难易程度的指标 在最优作业测验中 称为 难度 而在典型反应测验中 则指 通俗性 两者都是指在总体中 能够正确或确切回答某项目的人数 第六章测验的项目分析第一节测验的难度 一 难度的意义难度是指测验项目的难易程度 一个测验项目 如果大部分被试都能答对 则该项目的难度就小 如果大部分被试都不能答对 则该项目的难度就大 难度是一个相对性的指标 必须通过实践来对难度进行检验 操作性定义 对大多数测验目的 项目难度被定义为答对项目人数的百分率 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 一 二分法记分项目的难度 1 通过率P R N 100 其中 P 项目的通过率或项目的难度R 答对或通过该项目的人数N 参加测验者的总数 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 一 二分法记分项目的难度 1 通过率例 100人参加的某一测验 第2题和第3题通过的人数分别为30人和70人 请问这两题的难度分别为多少 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 一 二分法记分项目的难度 1 通过率注意 难度的高低与难度值的大小的关系 难度值小 实际难度大 难度值大 实际难度小 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 一 二分法记分项目的难度 2 极端分组法当被试人数较多时 可以先将被试依照测验总分从高到低排列 分成三组 将总分最高的27 和最低的27 的被试分别定为高分组 NH 和低分组 NL 分别计算两组在该题的通过率 然后用下式计算该题的难度 P PH PL 2PH PL分别为高分组与低分组的通过率 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 一 二分法记分项目的难度 2 极端分组法例 设有370名被试参加某一测验 选为高分组和低分组的被试各有100人 其中高分组有70人答对第3题 低分组有40人答对第3题 则第3题的难度是多少 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 二 非二分法记分项目的难度 采用这个公式来计算 Xmax 该项目的满分 第六章测验的项目分析第一节测验的难度 二 难度的计算方法 二 非二分法记分项目的难度 例 数学测验的第7题满分为15分 该题考生的平均得分为9 6分 则该题的难度为多少 第六章测验的项目分析第一节测验的难度 三 测验难度水平的确定1 进行难度分析的主要目的是为了筛选题目 题目的难度多高才合适 取决于测验的目的 性质以及题目的形式 2 标准参照测验 掌握测验是为了了解被试在某方面知识技能的掌握情况 不必计较难度的大小 3 选拔录用时 应较多采用难度值接近录取率的项目 第六章测验的项目分析第一节测验的难度 三 测验难度水平的确定4 通过率越接近0或1 就无鉴别力 越接近0 5 越有区分力 5 常模参照测验 以选择接近中等难度的项目为好 但每道题都是50 一方面不太可能做到 另一方面 题目间的相关会很高 所以一般 把测验的平均难度控制在0 5 而每道题可在0 3 0 7之间波动 第六章测验的项目分析第一节测验的难度 四 难度的等距变换使用项目难度等距量表的理由 难度以项目的通过率来表示 属于顺序量表 无法指出难度之间差异大小 难度值与实际难度是反向关系 P值越大 项目越容易 第六章测验的项目分析第一节测验的难度 四 难度的等距变换方法 将P值作正态化变换 把难度值P作为正态曲线下的面积 查标准正态分布表 将P值转换成具有相等单位 的等距量表Z值 较难的项目难度为正值 较易的项目难度为负值 标准分数属于等距量表 第六章测验的项目分析第一节测验的难度 四 难度的等距变换对Z值的线性变换 13 4Z其中 常态化等距难度指标13 均数4 标准差Z 以 为单位的Z值 值愈大 则难度愈高 值愈小 难度越低 第六章测验的项目分析第一节测验的难度 五 难度对测验的影响从测验总分的分布情形 可以大致知道整个测验的难度 偏态分布 正偏态 负偏态 第六章测验的项目分析第一节测验的难度 五 难度对测验的影响1 测验难度影响测验分数的分布形态负偏态 大多数被试集中在右侧高分端 太易 应增加一定数量的难题 正偏态 大多数被试集中在左侧低分端 太难 应增加一定数量的易题 第六章测验的项目分析第一节测验的难度 五 难度对测验的影响2 测验难度影响测验分数的离散程度测验过难或过易 分数全距缩小 信度降低 P 0 50时最佳项目难度深刻地影响着测验分数的变化和区分不同组被试的精确性 当P值为极端值时 难度对测验分数方差的影响尤其明显 太难 太易都会使测验分数的变化都很小 因此极端的P值直接限制着测验分数的变化 第六章测验的项目分析第二节测验的区分度 一 区分度的意义1 项目区分度 又称项目鉴别力 是指测验项目对被试实际能力或心理特质水平差异的区分能力或鉴别能力 2 即项目得分的高低与被试实际能力或特质水平高低的一致性程度 3 项目的区分度是测验是否有效的 指示器 第六章测验的项目分析第二节测验的区分度 一 区分度的意义4 评价测验项目区分度高低依赖于对被试水平的准确测量 通常称作效标分数 常用测验总分作为效标分数 称作内部效标5 区分度的取值范围介于 1 00至 1 00之间 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 一 项目鉴别指数法这是计算区分度时最常用也是最简单的方法 较适合于二分法计分的测验项目 1 鉴别指数 indexofdiscrimination D 的计算D PH PL PH PL分别是高分组和低分组在该项目上的通过率 取值范围 1 1 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 一 项目鉴别指数法2 极端组的划分27 规则D指数的优点是 计算方便 能够较好地反映一个项目的区分能力 D指数的缺点是 只利用了一部分数据资料 浪费了很多信息 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法相关法即项目 总分相关 项目与总分相关高 那么项目的区分度也高 正的项目 总分相关说明 这个项目可以成功地区分在测验中表现好的人和表现差的人 还意味着项目和总体所测量的属性一致 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法1 点二列相关项目是二值记分 总分是连续变量 计算项目与总分相关 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法2 二列相关项目也是正态连续变量 但被人为地分成答对 答错或通过 未通过类 效标或总分是正态连续变量 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法3 相关用系数作为区分度指标时 要求项目反应与效标变量都是二分状态 一般是根据效标成绩或测验总分的高分组或低分组 通过和未通过某一项目的人数列成的四格表来计算 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法4 积差相关项目与总分均为连续变量 第六章测验的项目分析第二节测验的区分度 二 区分度的计算 二 相关法在实际研究中 不仅要报告相关系数的大小 还要将计算区分度的方法报告出来 以及相关是否达到了显著性水平 用项目总分相关来表示区分度的优点是 比较熟悉 容易检验它的统计显著性 容易判断出现实意义 如 项目总分系数r为0 40 就可以知道项目能解释测验分数的16 的变化 第六章测验的项目分析第二节测验的区分度 三 区分度与难度的关系 第六章测验的项目分析第二节测验的区分度 三 区分度与难度的关系上表是项目难度与D的最大值的关系 例 难度接近0 50时 项目潜在的区分度越大 在实际编制测验时 并不能使所有的项目都保持在0 50的难度水平 一般使项目的平均难度接近0 50 而各个项目的难度在0 50 0 20之间变化 这样 能把各种水平的人都区分开来 第六章测验的项目分析第二节测验的区分度 三 区分度与难度的关系难度和区分度都是相对的 是针对一定团体而言的 绝对难度和区分度是不存在的 一般来说 较难的项目对高水平被试区分度高 较易的项目对水平低的被试区分度高 中等难度的项目对中等水平的被试区分度高 这与中等难度的项目区分度最高的说法并不矛盾 因为对被试总体是较难或较易的项目 对水平高或水平低的被试则成了中等难度 第六章测验的项目分析第二节测验的区分度 四 区分度的相对性 一 不同的计算方法 所得区分值不同 二 样本容量大小影响相关法区分度值的大小 三 分组标准影响鉴别指数值分组越极端 区分度越 四 被试样本的同质性程度影响区分度值的大小样本越同质 区分度越 第六章测验的项目分析第二节测验的区分度 四 区分度的相对性难度和区分度都是针对一定团体而言的 所以 在评价项目的有效性时 应考虑到测验的目的 功能以及被试团体的总体水平 第六章测验的项目分析第三节猜测问题与猜测率 一 客观测验题中的猜测问题与猜测率选择题的一大缺点是被试有猜题的可能 即凭机遇答题 对一个两重选择题目 完全不会的被试仍然有50 的可能性选择正确答案 对K重选择题而言 被试完全凭机遇答题而得到正确答案的可能性为1 K 备选答案数目越少 机遇的作用越大 被试的得分将越高于他们的真实水平 第六章测验的项目分析第三节猜测问题与猜测率 四 区分度的相对性一 客观测验题中的猜测问题与猜测率大量的猜测会对是非题和选择题的分数产生很大影响 从而给测量带来误差 即猜测误差猜测误差来源有二 猜相对于不猜引起的误差 是否猜得对引起的误差 即猜测过程中因随机得分情况不同所引起的误差 第六章测验的项目分析第三节猜测问题与猜测率 二 项目难度受猜测影响的校正 一 猜测校正的性质与公式在选择题测验中 猜测的成功率受项目备择答案的影响 为平衡机遇对难度的影响 需进行校正 CP KP 1 K 1 其中 CP 校正后的难度P 未校正的难度K 选项的数目上式是对全体被试而言的 计算的是某一题的校正难度 第六章测验的项目分析第三节猜测问题与猜测率 二 项目难度受猜测影响的校正 一 猜测校正的性质与公式若对某个被试来说 参加由多个项目所组成的测验 同样有必要对他们的得分进行校正 以求出能反映出他真实水平的校正分数公式 S R W K 1其中 S 校正后的得分R 被试答对的项目数w 被试答错的项目数k 项目的选项数目 第六章测验的项目分析第三节猜测问题与猜测率 二 项目难度受猜测影响的校正 二 猜测校正的优缺点 猜测矫正公式的基本假设是 被试不知道正确答案时 完全凭猜测作答 猜测的成功与否完全由随机因素所致 即选择哪一个备选项是随机的 在实际测验中 这种假设很少成立 因此 对矫正公式存在很大的分歧 第六章测验的项目分析第三节猜测问题与猜测率 二 项目难度受猜测影响的校正 二 猜测校正的优缺点 赞成使用的人认为 避免降低测验的信度 反映真正的水平和能力 培养诚实的美德 比较公平 缺点 基本假设不成立 只要被试能答完全部试题 猜测校正无实质作用 对信度无重大影响 出现无法解释的现象 进行合理猜测是值得培养的习惯 综上所述 一般没有必要进行校正记分 第六章测验的项目分析第四节多重选择题的项目分析 多重选择题的优点 能较有效地控制随机猜测导致的测量误差 能测量较复杂的认知目标 能为改进教学提供更多的反馈信息 且具有易于评分 能用计算机阅卷等优点 对于多重选择题 除了进行难度和区分度分析外 为了进一步提高测验质量 还应对被试在项目作答反应上进行分析 第六章测验的项目分析第四节多重选择题的项目分析 一 对多重选择题作项目分析 可以解决的问题 1 项目是否具有所预期的功能 2 项目的难度是否得当 3 项目是否有缺陷 4 诱答选项是否都有效 通过被试对选择项反应模式的分析来改进并提高测验项目的质量 第六章测验的项目分析第三节猜测问题与猜测率 二 具体分析的步骤 1 按被试测量的总分 从高到低依次排列试卷 2 取前27 作高分组 3 取后27 作低分组 4 分别登记高分组与低分组选中各选择项的人数 5 根据登记结果进行选择项的质量分析 第六章测验的项目分析第三节猜测问题与猜测率 三 分析选择项的反应模式