心理与教育测量第四章ppt课件.ppt

心理与教育测量 1 第四章测量信度 信度概述信度的估计方法提高测量信度的方法 2 第一节信度概述 信度的定义信度的作用 3 一 信度的定义 信度的描述性定义信度 reliability 指测量结果的稳定性程度 有时也叫测量结果的可靠性 信度系数 是表示测量信度高低的指标 其值域为 0 1 世界上没有百分之一百可靠的测量 只是理论上的 信度也是多次测量同一对象的一致性程度 4 信度的统计定义 统计等价定义 信度是被试团体真分数方差与实得分数方差之比 即 信度是被试团体真分数与实得分数相关系数的平方 即 信度是一个测验与它的任意一个平行测验的相关系数 即 5 二 信度的作用 信度是测量过程中所存在的随机误差大小的反映 测量中随机误差越大 测量的信度越低 但信度与系统误差无关 信度可以用来解释个人测验分数的意义 信度可以帮助进行测验分数的比较 6 1 解释个人分数的意义 测量标准误的作用 估计真实分数的范围 了解实得分数再测时可能的变化情形 真分数的估计 或再测时实得分数的变化范围计算 根据SE Sx sqrt 1 rxx 求SE 根据显著性水平 或置信水平 1 则真分数的置信区间或再测时X的变化范围是 X Z 2SE T X Z 2SE 7 真分数估计举例 在一个人格测验中 某个被试的外向性得分为20分 已知该分测验的标准差为10 信度系数为0 91 试问该被试外向性的真实水平处于什么范围 0 05 如果对该被试重新施测 他的分数将不会落在什么范围外 8 2 比较不同测验分数的差异 已知X Y 求X Y是否差异显著 根据SEd S 2 rxx ryy 1 2 求SEd 这里要求两个测验的标准差相同 比较 X Y SEd和Z 2的大小 如果 X1 X2 SEd Z 2 则差异显著 反之 则差异不显著 9 不同测验分数的差异比较举例 某被试在韦氏成人智力测验中言语智商为100 操作智商为105 已知两个分数都是以100为平均数 15为标准差的标准分数 假设言语分量表和操作分量表的分半信度为0 87和0 88 问言语智商和操作智商是否存在显著性差异 0 05 10 需要注意的问题 一个测验可以有多个信度估计值 因而其误差估计值也会有多个 本理论假定同一个团体中所有人的测量误差是相同的 但实际上水平高的人与水平低的人在做测量时会有不同的随机误差 测量的结果不能僵硬地看成是一个点 而应看成是一个以该点为中心 以SE的某个倍数为半径上下波动的一个范围 例如 真正IQ一般在实得IQ 5的范围内波动 11 第二节信度的估计方法 重测信度复本信度分半信度同质性信度分半信度和同质性信度也叫内部一致性系数 评分者信度成套测验综合分数的信度 12 一 重测信度 定义 同一测验对同一批被试先后施测量两次所得结果的一致性程度 其大小为两次分数的积差相关系数 也叫稳定性系数 用于考查测量结果跨时间的稳定性 计算公式 13 举例 假设有一份考试焦虑调查表 先后两次施测于10名学生 时间间隔为半年 结果如表所示 求该测验的重测信度 14 使用条件 所测心理品质相对稳定 否则无法判断是量具信度低 还是品质本身稳定性差 前后间隔时间要恰当 遗忘和练习的效果基本上相互抵消 时间间距依问题的性质和测量目的而定 通常 以2 4周为宜 智力测验的间隔一般在6个月左右 间隔期间被试在所测品质方面无更多学习和训练 有被试的真诚合作 15 需要注意的问题当某个测验涉及多个年龄或年级等不同层次的考生 被试 时 重测信度不能直接用测验的原始分数进行估算 而必须使用经过常模量表转换之后的量表分数或其他类型的标准分数进行估算 否则会高估 当极少数考生的前测分数与后测分数相差特别明显时 应去除这些异常的极端值 控制在2 以内 以避免低估重测信度 16 评价优点 能提供有关测验是否随时间而变异的资料 可作为被试将来行为表现的依据 缺点 难以消除记忆和练习及学习的影响 难以取得被试的全面合作 17 二 复本信度 定义两个平行测验测量同一批被试所得结果的一致性程度 其大小为两次分数的积差相关系数 分类等值性系数 通常指复本信度 两个复本测验同时连续施测 稳定性与等值性系数 通常指重测复本信度 两个复本测验相距一段时间分两次施测 是对信度的最严格的检验 实施平衡设计 将被试随机分成两半 一半先测A卷 再测B卷 另一半先测B卷 再测A卷 18 计算公式类似于重测信度 举例假设用A B两型智力复本测验对五年级10个学生施测 结果见下表 试求该测验的复本信度 19 20 使用前提条件要命制出真正等值的平行测验 被试要有条件 时间 经费等 接受两个测验 评价优点 能减少练习和记忆效应 缺点 很难构造出两份以上的平行测验 只能减少而不能消除练习效应 无法消除迁移效应 21 三 分半信度 定义 将一个测验随机分为对等的两半 常用奇偶分半 所有被试在这两半测验上得分的一致性程度 计算通常也采用积差相关系数求取 由于测验长度变短 通常需要校正 公式为 其中为两半的相关系数 22 举例 已知某量表的分半信度为0 63 请算出原长度的信度系数 23 上式为Spearman Brown公式 使用条件为两半分数的方差 变异数 相等 如果不等 可采用下列两个等价公式直接计算 Flanagan公式 Rulon公式 其中 为两半测验分数方差 为两半测验分数之差数的方差 为总方差 24 使用条件随机分成的两半必须是对等的两半 通常在只能施测一次或没有复本的情况下使用 评价优点 只需施测一次便能求取信度 缺点 有些题目 很难分为对等的两半 比如语文考试里的作文 就没办法分半 分半方法很多 所估信度很可能有差异 25 四 同质性信度 定义测验内部所有题目间的一致性程度 一致性包含两重含义 所有题目都是测同一种心理特质 所有题目得分之间都有较高的正相关 两者的关系 正相关高是同质性高的必要而非充分条件 26 计算求所有分半信度的平均值 缺点 分半的方法太多 有Cnn 2个 计算太麻烦 例如 有20个题目 则分半的数量有 C2010个 先求所有题目间相关系数的平均值 再用下列公式计算 其中K为一个测验题目个数 为所有题目间相关系数的平均值 27 Kuder Richardson K R 公式K R20公式 只适用于两级评分 例如0 1 其中K为题目数 为答对第i题的人数比例 为答错第i题的人数比例 为测验总分的变异 K R21公式 在KR20基础上要求各题难度相同 其中为所有题平均答对率 为所有题目平均答错率 28 克龙巴赫 系数 适用所有题目 其中 Si2为每个题目的方差 注意 大 信度必高 但 小 信度不一定低 荷伊特信度 采用方差分量比方法 29 克龙巴赫 系数计算举例 语文测验模拟资料如表 试求内部一致性系数 的值 注 第一行数字为被试编号 第一列为项目编号 30 荷伊特信度举例 31 五 评分者信度 定义多个评分者给同一批人的答卷进行评分的一致性程度 计算两个评分者 采用积差相关或等级相关多个评分者 无相同等级情况 肯德尔W系数有相同等级情况 校正之后的肯德尔W系数 W系数的显著性检验 查W表 K 3 20人 N 3 7个 计算 2值 2 K N 1 W df N 1 32 肯德尔W系数校正后的W系数 略 33 评分误差产生的原因试题原因试题答案不唯一 评分标准还客观 要依赖于评分者主观经验 因此评分误差严重主要在自由反应性试题上 特别是论文式试题 评分者原因 评分者专业知识水平不够 影响对试题和答案的理解 尤其是综合性试题 创造性答案 评分者评判能力不够 缺乏评判能力 特别是缺乏计量评判能力 评分勿高忽低 或偏高 偏低 评分者个性倾向影响 宽 严不同 导致评分不一致 评分者心理状况和工作态度不同 34 评分阅卷中各种客观效应的影响 名片效应 光环效应 对比效应 先后效应 环境与组织管理的影响 35 控制论文式试题评分误差的方法 命题进尽量控制作答的发散范围 预先制定好评分规则 并尽是客观 精细 但不吹毛求疵 选择和培训阅卷人员 统一评分标准 规范阅卷行为 流水作业评分 分因素评分 36 组织复查 自觉防止各种客观效应的影响 在规模阅卷中可考虑采用统计手段控制和调整评分误差 均数 标准差 网上阅卷 电子阅卷员 37 六 成套测验综合分数的信度 略 38 第三节提高测量信度的方法 影响测量信度的主要因素提高测量信度的常用方法几点说明 39 一 影响测量信度的主要因素 被试方面 单个被试心理的稳定性 团体被试水平的离散程度及平均水平的过高或过低 主试者方面施测人员不按规定施测或给学生加压 暗示 阅卷人员标准掌握一致 不准确 40 施测情境方面考场条件声 光 空间 桌面 仪器质量等 测量工具方面 量具性能是否稳定 包括试题取样代表性 稳定性 试题同质性 试题难度及其分布 两次施测估计信度的间隔时间 时间间隔会影响重测信度和稳定性与等值性系数 有时也叫重测复本信度 时间间隔越长则信度越低 41 二 提高信度的常用方法 适当增加测验长度 其本质是加大行为样本容量 注意 加长部分必须与原测题同质 而且不可无限加长 加长测验的效果可用rkk krxx 1 k 1 rxx 计算 其中k为改变后的测验长度与原来长度之比 rxx为原测量的信度 rkk为测验长度增加为k倍后的测量信度 加长效果遵循报酬递减律 42 举例 有一个包括20个题目的测验 信度为0 60 若把测验增加到50个题目 其信度将增加到多少 一个包含60个题目的测验信度是0 80 欲将信度提高到0 90 需要增加多少题目 43 控制试题难度分布为正态 并把难度控制在中等水平 此时 被试得分方差增大 会提高信度 努力提高每一试题的区分度 维持试题所测内容的同质性 统一规范施测程序和施测环境 保证被试有充裕的作答时间 严格按照标准给分 控制评分误差 努力提高被试中各同质亚团体的测验信度 44 三 几点说明 本章所讲为测量的信度 而不是测验的信度这就要求测验在不同被试群体上 不同时间施测时均要重新计算信度 有多少种误差来源就有多少种信度估计方法原则是哪种测量误差最大 就选用相应的信度估计方法 有时需要同时估计几种信度 45