测验的信度.ppt

测验的信度 主讲 邓稳根 信度的概念 一般定义 信度 即测验的可靠性 指的是测验所得结果的一致程度 它是衡量测验质量好坏的最基本指标 经典测量理论的定义经典测量理论的假设 X T E X为实得分数 T为真实分数 E为随机误差分数 可以转换为 S2x S2T S2E 信度定义 信度是一组测验分数的真分数方差与总方差 实得分数方差 的比率 即rxx S2T S2x 1 S2E S2x 真分数方差 误差分数方差和信度之间的关系 真分数方差越大 误差分数方差越小 信度越大 信度的求取 r2xT S2T S2x rxT即为信度的第一种表示信度指数 但这里S2T无法求取 对同一被试反复施测无数次 或用无数个相等的测验对同一被试反复施测无数次 从而一个被试可以得到无数个分数 这无数个分数的平均值为真实分数T 标准差即为测量的误差方差 它也是信度的第二种表示 这里对一个被试能不能反复施测无数次 对同一批 多于一个 被试前后施测两次或采用两套相等的测验对同一批被试施测 求取两次测验分数的相关系数即为测验的信度系数 即rxx 这是信度的第三种表示 思考 信度系数与信度指数的关系是什么 有了rxx 就可以通过公式rxx 1 S2E S2x计算第二种表示中的SE SE Sx 1 rxx 1 2测量标准误与信度的关系 互为消长 信度高 标准误低 信度低 标准误高 1 公式rxx r2xT S2T S2x和公式rxT ST Sx表明信度指数的 就是信度系数 A 一半 B 平方 C 倍数 D 本身2 是指同一被试在不同时间内用同一测验 或用另一套相等的测验 重复测量 所得结果的一致程度 A 信度 B 效度 C 难度 D 区分度3 信度只受 的影响 A 系统误差 B 随机误差 C 恒定效应 D 概化作用 例题 信度评估的方法 根据反映测验误差的不同来源 可分 重测信度 考察跨时间的一致性 复本信度 考察跨内容的等值性 内部一致性 考察题目的同质性 评分者信度 考察评分的一致性 注意 信度估计方法不只上面几种 实际上有多少误差来源 便有多少估计信度的方法 原则上一个测验哪种误差大 便采用哪种估计方法 有时甚至需要有几种信度系数 重测信度 定义 又称稳定性系数 即使用同一测验 在同样条件下对同一组被试者前后施测两次 求两次得分间的相关系数 计算方法 重测法 A1A2 求r12 优点 能提供有关测验是否随时间而变异的资料 可作为被试将来行为表现的依据 缺点 易受练习和记忆的影响 两次测量之间最适宜的时距 随测验的目的 性质和被试特点而异 一般是两周到四周为宜 间隔时间最好不超过六个月 2 4周 复本信度 等值性系数 AB定义 是以两个等值但题目不同的测验 复本 来测量同一群体 然后求得被试在两个测验上得分的相关系数 施测方法 将被试随机分成两半 一半被试先做A 再做B 另一半先做B 再做A 合并两个A和B的数据求相关 稳定性与等值性系数 AB两个复本的施测相隔一段时间 优点 等值性系数能避免重测信度的记忆和学习效应 缺点 只能减少不能消除练习效应 无法消除迁移效应 建立复本很难 内部一致性信度 分半信度 1 2A1 2A定义指在测验实施后 将测验按奇偶性分成两半 并分别计算每位被试在两半测验上的得分 求出这两半分数的相关系数 校正原因 测验长度变短 易低估测验的信度 公式 rxx 2rhh 1 rhh 假设条件是两半分数的方差相等 如不等 采用弗朗那根公式或卢伦公式直接求rxx 同质性信度主要代表测验内部所有题目间的一致性 正相关高 测验为同质的 低正相关或为负相关时 测验为异质 如果测验由许多分测验组成 则要求分测验内部同质 分测验之间异质 计算方法 库德 理查逊公式 K R20 K R21 适用条件 两级评分 后者还要求测题难度相同或近似 克伦巴赫 系数 既可适用于两级评分 也可适用于多级评分 如有多项选择的人格测验 态度量表等 评分者信度 适用 用于测量不同评分者之间所产生的误差 两个评分者之间的信度 有若干份试卷 每份试卷由两人评分 然后根据每份试卷的两个分数求相关 如果受过训练的评分者 其评分一致性应达0 90以上 多个评分者之间的信度 如果采用等级评分 可采用W系数计算评分者信度 应注意的问题 有多少误差来源就有多少信度估计方法 应根据情况采用不同的信度指标 原则上一个测验哪种误差大 便用哪种误差估计 一个测验往往要计算多种信度系数 例子 复本信度又称等值性系数 它是以两个等值但题目不同的测验 复本 来测量同一群体 然后求得被试者在两个测验上得分的相关系数 复本信度反映的是测验在 上的等值性 A 时间 B 题目 C 评分 D 内容一般要求在成对的受过训练的评分者之间平均一致性达到 以上 才认为评分是客观的 A 0 70 B 0 80 C 0 90 D l 00 信度与测验分数的解释 解释真实分数与实得分数的相关程度rxx S2T S2xrxx 0 1 rxx 0 S2E S2xrxx 1 S2T S2x 确定信度可以接受的水平两个原则 rxx 0 70时 测验不能用于团体比较和对个人进行评价和预测 0 70 rxx 0 85时 测验能用于团体比较 rxx 0 85时 能用于鉴别或预测个人成绩或作为 新编测验的信度应高于原有同类测验或相似测验 能力或成就测验 rxx 0 90 甚至0 95 人格测验 rxx 0 80 0 85 或更高 解释个人分数的意义测量标准误的作用 估计真实分数的范围 了解实得分数再测时可能的变化情形 真分数的估计 或再测时实得分数的变化范围计算 根据SE Sx 1 rxx 1 2 求SE 如果已知或然水平 一般为95 则真分数的置信区间或再测时X的变化范围是 X 1 96SE T X 1 96SE 真分数估计举例 在一个人格测验中 某个被试的外向性得分为20分 已知该分测验的标准差为10 信度系数为0 91 试问该被试外向性的真实水平处于什么范围 或然水平为95 如果对该被试重新施测 他的分数将不会落在什么范围外 比较不同测验分数的差异 已知X1 X2 求X1 X2是否差异显著 求X1 X2 根据SEd S 2 rxx ryy 1 2 求SEd 这里要求两个测验的标准差相同 比较 X1 X2 SEd和1 96 要求或然水平为95 时才为1 96 的大小 如果 X1 X2 SEd 1 96 则差异显著 反之 则差异不显著 不同测验分数的差异比较举例 某被试在韦氏成人智力测验中言语智商为100 操作智商为105 已知两个分数都是以100为平均数 15为标准差的标准分数 假设言语分量表和操作分量表的分半信度为0 87和0 88 问言语智商和操作智商是否存在显著性差异 举例 大约有95 的可能性真分数落在所得分数 1 96SE的范围内 或有5 的可能性落在范围之外 的描述 其置信区间为 A X 1 96SE XT X 1 97SE B X 1 96SE XT C X 1 96SE XT D X 1 96SEXT X 1 97SE 影响信度的因素 样本特征样本团体内的异质性 指水平的差异 异质高 则信度高 样本团体间平均能力水平 团体的不同水平 导致题目的难度不同 从而影响信度的高低 在智力测验中 对年幼者或能力水平低者 不适宜使用选择题测验 在编制测验时 应将常模团体分为更同质的亚团体 分别报告其信度 测验长度测验越长 测验的测量取样或内容取样就越有代表性 测验越长 被试猜测因素的影响就越小 增加测验长度的效果遵循报酬递减率原则 斯皮尔曼 皮朗公式的导出公式 测验长度的计算举例 一个包括40个题目的测验信度为0 80 欲将信度提高到0 90 问至少要增加多少个题目 测验难度难度对信度的影响只存在最高作为测验中 难度与信度之间不是简单的对应关系 难度为0 5只适合于简答题 选择题的难度应偏高 洛德提出 在学绩测验中各类选择题的理想平均难度值为 五择一为0 70 四择一为0 74 三择一为0 77 是非题为0 85 时间间隔只对重测信度和重测复本信度产生影响 时间间隔越短 信度系数越大 例题 洛德 Lord 提出在学绩测验中 为了保证其可靠