心理测量学5 第五节 测验的信度ppt课件

第五节测验的信度 第一单元信度的概念第二单元信度评估的方法第三单元信度的作用第四单元影响信度系数的因素复习题 一 信度的定义信度即测验的可靠性 指的是测量的一致性程度 信度受随机误差的影响 随机误差越大 信度越低 信度是一组测量分数的特性 不是某个测量分数的特性 是对一个人测量多次或对一个群体进行测量得到一组测量分数的特性 二 信度的指标1 信度系数与信度指数信度指数 信度系数的平方根 2 测量标准误式中SE表示测量的标准误 Sx表示一次测量分数的标准差 rxx表示信度系数 标准误与信度互为消长 back 1 评价测验信度系数是衡量测验好坏的一个重要的技术指标 一般能力与学绩测验的信度系数为0 90以上 有的可以达到0 95 标准智力测验的信度系数应达到0 85以上 兴趣 性格 价值观等人格测验的信度系数 通常在0 80 0 85 当r0 85时 可用来对个人作出评价 2 用来估计个人的测验分数利用测量的标准误 可以解释个人分数的意义 体现在 估计真实分数的范围 了解实得分数再测时可能的变化情形 计算公式为 X 1 96SE T X 1 96SE 05 X 2 58SE T X 2 58SE 01 式中SE表示测量的标准误 Sx表示一次测量分数的标准差 rxx表示信度系数 例1 已知WISC R的标准差为15 信度系数为0 95 对一名12岁的儿童实施该测验后 IQ为110 那么他的真分数在95 的可靠度要求下 变动范围应是多大 解 SE 15 1 0 95 1 2 3 35110 1 96 3 35 103 4110 1 96 3 35 116 6有95 的把握可以断定真分数在103 4和116 6之间 我们可以用 差异的标准误 来检验差异的显著性 差异的标准误的公式为 为差异的标准误 S为相同尺度的标准分数的标准差 Z分数为1 T分数为10 分别为两个测验的信度系数 先将原始分数化成标准分数 然后将两个标准分数的差异与1 96SEd 0 05显著性水平 进行比较 如果其绝对值大于此值 则差异显著 否则差异不显著 back 一 再测信度二 复本信度三 等值稳定性系数四 内部一致性系数五 评分者信度总结back 再测信度 Test RetestReliability 也叫重测信度 也叫稳定性系数 用同一个测验 在同样条件下 对同一组受测者前后施测两次 对两次测验分数求相关 其相关系数就叫再测信度 其计算公式为 式中X1 X2为同一受测者的两次测验分数 为全体受测者两次测验的平均数 S1 S2为两次测验的标准差 N为受测者人数 再测法的模式是 施测适当时距再施测 例 假设有一份主观幸福感调查表 先后两次施测于10名学生 时间间隔为半年 结果如表所示 求该测验的重测信度某幸福感调查表的两次测试结果 计算再测信度必须注意几个问题 1 所测量的特性必须是稳定的 当然绝对的稳定是不可能的 但应该是比较稳定的 2 遗忘和练习的效果基本上相互抵消 在做第一次测验时 受测者可能会获得某种技巧 但只要间隔时间适度 这种练习的效果会基本上被遗忘掉 再测信度要考虑时间间隔的问题 到底多长合适呢 对于年幼儿童 两次施测的时间间隔应比年纪较大的受测者短些 这是因为在个体发展的早期变化较快 一般来说 无论对于那种受测者 初测与再测的间隔最好不要超过六个月 一般是两周到四周为宜 3 应注意提高受测者的积极性 back 复本信度 AlternateFormReliability 也称等值性系数 CoefficientofEquivalence 用两个平行 等值 的测验对同一群体施测 得到两组测验分数 求这两组测验分数的相关系数 这就是复本信度 因为这反应了两个测验的等值程度 因此又称等值性系数 计算方法与再测法是一样的 复本信度的模式是 复本A最短时距复本B 例 假设用A B两型创造力复本测验对初中一年级10个学生施测 结果见表5 2 某创造力复本测验测试结果 复本信度应用时应注意以下几点 1 复本信度的关键在于两个量表必须等值 即必须具有相同的难度 区分度 长度 题型等 对于许多测验来说 建立复本是相当困难的 如人格 动机等 则不易找到等值的测题 2 由于量表的两个复本在许多方面近似 复本法只能减少而不能完全排除练习和记忆的影响 3 两次测验的时距应尽可能短促 以便避免知识的积累 练习效应等因素的影响 4 受测者易出现疲劳 失去积极性等反应 还会出现迁移 称为顺序效应 为了抵消顺序效应 可随机分配一半受测者先做复本A再做复本 另一半受测者先做复本 再做复本A 以平衡顺序效应 back 三 等值稳定性系数等值稳定性系数是用两个平行的 等值的 测验 间隔适当时距施测于同一群体得到两组测验分数 求这两组测验分数的相关 其相关系数就是等值稳定性系数 等值稳定性系数的模式是 测验A适当时距测验B计算方法同稳定性系数和等值性系数 等值稳定性系数也是采用复本对受测者施测 但等值性系数的测验要求两次测验的时间间隔尽可能短 而计算等值稳定性系数的两次测验却要求有一个适当的时距 注意 等值稳定性信度系数的值一般要比等值性系数和稳定性系数要低 因为 时间因素会引起我们所要测量的心理特质的变化以及测题的取样不同会影响两次测验分数的一致性 等值稳定性系数是测验信度的最严格的考察 得到的是信度系数的下限 back 利用一次测验所获得的资料来计算信度系数 这样计算出来的信度系数反应的是测验内部的一致性 即测验项目的同质性 叫做内部一致性系数或同质性系数 一 分半法 分半信度 二 同质性信度back 分半信度 采用分半法估计所得的信度系数 只需实施一次测验 常见的方法是把一个测验按题目编号分为两半 一半是奇数题 另一半是偶数题 求出每位受测者奇数题得分和偶数题得分 然后求出这两半得分的相关系数 这个相关系数就代表了两半测验内容取样的一致程度 因而叫做内部一致性信度系数 这个系数往往低估整个测验的信度 还需利用一些公式对相关系数进行校正 借以估计整个测验的信度 采用分半信度应注意以下几个问题 1 若用分半法时 以按奇数题和偶数题分半为宜 2 当试卷中存在任选题时 不宜采用分半法 速度测验也不宜采用分半法 因为速度测验中试题的难度低 受测者得分的多少主要是看答题的多少 分半法易使得分相同 从而夸大分半法的信度估计 3 如遇到有牵连的项目或一组解决同一问题的项目时 这些项目应放在同一半 否则会高估信度的值 4 将一个测验分成两半的方法很多 如 按题号的奇偶性分半 按题目的难度分半 按题目的内容分半等 因此 一个测验可以有多个分半信度值 提供分半信度值时 要说明分半的方法 5 为了弥补分半法的不足 可以采用其它的方法 back 同质性信度 代表测验内部所有题目间的一致性 back 五 评分者信度评分者信度 用于测量不同评分者之间所产生的误差 随机抽取部分试卷 由两个或多个评分者独立按评分标准打分 然后求其间的相关 所得的相关系数即为评分者信度 一般要求在成对的受过训练的评分者之间平均一致性达0 90以上 才认为评分是客观的 总结 再测信度 估计信度中跨时间的一致性复本信度 估计测验跨形式的一致性等值稳定性系数 估计测验跨时间和形式的一致性内部一致性系数 估计测验跨项目或两个分半测验之间的一致性评分者信度 估计测验跨评分者的一致性各种方法具有不同的意义 每一种信度系数不能代替其他的信度系数 所以编制或使用测验时 应该尽可能收集各种信度证据 一 样本特征1 样本团体异质性的影响团体的异质程度与分数分布有关 一个团体越是异质 其分数分布的范围越广 信度系数就越大 反之也然 回忆散点图 这是因为 在同质团体中 受测者水平比较接近 两次测验成绩差异主要受随机因素的影响 这次可能是甲高于乙 下次可能是乙高于甲 变化受随机因素的影响 没有规律性 因此相关很低2 样本团体平均能力 二 测验长度的影响测验的长度 即题目的数量 也是影响信度系数的一个因素 题目数量越多 信度越高 题目数量多 在每个题目上的随机误差互相抵消 好比投篮 投一个有偶然性 投100个其命中率就基本上反映了一个人的稳定水平 测验题目数量增多 可以改进项目取样的代表性 从而能更好地反应受测者的真实水平 增加题目数量可以提高信度 但并非多多益善 测验过长是得不偿失的 1 测验过长 编制测验要浪费较多的时间和精力 施测时浪费受测者的时间和精力 花费大 2 测验过长会引起受测者的疲劳和反感 从而降低可靠性 为了节省时间和精力 有时还需要将过长的测验适当缩短 而不使其对信度有大的损害 三 测验的难度如果测验太难 分数集中在低分段 如果测验太易 分数分布集中在高分段 这样都使分数分布的范围变窄 从而使信度降低 这表明 要使信度达到最高 能产生最广分数分布的难度水平最为合适 四 时间间隔时间间隔只对重测信度和重测复本信度有影响 时间间隔越短 其信度系数越大 间隔时间越久 其他变因介入的可能性越大 受外界影响也越大 信度系数便越低 back 复习题 1 根据一组受测者在 测验上的得分计算的相关系数即为复本信度 2 各种估计信度的方法都是对测验的一致性进行估计 但由于误差来源不同 它们研究的侧面各不相同 说明的是信度的不同方面 其中 再测信度可用来估计 复本信度可用来估计 等值稳定性系数可用来估计 内部一致性系数可用来估计测验跨项目或两个分测验之间的一致性 评分者信度可用来估计测验跨评分者的一致性 3 用同一个测验 对同一组受测者前后施测两次 对两次测验分数求相关 其相关系数就叫 4 分半信度通常是在测验实施后将测验按奇 偶分为等值的两半 并分别计算每位受测者在两半测验上的得分 求出这两半分数的相关系数 这个相关系数就代表了 内容取样的一致程度 同质性信度主要代表测验内部 的一致性 A原测验B所有题目之间C题目与分测验之间D两半测验5 K R20 R21公式有别于克伦巴赫a系数的是 K R20 R21只能用于 A二级计分题B多重记分题C简答题D论述题 6 一般而言 若获得信度的取样团体较为异质的话 往往会 测验的信度 A高估B低估C忽略D不清楚7 对于不同平均能力水平的团