第3节测验的信度

1、 w信度概念信度概念 w信度的评估方法信度的评估方法 w信度与测验分数的解释信度与测验分数的解释 w影响信度的因素影响信度的因素 成熟成熟 标志标志 20世纪世纪50年代年代 古利科逊古利科逊 心理测验理论心理测验理论 三大三大 支柱支柱 基本假设基本假设 信度信度 效度效度 第一单元第一单元 信度的概念信度的概念 一、经典测验理论一、经典测验理论 w classical test theory（ctt） （一）测量误差（一）测量误差 1、定义、定义 与测量目的无关与测量目的无关 不准确不准确 测量测量 效应效应 测量测量 因素因素 测量测量 结果结果 或不一致或不一致 2、误差的种类、误差的

2、种类 系统误差系统误差随机误差随机误差 随机误差与系统误差的比较随机误差与系统误差的比较 类型类型产生原因产生原因 结果表现结果表现 （结果不一致）（结果不一致） 特特 点点 指指 标标 同同异异 随机随机 误差误差 偶然因素偶然因素 不易控制不易控制 方向和大小上方向和大小上 完全随机完全随机 稳稳 定定 性性 准准 确确 性性 信信 度度 系统系统 误差误差 因素因素 恒定、规律恒定、规律 稳定地存在于每稳定地存在于每 次测量中次测量中 正正 确确 性性 效效 度度 3、误差来源、误差来源 三层面模式三层面模式 测量测量 工具工具 测试对象测试对象 施测施测 过程过程 （二）基本假设与真分

3、数（二）基本假设与真分数 1、分数、分数 观测观测 分数分数 误差误差 分数分数 真真 分数分数 测验所得测验所得 未加工未加工 无误差无误差 理论上理论上 真正特质水平真正特质水平 操作上操作上 多个平等测验的平均数多个平等测验的平均数 2、基本假设、基本假设 w 例例2-1：某一物理测量结果（单位：微：某一物理测量结果（单位：微） 物质编号物质编号 实测重量实测重量x 真正重量真正重量t 误误 差差e a 12 10 2 b 19 20 1 c 27 30 3 d 41 40 1 e 51 50 1 150 150 0 s 203.2 200 3.2 se 1.8 m 30 30 0 定义

4、定义 t与与x关系关系 数学模型数学模型 x = t e t = x e 222 etx sss 二、信度的概念二、信度的概念 s2t， s2e ， s2x的关系与信度的关系与信度 s2x s2x s2t s2e s2t s2e （一）信度的定义（一）信度的定义 2 2 2 x t tx s s r 1、理论定义、理论定义 真分数方差与观测分数方差的比值真分数方差与观测分数方差的比值 2 2 2 1 x e tx s s r 或或 ext 222 ext sss 2 22 2 x ex tx s ss r 2 2 2 tx x t r s s 2、操作定义、操作定义 两组测验分数之间的相关系数

5、两组测验分数之间的相关系数 测量工具或结果的一致性（稳定性）程度测量工具或结果的一致性（稳定性）程度 xxtx rr 2 3、rxx值与测验误差的关系值与测验误差的关系 r=0.50r=0.75r=0.90 s2e stststsese （二）信度的指标（二）信度的指标 1、信度系数与信度指数、信度系数与信度指数 x t x t tx s s s s r 2 2 信度信度 系数系数 同一群人同一群人 几次测验结果几次测验结果 一致性一致性 信度系数的信度系数的 平方根平方根 信度信度 指数指数 2 2 x t s s xx r 2 tx r w 缘由：缘由：rxx n只反映只反映x与与t的符合

6、程度的符合程度 n未反映个体测验分数的变异未反映个体测验分数的变异 2、测验标准误、测验标准误 w 测验中个体真分数的指标测验中个体真分数的指标 n理论上：一个个体多次测验结果分布的变异理论上：一个个体多次测验结果分布的变异 n实际上：一组个体两次测验结果分布的变异实际上：一组个体两次测验结果分布的变异 w 测量标准误测量标准误 n测量误差分数分布的标准差测量误差分数分布的标准差 w 用途用途 n衡量测量值（衡量测量值（x）与测量对象真值（）与测量对象真值（t）的）的 偏离程度的一种指标偏离程度的一种指标 n用来估计个人的真分数用来估计个人的真分数 w 个人分数的误差个人分数的误差 n个体测验

7、分数个体测验分数重测时重测时的的变化变化 w 公式公式 xxxe rsse1 实得分数实得分数 标准差标准差 w 个人分数的误差个人分数的误差 n rxx越大：变化的可能性越小越大：变化的可能性越小 n rxx = 1：完全不变化：完全不变化 第二单元第二单元 信度评估的方法信度评估的方法 信度信度 重测信度重测信度 复本信度复本信度 内部一致性内部一致性 信度信度 评分者信度评分者信度 分半信度分半信度 同质性信度同质性信度 重测复本信度重测复本信度 一、重测信度一、重测信度 含义含义 同一测验同一测验 同组对象同组对象 前后测前后测2次次 相关系数相关系数 稳定稳定 性性 程序程序误差误差

8、 时间时间 太短太短 练习效应练习效应 记忆效应记忆效应 a卷卷 一一 定定 时时 距距 a卷卷 太长太长 身心变化身心变化 优点优点 省力、省时省力、省时 测量属性相同测量属性相同 提供随时间变化的资料提供随时间变化的资料 不足不足 适用范围适用范围 异质性异质性 运动技能运动技能 速度速度 时间间隔长短时间间隔长短 评价评价 二、复本信度二、复本信度 含义含义 两等值测验两等值测验 最短时间内最短时间内 对同组对象对同组对象 施测结果施测结果r 等值等值 性性 程序程序 误差误差 内容内容 取样取样 a卷卷 最最 短短 时时 距距 b卷卷 优点优点 代表性增强，信度更准代表性增强，信度更准

9、 避免练习、记忆效应避免练习、记忆效应 不足不足 编制复本难编制复本难 影响积极性影响积极性 触类旁通触类旁通 评价评价 三、重测复本信度三、重测复本信度 含义含义 两等值测验两等值测验 一定时间内一定时间内 对同组对象对同组对象 施测结果施测结果r 等值性等值性 稳定性稳定性 程序程序 误差误差 内容取样内容取样 时间时间 a卷卷 一一 定定 时时 距距 b卷卷 重测信度与复本信度有何异同？重测信度与复本信度有何异同？ 重测复本信度与重测、复本信度重测复本信度与重测、复本信度 谁得估计更严格，为何？谁得估计更严格，为何？ 小结与问题小结与问题 重测重测 信度信度 复本复本 信度信度 内部内部

10、 一致性一致性 跨时间跨时间 一致性一致性 跨形式跨形式 一致性一致性 试题之间试题之间 有何关系有何关系 三、内部一致性信度三、内部一致性信度 含义含义 测验测验 各题间各题间 一致性一致性 题目题目 一致一致 性性 行为变量行为变量 异质性异质性 分半分半 信信度度 类型类型 内容内容 取样取样 同质性同质性 信度信度 （一）分半信度（一）分半信度 1、分半条件与程序、分半条件与程序 分半分半 方法方法 奇偶题奇偶题 分半分半 分析分析 程序程序 两半相关：两半相关：rhh 校校 正：正：rnn 难易：低难易：低高高 分半分半 条件条件 两半相似：两半相似： m、s 项目组间相关项目组间相

11、关 分布形态分布形态 内容内容 2、校正方法、校正方法 斯皮尔曼斯皮尔曼 -布朗公式布朗公式 方差相等时方差相等时 弗拉南根公式弗拉南根公式 卢尤公式卢尤公式 方差不等时方差不等时 hh hh nn r r r 1 2 （二）同质信度（二）同质信度 同质性同质性 题目间的内部一致性题目间的内部一致性 类型类型 库库-理信度理信度 克龙巴赫克龙巴赫 系数系数 0、1 题型题型 k-r20 难度不同难度不同 k-r21 难度相近难度相近 各类各类 题型题型 四、评分者信度四、评分者信度 （一）含义与方法（一）含义与方法 含义含义评分者评分的一致性评分者评分的一致性 方法方法 2评分者评分者 2个以

12、上者个以上者 rxyr 肯德尔和谐系数肯德尔和谐系数 （二）（二）肯德尔和谐系数肯德尔和谐系数 k个评价者评个评价者评n个被评者或作品个被评者或作品 1、应用范围和、应用范围和w系数系数 应用应用 1个评价者先后个评价者先后k次评次评 n个被评者或作品个被评者或作品 w范围范围 01 第三单元第三单元 信度与测验分数的解释信度与测验分数的解释 w 真分数与实得分数相关的解释真分数与实得分数相关的解释 n信度系数和信度指数信度系数和信度指数 n测量标准误测量标准误 w 信度的评价信度的评价 直接解释直接解释 一、真分数与实得分数相关的解释一、真分数与实得分数相关的解释 rxx 间接解释间接解释

13、信度系数信度系数 决定系数决定系数 r2xt = st/sx =rxx rxx为各方差的百分比为各方差的百分比 s2x分为分为 各各s2e和和s2t 误差源不同误差源不同 信度估计法不同信度估计法不同 rxx=0.90 （一）信度系数和指数（一）信度系数和指数 例例2-13：设有两平等的创造力测验：设有两平等的创造力测验 （a和和b）。现：）。现： 1）间隔两月施测）间隔两月施测100人，其信度为人，其信度为0.70； 2）两卷分半信度校正值为）两卷分半信度校正值为0.80； 3）第）第2个评分者随机抽个评分者随机抽50份，信度份，信度0.92； 试问：试问： 1）真分数的方差是多少？）真分数

14、的方差是多少？ 2）各种信度的误差是多少？）各种信度的误差是多少？ 间接解释范例间接解释范例 信度类型信度类型 rxx 重测复本重测复本 0.70 分半信度分半信度 0.80 评分者信度评分者信度 0.92 总误差方差总误差方差 真分数方差真分数方差 分析结果分析结果 误差源误差源 时间、内容时间、内容 内容取样内容取样 评分者差异评分者差异 两者之差两者之差 误差的方差误差的方差 时间取样时间取样 1-0.70=0.3 1-0.80=0.2 0.3-0.2=0.1 0.2+0.1+0.08=0.38 1-0.38=0.62 1- 0.92=0.08 x与与t的的 接近程度接近程度 信度指数信

15、度指数 rxx=0.9095. 090. 0 xx r （二）测量标准误（二）测量标准误 w 用途用途 n衡量测量值（衡量测量值（x）与测量对象真值（）与测量对象真值（t）的偏）的偏 离程度的一种指标离程度的一种指标 n用来估计个人的真分数用来估计个人的真分数 w 个人分数的误差个人分数的误差 n rxx越大：变化的可能性越小越大：变化的可能性越小 n rxx = 1：完全不变化：完全不变化 xxxe rsse1 例例2-14：某测验信度：某测验信度0.89，s为为15， 其测量标准误是多少？其测量标准误是多少？ 97. 489. 0115 表表2-12 用用rxx与与sx估计测量标准误估计测

16、量标准误 信信 度度 s 0.95 0.90 0.85 0.80 0.75 0.70 30 6.7 9.5 11.6 13.4 15.0 16.4 28 6.3 8.9 10.8 12.5 14.0 15.8 26 5.8 8.2 10.1 11.6 13.0 14.2 24 5.4 7.8 9.3 10.7 12.0 13.1 22 4.9 7.0 8.5 9.8 11.0 12.0 20 4.5 6.3 7.7 8.9 10.0 11.0 18 4.0 5.7 7.0 8.0 9.0 9.9 16 3.6 5.1 6.2 7.2 8.0 8.8 14 3.1 4.4 5.4 6.3 7.0

17、 7.7 12 2.7 3.8 4.6 5.4 6.0 6.6 10 2.2 3.2 3.9 4.5 5.0 5.5 8 1.8 2.5 3.1 3.6 4.0 4.4 6 1.3 1.9 2.3 2.7 3.0 3.3 4 0.9 1.3 1.5 1.8 2.0 2.2 2 0.4 0.6 0.8 0.9 1.0 1.1 w 优点优点 n 解释个人分数时，可指出其误差的范围解释个人分数时，可指出其误差的范围 n不受群体异质性的影响不受群体异质性的影响 w 局限局限 n不同测验间的信度无法比较不同测验间的信度无法比较 n标准误因信度计算法不同而不同标准误因信度计算法不同而不同 n“不论高低分，

18、不论高低分，see相等相等”的假设不完全成的假设不完全成 立立 二、确定信度可接受水平二、确定信度可接受水平 测验类型测验类型最低标准最低标准 标准化测验标准化测验 人格测验人格测验 非标准化测验非标准化测验 0.90 0.80-0.85 0.60-0.85 w 典型测验的一般标准典型测验的一般标准 w 典型测验的信度高低水平典型测验的信度高低水平 测验类型测验类型 低低 中中 高高 成套成就测验成套成就测验 学术能力测验学术能力测验 成套倾向性测验成套倾向性测验 客观人格测验客观人格测验 兴趣问卷兴趣问卷 态度量表态度量表 .66 .92 .98 .56 .90 .97 .26 .88 .9

19、6 .46 .85 .97 .42 .84 .93 .47 .79 .98 三、解释个人分数的意义三、解释个人分数的意义 w 公式公式 个体真分数估计个体真分数估计 xxxe rsse1 e sext96. 1 例如：某班一次标准化成就测验例如：某班一次标准化成就测验 （rxx=0.80）中的）中的se为为5，某生的测验，某生的测验 分分80。试问该生测验的真分数是多少？。试问该生测验的真分数是多少？ 置信度置信度 d=.95 置信区间置信区间 05. 8 .892 .70596. 180 e sext96. 1 分析结果分析结果 表表2-9 某生测验真分数的信度区间某生测验真分数的信度区间

20、see数目数目 置信水平置信水平 置置 信信 区区 间间 1 68.26 805(7585) 2 95.45 8010(7090) 3 99.93 8015(8595) 1.96 95 809.8(70.289.8) 2.58 99 8012.9(67.192.9) 四、比较不同测验分数的差异四、比较不同测验分数的差异 例如，某生在韦氏成人智测中，例如，某生在韦氏成人智测中， 语言语言iq为为102，操作，操作iq为为106。且知言语。且知言语 与操作的分半信度各为与操作的分半信度各为0.96和和0.93。问该。问该 生操作能力是否显著优于言语能力？生操作能力是否显著优于言语能力？ 21 2

21、xxxxd rrsse 97. 493. 096. 0215 d se 分析结果分析结果 w 结论结论 n差异未达差异未达1个标准误个标准误 n操作操作iq并不高于语言并不高于语言iq w 差异显著性：差异显著性： n n本例本例： 96. 1,05. 0z (106-102=4) 74. 996. 197. 4 第四单元第四单元 影响信度的因素影响信度的因素 w测验长度测验长度 w样本特征样本特征 w测验难度测验难度 w时间间隔时间间隔 一、测验长度一、测验长度 w 含义含义 n测验试题的数量测验试题的数量 w 特点特点 n测验越长，试题取样越恰当，测验越长，试题取样越恰当， n测验越长，猜

22、测性越小测验越长，猜测性越小 xx xx nn rk kr r 11 w 长度与信度的关系长度与信度的关系 nnxx xxnn rr rr k 1 1 例例2-16：某测验有：某测验有40题，信度题，信度0.65， 若增至若增至120题，信度会是多少？题，信度会是多少？ 例例2-17：某测验有：某测验有30题，信度题，信度0.75， 试问要达到多少题才能使信度达到试问要达到多少题才能使信度达到0.90？ 82. 0 nn r 90, 3nk w 特点特点 n样本越异质，分数分布越广，样本越异质，分数分布越广，s，r ，测验，测验 越可靠越可靠 二、样本特征二、样本特征 （一）样本团体异质性的影

23、响（一）样本团体异质性的影响 w 分析分析 n信度信度 n相关相关 n散布图散布图 n计算计算 散布图散布图 整段范围整段范围 低低 高高 （二）样本团体平均能力水平的影响（二）样本团体平均能力水平的影响 例如，例如，sb量表，不同年龄和难度水量表，不同年龄和难度水 平信度值从平信度值从0.830.98。显然，每个信度都显然，每个信度都 要求对建立信度的团体进行描述。要求对建立信度的团体进行描述。 w 选择测验时应注意选择测验时应注意 n取样团体的变异性和能力水平取样团体的变异性和能力水平 n建立信度的团体与欲测团体是否一致建立信度的团体与欲测团体是否一致 w 趋势趋势 n分别对非常同质团体建立标准化样本。分别对非常同质团体建立标准化样本。 n考虑年龄、性别、年级、职业和相似性等，考虑年龄、性别、年级、职业和相似性等， 选择适合其所在测验团体性质的信度系数和选择适合其所在测验团体性质的信度系数和 测验。测验。 w 一般趋势一般趋势 n难度分布越广，信度越高难度分布越广，信度越高 w 难度与题型难度