测验的信度（新教材）.ppt

测验的信度测验的信度 *1 第一单元第一单元 信度的概念信度的概念 一、信度的定义 信度（reliability）是指同一被试在不同时间内用 同一测验（或另一套相等的测验）重复测量所得结果 的一致程度。（本教材） 信度指测验或量表的可靠性（可靠程度）。（龚 耀先） 信度就是对测量一致性程度的估计。（金喻） 信度是评价一个测验是否合格的重要指标，标准 化心理测验的基本要求。 在编制或修订心理测验时，信度研究是必须的环 节，信度资料是测验手册里必备的测量学指标。 在使用心理测验时，没有信度资料的测验不能使 用。 Date2 测量误差与真分数 测量误差是由与测验目的无关的偶然因素引起，使得几次 测量结果不一致，且这种不一致是非系统的、随机的。 真分数指测量中不存在测量误差时的真值或客观值。 真分数的操作定义就是无数次测量的平均值，常用T来表示 。 表示真分数的公式： X =T+E X 指实测分数 T指真实分数 E指误差分数 实测分数是真分数与误差分数的函数。 在进行心理测量时，XT被视为是稳定不变的，因此X的变 化由XE所引起。 据此，SX2 =ST2+SE2 由于测量误差的随机性，误差分数的平均数为 0。 系统误差产生恒定效应，不影响信度。 Date3 实测分数、真分数、误差的分布 实测实测 分数 X 真分数 T 误误差 E 实测实测 分数 X 真分数 T 误误差 E 1718-118143 3537-21618-2 2828038335 373162327-4 4442228262 3636034340 151142225-3 2732-528271 25241X 5205200 14131 X 26260 1421-7 S2 77.667.310.3 2122-1 Date4 信度的表达式 信度的定义可以理解为一组测验分数中真分数方 差与实测分数方差的比率 rxx=rxT2=ST2SX2 在实际工作中，“真分数（XT）”是很难获得的， 我们通常将实测分数（XX）作为真分数的“估计值” 。 由于真分数（XT）难以获得，因此ST2也很难获得 ，但后者可以通过其与实测分数方差和误差的关系推 出来。 根据rxx=rxT2=ST2SX2和SX2 =ST2+SE2两式 ST2= SX2 -SE2 rxx= ST2SX2=（ SX2 -SE2） SE2=1-（ SE2 - SX2 ） 信度（rxx）则作为反映实测分数作为“真分数”估 计值的准确程度指标。可以看作在总的方差中非测量 误差的方差所占的比例。 例：如果某测验的信度为0.9，其误差则为0.1。 Date5 rxx为信度,它是ST2和SE2的分界线 越往左， SE2越大，信度越低； 越往右， ST2越大，信度越高 Sx2 rxx ST2SE2 Date6 测验误差的来源 测验本身引起的测量误差 测验题目抽样误差 测验题目的形式 测验题目的难度过高或过低 测题或指导语用词不当 测验时限过短 测验实施引起的测量误差 物理环境 主试方面 意外干扰 评分不客观，计算、登记、转换出错 被试引起的测量误差 动机的影响 测验的焦虑 生理因素 学习、发育和教育 测验经验 参考资料 Date7 二、信度的指标二、信度的指标 （一）信度系数与信度指数 信度以信度系数为指标，是一种相关系 数。 rxx= rXT2 = ST2SX2 rxx_信度系数 rXT2 信度指数 rXT = STSX 信度指数的平方就是信度系数。 Date8 （二）测量标准误（二）测量标准误 信度系数表示一组测量的实得分数与真分数的 符合程度，但没有直接指出个人测验分数的变异 量。 标准误：标准误： SE SE 测量的标准误测量的标准误 S SX X 是是所得分数的标准差所得分数的标准差 rxx 测验的信度系数 信度越高，测量的标准误越小；测量的标准误越小； 信度越低，测量的标准误越大。测量的标准误越大。 SE=SSE=SX X 1- 1- rxx Date9 一、重测信度(test-retest reliability) 又称稳定性系数(stability)，主要用于 评价时间误差。 采用重测法：使用同一测验，在相同条 件下对同一组被试者前后施测两次测验，求两次 得分间的相关系数。 优点：能提供有关测验是否随时间变异 的程度。 缺点：易受练习和记忆的影响。 最适宜的时距随测验的目的、性质和被 试特点而异： 一般两周到四周较宜，间隔时间最好不 超过六个月。 第二单元 信度评估的方法 Date10 相关分析 计算两种具有相关关系的不同现象之间关 系程度的统计学方法 相关系数：表示相关程度的统计学指标 相关系数取值于1.00+1.00之间。负值表示 负相关，正值表示正相关。 “0”表示两个变量之间完全没有关系，“1”表示 两个变量之间呈现一对一的关系。 相关系数不是等距的度量值，因此在比较时只 能说绝对值大者比绝对值小者相关更密切一些 。 相关系数与其他统计量一样也存在抽样误差， 因此其统计学意义也应进行显著性检验。 相关知识 Date11 二、复本信度（alternate-form reliability ） 又称等值性系数，以两个等值但题目不同 的测验（复本）来测量同一群体，然后求被试者 在两个测验得分的相关，用于评价两个测验内容 的一致性。 实施两个测验的间隔时间长短可能影响复 本信度 复本信度的计算方法同重测信度 两个复本同一时间施测复本信度 两个复本不同时间施测重测复本信度 或稳定与等值系数（更严格考察方法） 优点：能够避免重测信度的记忆、学习效 应； 缺点：只能减少，而不能消除练习影响； 很容易学习迁移。 Date12 重测信度：考察测验跨时间的一致性（重测信度：考察测验跨时间的一致性（ 稳定性）稳定性） 复本信度：跨形式复本信度：跨形式的一致性（等值性）的一致性（等值性） 内部一致性信度：反映题目之间的关系内部一致性信度：反映题目之间的关系 ，表示测验能够测量相同内容或特质的程，表示测验能够测量相同内容或特质的程 度度 Date13 三、内部一致性信度（internal consistency reliability） （一）分半信度（split-half reliability） 用于评价同一测验内部条目抽样的误差。 方法：将测验条目按单双号（奇、偶数）分 为两组，计算出两组的得分，然后进行相关。 该相关系数代表两半测验内容取样的一致程 度。 在同样的情况下，信度的高低与条目数量成 正比，分半信度只计算了一半条目的信度，因此要用斯 皮尔曼布朗的公式进行校正。 校正公式： rhh为两半分数的相关系数 rxx为校正后（原测验长度时）信度的估计值 Date14 举例（例3）： 10名被试者在一个有10个条目的测验中得分如下，求该测 验的分半信度？ 被 试 测验题 目得分单号 得分 双号 得分 单双 之差 12345678910 12221221001761 22112100100440 3222212111178-1 41001000000110 5120100000013-2 62212211110761 7221211000045-1 82222011010651 92222211000752 102211211001651 合 计计 18171315119633350482 Date15 计算 计算平均值: 标准差: 计算分半信度（积差相关法）: 判断相关（查表） 计算校正分半信度 Date16 （二）同质性信度（homogeneity reliability） 评价测验内题目间一致性（内容抽样误差） 较高的正相关测验是同质的 相关很低或负相关测验是异质的 1、库德理查逊公式（K-R20公式）：适 用于0、1记分的测验 N 为测验题目数 Pi 通过某题目的人数比例 qi 未通过该题目的人数比例 Sx2 测验总分数的变异（方差） 举例（例4） Date17 举例（例4）： 10名被试在一个有8个条目的测验中得分如下，求其信度？ 被试 测验题测验题 目得分 12345678总总分 1000000000 2100000001 3101000002 4110010003 5010100103 6111010105 7111111006 8111111006 9111101016 10111111118 合计计8765543240 Pi0.80.70.60.50.50.40.30.2 piqi0.160.210.240.250.250.240.210.161.72 Date18 公式： N=8 p1=810=0.8 qi =10.8=0.2 p1q1=0.80.2=0.16 piqi=p1q1+p2q2+pnqn=1.72 Sx2=(04)2+(14)2+(24)2+(34)2+(3 4)2+(34)2+ (54)2+(64)2+(64)2+(64)2+(84)2 10 =6.0 Date19 库德理查逊公式（K-R21公式） X 为测验总分平均值 Sx2 测验总分数的变异（方差） 举例（上例）：平均值=4 Date20 2、克伦巴赫系数：适用于各种分 数形式 N 为测验题目数 Si2为某一题目分数的变异（方差），Si2为所有题目方 差之和 当题目以1、0记分时，Si2 =piqi，所以rKR20公式可以 当作系数的特例 Sx2 测验总分数的变异（方差） 举例（例5）： Date21 举例（例5）：10名被试者在一个有10个条目的测验中得分如下，求该测 验的系数？ 被试 测验题 目得分 得分 12345678910 1222122100113 221121001008 3222212111115 410010000002 512010000004 6221221111013 722121100009 8222201101011 9222221100012 10221121100111 平均值 1.81.71.31.51.10.90.60.30.30.39.8 Si20.160.410.410.450.690.490.240.210.210.213.48 Date22 公式： N=10 S12=(2-1.8)2+ (2-1.8)2+ (2-1.8)2+ (1-1.8)2+ (1- 1.8)2+ (2-1.8)2+ (2-1.8)2+ (2-1.8)2+ (2-1.8)2+ (2-1.8)2 10=0.16 Si2=3.48 M=XN=9810=9.8 Sx2=(139.8)2+ (89.8)2+ (159.8)2+ (2 9.8)2+ (49.8)2+ (139.8)2+ (99.8)2+ (11 9.8)2+ (129.8)2+ (119.8)210 =15.36 Date23 四、评分者信度四、评分者信度（scorer reliabilityscorer reliability） 评价不同评分者之间的一致性指标（不同评分者之间 的误差） 方法：随机抽取若干份测验卷，有两位或多位评分者 按标准评分，计算每两个评分者对同一被试答卷所评分数之间的相 关 一般要求评分者之间一致性达0.9以上 计算方法 两个评分者之间的一致性用皮尔逊积差相关方法或等级相关 方法计算 多个评分者之间的一致性：等级资料时用肯德尔和谐系数来 评价 公式 Ri为每一对象被评等级的总和 N 被评对象的人数或答卷数 K 评分者人数 举例（例6） 三位专家给6篇论文评等级，结果见表，求评分者信度？ Date24 三位专家给6篇论文的评定（例6） 专专家123456 1241562 2341552 3341462 Ri812314176 Date25 计算 公式： N=6 K=3 Ri=8+12+3+14+17+6=60 Ri2=82+122+32+142+172+62=738 Date26 第三单元第三单元 信度与测验分数的解释信度与测验分数的解释 一、解释真实分数与实得（测验）分数的 关系 信度系数可以用于解释总方差中有多少比 例是由真实分数决定的。 因为：Si2 =S2+Se2，并且如果我们将总方 差看成是1（100）的话 所以： Se2 = 1rxx rxx= 1.00 完全没有误差，所有变异来自真 实分数； rxx= 0.00 所有变异和差别反映测量误差 例如当rxx=0.9时，我们可以说实得分数 中有90的变异是真分数造成，近10的来自误 差。 Date27 二、各种信度的可接受水平 一般原则 当信度0.85时，可用于对个人作评价 当0.70信度0.85时，可用于对团体作评价，但 不能对个人作评价 当信度0.7时，不能用作评价 另一原则：新编的测验信度应高于原有的同类测 验或相似测验 因测验类型而异 一般能力测验、成就测验要求0.9以上 人格、兴趣、态度等测验要求0.80以上（见表） Date28 几种心理测验的信度系数 测验类测验类 型 信 度 低中高 成套成就测验0.660.920.98 学术能力测验0.560.900.97 成套倾向性测验0.460.880.96 客观人格测验0.460.850.97 兴趣测验0.420.840.93 态度量表0.470.790.98 Date29 二、解释个人分数的意义 测量标准误（SEm, SE） 作用：估计真实分数范围；了解实得分数再测时 可能的变化情形。 测量误差分布的标准差，用来表示误差的大小。 公式：SE=Sx1rxx Sx 分数的标准差 rxx 测验的信度 举