心理测量第三篇—信度

第三篇,测量的理论,第五章信度,本章目标：1.说出信度的定义。2.明确测量分数、真分数和误差分数的关系。3.描述提高信度并降低测量误差的方法。4.描述稳定性系数、等值性系数、稳定性和等值性系数以及内部一致性系数的使用条件。5.描述测量的标准误的定义、使用方法及其应用，以及它与信度的关系。,第一节信度的理论,一、信度的定义,一、信度的定义,（一）测量分数、真分数和误差分数1.测量分数(或原始分数）个体在某一测验中获得的分值。原始分数并不能反映个体的真实能力或水平。,(一)测量分数、真分数和误差分数,2.真分数（或总体分数）在不考虑练习效应的情况下，个体作无数次测验得到的一个假设的平均值。真分数是一个假定值，用来标识个体真实的知识水平或能力，能体现出稳定的个体差异。,(一)测量分数、真分数和误差分数,3.误差分数（或测量误差）测量分数与真分数之间的差值。导致信度降低的随机因素就是测量误差。几个等量关系：测量分数=真分数+误差分数测量分数的平均值=真分数的平均值测量分数的方差等于真分数方差与误差方差的和。（如课本表5.1所示）,(一)测量分数、真分数和误差分数,4.关于真分数的三个假设：(1)误差分数的平均值为零；(2)误差分数和真分数相关为零；(3)两次测量的误差分数之间相关为零。,（二）信度的定义,1.信度的理论定义(1)定义：信度是一组测验分数中真分数方差与实测分数方差的比率。,1.信度的理论定义,（2）信度与误差方差的关系,2.信度的操作定义,（1）定义：信度(reliability)是指测验结果的可靠性、稳定性，即测验结果是否反映了被测者的稳定的、一贯性的真实特征。简言之，信度就是对测量一致性程度的估计。,（2）信度的一致性体现,测验结果跨时间的一致性被测者在不同时间所测结果一致。（重测信度）测验内容的一致性同一测验内的各部分题目所测的是同一种行为或行为特征；（内部一致性信度）不同评分者之间的一致性不同评分者对同一测验结果的评分一致。（评分者信度）,（3）信度的要求,一般能力与学绩测验的信度系数应在0.90以上，有的可以达0.95；性格、兴趣、价值观等人格测验的信度系数，通常在0.80到0.85或更高些。当r0.70时，不能用测验来对个人作评价，也不能在团体间作比较；当r0.70时，可用于团体间比较；当r0.85时，可用于鉴别个人。,二、信度与误差,（一）误差的含义和类型1.含义：误差测量中与目的无关的变因所产生的不准确、不一致的效应。,（一）误差的含义和类型,2.类型（1）抽样误差由样本变动而产生的误差。信度估计中，抽样误差可以忽略不计。（2）系统误差与测验无关的因子所引起的恒定、系统的、有规律的变化，存在于每次测验中。系统误差影响效度，但与信度无关。,2.误差的类型,（3）测量误差（或观察误差、随机误差、偶然误差）使用测量工具进行心理测量所造成的误差。测量误差是不系统的、随机的，信度完全受测量误差的影响。,（二）测量误差的来源,1.测验本身引起的误差（1）题目取样不当（取样太少；缺乏代表性）（2）题目格式不妥（是非题；两选一）（3）测题难度过高或过低。（4）测题或指导语用词不当。（5）测验时限过短。解决办法：编制标准化,2.测验实施引起的误差,（1）物理环境：温度、光线、噪音、通风等干扰。（2）主试因素：穿着、言谈、表情、解释语、人数多少等。（3）意外干扰：例如：停电、有人生病、有人作弊、计时表停了、临时发现题目或作答纸印刷不清或装订错误等。,2.测验实施引起的误差,（4）评分不客观，计算、登记分数出错比如：论文题、问答题要多少人评分，平均分数才能拥对稳定和客观呢？国外有人对此做了研究，结果：哲学论文127人，作文78人，物理16人，数学13人。解决办法：施测标准化,3.被试引起的误差,（1）应试动机的影响：积极配合还是消极应付？竞争或合作的文化价值观,3.被试引起的误差,（2）测验焦虑,3.被试引起的误差,（3）生理因素（4）学习、发展和教育（5）测验经验（6)反应方式独立于测验内容的反应倾向。例如，在速度性阅验中，有的人“快而不准”，有的人却“宁慢勿错”；在是非题中，有的人有一种“默认反应方式”，即不管内容如何都答“是”，有时甚至会自相矛盾。解决办法：正式测验前，有示范或例题。,第二节估计信度的方法,一、重测信度1.含义：用同一种测验，对同一组受试者，前后施测两次，再根据受试者两次测验分数计算其相关系数，即得重测信度。2.计算方法：皮尔逊积差相关公式,一、重测信度,一、重测信度,3.重测信度的假设：(1)所测量的特性必须是稳定的。(2)遗忘与练习的效果相同。(3)在两次施测期间被试的学习效果没有差别。,一、重测信度,4.重测信度的误差来源（1）不同的间隔时间。（2）测验的特性不稳定。（如情绪）（3）被试的因素：如练习、记忆效果（4）偶然因素的干扰。,二、复本信度,1.含义复本两个平行的等值测验。复本信度根据一群受试者接受两个复本测验的得分计算的相关系数。2.计算方法：皮尔逊积差相关公式,2.复本信度的误差来源,（1）两个测验是否等值？包括：取样，格式，内容、题数、难度、平均数、标准差是否一致（2）被试的因素：包括：情绪，动机等（3）测验情境、偶发因素干扰等,3.稳定等值信度,（1）含义：把重测信度和复本信度结合在一起使用而得到的信度系数。（2）方法：给相同的被试先施测复本A，过一段时间后，再施测复本B，然后计算两次测验的相关系数。,三、内在一致性信度,(一）内在一致性的含义和类型1.含义：内在一致性，即项目的同质性，指同一测验里的题目之间是高度正相关的关系。2.类型（1）分半信度（2）同质性信度,（二）分半信度,1.含义：将测验题目分成对等的两半，根据各人在这两半测验的分数，计算其相关系数，作为信度的指标。一般用奇偶对分法。,（二）分半信度,2.“斯皮尔曼布朗公式”校正条件：两个分半测验分数的变异性相等。,（二）分半信度,当两个分半测验分数的变异性不等时：费拉南根(Flanagan)公式：数的变异数。,（三）同质性信度,（三）同质性信度,（三）同质性信度,（三）同质性信度,3.霍伊特(C.Hoyt)信度,三、内在一致性信度,使用的限制：1.分半方法不同，导致信度系数不同。2.测题必须是同质的，异质项目的人格测验不能用内在一致性系数。3.速度测验中使用受限。,四、评分者信度,1.含义：由多个评分者给一组测验结果评分，所得各个分数之间的一致性。2.计算公式：肯德尔和谐系数,五、信度类型总结,五、信度类型总结,第三节影响信度系数的因素,一、分数分布范围的影响(一)团体的异质性如同所有相关系数样，信度系数受分数的分布范围所影响，而分数范围与被试团体的异质程度有关。一个团体越是异质，其分数范围越大；而一个经过筛选，相对同质的团体分数较为均匀。,(一)团体的异质性,(一)团体的异质性,团体异质性不同，分数的标准差亦不同。当将测验用于标准差不同的团体时，可用克莱公式推算出新的信度系数。,(二)团体的平均水平,对于不同水平的团体，题目具有不同的难度。每个题目在难度上的微小差异累积起来便会影响信度。这种影响都不能由统计公式来推估，只能从经验中发现它们。比如：斯坦福一比奈测验的信度系数从0.83到0.98不等。年龄较大的比年龄较小的信度高，智商较低的比智商较高的信度高。,二、测验长度的影响,一般说来，在个测验中增加同质性的题目，可以使信度提高。,二、测验长度的影响,假设有一个包括10个题目的测验，信度为0.50，若把测验增加到50个题目，其信度将增加到：,二、测验长度的影响,当由于测题过少而导致信度较低时，增加多少个题目可以达到理论的信度指标，可以用下式来推算：,二、测验长度的影响,三、测验难度的影响,当测验过难且题目形式为选择题时，受试者会对许多题目作随机反应瞎猜，这样我们就无法对其分数置信。若大部分人随机作答，分数的差别将主要取决于随机误差，因而信度将趋近于零。因此，如果题目确实允许猜测，应使整个测验稍容易一点，以减少猜测机会，增加可靠性。,三、测验难度的影响,洛德(Lord)提出在学绩测验中，为了保证其可靠性，各类选择题的理想平均难度为：五选题0.70四选题0.74三选题0.77是非题0.85,四、间隔时间,以再测法或复本法求信度，两次测验相隔时间越短，其信度系数越大；间隔时间越久，其它变因介入的可能性越大，受外界的影响也越多，信度系数就越低。,第四节测量的标准误差,一、测量的标准误的含义及其作用1.含义测量的标准误差，指测量误差分布的标准差，表示测量误差的大小。2.作用（1）反映个体测验分数的变异量；（2）估算个体的真分数范围。,一、测量的标准误的含义及其作用,3.计算公式4.估计真分数用Z检验公式：Z=(Xt-X)/Se,一、测量的标准误的含义及其作用,5.测量的标准误差的解释比如：以95%的置信度为标准，则Z0.95=1.96，它表示真分数有95的可能性落在范围内。,二、直接估计标准误差,1.公式：估计信度rtt要求每个人都有两个测验分数，估计Se也是一样要求每个人要有成对的分数，每个人成对的分数由复份法、再测法、分半法获得。,二、直接估计标准误差,2.应用：（1）对于稳定系数或等值系数所得成对测验分数，去估计Se时，可从此两分数间的差异之标准差乘上0.707而得，求X1和X2间的差异时应保留正负号。（2）从分半相关法估计时，可利用下式求得分半测验分数间差异的标准差：,第五节概化理论(GT)简介,一、概化理论对经典测验理论的发展1.经典测验理论(CTT)的局限(1)难以保证测验的交替形式严格平行。(2)把测验分数简单划分成真分数和随机测量误差两部分，只能提供一个无区分的误差。,一、概化理论对经典测验理论的发展,2.概化理论的诞生及其特点(1)诞生：1972年，克朗巴赫出版行为测量的可靠性：测验分数和剖面图的概化理论，正式形成了概化理论(GT)。(2)特点：克朗巴赫指出：“概化分析超越经典信度分析之处在于它明确问到，这个分析过程如何计算误差?每个来源的变异有多大?”,二、概化理论的基本原理和概念,1.测量目标希望测量的实体，如能力、成就等特性。2.侧面一组特定的测量条件，其中条件的数量为该侧面的水平。例题：如果要求每个被试写两篇题目不同的短文，并由三名评分者给所有短文评分测量目标：被试的写作水平；侧面：题目和评分者；水平数：分别为2和3。,二、概化理论的基本原理和概念,3.概化研究(G研究)提供尽可能多的测量变异来源的信息，用方差分析等方法来估计方差分量，为D研究提供分析数据。,二、概化理论的基本原理和概念,3.概化研究(G研究)GT把观察分数的总体方差分解成测量目标方差、侧面方差、各种交互作用方差，以及交互作用与其他不明的变异来源的混杂(confound)效应的残差方差部分。GT用方差分量估计值在总体方差中所占的百分率，来解释方差分量的大小。,二、概化理论的基本原理和概念,4.决策研究(D研究)为作决策或解释收集数据。界定出概化全域；明确对测量结果是作相对决策，还是作绝对决策，以便确定相应的测量误差和概化系数。用G研究所得到的方差分量估计值来评价各种可能的D研究设计方案的效果，从中选出最佳的设