心理测量课件 第6章 信度

心理测量

第六章信度CONTENTS目录信度的理论测量误差的来源估计信度的方法影响信度系数的因素测量的标准误差概化理论简介123456PART01第一节信度的理论01第一节信度的理论一、信度的含义信度就是对测量一致性程度的估计。作为测验的基本特点之一，信度相当重要。虽然一份测验的最终目的是求得较高的效度，但是信度的高低对测验性能的优劣依然影响很大。二、误差心理测量所指的误差就是指测量中与目的无关的变因所产生的不准确、不一致效应。误差大致可分为抽样误差、系统误差和测量误差三种。第一节信度的理论（一）抽样误差

抽样误差即由抽样变动而造成的误差。（二）系统误差

系统误差是由与测验目的无关的因子所引起的恒定、系统的、有规律的变化，存在于每次测量中，故又称常定误差。（三）测量误差测量误差是使用测量工具进行心理测量所造成的误差，又称观察误差、随机误差、偶然误差。第一节信度的理论三、测量误差和真分数理论（一）物理测量的测量误差物理测量中的真实值在不少情况下是可以想办法获知的，这样就可以直接计算误差。而心理测量中的真实值，也就是真分数，通常是个体内在的心理特性或者是代表心理特性的行为，无法像物理测量那样通过反复测量而获取，也就不能直接得到误差的大小。我们只能借助一些方法对其进行估计。这里，我们着重介绍经典的真分数理论，这是最常用的、也是最基本的信度理论模型。第一节信度的理论三、测量误差和真分数理论（二）真分数理论1.真分数的定义真分数，即测量中不存在测量误差时的真值或客观值，操作定义就是无数次测量的平均值，通常用X∞或T表示。2.真分数理论的基本方程式

Xt=X∞+Xe（6.1）或X=T+E意即实测分数是真分数与误差分数的函数，即实测分数Xt由X∞和Xe共同决定。3.真分数理论的三个基本假设其一，误差分数的平均数是零。其二，误差分数与真分数相互独立，即相关为零。其三，两次测量的误差分数之间的相关为零。第一节信度的理论四、信度的数学定义（一）定义及表达式信度就是一组测验分数中真分数方差与实测分数方差的比率。表达式为：rtt=r2t∞=S2∞S2t（6.3）这里，rtt就是信度，也称作信度系数;rt∞则是信度指标，是真分数与实测分数的相关。r2t∞叫决定系数，是真分数与实测分数相关系数的平方，表示两测量间共有的方差比率，标志着因变量能以自变量解释的比例部分。心理测量实际上是无法直接测量到真分数和真分数方差的，所以对信度只能作估计。而上式提供了一个对信度估计的基础，即求测量误差方差，用它来估计信度。值得强调的是，信度是一组测验之间的一致性，而非个人的分数的一致性。PART02第二节测量误差的来源02一、测验本身引起的测量误差（一）测验题目取样不当（二）测验题目格式不妥（三）测题的难度过高（四）测题或指导语用词不当（五）测验时限过短第二节测量误差的来源二、测验实施过程引起的测量误差（一）物理环境施测现场的温度不适，光线过暗，背景声音（例如过于安静或一直有噪音），桌椅不舒适，空间大小不当，通风不够等诸多情况都会产生测量误差。（二）主试方面主试的年龄、性别与施测要求不相符合，穿着不得体，施测时的言谈举止不符合施测要求，表情夸张或过分呆板，都会不同程度地影响被试的测试状态乃至测验分数。第二节测量误差的来源（三）意外干扰测试途中突然停电、突发噪声，或有人生病、作弊，或测验用品临时出问题（如计时表失灵，题目、作答卷纸印刷不清，或有装订错误）等不能预见的干扰都会产生测量误差。二、测验实施过程引起的测量误差（四）评分不客观，计算、登记分数出错答题、论文题等自由反应型题目，评分标准难以客观。尤其是测验有多个评分者时，评分者的偏好往往各不相同，难以保证分数的一致性。第二节测量误差的来源三、被试本身引起的测量误差（一）应试动机的影响如果被试在两次测试时的动机不一样，会使被试的回答态度、注意力、持久性以及反应速度发生变化，就容易引起测量误差。（二）测验的焦虑测验的焦虑与被试的能力、抱负水平以及测验经验有关，它对被试的兴奋性水平、注意力和反应速度都有影响。过度的焦虑对活动有不良影响，从而产生测量误差。因而主试在施测时应对测验目的和测验程序作出清楚的解释，并适当地鼓励被试，以缓解焦虑、稳定情绪。第二节测量误差的来源三、被试本身引起的测量误差（三）生理因素当被试在测试前失眠，或在生病、疲劳的状态下进行测试，也容易引起测量误差。（四）学习、发展和教育重复测验中，如果有个别人在首次测验后受到特殊训练（学习），复本测验中某些人在两次测验间受到特殊训练，或教育学习量不同，均会造成测量误差。第二节测量误差的来源（五）测验经验被试对测验的程序、内容材料的熟悉程度不同以及回答技巧的差异都会影响测量的一致性。所以在正式测验之前，应有示范或例子、练习。PART03第三节估计信度的方法03一、重测信度（一）计算方法用同一种测验，对同一组被试先后测量两次，然后计算这两次测验分数的相关。整个过程简示如下。图式测验一段时距再测验这里，“一段时距”可以为几分钟，也可以长达几年，依实际研究需要和测验性质而定。同时需要尽可能保证两次测验的被试状态和测试条件相同。（二）重测信度的误差来源测验本身：测验所测的特性本身就不稳定，例如情绪，使得测量的随机性更大。被试方面：在两次测量间隔的时间里，身心成熟、知识的发展并非人人等量增长，在练习因素、记忆效果等方面也存在个体差异，这些因素可能会使得不同个体在两次测量结果上有不一致的变化。偶发因素的干扰：如主试计时错误，个体突发疾病，或动机变化等。第三节估计信度的方法二、复本信度（一）计算方法先实施该测验的复份A（第一型），然后在最短时距内实施复份B（第二型），再求两次测验分数的相关系数。（二）复本信度的误差来源

复本信度的误差来源主要是测验两种形式是否等值：测题取样是否匹配，格式是否相同，内容、题数、难度、平均数、标准差是否一致。再就是被试方面的情绪波动、动机变化等，以及测验情境的变化，偶发因素的干扰。这些都会引起测量误差。第三节估计信度的方法三、内在一致性信度当测验既无复本，也不可能重复测量时，我们常用内在一致性系数来估计测验的信度。该系数反映的是测验内部的一致性，即项目同质性。（一）分半法分半法通常先把一份测验按题目的奇偶顺序或其他方法分成两个尽可能平行的半份测验，然后计算两半之间的相关，即得到分半信度系数。第三节估计信度的方法（二）基于项目协方差的方法

把测验划分成两半的方法实际上有多种，除了奇偶法以外，还有随机安置法、内容匹配法、难度排序奇偶法等。而每一种划分方法产生的rtt估计值都有差别，因此用分半法得到的信度估计值不具备唯一性。所以库德（Kuder）、理查逊（Richardson）针对分半法的不足，提出以项目统计量为转移，利用每道测题的方差或协方差来计算信度。四、评分者信度

评分者信度是由多个评分者给一组测验结果评分，所得各个分数之间的一致性。有些情况下，被试的得分会受到评分者的主观判断的影响，不同的评分人员对相同被试的评分存在着差异。典型的例子有心理测量中的投射测验、学业测验中的高考作文水平的测试、职业选拔中的面试，这时就有必要考虑评分者之间的一致性了。第三节估计信度的方法PART04第四节影响信度系数的因素04一、分数分布范围的影响（一）分数分布范围越宽，信度系数就越高（二）马格鲁森公式

由信度系数的推导公式rtt=1－S2eS2t可得S2e=S2t（1－rtt）在同一个全域里，一个测验应用于有代表性的两个群体，这个时候，我们可以假定这两个不同差异范围的测量误差的标准差，也就是测量标准误差是相等的。那么，就可以根据其中一个群体的信度系数、分数分布的标准差与另一个群体的分数分布的标准差，利用S2e=S2t（1－rtt）来估计另一个群体的信度系数。

分布标准差实质上也就是分数分布的范围对信度系数的影响。所以，我们在编制测验量表、抽选被试时，往往要考虑选取不同层次的被试，以使得测验团体呈异质性，从而使得信度提高。反之，当需要同质团体的信度时，就应该尽量选取同一层次的被试。第四节影响信度系数的因素二、测验长度的影响

前面介绍分半信度时，曾提及分半信度系数低估了原长测验的信度，这是因为其他条件不变时，测验长度越长，即题目越多，信度就越高，测验长度增加，信度就随之提高。第四节影响信度系数的因素三、测验难度的影响

测验难度对信度估计的影响不能像测验的分数分布范围和长度那样，可以用公式直接反映出来。但是，如果测验对某个测试团体而言太难，被试对许多题目就只能作随机反应，即猜测，这时，测验分数的差别就主要取决于随机分布的测量误差，信度系数当然就很低，趋近于零。相反，如果测验太容易，被试对许多测题的反应都为正确，那么测验分数就相当接近，分数分布范围随之变得狭窄，同样会使得信n度降低。这就表明，要使信度达到最高，测验应该有一个适当的难度水平，以产生最广的分数分布。PART05第五节测量的标准误差05一、测量的标准误差（一）定义及由来

测量的标准误差，就是测量误差分布的标准差，表示测量误差的大小，用Se表示，又称标准误。

真分数理论的信度反映的是一组被试测量结果的一致性程度，测量的标准误反映的也是一组被试测量结果的情况。测量的标准误可以用来估计个人的真分数。（二）计算公式

Se=St1－rtt由rtt=1－S2eS2t推导而来。这样，就可以根据测验实测分数的标准差和测验的信度，计算测量的标准误差，进而估计个人的真分数及误差。第五节测量的标准误差一、测量的标准误差（三）用测量的标准误差估计真分数

统计学里Z检验的基本公式为Z=X－μσ，并可以用Z，σ和X来估计μ。这里，测量的标准误差是测量误差分布的标准差，用常态分布标准分的数学模型Z=X－μσ来处理，这时，可以表达成Z=Xt－X∞Se，同样可以用Z，Se和Xt来估计真分数X∞。（四）判断差异分数的显著性在运用测验进行研究、评估或者临床诊断时，研究者可能会对被试接受一段时间的训练或者学习前后是否存在知识、技能、智力等认知因素的改变，或者态度、情绪上的变化感兴趣，也有可能关注同一套测验中的不同分测验分数的差异（比如言语分数和操作分数），希望判断这些测验分数的差异是否能够说明被试在某些心理特性或者认知的发展方面有差别。这时，就可以利用测量的标准误差来判断差异分数是否具有足够的显著性。第五节测量的标准误差二、直接估计标准误差

用公式Se=St1－rtt求Se是一种间接计算方法，它是从理论出发，以假定真分数已知为前提。在实际问题中，也可以直接根据分数误差的方差来求Se。第五节测量的标准误差PART06第六节概化理论简介06一、GT的基本原理和概念

GT把测量者希望测量的那些实体称为测量目标（objectofmeasurement），在心理与教育测量中通常是人的能力、成就等特性。对测量目标的测量都是在特定的测量条件下进行的。GT用侧面（facet）这一概念来表示一组特定的测量条件，并称条件的数量为该侧面的水平（level）。整个任务涉及概化研究（generalizabilitystudy，简称G研究）和决策研究（decisionstudy，简称D研究）。GT为评价D研究不同设计方案的效果提供了两个误差指标：用于相对决策的相对误差方差和用于绝对决策的绝对误差方差。第六节概化理论简介一、GT的基本原理和概念

侧面有随机（random）和固定（fixed）之分。如果一个侧面代表的是概化全域更为广阔的一组条件，样本所包含的条件是从全域中随机抽取出来的，样本容量比全域要小得多，或者容量相同的样本之间可以互换，这个侧面就是随机侧面。如果一个侧面是指概化全域和实际观察拥有相同的一组条件，或者说侧面条件穷尽了全域所有的条件，这个侧面就是固定侧面。当测量条件有多个侧面时，两个侧面可以相互交叉（crossed），也可以一个侧面嵌套于（nested）另一个侧面。如果一个侧面的每一个条件都和另一个侧面的每一个条件结合起来出现，那么这两个侧面就是交叉的。在假设G研究和D研究的测量条件来自同一个全域的基础上，整个GT的研究过程就是：根据D研究可能的设计方案进行G研究，包括设定可接受的观察全域、进行方差分析等步骤，然后进行D研究，运用G研究提供的方差分析结果估计各种可能的设计方案相应的误差方差和G系数或Φ系数，最后结合实际情况选择一个最适宜的D研究设计方案。第六节概化理论简介二、单侧面随机设计根据测量侧面与被试的交叉或嵌套关系，单侧面设计可以分为交叉设计和嵌套设计两大类。当每个被试面对相同的测量条件时，就称测量侧面与被试交叉（crossedwithexaminees），记作p×i，p指被试，i指测量条件。当每个被试面对不同的测量条件时，就称测量侧面嵌套于被试（nestedinexaminees）记作i∶p。以只有