测验信度估计：α系数局限及进展

1、测验信度估计：系数的局限及进展目录一、信度的定义二、信度的估计方法三、克龙巴赫系数的不足四、克龙巴赫系数与同质性系数、内部一致性 系数的区别五、信度估计方法的进展，以及对各种方法的评 价六、测验信度分析流程 一、信度的定义1、信度是反映测验结果受到随机误差影响程度的指标，是评价测验质量最基本的指标。2、根据经典测验理论，有三种定义信度的方 法：定义一：信度是两份平行测验的相关系数；定义二：信度是真分数方差与观测分数方差 之比；定义三：信度是真分数与实得分数的相关系数的平方。二、信度的估计方法 一、重测信度 1、定义：用同一个量表对同一组被试施测两次所得结果的一致性程度，其大小为两次测验分数的皮

2、尔逊积差相关，反映跨时间的一致性。 2、前提条件：所测特性稳定；练习遗忘相抵消；在间隔期间没有获得更多的训练。 3、不足：间隔不同，所得结果不同；成熟、知识的发展并非人人等量增长；记忆、练习也存在个体差异等。时间间隔的把握 间隔时间越长，稳定性系数越低。适宜时间间隔依照测验目的、性质及被试特点而定。几分钟至几年。 年幼儿童，间隔要小；年长群体，间隔可大。智力测验的间隔不能太短，成就测验的间隔不能太长。 一般间隔时间不超过六个月。（既不能让被试记住上一次测验的内容，又不能让其特质发生变化，或对所学知识产生遗忘） 二、复本信度 1、定义：两个平行测验测量同一批被试所得结果的一致性程度，反映跨形式的

3、一致性。 2、前提条件：构造真正平行测验；被试有条件接受两次测验。 3、不足：真正的平行测验很难构造；易受到被试情绪、动机、情景变化的影响。 三、分半信度 1、定义：将一个测验分成对等两半后，所有被试在这两半上所得分数的一致程度。 2、不足：分半方法多样，多得结果不唯一；两半对等不易做到。 3、方法：斯皮尔曼布朗公式斯皮尔曼布朗通式hhhhrrr12费拉南根公式1111) 1(1rnnrr)1 (2222xbaSSSr卢龙公式xdSSr221 四、同质性信度 1、定义：测验内部所有题目之间的一致性程度。 2、方法：KR20)(1(22xiixSqpSKKrKR21)(1(22xiixSqpSK

4、Kr克龙巴赫系数)(1(222xixSSSKKr 3、系数与分半信度的关系：将问卷按所有的方法分半，用尼龙或费拉南根公式求平均值，则与系数相同，即分半信度在系数上下波动。可见，分半信度的估计公式都是系数的等价形式。 Jackson证明了只有在测验的项目数为偶数时，系数是该问卷所有可能分半信度的平均值的结论成立，当测验的项目数为奇数时，系数可能大于分半信度的上限。三、克龙巴赫系数1、系数使用条件：各题的误差不相关测验是基本等价（任何题目的真分数只相差一个常数）。2、如果只满足条件一，系数不等于信度，在同属测验中，系数是信度估计的下界，在异质测验中，系数是信度估计的严格下界；如果误差存在正相关，系

5、数会高估信度，这种高估偏差可能会接近两成，但有时也会低估信度。3、同质性测验与平行测验、基本等价测验的区别同质性测验中它们的真分数Tl，T2，T 之间的相关为1。平行测验要求几个测验具有相等的真分数方差和相等的误差方差。基本等价测验要求几个测验具有相等的真分数方差，但可以有不同的误差方差。 可见，同质性测验要比基本等价测验的限定条件少得多，而平行测验要求更多的限定条件。同质性测验不一定是基本等价测验或平行测验。因此，系数作为同质性测验信度估计极容易出现低估，因此用系数的大小作为同质性测验信度估计是不可靠的。 有研究表明，当满足误差不相关时，系数是测验信度估计的下限，并不一定是同质性信度估计的下

6、限。3、系数的不足：（1）在异质性题目中，系数是信度的严格下界，而如果各题得分的方差相差越大，试题的覆盖面越宽，则系数跟信度的真值相差越大，且估计值偏低。（2）系数的值直接受项目多少的影响，增加题目的数量会使值迅速增加。此外，系数不仅与题目间的相关程度有关，而且与不同项目在共同因子上的因素负荷有关。（3）系数的大小仅反映项目与项目之间数量关系的一个指标，任意一组具有高相关的项目虽然具有较高的系数，但却未必具有较高的内部一致性。（4）系数在某些特定的情形下会出现负值。席忠恩、汪顺玉讨论了系数出现负值的两种情形。一种是当总分方差小于各题分数方差时，即在总测验或子测验中使用项目平均分时，另一种是当项

7、目间或部分测验间的协方差之和为负值时，系数为负值。（5）高a值未必是单维度，低a值未必是多维度。候杰泰利用模拟数据研究了测验的维度与 a系数间的关系。a系数低或中等时要考虑：项目的维度是否是单维的，如果是单维的，还要考虑每个项目的因素负荷是否够大，项目是否存在质量问题。可见仅从a系数的大小，不能推断项目是否同质。 4、系数至少受到3方面的影响：第一，受到测验实得分数中误差分数所占比重的影响；第二，受到题目之间同质性的影响；第三，受到考生样本同质性的影响。四、系数与同质性系数、内部一致性系数的区别p,21332211，jesLbLbGaxjjjjjj(1)假设有一个全局因子G1，两个局部因子L2

8、、L3。全局因子和局部因子都是因子分析中所谓的公共因子。此外，每个题目还有自己的特殊因子sj，还有误差ej，这样，每个题目分数xj有下面的分解式：测验总分表达式：xj=gj+lj+sj+ej，j=1，2，pxg2hom2(2)真分数有两种分法，一种是把真分数分为全局因子、局部因子、特殊因子。Revelle和Zinbarg(2009)将同质性理解为存在全局因子，即所有题目在某种程度上共享相同的因子（这样的因子就是全局因子）。测验的同质性信度定义为测验分数方差中，全局因子分数方差所占的比例：另一种分法，把真分数分为公共因子、特殊因子。则总分的表达式为：xj=cj+sj+ej，j=1，2，.，p 那

9、么测验的总分为：x=c+s+e，测验的内部一致性信度定义为：xc22intxsxlxsx2222hom22int 因为公共因子、特殊因子与误差三者之间不相关，局部因子与全局因子也不相关，容易推出2x=2t+2e=2c+2s+2e=2g+2l+2s+2e则 从上式清晰地反映了信度、内部一致性信度和同质性信度的关系。测验的内部一致性信度不超过信度，当且仅当特殊因子不存在时（2s=0），两者相等。同质性信度不超过内部一致性信度，当且仅当局部因子不存在局部因子时（2l），两者相等。特别是，如果测验是单维的（所有题目测量了单一特质），这同质性和内部一致性是一回事。在多维的情形，同质性高的测验，内部一致性

10、也高，但反过来不一定成立。 研究者证明，当任何两个题目的特殊因子不相关、误差也不相关时，系数不仅低估了信度，也低估了内部一致性信度。同质性信度小于内部一致性信度。六、测验信度分析流程信度估计方法的进展、优势与不足1、（1）1991年陈希镇从降低系数受同质性影响的程度入手，提出系数和1系数的概念：)1 () 1() 1(122xiSSKK)1 () 1() 1(1221xiSSrKrKkjijiXXRji，；，2 , 1max其中，krrrrrmax321，kiKTTRrjijii，2 , 11)(（2）（f()）与f(1)的关系 （f()）是信度系数另一个下界f(1)的估 计值，f()f(1)

11、。kjijiTTRji，；，2 , 1)(max111111Kf（3）f(1)与系数的关系可见，1越小，与f(1)相差越大，1越大，与f(1)相差越小。由此可以看出，当1不大时，用值作为信度系数的估计是不精确的，f(1)比更接近信度的真值，由于是1不可观测量，因此，在实际应用时，我们采用在数值上与1相差不大的作为1的估计。（4）与、f(1)的关系由于f()是单调递减函数，而11，故 1（f()）f(1)f(1)=。当1时，夹在中间的1也趋近1，此时三者之间差别不大，当=1时，=，可见是的推广；当10时，f(1)趋近f(),可见，当1很小时，f(1)与f()很接近。在一般情况下，不大于真值，已证

12、明。（5）1与的关系由于r1，根据f()的单调性，所以f(r)f(1)。和是1和r的估计值，所以，则1。但是1是否大于真值仍缺乏证据。 （6）对系数的评价 与系数相比，系数和1系数对测验题目的同质性敏感程度降低了，在更大程度上反映了测验受随机误差因素影响的程度。这也导致无法测量测验的同质性。同时系数和1也可能出现负数。 李大红、曾桂兴（1995）通过反例说明题目观测分数的方差、协方差均相等时系数总等于1，证明系数不一定是信度估计值的下界，从而进一步引发了对系数和1系数可靠性的探讨。 2、（1）为了从系数中分离出考生样本同质性的影响从而更好地刻划出测量误差变异在观察分数总变异中的比重，笔者提出一

13、种信度估计方法，可以称为，称为“系数”。计算公式为：)(192. 31minmax122XXKSSKrkiiminmaxminmax92. 31192. 31XXXXSEr经推导得到：（2）从公式中可以看出，r系数在很多程度上受标准误SE的影响SE越大，r系数越小。与系数相比，由于SE具有很高的稳定性，因此r系数比系数更稳定，受同质性影响更小。（3）从计算公式可以看出，r系数是95%置信区间与测验分数全距的比值。对95%置信区间的解释是：如果某一考生得到了分数X，我们有95%的把握认为他的真分数会落在这一区间内。(4)是否受正态分布的影响： SE是样本平均数的标准差，可以证明，在样本不是很小的

14、情况下，样本平均数的分布独立于测验分数分布而恒为正态分布，因此，r系数适用于具有各种分布形态的测验分数，包括偏态，双峰等分布。从表1可以看出，与系数相比。r系数更少受到考生样本同质性的影响，更多反映了测验本身的特点而不是考生样本的特点。（5）r系数与系数、SE的比较（6）对r系数的评价：r系数虽克服了系数可能为负的缺点，在测验中也较少受到样本同质性的影响，但从其定义看，用测验项目的全距描述整个测验项目的离差，灵敏性不够，另外r系数并不用来反映测验同质性程度。jixixxmm，2222cov114、李大红提出，最早对信度下界估计进行研究的Guttman给出的2系数是比系数更好的信度估计值，并进行了证明，丁树良等人也认为2系数比系数更好。/2x5、Raykov T.运用LISREL软件的参数估计方法同质信度估计，提出了系数。其在两种情形下的计算公式为： jijiikiiikiikiiEECovEVarbTVarbTVarb，22121121 ikiikiikiiEVarbTVarbTVarb21121121（适合于不存在相关误差的情形）（适合于存在相关误差的情形） 其中，bi为因素载