心理测量学--测验的信度

第三节测验的信度,测量的误差及其来源测量的信度,补：测量的误差及其来源,误差的定义误差的种类误差的来源,测量结果,测量因素,1、误差的定义,与测量目的无关,不准确,或不一致,考研题,误差:与测验目的无关的因素所导致的测验结果不一致或不准确的现象.,2、误差的种类,系统误差,随机误差,随机误差与系统误差的比较,经典测验理论信度概念信度的评估方法信度系数的应用影响信度的因素,成熟标志,20世纪50年代Gulliksen心理测验理论,三大支柱,基本假设信度效度,一、经典测验理论,ClassicalTestTheory（CTT）,考研题,基本假设与真分数,1、真分数,观测分数,误差分数,真分数,测验所得未加工,理论定义真正特质水平,操作定义无数次测量结果的均值,经典测验理论（CTT）假定：观察分数（X）与真分数（T）之间是一种线性关系，并只相差一个随机误差（E）。即：X=TE,（1）如果对一个人测量无数次，其误差之和为0，平均误差为0。（2）误差与真分数相互独立，相关为0。（3）一个团体的平均真分数等于该团体中所有被试实得分数的平均值。（4）对于一个团体来说，实得分数、真分数、和测量误差之间有如下关系：,关于测量误差还有如下假设：,随机误差,在一次测验中，一个团体的实测分数的变异数是由与测量目的有关的变异数、稳定但出自无关来源的变异数和偶然但出自无关来源的变异数所决定的。,二、信度的定义,真分数方差与观测分数方差的比值,信度指的是测量结果的稳定性程度（或一致性程度）。,信度是反映测量中随机误差大小的指标。,三、信度评估的方法,信度,重测信度,复本信度,内部一致性信度,评分者信度,分半信度同质性信度,（一）重测信度（Test-retestreliability）,含义,同一测验同组对象前后测2次相关系数,稳定性,程序,误差,时间,太短练习效应记忆效应,A卷,一定时距,A卷,太长身心变化,第一，所测的心理特性必须是稳定的。第二，遗忘和练习的效果基本上相互抵消。第三，所测心理特质在两次施测的间隔时间内没有获得更多的学习和训练。第四,报告结果时要报告两次测验的间隔及有关经历.,使用条件,优点,省力、省时测量属性相同提供随时间变化的资料,不足,时间间隔长短,评价,时间间隔越长，重测信度越低；时间间隔视测验目的、性质、被试特点而定；年幼儿童，间隔要小；年长成人，间隔可长；智力测验间隔不能太短，成就测验不能太长；一般以2-4周为宜，智力测验的间隔时间一般在6个月左右。,（二）复本信度（Alternate-formraliability）,含义,两等值测验最短时间内对同组对象施测结果r,等值性,程序,误差,内容取样,A卷,最短时距,B卷,复本等值的条件,各测验测量的是同一种心理特质；各测验具有相同的内容和形式；各测验的题目不应重复；各测验题目数量相等；各测验难度和区分度大体相同；各测验的分数分布（标准差和平均数）大体相同；复本编制好后，应再测一次，以确保等值。,第一，前提是有复本测验。第二，被试有条件接受两个测验(时间和经费等)。第三,报告结果时要报告两次测验的间隔及有关经历.,使用条件,优点,代表性增强，信度更准一定程度避免练习、记忆效应,不足,编制复本难影响积极性触类旁通,评价,重测信度与复本信度有何异同？,小结与问题,重测信度,复本信度,内部一致性,跨时间一致性,跨形式一致性,试题之间有何关系？,（三）内部一致性信度,含义,测验各题间一致性,题目一致性,分半信度,类型,同质性信度,1、分半信度（Split-halfraliablity）,分半方法,奇偶题分半,分析程序,两半相关：rhh,校正：rnn,难易：低高,分半条件,两半相似：,M、S项目组间相关分布常态,校正方法,斯皮尔曼-布朗公式,方差相等时,弗拉南根公式卢尤公式,方差不等时,使用条件,测验只能施测一次或没有复本的情况下使用.当一个测验无法分成对等的两半时不宜使用.,2、同质信度（Homogeneityraliability）,同质性,题目间的内部一致性,类型,库-理信度,克龙巴赫系数,各类题型,二值记分,（四）评分者信度（Scorerraliability）,含义,评分者评分的一致性,方法,2评分者,2个以上者,rXY,肯德尔和谐系数,附：确定信度的可接受水平,典型测验的一般标准,典型测验的信度高低水平,各种信度系数相应误差变异的来源,友情提示,实际上，有多少种误差的来源，就有多少种信度估计的方法。一般来说，一个测验哪种误差大，就应该用哪种误差估计。有时一个测验需要几种信度估计。,操作演练,假设对100个六年级学生以两个月的时间间隔先后施测一个创造力测验的A/B两个复本，所得的等值与稳定性系数为0.70。我们还根据被试对每个复本的反应计算出分半信度为0.80.同时,我们将另一个评分者随机抽取50份卷子另外评分，得到评分者信度为0.92。然后，我们对这这三种方法所产生的误差变异进行分析。,一个假想测验的变异数分析,四、信度系数的应用,1、评价测验2、解释分数（1）个人测验分数的误差（X-1.96SE）T（X+1.96SE）,（2）两种测验分数的比较(差异的标准误),所得结果与1.96SE(0.05水平)进行比较,即可得出两个测验的差异是否显著.,五、影响信度的因素,测验长度样本特征测验难度时间间隔,考研题,（一）测验长度,含义测验试题的数量,特点测验越长，试题取样越具有代表性。测验越长，猜测因素影响就越小。增加测验长度的效果应遵循报酬递减率原则。,长度与信度的关系,RXX为原测验的信度.RNN为测验长度增加后测验的信度.K为改变后的测验长度与原来长度之比.,例2-16：某测验有40题，信度0.65，若增至120题，信度会是多少？,例2-17：某测验有30题，信度0.75，试问要达到多少题才能使信度达到0.90？,特点样本越异质，分数分布越广，有可能高估信度。样本不同，信度就有可能不同。,（二）样本特征,1、样本团体异质性的影响,2、样本团体平均能力水平的影响,特点:团体平均水平太高或太低，分布变窄，可能低估信度.选择测验时应注意取样团体的变异性和能力水平建立信度的团体与欲测团体是否一致,一般趋势测验太难或太易,分数范围缩小,降低信度.难度与题型简答题：P=0.5时，X为0100，信度最高。学绩测验选择题的理想平均难度（洛德）五择一：0.70四择一：0.74三择一：0.77是非题：0.85,（三）测验难度,智力的时间变化,（四）时间间隔,间隔六年，rXX的变化,年龄的时间变化,年龄越低，信度越低,思考,如何提高测量的信度?适当增加测验的长度;使测验项目的难度分布接近正态;努力提高试题的区分度;选取适当的被试团体;主试严格执行测验规程;,几点说明,1.有多少种误差,就有多少种估计信度的方法.2.上面介绍的各种计算方法仅适用于常模参照测验.