心理测量学知识3测验的信度

2020/6/5,1,心理测量学知识,隋雪教授心理学博士辽宁师范大学教育学院Suixue88,2020/6/5,2,第五章心理测量学知识,第一节概述第二节测验的常模第三节测验的信度第四节测验的效度第五节项目分析第六节测验编制的一般程序第七节心理测验的使用,2020/6/5,3,第一单元信度的概念第二单元信度评估的方法第三单元信度与测验分数的解释第四单元影响信度的因素,第三节测验的信度,第一单元信度的概念,2020/6/5,5,信度是指同一被试者在不同时间内用同一测验（或用另一套相等的测验）重复测量，所得结果的一致程度。信度只受随机误差影响，随机误差大，信度低；系统误差产生恒定效应，不影响信度。,第一单元信度的概念,一、信度的定义,每一个测验的实得分数（X）包括：真实分数（T）和误差（E）。XT+E如果我们讨论一组测验分数的特性时，可用方差代表具体分数。S2xS2TS2E（S2x测验实得分数的方差，S2T真分数的方差，S2E测验误差的方差）,第一单元信度的概念,在测量理论中，信度被定义为：一组测量分数的真分数方差与总方差的比率。rxx=S2T/S2x由于真分数的方差无法统计，可以转化为：rxx=（S2xS2E）/S2x1S2E/S2x,第一单元信度的概念,第一单元信度的概念,rxx,ST2,SE2,SX2,2020/6/5,9,（一）信度系数和信度指数一般情况下，信度以信度系数为指标，是一种相关系数，常常是同一被试样本所得两组资料的相关。理论上说，是真分数方差与实得分数方差的比值。rxx=r2xT=S2T/S2xrxT为信度指数，他的平方就是信度系数。,第一单元信度的概念,二、信度的指标,2020/6/5,10,（二）测量标准误为什么用标准误？信度系数反映的是一组测量的实得分数与真分数的符合程度，没有指出个人测验分数的变异量。可以对一个人反复测量，求平均值，标准差。但不现实。,第一单元信度的概念,二、信度的指标,2020/6/5,11,（二）测量标准误用一组被试两次测量结果来代替对同一个人的反复施测。求得测量标准误：SESX1rxx标准误可以反映信度的变化，信度越高，标准误越小，信度越低，标准误越大。样本均值与总体均值总有差异，差异大小用标准误衡量。标准误就是，样本平均数所服从的分布的的标准差。SE越大，抽样误差越大，样本平均数越不可靠。,第一单元信度的概念,二、信度的指标,您一定记住了！1、什么是信度？信度是指在不同时间内用同一测验（或另一个测验）重复测量同一被试者，所得结果的一致程度。2、信度只受什么误差的影响？随机误差3、这个公式的含意：rxx=S2T/S2x在测量理论中，一组测量分数的真分数方差与总方差的比率，就是信度。4、信度与误差关系？误差大，信度低5、信度的指标有哪些？信度系数，信度指数，测量标准误。,您一定记住了！6、什么是信度系数？信度系数是信度的指标之一，是一种相关系数，常常是同一被试样本所得两组资料的相关，也是真分数方差与实得分数方差的比值ST2/SX2。7、什么是信度指数？真分数的标准差与实得分数的标准差的比值，ST/SX。8、信度指数与信度系数关系？平方。9、什么是测量标准误？样本均值与总体均值总有差异，差异大小用标准误衡量。标准误就是样本平均数的标准差。SE越大，抽样误差越大，样本平均数越不可靠。10、测量标准误与信度系数关系？信度越高，标准误越小；信度越低，标准误越大。,第三节测验的信度,第一单元信度的概念第二单元信度评估的方法第三单元信度与测验分数的解释第四单元影响信度的因素,2020/6/5,15,又称稳定性系数。它的计算方法是采用重测法，即使用同一测验，在同样条件下对同一组被试者前后施测两次测验，求两次得分间的相关系数。.优、缺点：考察测验的时间效应。但有练习和记忆的影响。最适宜的时距随测验的目的、性质和被试特点而异，一般是24周较宜，间隔时间最长不超过六个月。,一、重测信度（test-retestreliability）,二、复本信度（alternate-formreliability）又称等值性系数，它是以两个等值但题目不同的测验（复本）来测量同一群体，然后求得被试者在两个测验上得分的相关系数，这个相关系数就代表了复本信度的高低。它反映的是测验在内容上的等值性在计算复本信度时，应该有半数的被试先作A本再作B本，另一半被试先作B本再作A本，由此可以抵消施测顺序的效应。如果两个复本，同时施测，相关系数反应的是复本的关系；如果相隔一段时间，则称重测复本信度，或稳定与等值系数。优、缺点：避免重测信度的一些问题。局限书：350页,第二单元信度评估的方法,三、内部一致性信度（internalconsistencyreliability）重测信度和复本信度主要考察了测验跨时间的一致性（稳定性）和跨形式的一致性（等值性），而内部一致性信度系数主要反映的是题目之间的关系，表示测验能够测量相同内容或特质的程度。内部一致性信度系数包括：分半信度、同质性信度,第二单元信度评估的方法,分半信度（split-halfreliability）采用分办法估计所得的信度系数。只需一种测验，进行一次测试。是在测验实施后将测验按奇、偶数分为等值的两半，并分别计算每位被试在两半测验上的得分，求出这两半分数的相关系数。因为在其他条件相同的情况下，测验越长，信度越高。所以分半法经常会低估信度，必须修正，借以估计整个测验的信度。修正公式：斯皮尔曼布朗公式：rxx=2rhh/1+rhhrxx为测验在原来长度时的信度估计值，rhh为一半分数的相关系数。这是个经验公式，前提条件是两半测验分数的变异数相等。当假设条件不成立时，可以用其他公式。,第二单元信度评估的方法,同质性信度（homogeneityreliability）同质性主要代表测验内部所有题目间的一致性。当各个测题的得分有较高的正相关时，不论题目的内容和形式如何，则测验为同质的。相反，即使所有题目看起来好象测量同一特质，但相关很低或为负相关时，则测验为异质的。计算公式：库德理查逊：K-R20公式，K-R21公式。适用于答对记一分，错0分的测题。克伦巴赫a系数：适用于多重计分的测题。,库德-理查逊公式：K-R20公式：适合于0、1记分，难度不同的测题。,克伦巴赫系数：适合于多重记分的测题,K-R21公式：适合于0、1记分，难度相同的测题。,四、评分者信度（scorerreliability）随机抽取若干份测验卷，由两位评分者按评分标准分别给分，然后再根据每份测验卷的两个分数计算相关，即得评分者信度。一般要求在成对的受过训练的评分者之间平均一致性达0.90以上，才认为评分是客观的。当多个评分者评定多个对象，并以等级法记分时，可采用肯德尔和谐系数作为评分者信度的估计。,第二单元信度评估的方法,信度估计方法很多，有多少误差来源，就有多少估计方法。一种测验哪种误差大，就用哪种误差估计方法。有时一个测验需要几种信度系数。,您记住没有啊？1、什么是重测信度，或者稳定性系数？是指使用同一测验，在同样条件下对同一组被试者，前后施测两次测验，求两次得分间的相关系数。2、重测法最适宜的时间间隔是多久？最长不超过多久？24周，6个月3、什么是复本信度，或者等值性信度？是以两个等值但题目不同的测验（复本）来测量同一群体，求得被试者在两个测验上得分的相关系数。反映的是测验在内容上的等值性。4、内部一致性信度？反映的是题目之间的关系，表示测验能够测量相同内容或特质的程度。5、内部一致性信度包括？分半信度、同质性信度,您记住没有啊？6、同质性信度代表什么？测验内部所有题目间的一致性。7、成对受过训练的评分者之间平均一致性达到多少，才认为评分是客观的？0.9以上8、以再测法或复本法求信度，两次测验间隔时间越短，信度系数越大还是越小？越大。,第三节测验的信度,第一单元信度的概念第二单元信度评估的方法第三单元信度与测验分数的解释第四单元影响信度的因素,2020/6/5,26,第三单元信度与测验分数的解释,信度系数可以解释为：总的方差中有多少比例是由真实分数的方差决定的，也就是测验的总变异中真分数造成的变异占百分之几。例如：r0.9时，实得分数90的变异来自真分数，10来自误差。r1呢？r0呢？信度系数从0.001.00，代表了从缺乏信度到完全可信的所有状况。信度系数也告诉我们误差多大。,一、解释真实分数与实得分数的相关,2020/6/5,27,一个测验的信度多高才合适呢，最理想是rxx1.00，但办不到。研究结果，能力、成就测验都在0.90以上；人格测验、兴趣、态度、价值观等都在0.800.85。一般原则：当r0.70,测验不能用于对个人、或团体作出评价或预测；当0.70rxx0.85时，可用于团体比较；当rxx0.85时，才能用来鉴别或预测个人成绩或作为。另一原则：新编的测验信度应该高于原有的同类测验或相似测验。,二、确定信度可以接受的水平,2020/6/5,28,其一是估计真实分数的范围；其二是了解实得分数再测时可能的变化情形。这就是测量标准误的应用。测量标准误可以通过第一次测量结果和信度系数得到：SESX1rxx。根据标准误的值，可以确定实得分数在不同“或然率”水平的真实分数的可能范围。比如95的或然水平，其置信区间为：X1.96SEXTX+1.96SE。就是说有95的可能性真分数落在所得分数1.96SE的范围内。或5可能落在范围之外。也表明再测时的可能范围。,三、解释个人分数的意义,2020/6/5,29,比如：某个被试的测验IQ100，再测的分数可能是多少？（已知测验的标准差为15，信度系数0.84）。SE1510.846.0IQ1001.96688112,三、解释个人分数的意义,四、比较不同测验分数的差异这种比较包括两个人不同分数的差别和同一被试在两个测验上的差别。这就是差异分数的标准误问题。,SEd=S,SEd为差异的标准误，S代表两个测验使用的标准差，这个标准差要相同，因为只有在两个分数具有相同的单位时才可以比较。例如：某被试韦氏智力测验中言语智商为102，操作智商为110。两个分测验都是以100为平均数，15为标准差的标准分数。假设言语测验和操作测验的分半信度分别为0.87和0.88。问其操作智商是否显著高于言语智商？SEd157.5在0.05水平，1.967.514.7，就是说14.7以上差异才显著。1101088分，不显著。,记住了吗？1、r0.9时，实得分数的变异多少来自真分数？90。2、信度系数从0.001.00的变化，代表了什么？从缺乏信度到完全可信的所有状况。3、不能用于对个人做出评价和预测，不能做团体比较，测验的信度是多少？小于0.7。4、当r多大时，可用于团体比较？0.70rxx0.85时5、当r多大时，才能用来鉴别或预测个人成绩或作为。当rxx0.85时,会计算吗？6、某个被试的测验IQ100，再测的分数可能是多少？（已知测验的标准差为15，信度系数0.90）。95的可能在90.6109.4之间。7、被试在韦氏智力测验中言语智商为102，操作智商为110。两个分测验都是以100为平均数，15为标准差的标准分数。假设言语测验和操作测验的分半信度分别为0.87和0.88。问其操作智商是否显著高于言语智商？,会计算吗？8、某被试在韦氏成人智力测验中的VIQ=102，PIQ=108。假设言语测验和操作测验的分半信度分别为0.97和0.93。问其操作智商是否显著高于言语智商呢？首先计算出差异分数的标准误,在统计学上，经常要求两个分数的差异程度达到0.05的显著水平，才能承认不是误差的影响。因此，将差异标准误（4.74）乘以1.96，结果为9.29，这表明个体在韦氏测验两半得分的差异高于大约10分时，才能达到0.05的显著水平。上述被试的差异分数108-102=6是不显著的。,第三节测验的信度,第一单元信度的概念第二单元信度评估的方法第三单元信度与测验分数的解释第四单元影响信度的因素,一、样本特征（一）样本团体异质性的影响信度系数就是相关系数，任何相关系数都要受到团体中分数分布范围的影响。分数分布范围与样本团体的异质程度有关。取样团体异质程度高，被试差异较大，两次测验高者则高，低者则低，分数相关系数高，信度就高。所以会高估测验的信度。取样团体异质程度低，被试差异不大，两次测验，第一次高者第二次可能低，低者则可能高低，分数相关系数低，信度就低。所以会低估测验的信度。,一、样本特征（二）样本团体平均能力水平的影响测验的信度不仅受团体中个别差异程度的影响，也受不同团体间平均能力水平的影响。因为对于不同团体，题目具有不同难度，每个题目在难度上的细微差异累计起来就会影响信度。例如同一套智力测验，年幼者不会的题目多，靠猜测答题，分数的偶然性较大，信度就差。而大学生完成的准确性就高，信度也就高。这种题目难度上的差异很难用统计来预测和评估，只能靠经验发现。编制测验应该把常模按照各种标准分成更为同质的亚团体，分别报告信度系数。,二、测验长度就是测验的数量。在一个测验中，增加同质的题目，可以提高信度。测验越长，测验的测题取样或内容取样就越有代表性；测验越长，被试的猜测因素影响就越小。一道题可以猜对，100个题都猜对就不可能。但也不能太长，被试过分疲劳和反感，也会影响信度。增加多长合适呢？斯皮尔曼布朗公式：K=r