测量信度与随机误差控制

第二章测量信度与随机误差控制,高等教育出版社,心理测量学,高等教育出版社,误差的基本知识一致性与准确性随机误差与系统误差（1）（2）（3）,1111111,1111111111,1111111111,心理测量学,高等教育出版社,第二章测量信度与随机误差控制,心理测量学,高等教育出版社,第二章测量信度与随机误差控制,心理测量学,高等教育出版社,信度概述,什么是信度?相同被试在不同时间或不同场合下重复用同一测量工具或等价（equivalent）工具测量所得结果的一致性（consistency）程度。信度反映了测量结果中，由于随机误差因素所带来的方差变异大小。信度越高，随机误差方差越小，测量结果越稳定。,心理测量学,高等教育出版社,信度概述,什么是信度?经典测量理论（classicaltesttheory,CTT）假设：个体在某个测量上获得的分数结果是由真分数（truescore）和随机误差分数组成的。一群被试的观察分数方差等于他们的真分数方差加上随机误差方差。证明为观察分数方差；为真分数方差；为随机误差方差。,心理测量学,高等教育出版社,信度概述,什么是信度?测量的信度被定义为观察分数方差中由真分数方差所解释的比例，由下式表示：证明为测量的信度，由上式定义可以知道，测量的信度是一个0.00到1.00的非负值,心理测量学,高等教育出版社,信度概述,什么是信度?然而，由于真分数方差无法直接计算得到，因此，需要通过前面两个公式，推导出在观察分数方差中误差方差所占的比例，或者叫真分数方差未解释的比例，以计算信度，如下式：,心理测量学,高等教育出版社,信度概述,信度的作用信度反映了不同测量情境因素对测量结果的影响大小；情境因素对测量结果影响甚大，表明观察分数的随机误差就很大，测量结果偏离真值的程度也就偏大。信度可以用来评价个体分数的稳定性程度。信度越低表明个体分数的随机误差越大，也就是说，个体观察分数偏离真分数越远，这样的测量工具得到的分数也就越不稳定。,心理测量学,高等教育出版社,第二章测量信度与随机误差控制,心理测量学,高等教育出版社,测量信度的种类及评估方法,重测信度含义同一个测量工具在两个不同时间对同一组被试施测所得结果的一致性程度。重测信度主要考察了一个测量工具是否能够保证在不同时间测量结果的一致性，他反映了测量工具的结果受到时间间隔因素影响的大小。一般来说，重测的时间间隔越短，那么各种施测情境的变化就越小，重测信度系数就会越大。重测信度系数较大时，说明该测量工具前、后两次的测量结果比较一致。结果具有较好的跨时间上的稳定性。,心理测量学,高等教育出版社,测量信度的种类及评估方法,重测信度评估方法重测信度的大小可以通过计算测量工具的重测系数（test-retestcoefficient）或叫稳定性系数（coefficientofstability）来标志。具体来说，就是求取同一组被试在两个不同时间施测同一个测量工具所得结果分数的相关系数。,心理测量学,高等教育出版社,测量信度的种类及评估方法,重测信度使用的条件测量工具所测量的个体心理特质在时间上应该是相对稳定的。测量工具所测量的个体心理特质应该不存在明显的练习效应和遗忘效应。在两次施测间隔期间不应该进行专门的训练和培训，以保证重测信度反映的是随机因素的影响效应。,心理测量学,高等教育出版社,测量信度的种类及评估方法,使用重测信度时需要注意的问题两次施测时间间隔的长短会影响重测信度系数估计值的大小，因此，在报告重测信度系数时应该报告间隔的时间长度。应该根据已有的相关研究结论考虑所测心理特质本身的稳定性程度，以确定前后两次施测时间的间隔究竟应该多长比较合适时，不应该随便选择间隔时间的长短，,心理测量学,高等教育出版社,测量信度的种类及评估方法,复本信度证明含义两个平行的测验（复本测验）测量同一批被试所得结果的一致性程度。复本信度反映了由于题目的不同以及时间间隔所导致的测量误差。平行测验或复本测验指的是两个在题目内容、数量、形式、难度、区分度、指导语、时限以及所用的例题、公式和测验等其他方面都相同或相似的测验。也就是用不同的题目测量同样的内容而且其测验结果的平均值和标准差都相同的两个测验。,心理测量学,高等教育出版社,测量信度的种类及评估方法,复本信度评估方法复本信度的估计过程就是计算同一批被试在两个平行的复本测验上所得分数的相关系数，也叫作等价系数（coefficientofequivalence）。测试设计：同时测试和延时测试。同时测试是在同一个时间段内进行测试，而延时测试则是在两个时间段进行测试，同时测试可能会存在作答疲劳的效应，而延时测试则可能会存在学习或培训效应。,心理测量学,高等教育出版社,测量信度的种类及评估方法,复本信度使用的条件要构造出两份或两份以上真正平行的测验;计算复本信度需要对同一批被试测试两份平行测验，这就需要掌握一个合理的时间安排。应该尽量在测试结果报告中，详尽地说明两次测试的时间间隔、测试顺序安排、测试过程中被试的有关测验经历等。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度内部一致性信度主要评价了测验各随机组成部分之间是否测量了相同的心理特质，因此，它反映的是题目内容的抽样一致性程度。具体估计方法主要包括分半信度评估法、库德-理查森信度评估法、克龙巴赫Alpha系数评估法。与重测信度和复本信度不同，在估计测验的内部一致性信度时，只要用同一个测验对一批被试测试一次。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度分半信度含义我们总是可以把一个测验的所有题目随机地划分成对半的两个部分，然后估计所有被试在这两个部分题目上得分的一致性程度，这样得到的测验一致性估计称为分半信度。分半信度评价了测验两个随机组成部分的题目是否测量了相同的心理特质。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度分半信度计算评估方法计算出被试在测验两个随机组成部分的题目上得分之间的相关系数.由于在用分半测验得分计算相关系数时，测验题量被缩短，信度系数需要通过以下这个公式对分半相关系数进行矫正而得到。为两个分半测验之间的相关系数，为完整长度测验的信度系数估计值。,课堂练习,已知某量表的分半信度为0.69，请算出原长度的信度系数。已知某个测验的信度为0.70，要使该测验的信度达到0.80，必须增加多少题目？测验有20道测题，其信度仅为0.56，若把测题增加到80题，信度能达到多少？增加到160题呢？,心理测量学,高等教育出版社,心理测量学,高等教育出版社,0.8171.7140.8360.911测量信度的种类及评估方法,内部一致性信度分半信度评估方法另外一个估计分半信度系数的方法是Rulon公式，他只需要计算所有被试在两部分测验上得分之差的方差以及总分方差：式中，为完整测验的信度估计值，为被试在两部分测验上得分之差的方差，为完整测验总分方差。Rulon公式中分子方差反映了由于题目不同等条件带来的误差方差，他与总方差之比反映了误差方差在总方差中所占的比例。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度分半信度使用时需注意的问题在估计测验的分半信度时，虽然要求把一个测验的所有题目随机地划分成对半的两个部分，但是在实践中对测验分半时，为了尽量减少无关因素的影响，通常需要考虑题型、题分、题目测试先后顺序等因素的平衡问题，比如按照题目顺序奇偶分半就是一个经常选择的方法。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度库德-理查森信度含义在估计分半信度时，把一个测验的题目分成两半的方式是非常多的。而每种分半方式得到的信度估计值总会存在一些差异，但我们无法知道究竟哪种分半结果所得到的信度估计值是最合适的。估计所有可能的分半信度系数的平均数，作为完整测验的内部一致性最佳估计值。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度库德-理查森信度评估方法：所有分半信度系数的平均数的估计方法K-R20K-R21,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度库德-理查森信度使用的条件Kuder-Richardson信度系数的估计只能针对1、0记分题型，对于其他题型需要使用更加一般化的估计方法。K-R21公式假设测验中所有项目的难度是相同的。Kuder-Richardson信度反映的是项目间一致性程度，他会严重地受到测验所测行为特质的同质性程度的影响。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度CronbachsAlpha系数含义是一种比Kuder-Richardson方法更加一般化的信度估计方法，它可以针对各种记分方式的题型进行估计。,心理测量学,高等教育出版社,课堂活动：解释CronbachsAlpha系数的计算公式,内部一致性信度CronbachsAlpha系数评估方法公式中，是测验题目个数，是被试在题目上得分的方差，是被试测验总分方差。,心理测量学,高等教育出版社,测量信度的种类及评估方法,内部一致性信度CronbachsAlpha系数使用的条件可以估计各种记分方式的测验内部一致性信度系数，是更一般化的测验内部一致性信度系数估计方法。,心理测量学,高等教育出版社,测量信度的种类及评估方法,评分者信度含义在评价通过主观评分方式得到的分数时，我们必须了解不同的评分者在评价被试作答反应时给的分数值的一致性程度（信度）。一般的客观型题目在评分时很少出现误差，然而，对于诸如作文测验、语言类测验、以及其他的评价性测验（如人格特质评级、投射测验评分等），这些测验类型的评分过程就显得非常主观。,心理测量学,高等教育出版社,测量信度的种类及评估方法,评分者信度评估方法两个评分者时：计算这两个评分者评定分数之间的相关系数。多个评价者评价同一批被试：计算和谐系数,心理测量学,高等教育出版社,测量信度的种类及评估方法,信度系数及其估计方法总结测试次数和测试卷份数与信度系数估计方法,心理测量学,高等教育出版社,测量信度的种类及评估方法,信度系数及其估计方法总结各种信度估计方法的误差方差来源,心理测量学,高等教育出版社,测量信度的种类及评估方法,信度系数及其估计方法总结各种心理评估工具的信度系数,心理测量学,高等教育出版社,第二章测量信度与随机误差控制,对分课堂第1讨论题：讨论四种信度的变异来源是什么？对分课堂第2讨论题：用spss实现分半信度和克龙巴赫阿尔法系数计算对分课堂第3讨论题：克龙巴赫阿尔法系数为什么与重测信度等价？,心理测量学,高等教育出版社,心理测量学,高等教育出版社,测量的随机误差控制,测量标准误与信度测量标准误信度系数越低，测量标准误就越大。,课堂练习,假设韦克斯勒儿童量表中国修订版的信度为0.96，标准差为15，请算出其标准误。某测验的被试为25年级的小学生，已知信度是0.87，标准差为9，现欲知道仅用于4年级时信度是多少，4年级的标准差是7。,心理测量学,高等教育出版社,30.79课堂练习,如果已知某被试斯坦福-比纳量测定IQ为110，信度为0.75，标准差为16，那么真分数在95%的可靠度要求下变动范围是多少？（当T一定时，X的标准差即为E的标准差）,心理测量学,高等教育出版社,94.32,125.68课堂练习,某儿童在韦氏儿童智力测验中，言语智商123，操作智商110，已知这两个分量表的信度分别是0.97和0.93，请问这两种智商间有无显著差别。当T一定时，X1与X2的差，即为E1-E2X1-X2=T1+E1-(T2+E2)若不存在差异，令T1-T2=0，上式可变为E1-E2，E1-E20.05水