测量信度课件

第四章测量信度,第一节信度概述第二节信度的估计方法第三节提高测量效度的方法,一个标准化的心理测验必须满足两个条件：,测验结果稳定、可信可靠性测验分数的一致性程度？一个人的“观察分数”和“真实分数”之间的接近程度？测验结果准确、客观有效性测验测到了它要测的东西吗？测验对它要测的东西测量到什么程度？,第一节信度概述,一、什么是信度1.信度的描述定义信度（reliability）是指测量结果的稳定性程度或一致性程度。,2.信度的测量学定义（操作性定义）,3.误差方差与信度的关系,二、信度的作用1.评价测验信度是测量过程中所存在的随机误差大小的反映。信度低，测量随机误差大，测量结果就会与真分数发生较大偏离。一般来讲，能力与成就测验的信度应该在0.90以上，人格测量信度系数应该在0.80以上。当r0.70时，不能用测验来对个人作评价，也不能在团体间作比较；当r大于或等于0.70时，可用于团体间比较；当r大于或等于0.85时，可用于鉴别个人。测量中的系统误差与信度无关。,2.解释个人测验分数的意义实际测量中，我们往往希望通过一次测验结果来了解被试的真分数，因为有测量误差的存在，实得分数并不是真分数，我们只能根据已有信息对其进行估计。真分数是无数次测量的平均值，所以可看作总体参数，而一次测量的结果就可看作样本统计量，这样估计真分数的问题就变成了估计总体参数的问题。,此时每个人两次测量的分数之差构成一个新的分布，这个分布的标准差就是测量的标准误，它是此次测量中误差大小的客观指标。,3不同测验分数的比较,第二节信度的估计方法,一、重测信度（test-retestreliability）1.含义与计算重测信度是指用同一量表对同一组被试测试两次所得结果的一致程度，其大小等于同一组被试在两次测验上所得分数的积差相关系数。即：,在SPSS中计算重测信度的步骤：Analyzecorrelatebivariatevariablespearson,2.重测信度使用的条件（1）所测量的心理特质必须是稳定的（2）遗忘和练习的效果基本上相互抵消（3）在两次测试时间间隔内，被试在所要测查的心理特质方面没有其他的学习和练习（4）测量环境一致,二、复本信度（Alternate-formreliability）1.含义与计算复本信度指两个平行测验测量同一批被试所得结果的一致程度，其大小等于同一组被试在两个复本测验上所得分数的积差相关系数。计算公式同重测信度。,两个复本测验实施的时间不同，复本信度所表达的含义略有不同。（1）等值性系数如果两个复本测验是同时连续施测的，则称这种复本信度为等值性系数。等值性系数的大小主要反映着两个复本测验的题目差别带来的变异情况。,（）稳定性与等值性系数如果两个复本测验是相距一段时间分两次测试，则称这种复本信度为稳定性与等值性系数。此时两个测验题目间的差别、两次施测情境、被试特质水平等方面的差别都会成为测验结果不一致的原因。,2.复本信度使用的条件（1）两个测验必须在项目的内容、形式、数量、难易、时限、指导语等方面相同或相似。（2）两次测验的时间间隔要适当。（3）被试有条件接受两个测验。局限：（1）复本法只能减少而不能排除练习和记忆效应。（2）对于许多测验来说要建立复本是非常困难的。,三、分半信度（Split-halfreliability）1.含义与计算是指将一个测验分成对等的两半后，所有被试在这两半上得分的一致性。分半信度信度与等值性系数的解释一样，即可以把对等的两半测验看成是最短时距内施测的两个平行测验。分半信度描述的是两半题目间的一致性，所以也叫内部一致性系数。,注意题目分半的方法：按题号奇偶性分半、按题目难度分半、按题目内容分半等。计算方法与复本信度类似，但被试在两半测验上得分的相关系数只是半个测验的信度，所以必须用斯皮尔曼布朗公式加以校正：,2.使用的前提条件和范围分半信度通常是在只能施测一次或没有复本的情况下使用。其中使用斯皮尔曼布朗公式时要求全体被试在两半测验分数的变异数相等。当测验无法分成对等的两半时，无法使用。,四、同质性信度（Homogeneityreliability）1.含义同质性信度也叫内部一致性系数，它是测验内部所有题目间的一致性程度。这里的一致性有两种含义：一是所有题目都测的是同一种心理特质，二是所有题目得分之间都具有较高的正相关。同质性信度就是一个测验所测内容或特质的相同程度。,实际上系数是所有可能分半信度的平均值，但它是测验信度的一个下界值，即系数值大，测量信度必然高，但系数值小，却不能判断测量信度不高。,五、评分者信度（Scorerreliability）1.含义与计算评分者信度指的是多个评分者给同一批人的答卷进行评分的一致性程度。对于主观试题，不同的评分者给出的分数是不等的，这样会造成误差，如何降低评分者信度是心理测量的重要任务之一。当评分者人数为2时，评分者信度等于两个评分者给同一批被试答卷所给分数的相关系数。如果是多个评分者，评分者信度采用肯德尔和谐系数进行估计。,第三节提高测量信度的方法,一、影响测量信度的主要因素（一）被试方面身心健康状况、动机、注意力、持久性、求胜心、作答态度等。,团体的异质性团体越是异质，分数范围越广，信度系数越大。,第一次测验,验测次二第,（二）主试方面（三）施测情境方面,（四）测量工具方面测验长度一般说来，在一个测验中增加同质的题目，可以使信度提高。（1）题目数量多，在每个题目上的随机误差互相抵消（2）测验题目数量增多，可以改进项目取样的代表性，从而能更好地反应受测者的真实水平。,测验难度如果测验太难，分数集中在低分段，如果测验太易，分数分布集中在高分段，这样都使分数分布的范围变窄，从而使信度降低。,（五）两次施测的时间间隔计算重测信度、稳定性与等值性系数时，两次测验相隔时间越短，其信度值可能会越大；两次测验相隔时间越长，其信度值可能会越小。,二、提高测量信度的常用方法（一）适当增加测验的长度（二）使测验中题目的难度接近正态分布，并控制在中等难度（三）努力提高测验试题的区分度（四）选取适当的被试团体（五）主试者严格按照要求去做,第五章测量效度,第一节效度概述第二节效度的评估第三节提高测量效度的方法,第一节效度概述,一、什么是效度（validity）（一）效度的概念效度是指一个测验或量表实际能测出其所要测的心理特质的程度。或者说实测结果与所要测查的结果的吻合或一致程度。,例如：在一项英语成就测验中，教师本来打算考察学生的语法知识，但是测题的完成需要学生掌握大量的词汇，这就存在一个系统误差，虽然前后两次测量的一致性可能很高，但这项测验可能并不能真正测量到学生掌握语法的程度。,（二）效度的测量学定义,（三）关于效度应该注意以下几个方面：1.效度是一个相对的概念，其相对性表现在：（1）效度是相对于测量目的而言的。（2）效度不是一个全或无的概念。2.效度是随机误差和系统误差的综合反映。3.判断一个测量是否有效要从多方面收集证据。,二、效度与信度的关系,第二节效度的评估,内容效度是指测验题目对所要测量的内容范围的代表性程度。结构效度是指一个测验对某种心理学理论所涉及的抽象概念或心理特质测得如何。实证效度指的是测验对我们所感兴趣的外在行为能够作出多好的预测。,（一）内容效度（contentvalidity）1.内容效度的含义及其应用的范围内容效度是指一个测验实际测到的内容与所要测的内容之间的吻合程度。估计一个测验的内容效度就是确定该测验在多大程度上代表了所要测量的心理特质。或者说内容效度就是测验的测题对测验内容范围的代表程度。,一个测验要有好的内容效度必须满足以下两个条件：（1）确定好测验内容的范围，并使得测验的全部项目均在此范围内。（2）确定好行为样本及其不同行为样本项目的比例。,2.确定内容效度的方法（1）专家判断的方法内容效度的确定方法主要是逻辑分析的方法。其工作思路是请专家对测验题目与原定内容范围的吻合程度作出判断。步骤如下：,明确测验目的及测验内容的范围确定每个题目所测的内容，并与测验编制者所列的双向细目表对照制订评定量表，考察题目对所定义的内容范围的覆盖率、判断题目难度与能力要求之间的差异等。,（2）复本法（3）重测法（4）经验法,3.内容效度的应用内容效度主要应用于成就测验以及职业选拔和分类测验。在这类测验中，测验内容是实际工作所需要的知识和技能。使用内容效度要注意与表面效度（surfacevalidity）的区别。表面效度是指一个测验在使用者和被试看来，直觉地认为它在测量什么，是否测到了测验所要测量的内容。表面效度不是效度。,（二）结构效度（constructvalidity）1.结构效度的含义、特点与应用范围结构效度是指一个测验实际测到所要测量的理论结构和特质的程度，或者说测验分数能够说明测量的理论结构和特质的程度。结构效度有如下特点：,（1）结构效度首先取决于事先假定的心理特质的结构理论（2）当实际测量的资料无法证实事先的理论假设时，并不一定就表明该测验结构效度不高。（3）结构效度通过测量什么、不测量什么的证据积累起来给以确定的，因而不可能有单一的数量指标来描述结构效度。结构效度主要应用于智力测验、人格测验等一些心理测验方面。,2.结构效度的确定确定结构效度的基本程序第一，对所研究的心理特质的结构进行界定第二，依据理论框架，提出可能的假设第三，收集数据，验证假设,确定结构效度的具体方法（）测验内法研究测验的内部结构，如测验的内容与题目间的相关来分析测验的结构效度。确定测验的内容效度：对于“语文能力”的测验，语文能力是对词汇下定义、对语言进行类比推理和文章篇句中正确运用文字的能力。,分析被试对项目反应的过程：观察被试的操作，询问他们的解题过程，做必要的数据相关分析。考察测验的同质性。因素分析的方法结构方程的方法,（2）测验间法通过对几个测验的比较研究，找出它们所测的共同特质，这样便可以确定这些测验是否具有结构效度。相容效度：计算被试在新旧两个同类测验上的分数的相关。如果相关高，则说明两个测验测的是相同的特质。区分效度：一个有效的测验不仅与其它测量同一构想的测验有比较高的相关，而且还应与测量不同构想的测验具有比较低的相关。,（）效标关联法（）实际操作法,（三）效标效度（实证效度）1.效标效度的含义、种类与作用效标效度是指一个测验对于特定情境中的个体的行为进行估计的有效性，即根据测验所作出的预测能否被实际的结果所证实。,比如学习能力测验，如果测得某些学生的学习能力高，他们实际的学习成绩高，测得某些学生的学习能力低，实际的学习结果成绩低。测量的实证效度高。这里被估计或预测的行为的实际结果是检验测验效度的标准，简称效标。,根据效标资料搜集的时间，效标效度可以分为同时效标和预测效标。效标资料与测验分数是同时收集的，获得的效度叫同时效度；效标资料是根据测验之后的实际业绩定的，获得的效度叫预测效度。同时效度主要用于诊断现状，预测效度在于预测个体将来的行为。,2效标与效标测量估计测验效标效度首要条件是必须具有效标，什么是效标？效标就是衡量一个测验是否有效的外在标准，是我们所要预测的行为。,效标可以是连续变量（如分数），也可以是分类变量（如职业）；可以是自然的现成的指标（如产量、薪水），也可以是人为设计的指标（如考试测验）；可以是主观评判，也可以是客观测量。归纳起来，常见的效标主要有学业成就、等级评定、临床诊断、特殊训练的筹集、实际工作表现和其他测验成绩。,阿斯汀（A.W.Astin）将效标分为观念效标和效标测量。观念效标是一个概念，效标测量是观念效标的量化。如对于大学入学考试这个测验来说，观念效标是“大学学习成功”，而大学学习成绩是效标测量。,好的效标测量应符合以下条件：（1）必须真实的反映观念效标的重要侧面（2）必须可靠稳定（3）必须客观，不存在偏见（4）在保证有效性的前提下，尽量简单省时、代价低。,2.效标效度的确定方法效标效度的确定方法一般有三个步骤：明确观念效标，确定效标测量，考察测验分数与效标测量的关系。效标效度的估计方法：,（1）相关法即计算测验分数与效标测量的相关系数：积差相关、等级相关、二列相关等。（2）分组法（区分法）是被试接受测验后，让他们工作一段时间，再根据工作成绩（效标测量）进行等级分组，然后考察两组测验分数的差异。,（3）预期表法是将源测验分数和效标测量绘制成双维图表，并将每个变量按水平分成若干档次，然后列出每个档次上的人数百分比。,（4）命中率法如果预测源与效标都是二分的，可以得到一个命中预测表,（）功利率法代价与利益进行比较,四、