第五章测量效度

1、2015第五章第五章测量效度测量效度第一节 效度概述 效度（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。 在测验的众多质量指标中，效度是一个重要的指标。效度注意三要点：效度是一个相对的概念：每个测量工具都有自己的目的；效度是一个相对的概念：每个测量工具都有自己的目的；内隐特质是通过外显行为间接测得的（因此心理测量不可内隐特质是通过外显行为间接测得的（因此心理测量不可能达到百分之百准确，只能达到某种程度上的准确）。能达到百分之百准确，只能达到某种程度上的准确）。效度是测量的随机误差和系统误差的综合反映。效度是测量的随机误差和系统误差的综合反映。判断一个测量是否有效要从

2、多方面收集证据判断一个测量是否有效要从多方面收集证据效度与信度的关系效度与信度的关系 1）信度高是效度高的必要而非充分的条件 （信度高效度未必高，效度高信度一定高） 2）测验的效度受它的信度制约 口诀：口诀：信度高，效度未必高，信度高，效度未必高， 信度低，效度必然低；信度低，效度必然低； 效度高，信度必然高，效度高，信度必然高， 效度低，信度未必低。效度低，信度未必低。第二节 效度的评估测量效度是就测量结果达到测量目的的程度而言的，所以测测量效度是就测量结果达到测量目的的程度而言的，所以测量效度的估计在很大程度上取决于人们对测量目的的解释。量效度的估计在很大程度上取决于人们对测量目的的解释。

3、常见的解释角度主要有三种：（近年效度证据的来源已经远常见的解释角度主要有三种：（近年效度证据的来源已经远远超出这三个方面远超出这三个方面P69-70) P69-70) 测验内容测验内容 内容效度内容效度 理论结构理论结构 构想效度构想效度 工作实效工作实效 实证效度实证效度内容效度1. 1. 含义及应用范围含义及应用范围内容效度（内容效度（content validitycontent validity）是指测验题目对有关内容或）是指测验题目对有关内容或行为领域取样的适当程度，即一个测验实际测到的内容与行为领域取样的适当程度，即一个测验实际测到的内容与所要测量的内容之间的吻合程度。所要测量的内

4、容之间的吻合程度。因此，一个测验要有内容效度必须具备两个条件：因此，一个测验要有内容效度必须具备两个条件：（1 1）要有定义完好的内容范围）要有定义完好的内容范围（2 2）测验题目应是所界定的内容范围的代表性取样。）测验题目应是所界定的内容范围的代表性取样。内容效度主要应用于成就测验。内容效度主要应用于成就测验。因为成就测验主要是测量被试掌握某种因为成就测验主要是测量被试掌握某种技能或学习某门课程所达到的程度。技能或学习某门课程所达到的程度。在这种测验中，题目取样的代表性问题在这种测验中，题目取样的代表性问题是内容效度的主要考察方面。是内容效度的主要考察方面。 内容效度也适合于某些用于选拔和分

5、类内容效度也适合于某些用于选拔和分类的职业测验。的职业测验。这种测验所要测的内容就是实际工作中这种测验所要测的内容就是实际工作中所需的知识和技能，编制这种测验应首所需的知识和技能，编制这种测验应首先对实际工作做较细的分析，否则，题先对实际工作做较细的分析，否则，题目取样的代表性就难以令人满意。目取样的代表性就难以令人满意。 内容效度不适合用于能力倾向测验和人格测验。内容效度不适合用于能力倾向测验和人格测验。 此外，在使用内容效度时，要避免与表面效度此外，在使用内容效度时，要避免与表面效度（surface validitysurface validity）相混淆。）相混淆。 表面效度是外行人对某

6、个测验从表面上看好像表面效度是外行人对某个测验从表面上看好像是测某种心理特质的一种现象。是测某种心理特质的一种现象。表面效度可以取得被试者的合作表面效度可以取得被试者的合作最佳行为测验往往表明效度高；典型行为测验最佳行为测验往往表明效度高；典型行为测验表面效度低表面效度低职业兴趣测验；成就测验职业兴趣测验；成就测验人格测验人格测验2 2内容效度的确定方法内容效度的确定方法（1 1）逻辑分析法：专家判断根据自己的知识经验对量表的）逻辑分析法：专家判断根据自己的知识经验对量表的有效性（逻辑性）作出判断，也称逻辑效度。有效性（逻辑性）作出判断，也称逻辑效度。为使内容效度的判断过程更客观，一般采用下列

7、步骤：为使内容效度的判断过程更客观，一般采用下列步骤：确定欲测内容的范围；确定欲测内容的范围；编制双向细目表；编制双向细目表；编制评定量表，从测验内容所测的技能、题目对所定义的编制评定量表，从测验内容所测的技能、题目对所定义的范围的覆盖率、各种题目数量和分数的比例以及题目形式范围的覆盖率、各种题目数量和分数的比例以及题目形式的适当性等方面，对测验作出总的评价。的适当性等方面，对测验作出总的评价。内容效度既具有一定的优点，也有一定内容效度既具有一定的优点，也有一定的局限。其主要缺点是缺乏可靠的数量的局限。其主要缺点是缺乏可靠的数量指标，因而妨碍了各测验间的相互比较。指标，因而妨碍了各测验间的相互

8、比较。（2 2）统计方法：用两个测验复本来测同一批被试，若相关高，）统计方法：用两个测验复本来测同一批被试，若相关高，则内容效度可能高，但若相关低，则说明必有一个测验缺则内容效度可能高，但若相关低，则说明必有一个测验缺乏内容效度。乏内容效度。 （3 3）再测法：）再测法：前测前测教学教学后测后测如果后测成绩优于前测成绩，说明该测验具有一定的内容效如果后测成绩优于前测成绩，说明该测验具有一定的内容效度。度。结构效度含义、特点与应用范围含义、特点与应用范围结构效度（结构效度（structure validitystructure validity）是指一个测验实际测到所要测）是指一个测验实际测到所

9、要测量的理论结构或特质的程度，或者说测验分数能够说明心理学理量的理论结构或特质的程度，或者说测验分数能够说明心理学理论的某种结构或特质的程度（构思或结构是指心理学理论所涉及论的某种结构或特质的程度（构思或结构是指心理学理论所涉及的抽象而的抽象而属假设性属假设性的概念或特质，如智力、焦虑、动机、外向的概念或特质，如智力、焦虑、动机、外向等）。等）。特点：特点： 1)构想效度的大小首先取决于事先假定的心理特质理论。 2)当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验构想效度不高 。 3)不可能有单一的数量指标来描述构想效度。 结构效度的确定方法结构效度的确定方法（1 1）提出理论框

10、架；）提出理论框架；（2 2）依据理论框架推演出有关测验成绩的假设；）依据理论框架推演出有关测验成绩的假设；（3 3）用逻辑或实证的方法来证明假设。）用逻辑或实证的方法来证明假设。确定构想效度的基本方法确定构想效度的基本方法（1 1）测验内部寻找证据法）测验内部寻找证据法 a.分析测验的内容效度：若内容效度高，说明其结构效度也高； b.分析被试对题目反应的特点： 有无社会称许性的题目，如“当事情不顺我意时，我时常动怒。”对该题的回答，也许反映不了要测的性格。 c.计算测验的同质性信度：分半信度、系数、KR20、KR21（2 2）测验之间寻找证据法）测验之间寻找证据法 a.相容效度法：新老测验之

11、间的相关（两测验测的是同一心理特质）。若相关高，则说明新测验可能有较高的效度。 b.区分效度法：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，则说明新测验可能有较高的效度。 c.因素分析法法：得出的因素符合理论的构思，说明效度高。（3 3）考察测验的实证效度法）考察测验的实证效度法 根据效标把被试分组，考察其得分差异。 根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。（4 4）多种特质）多种特质- -多种方法矩阵法多种方法矩阵法方法：方法：1 1、2 2、3 3特质：特质：A A、B B、C CA1A1B1B1C1C1A2A2B2B2C2C2A3A3B3B3C3C3

12、A1A10.900.90B1B10.500.500.890.89C1C10.350.350.410.410.810.81A2A20.580.580.250.250.100.100.950.95B2B20.210.210.590.590.090.090.630.630.910.91C2C20.140.140.130.130.500.500.570.570.530.530.850.85A3A30.550.550.200.200.130.130.690.690.320.320.300.300.930.93对构想效度的评价对构想效度的评价 三、实证效度三、实证效度1 1含义、种类及作用含义、种类及作用

13、 实证效度是指一个测验对处于特定情境中的个体的行为进行估计的有效性。 被估计的行为是检验测验效度的标准，简称效标。 所以，实证效度又称效标关联效度（criterion-related validity）。 同时效度：测验分数与效标资料是同时收集的。（诊断现状） 预测效度：先获得测验分数，隔一段时间后，再收集效标资料。（预测个体将来行为）2 2效标效标（1 1）效标与效标测量）效标与效标测量 效标（criterion）就是衡量一个测验是否有效的外在标准，独立于测验并可以从实践中直接获得我们所感兴趣的行为。 常用的效标：学业成就、临床诊断、实际工作表现、特殊训练成绩、不同团体的总体表现、先前有效的

14、测验、等级评定。 观念效标：理论定义，如“大学的成功” 效标测量：操作定义，如“大学成绩” （2 2）效标的特性）效标的特性 a.多样性： 一个测验可能有不同的观念效标，同一个观念效标又可能有不同的效标测量。 b.复杂性： 几乎每一种效标行为都由多种特质构成，包含复杂的成分。 c.特殊性： 即使一个普通的效标，在应用时也有特殊性。 d.时间性： 近期效标与最后效标（3 3）效标测量的条件）效标测量的条件 a.有效性：效标测量能真正反映观念效标。 b.可靠性：有较高的信度 c.客观性： 效标测量必须能真正反映观念效标，防止效标污染。 效标污染（criterion contamination）是指

15、评定者知道被试的测验分数，因而影响到对效标的客观评定。 d.实用性： 经济实用确定效标效度的基本步骤确定效标效度的基本步骤 明确观念效标 （1 1）相关法）相关法测验分数与效标测量之间的相关系数。测验分数与效标测量之间的相关系数。 （2 2）区分法）区分法测验测验工作工作效标测量（工作成绩）效标测量（工作成绩）按工作成绩分高低两组，如工作成绩高，测验得分也高；按工作成绩分高低两组，如工作成绩高，测验得分也高；工作成绩低，测验得分也低，说明该测验是有一定效度的工作成绩低，测验得分也低，说明该测验是有一定效度的（3 3）命中率）命中率 当用测验作取舍决策时，决策的正命中率和总命中率是测验有效性的较

16、好指标。 总命中率是指根据测验选出的人当中工作合格的人数，以及根据测验淘汰的人当中工作不合格的人数之和与总人数之比。若总命中率高，则说明测验的效度高。 正命中率是指用测验选出的人中合格者所占的比例。这个比例越高，测验越有效。 在总命中率和正命中率之间，究竟采用在总命中率和正命中率之间，究竟采用哪一种指标要根据测验目的来定。哪一种指标要根据测验目的来定。a.当测验用于提高工作或学习效率时，应重视正命中率；b.当强调维护社会公平时，则应重视总命中率。命中表失败（失败（- -）成功（成功（+ +）A A（）B B（）C C（）D D（）总命中率总命中率正命中率正命中率DCBABCPCT失误命中命中B

17、ABPCP选择人数成功人数85. 025021223152601515260CTP 命中率计算实例一、影响测量效度的因素1测验的构成 测验长度与效度的关系： r（Kx）y = K rxy /K（1- rxx +Krxx）2测验的实施过程第三节 提高测量效度的方法3 3接受测验的被试接受测验的被试 常模团体的同质性影响到对被试测验得分的解释，进而影响到测验的效度。 测验偏倚（test bias）是指用不适用于被试的标准来解释被试的测验得分，因而造成解释的偏差。 4 4所选效标的性质所选效标的性质 测量行为与所选效标的相似性越高，效度越高。 测验分数与效标行为之间是否是线性关系，如果不是线性关系，求皮尔逊相关就会低估效度。 效标本身的测量越可靠，效度就可能越高。常用效标常用效标测验目的测验目的常用效标常用效标工作工作能力能力1 1工作成绩工作成绩( (质与量质与量) )2 2主管评分主管评分3 3工作记录工作记录4 4训练表现训练表现教育或心理教