第五章测量效度PPT课件

1、.,1,第五章,测量效度,.,2,第一节 效度概述,效度 效度（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。 在测验的众多质量指标中，效度是一个重要的指标。,最,.,3,效度注意三要点：,效度是一个相对的概念：每个测量工具都有自己的目的；内隐特质是通过外显行为间接测得的（因此心理测量不可能达到百分之百准确，只能达到某种程度上的准确）。 效度是测量的随机误差和系统误差的综合反映。 判断一个测量是否有效要从多方面收集证据,.,4,效度与信度的关系 1）信度高是效度高的必要而非充分的条件 （信度高效度未必高，效度高信度一定高） 2）测验的效度受它的信度制约 口诀：信度高，

2、效度未必高， 信度低，效度必然低； 效度高，信度必然高， 效度低，信度未必低。,.,5,第二节 效度的评估,测量效度是就测量结果达到测量目的的程度而言的，所以测量效度的估计在很大程度上取决于人们对测量目的的解释。 常见的解释角度主要有三种：（近年效度证据的来源已经远远超出这三个方面P69-70) 测验内容 内容效度 理论结构 构想效度 工作实效 实证效度,.,6,内容效度,1. 含义及应用范围 内容效度（content validity）是指测验题目对有关内容或行为领域取样的适当程度，即一个测验实际测到的内容与所要测量的内容之间的吻合程度。 因此，一个测验要有内容效度必须具备两个条件： （1）

3、要有定义完好的内容范围 （2）测验题目应是所界定的内容范围的代表性取样。,.,7,内容效度主要应用于成就测验。 因为成就测验主要是测量被试掌握某种技能或学习某门课程所达到的程度。 在这种测验中，题目取样的代表性问题是内容效度的主要考察方面。 编制双向细目表就是为了提高内容效度。,.,8,内容效度也适合于某些用于选拔和分类的职业测验。 这种测验所要测的内容就是实际工作中所需的知识和技能，编制这种测验应首先对实际工作做较细的分析，否则，题目取样的代表性就难以令人满意。,.,9,内容效度不适合用于能力倾向测验和人格测验。 此外，在使用内容效度时，要避免与表面效度（surface validity）相

4、混淆。 表面效度是外行人对某个测验从表面上看好像是测某种心理特质的一种现象。 表面效度可以取得被试者的合作 最佳行为测验往往表明效度高；典型行为测验表面效度低 职业兴趣测验；成就测验 人格测验,.,10,2内容效度的确定方法 （1）逻辑分析法：专家判断根据自己的知识经验对量表的有效性（逻辑性）作出判断，也称逻辑效度。 为使内容效度的判断过程更客观，一般采用下列步骤： 确定欲测内容的范围； 编制双向细目表； 编制评定量表，从测验内容所测的技能、题目对所定义的范围的覆盖率、各种题目数量和分数的比例以及题目形式的适当性等方面，对测验作出总的评价。,.,11,内容效度既具有一定的优点，也有一定的局限。

5、其主要缺点是缺乏可靠的数量指标，因而妨碍了各测验间的相互比较。,.,12,（2）统计方法：用两个测验复本来测同一批被试，若相关高，则内容效度可能高，但若相关低，则说明必有一个测验缺乏内容效度。 （3）再测法： 前测教学后测 如果后测成绩优于前测成绩，说明该测验具有一定的内容效度。,.,13,结构效度,含义、特点与应用范围 结构效度（structure validity）是指一个测验实际测到所要测量的理论结构或特质的程度，或者说测验分数能够说明心理学理论的某种结构或特质的程度（构思或结构是指心理学理论所涉及的抽象而属假设性的概念或特质，如智力、焦虑、动机、外向等）。,.,14,特点： 1)构想效

6、度的大小首先取决于事先假定的心理特质理论。 2)当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验构想效度不高 。 3)不可能有单一的数量指标来描述构想效度。 构想效度主要用于智力测验、人格测验等 。,.,15,结构效度的确定方法 （1）提出理论框架； （2）依据理论框架推演出有关测验成绩的假设； （3）用逻辑或实证的方法来证明假设。,.,16,确定构想效度的基本方法 （1）测验内部寻找证据法 a.分析测验的内容效度：若内容效度高，说明其结构效度也高； b.分析被试对题目反应的特点： 有无社会称许性的题目，如“当事情不顺我意时，我时常动怒。”对该题的回答，也许反映不了要测的性格。

7、c.计算测验的同质性信度：分半信度、系数、KR20、KR21,.,17,（2）测验之间寻找证据法 a.相容效度法：新老测验之间的相关（两测验测的是同一心理特质）。若相关高，则说明新测验可能有较高的效度。 b.区分效度法：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，则说明新测验可能有较高的效度。 c.因素分析法法：得出的因素符合理论的构思，说明效度高。,.,18,（3）考察测验的实证效度法 根据效标把被试分组，考察其得分差异。 根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。 成就测验：分为高分组和低分组 人格测验：分为不同类型的效标组 （4）多种特质-多种方法矩阵

8、法 方法：1、2、3 特质：A、B、C,.,19,.,20,（5）因素分析法 探索性因素分析是用统计方法考察测验是否有效解释假设的理论结构（百度） 验证性因素分析是目前心理学研究中应用的一种重要统计分析方法，是在研究的范围内，对已有的理论结构进行验证性分析的方法。 在研究中，这一方法可以帮助我们讨论测验研究是否具有构想效度。,.,21,对构想效度的评价 总的来说，构想效度促使研究者把着眼点放在提出假设、检验假设上，使得测验成为理论研究的重要工具，而不再只是实际决策的辅助工具，从而使测验有了更广阔的发展前景。,.,22,三、实证效度 1含义、种类及作用 实证效度是指一个测验对处于特定情境中的个体

9、的行为进行估计的有效性。 被估计的行为是检验测验效度的标准，简称效标。 所以，实证效度又称效标关联效度（criterion-related validity）。 同时效度：测验分数与效标资料是同时收集的。（诊断现状） 预测效度：先获得测验分数，隔一段时间后，再收集效标资料。（预测个体将来行为）,.,23,2效标 （1）效标与效标测量 效标（criterion）就是衡量一个测验是否有效的外在标准，独立于测验并可以从实践中直接获得我们所感兴趣的行为。 常用的效标：学业成就、临床诊断、实际工作表现、特殊训练成绩、不同团体的总体表现、先前有效的测验、等级评定。 观念效标：理论定义，如“大学的成功” 效

10、标测量：操作定义，如“大学成绩”,.,24,（2）效标的特性 a.多样性： 一个测验可能有不同的观念效标，同一个观念效标又可能有不同的效标测量。 b.复杂性： 几乎每一种效标行为都由多种特质构成，包含复杂的成分。 c.特殊性： 即使一个普通的效标，在应用时也有特殊性。 d.时间性： 近期效标与最后效标,.,25,（3）效标测量的条件 a.有效性：效标测量能真正反映观念效标。 b.可靠性：有较高的信度 c.客观性： 效标测量必须能真正反映观念效标，防止效标污染。 效标污染（criterion contamination）是指评定者知道被试的测验分数，因而影响到对效标的客观评定。 d.实用性： 经

11、济实用,.,26,确定效标效度的基本步骤 明确观念效标 确定效标测量 考察测验分数与效标测量的关系,.,27,（1）相关法 测验分数与效标测量之间的相关系数。 （2）区分法 测验工作效标测量（工作成绩） 按工作成绩分高低两组，如工作成绩高，测验得分也高；工作成绩低，测验得分也低，说明该测验是有一定效度的,.,28,（3）命中率 当用测验作取舍决策时，决策的正命中率和总命中率是测验有效性的较好指标。 总命中率是指根据测验选出的人当中工作合格的人数，以及根据测验淘汰的人当中工作不合格的人数之和与总人数之比。若总命中率高，则说明测验的效度高。 正命中率是指用测验选出的人中合格者所占的比例。这个比例越

12、高，测验越有效。,.,29,在总命中率和正命中率之间，究竟采用哪一种指标要根据测验目的来定。 a.当测验用于提高工作或学习效率时，应重视正命中率； b.当强调维护社会公平时，则应重视总命中率。,.,30,命中表,.,31,总命中率 正命中率,.,32,命中率计算实例,.,33,一、影响测量效度的因素 1测验的构成 测验长度与效度的关系： r（Kx）y = K rxy /K（1- rxx +Krxx） 2测验的实施过程,第三节 提高测量效度的方法,.,34,3接受测验的被试 常模团体的同质性影响到对被试测验得分的解释，进而影响到测验的效度。 测验偏倚（test bias）是指用不适用于被试的标准来解释被试的测验得分，因而造成解释的偏差。 4所选效标的性质 测量行为与所选效标的相似性越高，效度越高。 测验分数与效标行为之间是否是线性关系，如果不是线性关系，求皮尔逊相关就会低估效度。 效标本身的测量越可靠，效度就可能越高。,.,35,常用效标,.,36,常用效标,.,37,.,38,5. 信度 测验的信度是测量的随机误差的反映，而任何误差的增加都会降低测