第4章效 度.ppt

1、第四章 效 度,第一节 效度概述,一、什么是效度 （一）定义 1、效度（validity）是指一个测验或量表实际能测出其所要测的心理特质的程度。 （1）效度是一个相对的概念：每个测量工具都有自己的目的；内隐特质是通过外显行为间接测得的； （2）效度是测量的随机误差和系统误差的综合反映； （3）判断一个测量是否有效要从多方面收集证据。,2、操作定义：,信度 效度,（二）效度的性质 1、效度是针对测验结果的； 2、效度是针对某种特定的测验目的的； 3、效度只有程度上的差异； 4、效度只有靠已有资料通过推论获得。,二、效度与信度的关系,（一）信度高是效度高的必要而非充分的条件 一个测验效度高，其信度

2、也必然高； 但一个测验信度高，其效度不一定高。p173 （二）测验的效度受它的信度制约 一个测验的信度必然比效度高，至少相等。,第二节 内容效度,一、内容效度的性质 内容效度（content validity）是指测验题目对有关内 容或行为取样的适当程度，即一个测验实际测到的 内容与所要测量的内容之间的吻合程度。 因此，一个测验要有内容效度必须具备两个条件： （1）要有定义完好的内容范围； （2）测验题目应是所界定的内容范围的代表性取样。,二、内容效度的确定方法,（一）逻辑分析法：专家评定(p175) 根据自己的知识经验对量表的有效性（逻辑性）作出判断， 也称逻辑效度。 为使内容效度的判断过程

3、更客观，一般采用下列步骤： 确定测验内容的总体范围； 编制双向细目表； 编制评定量表，从测验内容所测的技能、题目对所定义的范围的覆盖率、各种题目数量和分数的比例以及题目形式的适当性等方面，对测验作出总的评价。,（二）统计方法：用两个测验复本来测同一批被试，若相关高，则内容效度可能高，但若相关低，则说明必有一个测验缺乏内容效度。(克朗巴赫) （三）经验法：再测法 前测教学后测 如果后测成绩优于前测成绩，说明该测验具有一定的内容效度。,三、内容效度的特点和评价,1、适用范围： 内容效度主要应用于成就测验，也适合于某 些用于选拔和分类的职业测验。但不适用于 能力倾向测验和人格测验。,2. 缺乏理想的

4、数量指标 3. 内容效度不是表面效度 表面效度（surface validity）：外行人对某个 测验从表面上看好像是测某种心理特质的程 度。并不是一种真正的效度。 人格测验要求表面效度不宜过高。,第三节 结构效度,一、构想效度的定义 1、结构效度（structure validity）是指一个测 验实际测到所要测量的理论结构或特质的程 度，或者说测验分数能够说明心理学理论的某 种结构或特质的程度。,2、特点： （1）具有不同理论构思的测验，其结构效度是无法进行比较的； （2）结构效度有时很难获得； （3）结构效度没有单一的指标，是由各方面的证据累积起来进行评价的。,二、结构效度的确定方法,1

5、、结构效度确立的一般步骤： （1）提出理论框架； （2）依据理论框架推演出有关测验成绩的假设； （3）用逻辑或实证的方法来证明假设。,2、具体方法： （1）测验内部寻找证据法 分析测验的内容效度：若内容效度高，说明其结构效度也高；p177 分析被试对题目反应的特点； 计算测验的同质性信度：分半信度、系数、KR20、KR21 因素分析法：得出的因素符合理论的构思，说明效度高。,（2）测验之间寻找证据法 相容效度：新老测验之间的相关（两测验测的是同一心理特质）。若相关高，则说明新测验可能有较高的效度。 区分效度：新老测验之间的相关（两测验测的不是同一心理特质），若相关低，则说明新测验可能有较高的效

6、度。,（3）考察测验的实证效度法 根据准则把被试分组，考察其得分差异。 根据测验得分差异把被试分组，考察其所测特质（行为表现）的差异。 （4）不同信度类型的特点 （5）搜集某些变异上的证据 智力随年龄变化而变化 （6）实验操作,三、对构想效度的评价 1.有些构想概念模糊，缺乏一致的定义 2.没有明确的操作步骤与程序 3.没有单一的数量指标,一、实证效度的定义 实证效度是指一个测验对处于特定情境中的个体的行为进行估计的有效性。 被估计的行为是检验测验效度的标准，简称准则（效标）。 实证效度又称准则关联效度（criterion-related validity）。实质是要检验测验分数与准则（效标）

7、的相关和一致性。,第四节 实证效度（准则关联效度）,同时效度（concurrent validity）：测验分数与准则资料是同时收集的。 预测效度（predictive validity）：先获得测验分数，隔一段时间后，再收集准则资料。,二、准则及准则的测量,1、准则（criterion）就是衡量一个测验是否有效的外在标准。,2、准则的测量,作为效度验证的参考标准，准则（效标）的确定与测量必 须科学、有效、可靠、实用、可操作。 （1）科学：客观、避免偏见，尽可能减少误差。 防止准则污染。准则污染（criterion contamination）是指 评定者知道被试的测验分数，因而影响到对准则的

8、客观评定。 （2）有效：准则测量能真正反映观念准则。 （3）可操作：对准则（效标）下操作性定义。 （4）可靠：有较高的信度。 （5）实用：尽可能简单、省时、花费少。 常用的准则：学业成就、临床诊断、实际工作表现、特殊 训练成绩、不同团体的总体表现、先前有效测验、等级评定。,三、实证效度的确定方法 （一）相关法（求效度系数） 测验分数与准则测量之间的相关系数。 1、积差相关,计算,有8名MBA学生的某门功课的测验成绩及工作三年的 收入如下，问该课程成绩对个人收入的预测效度如何？,2、二列相关 计算： 进行一项智力测验，被试中66名来自重点中学，286名来自 一般中学，最后测出重点中学的被试IQ均

9、值为114，一般中 学IQ均值为96，所有被试IQ分值的标准差为14.53，计算二 列相关系数。,（二）区分法 测验工作准则测量（工作成绩） 按工作成绩分高低两组，如工作成绩高，测 验得分也高；工作成绩低，测验得分也低， 说明该测验是有一定效度的 1、差异性检验 2、重叠量的计算 见P184,四、对三种效度的总结,效度问题的两个方面：测量什么、测量程度 对于测验来说，往往需要各种效度证据 效度的验证是在测验之后，但效度的观念要贯彻整个测验的始终。效度比信度更重要。,第五节 影响效度的因素,一、测验本身的因素 1、测题中的词汇句型不能过于困难 2、测题题意必须清楚 3、所编测题应适合所要测量的学

10、习结果 4、测题不能提供额外线索 5、测题编制要合理 6、选择题答案不能有明显的组型 7、测题数目 8、测题难度,二、施测与记分 三、被试状态 四、进行效度化所依据的有关准则 五、样组方面 1、样本的代表性 2、样本规模 3、样本的异质性,第六节 效度的应用,一、准则分数的预测及预测误差 见P188 二、效度与人才选拔,基础率（AB） /（A+B+C+D） 录取率=（A+C）/（A+B+C+D） 取舍正确率= （A+D）/（A+B+C+D） 正命中率= A/（A+C） 各比率值之间的关系见P193,第七节 因素分析,1904，斯皮尔曼，客观决定和测量一般智力，用因素分析技术研究智力结构。标志着

11、因素分析方法的诞生。 运用此方法，心理学家探索出多种智力理论。如：群因素论、三维结构智力模型。（探索性因素分析） 20世纪60年代后期，统计学家波克等人在研究因素分析模型中参数的假设检验问题时，发展出验证性因素分析。 1973年，乔纳斯柯格创立了验证性因素分析，运用因素分析检验假设成为可能。,一、因素分析的基本原理,因素分析就是将错综复杂的实测变量归结为少数几个因子的多元统计分析方法。其目的是揭示变量之间的内在关联性，将繁多的变量缩减为少数的因素，简化数据维数，找出变量背后的结构，以便发现规律或本质。 因素（因子）分析（Factor Analysis)的基本原理是根据相关性大小把变量分组，使得

12、同组变量之间的相关性较高，不同组变量之间相关性较低。每组变量代表一个基本结构，这个结构用公共因子来进行解释。 因素分析的目的之一，即要使因素结构的简单化，希望以最 少的共同因素，能对总变异量作最大的解释，因而抽取的因 素愈少愈好，但抽取因素的累积解释的变异量愈大愈好。,因素分析数学模型,Z1= a11F1 + a12F2 + + a1mFm + 1 Z2= a21F1 + a22F2 + + a2mFm + 2 Zp= ap1F1+ ap2F2 + + apmFm + p 其中Z1 Zp 代表有i p个实测变量； F1 Fm代表有j m个公共因子； a11 apm代表第i个实测变量Zi在第j个

13、因子Fj上的负 荷，即实测变量Zi与因子Fj上的相关系数rij，它反映了Zi依赖 于因子Fj的程度，也反映了Zi在因子Fj上的相对重要性。,因素分析案例,F1 体现逻辑思维及运算能力，F2 体现空间思维及推理能力,二、因素分析几个基本概念,因素负荷是指因素结构中原始实测变量与因素分析时抽取出的共同因素的相关程度。多变量与多因素相关组成因素负荷矩阵。因素负荷越大，变量与因子的相关程度越高。 共同度代表每个变量的变异中能被各因素解释的部分，其数值为每行因素负荷的平方和。从共同度的大小可以判断这个原始实测变量与共同因素间的关系密切程度。如共同度h12 =0.8962+0.3412=0.919。 特殊

14、因子各变量的唯一因素大小就是1减掉该变量共同度的值。如 i=1- 0.919 = 0.081,特征值是各变量在某共同因素上因素负荷量的平 方总和（一直列所有因素负荷量的平方和）。 如F1的特征值 =0.8962+0.8022+0.5162+0.8412 +0.8332=3.113 特征值的总和等于实测变量的总数 方差贡献率指公共因子对实测变量的贡献， 又称变异量、解释率 方差贡献率=特征值 /实测变量数p， 如F1的贡献率为3.113/5=62.26%,三、因素负荷矩阵的转换,通过首次因素分析获得的因素负荷矩阵必须 经过旋转，使各变量在各因子上的负荷值向 两极分化，使其绝对值接近1或0，才能更

15、好 予以解释和区分， 正交旋转（假设因素间不相关） 斜交旋转（假设因素间相关）,四、公共因子的选择及其解释,（一）公共因子的选择 1、一般原则：累积解释率大、因子数少 解释率越大，需要抽取的因素越多；抽取的因素越多，简洁 性越低（模式越复杂）。 2、一般方法： （1）累积解释率法（8085） （2）特征根法 抽取特征根大于1（表示大于1.00的原始观察变异量）的因子 固定因子数法 碎石图法Scree test (Cattell, 1966) 特征根出现明显变化时为合理数目 （3）因素数目合理范围为变量数除以3至除以5之间 （4）综合判断法 特征根即使很高，但若无法找到合理的解释，也必须去掉。,

16、（二）公共因子的解释 因素分析的目的是为了简化变量结构，找到变量背后的潜 变量。因此，抽取因素之后，必须对各因子做出合理的解释 并予以命名。 一般是结合心理学专业理论与知识对每个因素上负荷值较 高的变量的共同特征进行归纳总结。,因素負荷量的判断 .71 优秀 .63 非常好 .55 好 .45 普通 .32 不好 .32以下：不及格,二、应用SPSS进行量表分析的步骤,（01）建立数据文件,（02）选择分析变量 选SPSS Analyze菜单中的（Data Reduction） （Factor）,出现【 Factor Analysis】对话框； 在【 Factor Analysis】对话框中左

17、边的原始变量中，选择将进行因素分析的变量选入（Variables）栏。,（03）设置描述性统计量 在【 Factor Analysis】框中选【 Descriptives】 按钮，出现【 Descriptives 】对话框； 选择 Initial solution （未转轴的统计量）选项 选择KMO 选项 点击（Contiue）按钮确定。,（04）设置对因素的抽取选项 在【 Factor Analysis】框中点击【Extraction】按钮, 出现【 Factor Analysis:Extraction】对话框， 在Method 栏中选择（Principal components）选项； 在

18、Analyze 栏中选择Correlation matrix选项； 在Display 栏中选择Unrotated factor solution选项； 在Extract 栏中选择Eigenvalues over 并填上 1 ； 点击（Contiue）按钮确定，回到【 Factor Analysis】 对话框中。,（05）设置因素转轴 在【 Factor Analysis】对话框中，点击【Rotation】 按钮，出现 【 Factor Analysis:Rotation 】（因素分析： 旋转）对话框。 在Method 栏中选择 Varimax（最大变异法）, 在Display栏中选择 Rota

19、ted solution（转轴后的解） 点击（Contiue）按钮确定，回到【 Factor Analysis】 对话框中。,（06）设置因素分数 在【 Factor Analysis】对话框中，点击【Scores】 按钮，出现 【 Factor Analysis: Scores 】（因素分析： 分数）对话框。 一般取默认值。 点击（Contiue）按钮确定，回到【 Factor Analysis】 对话框。,（07）设置因素分析的选项 在【 Factor Analysis】对话框中，单击【Options】 按钮，出现 【 Factor Analysis:Options 】（因素分析： 选项）

20、对话框。 在Missing Values 栏中选择Exclude cases listwise (完全排除遗漏值) 在Coefficient Display Format(系数显示格式)栏中选 择Sorted by size（依据因素负荷量排序）项； 在Coefficient Display Format(系数显示格式) 勾选“Suppress absolute values less than”，其后空 格内的数字不用修改，默认为0.1。 如果研究者要呈现所有因素负荷量，就不用选取 “Suppress absolute values less than”选项。在例题中为 了让研究者明白此项的意义，才勾选了