效标关联效度

1、主要内容,一、效度概述 二、内容效度 三、结构效度 四、效标关联效度 五、影响效度的因素 六、效度的作用 七、效度的概化,学习目标: 掌握效标关联效度定义、种类和应用； 掌握效标与效标测量； 了解效标关联效度的估计方法,一、定义、种类、应用,1. 定义 效标关联效度(criterion-related validity)是指测验对个体的效标行为表现进行估计的有效性程度。 又称实证效度、经验效度、准则关联效度,2. 分类(收集效标的时间,同时效度(concurrent validity)：效标资料与测验资料同时获得； 预测效度(predictive validity)：效标资料后于测验资料获得,

2、3. 应用,同时效度：诊断现状 预测效度：预测未来结果,某人成功了吗？某人患病了吗？ 某人会成功吗？某人会患病吗,二、效标与效标测量,1. 效标（criterion） 是衡量测验有效性的参照标准，它是独立于测验之外、体现测验目的的行为变量,2. 观念效标和效标测量(conceptual criterion and criterion measurement,观念效标：效标的实质概念内容，如学习或工作成功、技术水平 效标测量：效标的具体化，可操作的测量指标,同一观念效标可以有多个效标测量,3. 选择效标测量必须满足以下要求,1) 有效性(关联性） 2) 可靠性 3) 客观性(或抗偏性)：产生效标

3、测量中偏差的主要原因在于效标污染。 4) 实用性（可得性,4. 常用的效标,学业成就 特殊训练成绩 实际工作表现 团体对照 临床诊断 等级评定 先前有效的测验,5. 效标的特征,1）多样性； 2）复杂性； 3）特殊性,三、效标关联效度的估计方法,1.确定效标关联效度的基本步骤： 1）明确观念效标 2）确定效标测量 3）考查测验分数与效标测量之间的关系,2. 常用的估计效标关联效度的方法,1）相关法 2）组的分类 3）命中率 4）功利率 5）合成效度,小结,三方面的效度都是围绕效度的基本问题展开的; 一个测验需要哪种效度证据，取决于一定的测验目的，不同的测验偏重于不同的效度证据; 效度的验证虽是

4、测验编制后进行的工作，但其指导思想在编制过程中始终起着主导作用,发生于效标测量是评定等级时 效标污染(criterioncontamination)是指评定者知道被试测验的分数，而使其效标分数受到影响的情况。如入学考试分数与教师主观评定 如何防止？ 返回,1.相关法,测验分数和效标分数之间的相关系数。 选择团体 获得测验分数 获得效标分数 (4)求相关系数,1,2,3,根据分数的性质不同采用不同的相关计算方法,1)积差相关系数,使用条件：测验分数和效标分数都是连续变量 公式,例：假设有10人经职业兴趣测验而被选定作为推销员，其测验分数见下表第一行，而第二行是经过若干年后他们某段时间内销售金额总

5、量（以万元为单位）。现问该测验的预测效度如何,0.75,2)二列相关系数,适用条件：测验分数与效标分数都是连续变量，其中一个变量被人为分为两类 公式,其中 为正态曲线中值对应的高度,例题：进行一项智力测验，被试中66名来自实验班，286名来自普通班，最后测出实验班的被试iq均数为114，普通班被试的iq均数为96，所有被试iq分的标准差为14.53，计算二列相关系数,0.8125,查正态分布表,得出常态曲线下所对应的y值为0.2685,3) 四分相关系数 适用条件：当测验分数与效标分数都是连续变量，且每一个变量的变化都被人为地分为两种类型，即以二分变量表示,a、b、c、d表示由两个二分变量所分

6、成的四种类别的实际频数,0.67,4)相关系数,适用条件：当测验分数与效标分数都是真正的二分变量，如工作状态、婚姻状态等,a、b、c、d表示由两个二分变量所分成的四种类别的实际频数,例：研究调查了358名不同性别的大学生对某项教育措施的评价态度，结果如下表。根据这些结果，能否说明性别对评价态度有无预测效度,评价态度,性 别,男,172,女,186,94,264,358,拥护,反对,a=66,b=106,c=28,d=158,5)列联相关系数,适用条件：当测验分数与效标分数其中一个变量不止分为两个种类时,c表示列联相关系数， 表示rc列联表计算出的值, n表示样本容量,返回,2. 组的分类,根据

7、被试的效标行为表现，将他们分为不同的组别(团体)，如果这些组在测验分数上有显著性差异，则说明该测验的效度高,df,成功组、失败组的平均分 成功组、失败组样本容量 成功组、失败组得分的方差,两总体正态分布,两总体方差未知,到72页,工作成功组： ， ， 工作失败组： ， ， 代入上面公式可得： df=98时，t=5.40,t检验的弊端和重叠量的计算 运用“组的分类”方法表示效度，要检验平均数之间的差异，就要用到均数之差的标准差。 而均数的标准误存在这样的关系： 均数之差的标准差也存在这样的关系：即其大小与样组容量成反比。 那么当 保持不变时，则n越大，均数之差的标准误就越小，这样就使得t值增大，

8、增加了拒绝虚无假设的机会,t检验的弊端和重叠量的计算 要避免上述缺点，可以求出这两个分布的重叠量。 1. 可求出一组内被试得分超出另一组平均数的人数与另一组被试中超出前一组均数的人数之比(通常是以“失败”组超过“成功”组均数的人数来计算)； 2. 可求出两组分数分布共同区域的百分比； 返图 返回,3. 命中率,1）总命中率(取舍正确率):公平 （2）正命中率(录取正确率):提高效率 错误拒绝和错误接受的人数比例与临界分数位置,返回,4. 功利率,测验效度不仅是一个科学性的问题，也是一个实用性的问题。使用测验所带来的利益的大小就是功利率。 实际上，测验分数不能完全准确地预测一个人成功与否，最终的

9、衡量标准还是他的实际能力。 录取人员时用测验而不用工作表现，是因为测验省时省力，能避免错误录取人员带来的损失。这样以来，测验的效度就与使用测验所带来的利益联系起来了,返回,u代表功利率,b代表录用一名成功者所带来的平均收益； c代表录用一名不合格者所招致的损失,分别代表录取人数中成功和失败的人数,s代表测验费用,5. 合成效度,职务成分效度是指：假设具有相同职务成分的职务也具有相似的职务要求，那么从所测量的职务的基本成分及各成分的效度资料即可综合而成测验效度。计算合成效度的一般程序是： .通过工作分析，确定完成某项工作所需要的基本能力成分及其相对权重； .估计出测量各个成分的测验效度； .根据权数将各个成分的测验效度合成，就得到了合成效度,返回,结构效度帮助我们运用测验分数解释人的心理特质，可由结构效度研究的资料来回答测验所测量的东西。 效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现，是关于测验结果的一些实际用途的检验。 内容效度则与研究的内容范围有关，它帮助我们决定测验分数能