效标关联效度.ppt

主要内容 一 效度概述二 内容效度三 结构效度四 效标关联效度五 影响效度的因素六 效度的作用七 效度的概化 学习目标 掌握效标关联效度定义 种类和应用 掌握效标与效标测量 了解效标关联效度的估计方法 一 定义 种类 应用 1 定义效标关联效度 criterion relatedvalidity 是指测验对个体的效标行为表现进行估计的有效性程度 又称实证效度 经验效度 准则关联效度 2 分类 收集效标的时间 同时效度 concurrentvalidity 效标资料与测验资料同时获得 预测效度 predictivevalidity 效标资料后于测验资料获得 3 应用 同时效度 诊断现状预测效度 预测未来结果 某人成功了吗 某人患病了吗 某人会成功吗 某人会患病吗 二 效标与效标测量 1 效标 criterion 是衡量测验有效性的参照标准 它是独立于测验之外 体现测验目的的行为变量 2 观念效标和效标测量 conceptualcriterionandcriterionmeasurement 观念效标 效标的实质概念内容 如学习或工作成功 技术水平效标测量 效标的具体化 可操作的测量指标 同一观念效标可以有多个效标测量 3 选择效标测量必须满足以下要求 1 有效性 关联性 2 可靠性3 客观性 或抗偏性 产生效标测量中偏差的主要原因在于效标污染 4 实用性 可得性 4 常用的效标 学业成就特殊训练成绩实际工作表现团体对照临床诊断等级评定先前有效的测验 5 效标的特征 1 多样性 2 复杂性 3 特殊性 三 效标关联效度的估计方法 1 确定效标关联效度的基本步骤 1 明确观念效标2 确定效标测量3 考查测验分数与效标测量之间的关系 2 常用的估计效标关联效度的方法 1 相关法2 组的分类3 命中率4 功利率5 合成效度 小结 三方面的效度都是围绕效度的基本问题展开的 一个测验需要哪种效度证据 取决于一定的测验目的 不同的测验偏重于不同的效度证据 效度的验证虽是测验编制后进行的工作 但其指导思想在编制过程中始终起着主导作用 发生于效标测量是评定等级时效标污染 criterion contamination 是指评定者知道被试测验的分数 而使其效标分数受到影响的情况 如入学考试分数与教师主观评定如何防止 返回 1 相关法 测验分数和效标分数之间的相关系数 选择团体获得测验分数获得效标分数 4 求相关系数 1 2 3 根据分数的性质不同采用不同的相关计算方法 1 积差相关系数 使用条件 测验分数和效标分数都是连续变量公式 例 假设有10人经职业兴趣测验而被选定作为推销员 其测验分数见下表第一行 而第二行是经过若干年后他们某段时间内销售金额总量 以万元为单位 现问该测验的预测效度如何 0 75 2 二列相关系数 适用条件 测验分数与效标分数都是连续变量 其中一个变量被人为分为两类公式 其中为正态曲线中值对应的高度 例题 进行一项智力测验 被试中66名来自实验班 286名来自普通班 最后测出实验班的被试IQ均数为114 普通班被试的IQ均数为96 所有被试IQ分的标准差为14 53 计算二列相关系数 0 8125 查正态分布表 得出常态曲线下所对应的Y值为0 2685 3 四分相关系数适用条件 当测验分数与效标分数都是连续变量 且每一个变量的变化都被人为地分为两种类型 即以二分变量表示 a b c d表示由两个二分变量所分成的四种类别的实际频数 0 67 4 相关系数 适用条件 当测验分数与效标分数都是真正的二分变量 如工作状态 婚姻状态等 a b c d表示由两个二分变量所分成的四种类别的实际频数 例 研究调查了358名不同性别的大学生对某项教育措施的评价态度 结果如下表 根据这些结果 能否说明性别对评价态度有无预测效度 评价态度 性别 男 172 女 186 94 264 358 拥护 反对 a 66 b 106 c 28 d 158 5 列联相关系数 适用条件 当测验分数与效标分数其中一个变量不止分为两个种类时 C表示列联相关系数 表示R C列联表计算出的值 N表示样本容量 返回 2 组的分类 根据被试的效标行为表现 将他们分为不同的组别 团体 如果这些组在测验分数上有显著性差异 则说明该测验的效度高 df 成功组 失败组的平均分 成功组 失败组样本容量 成功组 失败组得分的方差 两总体正态分布 两总体方差未知 到72页 工作成功组 工作失败组 代入上面公式可得 df 98时 t 5 40 T检验的弊端和重叠量的计算运用 组的分类 方法表示效度 要检验平均数之间的差异 就要用到均数之差的标准差 而均数的标准误存在这样的关系 均数之差的标准差也存在这样的关系 即其大小与样组容量成反比 那么当保持不变时 则n越大 均数之差的标准误就越小 这样就使得t值增大 增加了拒绝虚无假设的机会 T检验的弊端和重叠量的计算要避免上述缺点 可以求出这两个分布的重叠量 1 可求出一组内被试得分超出另一组平均数的人数与另一组被试中超出前一组均数的人数之比 通常是以 失败 组超过 成功 组均数的人数来计算 2 可求出两组分数分布共同区域的百分比 返图返回 3 命中率 1 总命中率 取舍正确率 公平 2 正命中率 录取正确率 提高效率错误拒绝和错误接受的人数比例与临界分数位置 返回 4 功利率 测验效度不仅是一个科学性的问题 也是一个实用性的问题 使用测验所带来的利益的大小就是功利率 实际上 测验分数不能完全准确地预测一个人成功与否 最终的衡量标准还是他的实际能力 录取人员时用测验而不用工作表现 是因为测验省时省力 能避免错误录取人员带来的损失 这样以来 测验的效度就与使用测验所带来的利益联系起来了 返回 U代表功利率 B代表录用一名成功者所带来的平均收益 C代表录用一名不合格者所招致的损失 分别代表录取人数中成功和失败的人数 S代表测验费用 5 合成效度 职务成分效度是指 假设具有相同职务成分的职务也具有相似的职务要求 那么从所测量的职务的基本成分及各成分的效度资料即可综合而成测验效度 计算合成效度的一般程序是 通过工作分析 确定完成某项工作所需要的基本能力成分及其相对权重 估计出测量各个成分的测验效度 根据权数将各个成分的测验效度合成 就得到了合成效度 返回 结构效度帮助我们运用测验分数解释人的心理特质 可由结构效度研究的资料来回答测验所测量的东西 效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现 是关于测验结果的一些实际用途的检验 内容效度则与研究的内容范围有关 它帮助我们决定测验