测验质量效度PPT课件.ppt

第五章测量效度 1 测验的效度鉴定 一测验的效度概述二测验的效度估计方法三测验效度的有关问题 2 测验的效度概述 定义 效度是指一个测验或量表能测出其所要测的心理特质的程度 效度是一个相对的概念效度是相对于一定测验目的而言的心理特质是较隐蔽的特性 只能通过它的行为表现来进行推测效度是测量的随机误差和系统误差的综合反映 判断一个测验是否有效 要从多方面收集证据 从理论上讲 效度应该是测验分数中反应被试特质的变异占测验总变异的比例 3 测验效度的估计方法 返回 信度高是效度高的必要而非充分条件当随机误差的变异数减小时 真实分数的变异数增加 测量信度随之提高 然而信度的提高只给有效变异数提供了增加的可能性 测验的效度受它的信度制约当随机误差的变异数减小时 真实分数的变异数增加 测量信度随之提高 然而信度的提高只给有效变异数提供了增加的可能性 4 测验的效度估计方法 一 内容效度二 效标关联效度三 结构效度 返回 5 内容效度及其估计方法 内容效度 就是测验用的测题对整个测验内容范围的代表性程度 或者说是指所选的条目是否能代表所要测量的内容或主题 成就测验特别注重内容效度 6 内容效度的估计 1 专家评估专家评定是一种确定内容效度的典型程序 它要求让一组独立的专家判断测题对所研究的领域的取样是否具有代表性 通过这些评定资料来确定一个测验的内容效度 7 内容效度的估计 这种确定过程是对测验的测题与内容范围的符合性程度的判断 没有数量化的指标可用于描述题目与内容范围的符合程度 并且 各专家不同的教育思想或心理学观点 对同一内容范围侧重点的不同都会影响到对内容效度的判断 这就涉及到评分者的信度的问题上 有时 也可以把评分者的信度作为内容效度 因此 有时也把评分者信度称为内容效度的一个指标 8 内容效度及其估计方法 2 逻辑分析法据教育学和心理学的理论 根据教学大纲的要求 勾画出学生应掌握知识内容的范围和深度 提出应形成的技能名称等 然后以逻辑分析的方法估计测验在多大程度上代表了这些内容 在多大程度上能够测量出所要测量的特性和功能 9 3 用测题与教材内容比较的方法这需要先制两个表 一个是测验的双向细目表 分别列出所要测验的各单元教材内容在考题中的百分比和所要求的各种行为反应在全部反应中的百分比 第二个表是测验试题分类表 根据各单元教材内容列出试题 并注明该题所要求的行为反应及其应占的百分比 然后对照这两个表 根据各个部分相符合的程度 判断内容效度的高低 双项细目表举例 内容效度及其评估方法续2 返回 10 双向细目表举例 高中化学标准测验双向细目表 返回 11 效标关联效度 效标关联效度 Criteriavalidity 又称准则关联效度 经验效度或统计效度或实证效度 用测验分数和效标 准则 分数之间的相关系数ryy来表示 它实质上是指测验对某一行为表现的预测的高低 所谓效标是指足以显示测验所欲测量的特性的变量 作为检定效度的参照尺度 12 效标关联效度及其估计方法 同时效度 concurrentvalidity 是指测验与当前效标之间的关联程度 预测效度 predictivevalidity 是指测验将来的效标之间的关联程度 例如 用全国高考的成绩作为效标来检验高中毕业会考的成绩 计算两者之间的相关系数就是会考的同时效度 而用大学一年级的成绩作为效标来检验高考的成绩 计算两者之间的相关系数就是高考的预测效度 13 效标关联效度及其估计方法 效标的选择 能力倾向测验 可以采用特殊课程或特殊训练的成等 职业兴趣测验 可采用从业人员实际工作成绩或记录 人格测验 很难找到 只能按编制者的主观的标准来评判 或以被试以后的行为或临床资料作为效标 效标关联效度的计算方法 明确观念效标 确定效标测量 考察测验分数与效标分数的关系 14 效标关联效度及其估计方法 1 相关法积差相关 二列相关 或点二列相关 四格相关和多元相关系数等 如张厚粲教授在主持修订瑞文标准推理测验 SPM 时 她报告的同时效度就是北京一所普通中学45名12 15岁学生同时接受SPM和韦氏儿童智力测验得分的相关系数 预测效度则是对北京市两所中学69名高三学生先施测SPM 再搜集这批学生3个月后的高考成绩 最后计算SPM成绩与高考语文 数学和总分的积差相关 15 效标关联效度及其估计方法 2 区分法该方法的思路是 被试接受测验后 让他们工作一段时间 再根据工作成绩 效标测量 的好坏分成两组 这时再回过头来分析这两组被试原先接受测验的分数差异 若这两种人的测验分数差异显著 则说明该测验有较高的效度 16 效标关联效度及其估计方法 3 命中率当用测验作取舍决策时 决策的正命中率和总命中率是测验有效性的较好指标 其中 总命中率是指根据测验选出的人当中工作合格的人数 以及根据测验淘汰的人当中工作不合格的人数之和与总人数之比 若总命中率高 则说明该测验的效度高 这种测验在区别合格与不合格方面是有效的 此外 有些测验只关心被选者中合格者有多少 而不关心被淘汰者中是否有合格者 这时测验的效度应该用测验的正命中率来评价 所谓正命中率的指用测验选出的人中合格者所占的比例 这个比例越高 测验越有效 返回 17 结构效度 结构效度结构效度也称构想效度 是指测验分数能说明心理学上的理论结构或特质的程度 或者说 结构效度就是用心理学上某种结构或特质来解释测验分数的恰当程度 其中结构 construct 是指用来解释人类行为的理论框架或心理特质 它是心理学中抽象的假设性的概念 特性或变量 用更浅显的话说结构就是对某种心理特质的理论构想 比如 智力 动机 创造性以及焦虑等都可称为结构 18 结构效度 特点 结构效度首先取决于事先假定的心理特质理论 人们对同一种心理特质的定义或假设不同 则关于该特质测验的结构效度的研究结果无法比较 当实际测量的资料无法证实我们的理论假设时 并不一定就是测验结构效度不高 也可能是因为理论不成立等其它原因 与内容效度不同 结构效度主要用于智力测验 人格测验等一些测验方面 19 结构效度 结构效度的确定方法 确定结构效度的步骤大致如下 先建立理论框架 然后从这一理论框架出发 提出各种假设 根据这些假设编制测验 最后 以相关测验或因素分析方法 检验结果是否符合心理学的理论框架及其假设 20 确定结构效度的方法 1 测验内部寻找证据法 这种方法主要是通过研究测验内部构造 如测验内容 对测量反应的过程 以及项目间或分测验间的关系 来分析测验的结构效度 它主要包括内容效度 被试解答测题时的反应过程和测验的同质性三个方面 21 内容效度 内容效度 内容效度可以作为检验测验结构效度的一个方面 举个例子 在编制一个数学测验时 编制者主要考虑的是计数和运算能力 那么 如果该测验具有较高的内容效度 基本上也就可以排除测量数学推理能力这一结构的可能性 22 被试解答测题时的反应过程 被试解答测题时的反应过程 一般是在施行个别测验时 要求被试边想边说 从而可以分析被试解题时的心理过程 以核实测验是否真正测到了所欲量的心理结构 如有证据表明某一题目的作答除了反映着所要测的特质以外 还反映着其他因素的影响 则说明该测题没有较好地体现理论构想 该题目的存在会降低结构效度 23 测验的同质性 测验的同质性这种方法以测验的内在一致性系数 比如库德 理查德逊信度等 为指标 判断测验测的是单一特质还是多种特质 看它与所预期的结构的相符度 也就是测验的同质性问题 从测验的一致性就可以为结构效度提供证据 24 确定结构效度的几种具体方法 2 测验间方法 这一方法的特点是同时考虑几个测验间的相互关系 考察这些测验是否在测量同一心理结构 相容效度 congrentvalidity 从理论上说 测量相同结构的各测验之间应该有较高的相关 这就要求计算新编制的测验与原有的 已知的效度有较高的测验间的相关 会聚效度 convergentvalidity 又称为求同效度 其基本思想是 如果两个测验是测量同一特质的即使使用不同的方法进行测量 它们之间的相关也应该是高的 区分效度 discriminantvalidity 又称为求异效度 其基本思想是 如果两个测验测量的是不同的特质 即使使用相同的方法进行测量 它们之间的相关也应该是低的 此种方法在戴海崎等 心理与教育测量 中称为多种特质 多种方法矩阵法 25 结构效度 根据信度的特点寻找证据法测验可以有多种类型的信度 由于测验所测特质或结构的不同 这些信度的取值也应表现出不同的特点 如对于一个焦虑量表来说 由于 焦虑 这一结构具有较强的情境性 所以 其重测信度值会比分半信度值低 如果测验的不同信度类型未能表现出这种特点 即说明该测验不能很好地测量到 焦虑 这一结构 26 结构效度 4 实证效度法如果一个测验有实证效度 则可以拿该测验所预测的效标的性质与种类作为该测验的结构效度指标 至少可以从效标的性质与种类来推论测量的结构效度 其一是根据效标把人分成两类 考察其得分差异 其二是根据测验得分把人分成高分组和低分组 考察这两组人在所测特质方面是否确有差异 若有显著差异 则说明该测验有效 具有较高的结构效度 此外 对于一些被认为是较稳定的特质若在短期内两次施测的结果差异不太大 则说明该测符合理论构想 返回 27 多种特质 多种方法矩阵法 该方法实质是相容效度法和区分效度法的综合运用 其原理是若用多种极不相同的方法测量同一种特持相关很高 用极为相似的方法测量不同的特质相关很低 则说明测量效度较高 于是 若有多种特质 如A B C 都接受了多种方法 如1 2 3 4 的测查 就可以分别计算出任意两种方法测量同一特质的相关和测量不同特质的相关 以及任意两种特质接受同一方法和不册方法的相关 并以这些相关系数为元素构成一个矩阵 如下图所示 见下页 28 多种特质 多种方法矩阵 A 方A2法B22C2 方A1法B11C1 29 多种特质 多种方法矩阵说明 在上表中 位于主对角线上的数值 是用同样的方法测相同特质所得的相关 是信度指标 在实三角形内的数值 是用同样方法测不同特质所得之相关 此相关若高 则说明方法间共同点较多 在虚线三角形内的数值 是用不同方法测量不同特质所得的相关 它一般较低 是特质与方法间交互影响反映 在虚线三角形之间的两条对角线上的数值 是用不同方法测相同特质所得的相关 它是测验效度的指标 返回 30 测验效度的有关问题 对内容效度 结构效度和效标关联效度的几点总结影响效度的因素提高效度的方法 31 几点总结 1 效度问题的研究基本上是两个问题 测量什么东西 即测验所欲测量的性质是什么 测验对它所测量的东西达到何种程度 测验效度的三种主要类型都是围绕这两方面展开的 其中结构效度帮助我们运用测验分数解释人的心理特质 可由结构效度研究的资料来回答测验所测量的东西或所测量的变量的性质 效标关联效度可用来了解测验分数能否有效地预测或估计某种行为表现 是关于测验结果的一些实际用途的检验 内容效度研究的问题是变量的内容范围 同时 它又帮助我们决定测验分数能否代表某种学习结果的成果 也是关于测验结果的一些实际用途的检验 32 几点总结 2 任何一个测验都需要各式各样的效度证据 关键在于效度是由一定的测验目的规定的 不同测验偏重于不同种类的测验效度 效度的验证通常是测验编制好之后进行的工作 但效度的基本指导思想在测验编制过程中始终起着主导作用 效度的观念与测验编制过程是紧密关联的 它比信度更为重要 测验的最终目的还在于效度 从一开始编制测验就应该注重提高测验的效度 33 几点总结 在效度验证的过程中 内容效度验证的重点是确定测验内容与某个行为领域的一一对应关系 而该行为领域往往是已经被明确界定了的 效标关联效度着重于测验分数是否与准则测量有高度的相关 也就是说 它注重的不是预测变量 而是准则的测量 结构效度着重点则是测验本身 测验赖以编制起来的心理结构理论和测验测量到该理论结构或特质的能力 返回 34 影响效度的因素 返回 测验本身的因素测验的实施和计分方面被试方面效标方面 35 测验本身的因素 1 测题中所用词汇和句型不能过于困难2 试题的意思应该清楚所编制的测量应该适合所要测量的学习结果测量中不能提供额外线索测量的编制要合理 先易后难 测量数目测题的难度要适当 返回 36 测验的实施过程和计分方面 测验的情境 实施过程中是否遵照测验使用手册的各项规定进行标准化的施测 指导语是否已将方式说明清楚 是否按要求进行等也影响到测验的效度 如果没有按照标准化的程序进行施测和客观的评分 就必然会使测验效度降低 返回 37 被试方面 1 被试的主观方面 如被试的兴趣 动机 情绪 态度和身体健康状况以及是否充分合作与尽力而为等 都会影响到测验结果的可靠性和正确性 即效度和信度 38 被试方面 被试样组与实测被试的同质性 对于在性别 年龄 受教育程度 知识经验等方面不相同的被试团体 测验的效度也不相同 在确定测验效度时 样组的代表性很重要 所以在选择被试样组来鉴定测验的效度时 必须选取测验所欲应用的范围内的有代表性的样组 即施测团体必须与样组同质 我们所要测量的团体的性质与用来建立效度的样组越接近 这个测验的效度就越高 返回 39 效标方面 效标关联效度是用测验分数与准则间的相关表示的 我们知道 两变量间最大