教育测量与评价的质量特性.ppt

教育测量与评价的质量特性 2004 10 25 主要内容 教育测量与评价的信度教育测量与评价的效度教育测量与评价中题目 项目 的难度教育测量与评价中题目 项目 的区分度 教育测量与评价的效度 一 效度的定义测量的有效程度一个测验或量表实际能测出其所要测量的特性的程度记为 效度的统计定义X T E T V I 即 X V I E有则 根据统计定义 可知道效度与信度的哪些关系 教育测量与评价的效度 二 效度的类别内容效度 侧重于测验题目取样的代表性 考查这些题目对所欲测量的内容和行为反应测量的有效程度结构效度 侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度效标效度 侧重于测验分数预测我们所关心的外在行为的准确程度 教育测量与评价的效度 二 效度的类别内容效度 侧重于测验题目取样的代表性 考查这些题目对所欲测量的内容和行为反应测量的有效程度结构效度 侧重于一个测验的能够测量到心理学和教学理论上的抽象概念和特质的程度效标效度 侧重于测验分数预测我们所关心的外在行为的准确程度 三 各类效度的验证方法 1 内容效度的验证方法逻辑分析法 定性的方法 依据教材内容 教学大纲的范围以及教学目标分析测验内容 检查测验内容究竟在体现教材内容和教学目标方面达到多大程度对每一道题目逐一进行审查 以此形成 题目双向细目表 与 命题双向细目表 加以对照 以确定试卷的效度统计分析法 定量的方法 克龙巴赫法 两套测验试题 对相同被试实施测试后 计算得分的相关系数 评分一致性考查法 不同评分者之间评分的一致性程度 即考查评分者信度 前后测对比法 根据前后两次测验的差异显著性 确定测验的内容效度 三 各类效度的验证方法 2 结构效度的验证方法建立理论框架从理论框架出发 提出各种假设根据假设编制测验以逻辑及实证的方法 检验结果是否符合心理学的理论框架及其假设比如 中学生数学能力的研究数学能力由分析能力 综合能力 归纳和演绎能力 运算能力 空间想象能力构成 数学能力与早期教育有关 数学能力与智力正相关 编制测验 施测并收集测验结果分析测验结果 考查测试的结构效度 考查测验结果是否支持理论构想 三 各类效度的验证方法 3 效标效度的验证方法效标 检验测验效度的外在的 客观的标准 即效度的标准效标效度 也称为效标关联效度 也称为实证效度验证方法是指一个测验对处于特定情境中的个体行为进行预测时的有效性例 高考成绩预测大学学习成绩能力倾向测验预测工作成效分类 同时效度 测验分数与效标资料的取得约在同一时间内连续完成 这两种资料的相关系数即为同时效度目的 诊断现状预测效度 测验分数取得一段时间后才获得效标资料 计算这两种资料间的相关系数目的 预测某个个体将来的行为 效标效度的估计方法 相关法直接计算测验分数与效标分数的相关系数积差相关 等级相关 二列相关等显著差异法根据效标测量将被试分为两个极端组 检验这两个组测验分数是否具有统计学上的差异显著性命中率当测验用作取舍决策时 常使用命中率相关概念 总命中率 正命中率 负命中率总命中率高 则测试的效度高例 70人参加的考试 通过测验选取了50人 淘汰了20人 选出的人中有40人合格 淘汰的人中有8人不合格 该测验的总命中率 正命中率和负命中率分别是多少 教育测量与评价中题目 项目 的难度 一 难度的含义难度是指测验项目的难易程度 记为P在教育测量中P 正确回答试题的人数 参加测验的总人数二 难度的计算客观试题 二分法记分 P R NR 答对该题的人数 N 参加测验的总人数对选择题的解答 因被试可猜测 故需对难度系数加以校正CP KP 1 K 1 CP 校正后的难度值 P 实际得到的通过率 K 选项数目例 一个题目的难度值为0 75 分别计算此题有四个选项 三个选项 两个选项时大的难度值 教育测量与评价中题目 项目 的难度 二 难度的计算客观题的极端分组法根据测验分数按高低排序 用两个极端组在某项目上的平均通过率表示项目的难度P PH PL 2步骤 按测验总分由高到低排序从高分段向下选出全部试卷的27 作为高分组从低分段向上选出全部试卷的27 作为低分组按照上述公式计算项目难度值例 100人参加某测验 高分组与低分组各取27人 其中第一题高分组20人答对 低分组10人答对 这道题的难度系数是多少 教育测量与评价中题目 项目 的难度 二 难度的计算主观题的平均数法主观题的极端分组法XH 高分组所得总分 XL 低分组所得总分 H 该题最高分 L 该题最低分 N 考生总人数的25 试题分析表 教育测量与评价中题目 项目 的难度 三 难度的转换难度指出的仅仅是题目的相对难度 不能客观地指出题目难度之间差异大小P向Z的转换假定每个试题所要测量地潜在特质或能力是呈正态分布的 可将P值作为正态曲线下的概率面积 以此转换成Z分数例 Z向的转换 教育测量与评价中题目 项目 的区分度 一 区分度的概念区分度是测验对被试实际水平的区分程度是测验项目分析的重要内容是作为评价项目质量 筛选项目的主要指标与依据通常用D表示 取值范围为 1 00至 1 00D越高时 试题的质量越好 教育测量与评价中题目 项目 的区分度 二 区分度对测验的影响1 区分度与难度的关系 教育测量与评价中题目 项目 的区分度 二 区分度对测验的影响2 区分度与信度的关系 教育测量与评价中题目 项目 的区分度 三 区分度计算方法极端分组法客观性试题区分度的计算公式 D PH PL按测验总分从高到低排序确定测验总分最高的27 的被试作为高分组 最低的27 的被试为低分组分别求出这两组被试通过试题的百分比将算得的有关数据带入上公式主观性试题区分度的计算公式 说明 XH 高分组所得总分 XL 低分组所得总分 H 该题最高分 L 该题最低分 N 考生总人数的25 步骤 按测验总分由高到低排序 分别确定测验总分的25 25 作为高低分组 列出试题分析