高三生物 浅谈试题编制技术与试卷质量分析 课件.ppt

浅谈试题编制技术与试卷质量分析 广州市教育局教学研究室教学管理科钟阳特级教师tel020 83330741e mail zhy 一 教育测量学简介 教育测量学以现代教育学 心理学 统计学为基础教育测量只能通过检测心理现象的外显行为或外在表现特征来推知个体的心理能力和个性特质教育测量学研究的主要内容是 测验的编制 使用 结果的评价 教育测量的基本概念 测量 事物及属性 法则 数字或符号测验 行为样本 标准化 评价指标 题目质量分析指标 难度和区分度 测验结果可靠性指标 信度 测验结果有效性指标 效度 测量要素 参照点 常模参照 标准参照 单位 往往不等距或等距不等值 量表 命名 类别 量表 顺序 等级 量表 等距量表 比率量表 教育测量的量表与变量类型 类别量表 称名变量 如学生编号等 只有区分性 没有序列性 等距性和可加性 不能做数量化分析 只能做次数统计 如次数 众数 百分比 离散相关 2检验等 顺序量表 等级变量 如学生名次 等级 百分制成绩等 有区分性和序列性 但没有等距性和可加性 无绝对零点 也无相等单位 不能做加减乘除运算 适用的统计方法有中位数 百分位数 等级相关系数 肯德尔和谐系数 序次的方差分析 等距量表 等距变量 如摄氏温度 标准分数等 既有区分性和序列性 也有等距性和可加性 有相对零点和相等单位 能做加减 但不能做乘除 不能用倍数解释 能最广泛地应用统计方法 如计算均数 标准差 积差相关系数 t检验 f检验等 比率量表 比率变量 如长度 重量 体积等 具有相等的单位和绝对零点 既可以比较差距 也可以计算比例 除上述统计方法外 还适用几何平均数 变异系数等统计运算 教育和心理测验特点 教育和心理测验也是一种量表没有绝对零点 没有相等单位 属于等级量表 由于等距变量适用大量统计分析方法 所以教育学家与心理学家总试图将教育和心理测验的结果放在等距量表背景下解释解决等级量表和等距量表之间差异的最常用办法 原始分数转化成标准分数 教育测验的分类 测验目标 成就测验 知识与技能的掌握 能力测验 稳定的认知能力特质 能力倾向测验 潜在的学习能力和学术发展倾向 题目类型 客观性测验 选择题 判断题 配对题 限制性的填空或简答题 主观性测验 作文题 论述题 证明题 测验分数的解释 常模参照测验 个体差异 相对水平 选拔性 不可单独解释 标准参照测验 标准或效标达成度 知识和技能的掌握程度 水平性 可直接解释 测验标准化 标准化测验 设计 编制 实施 评分 分数解释 自编测验 尽力遵循测验编制的一般程序 教育测验理论 经典测量理论 classicaltesttheory ctt 以真分数模型为理论基石 以弱假设为基础真分数是实测分数的期望值较为完善 易懂好用 计算简单 应用广泛各种测验参数必须从考生样本中求得参数会受不同考生样本组能力水平的影响考生能力的估计会由于测验的改变而改变难以实施与学生实际能力水平相当的考试 不能确保学生在考试中发挥最高水平 教育测验理论 项目反应理论 itemresponsetheory irt 以潜在特质理论为基石 以强假设为基础试题难易度估计不受样本影响 考生能力估计不因测验改变 测量误差不受考生程度影响可以精确估计每个考生的能力水平 为自适应测验的实施提供条件对数学模型与实测数据的拟合要求高受考生样本容量和试题数量的制约一维性假设难以满足 也难以验证计算过程复杂 工作量过大 不能分析主观试题 二 教育测验的编制 测验编制的基本程序测验目标确定 教育目标分类 识记 理解 运用 分析 综合 评价 学科特征 教学阶段内容的确定 命题双向细目表 材料收集测验的设计 测验形式 纸笔 操作 时限 题量 题型 题目编排 先按题型 再按难度 测验的技术分析与鉴定 复本与试测 测试质量分析 定性与定量分析 信度 效度 难度 区分度 测试的标准化 命题 实施 评分标准 分数解释 时限 环境 指导语 命题双向细目表示例1 命题双向细目表示例2 命题双向细目表示例3 举例 生物高考模拟试卷分析表 测验材料收集的原则 适合测验目的 水平性测验 代表性 广泛性 全面性 选拔性测验 多考虑难度而非广度 符合双向细目表 学科教学内容的良好代表性样本 突出主干知识与核心概念 保证测验有较高的内容效度材料的普遍性 是不同班级 学校 地域的学生共同学过的内容适合学生程度 既要难易适当 又要有鉴别力 有些要让水平最低者也能做到 以树立其自信 有些要让水平最高者也不易得分 以激发其进取心 测验题目的编制 试题编制的一般原则1 命题的目的性2 内容的代表性3 格式的规范性4 表述的简明性5 答案的确定性6 题目的独立性7 创意的公平性8 试测的实效性 测试题型的分类 客观性试题与主观性试题比较 选择题的编制 编制选择题的注意要点 1 每题仅围绕一个测试中心2 题意完整 表述简明3 避免提供解题线索4 题干应尽量创设新的情境5 题干尽量以正面方式叙述6 各选项语词切勿重复7 选项只间不应相叠8 干扰项诱答须似是而非9 各题彼此独立 避免链式10 忌用 以上皆对 以上皆错 选项11 选项数尽量一致 形式大体相同12 正确项目须随机排位 填空题的编制 简答题的编制 论述题的编制 应用题的编制 三 教育测验的质量分析 测验误差 随机误差 系统误差测验信度测验效度试题难度试题区分度其他分析指标综合试题分析标准参照测验的试题分析 测验信度 测验结果的稳定性程度重测信度 复本信度 分半信度 评分者信度同质性信度 内部一致性信度 克伦巴赫 系数 高考要求 选择题部分信度 0 9 非选择题部分信度 0 7 全卷信度 0 8 题量较多 难度中等 保密 新颖 变式 测验效度 测验的准确性 测出所预测特质的程度 内容效度 内容范围的共性 具有边界 结构化 一个测验涵盖的只可能是从所欲考查内容中抽取的一个代表性样本 课标 考纲 双向细目表 知识范围 能力要求 结构效度 构想效度 理论构想的基本属性 对本质的抽象概括 可测量化或外显化 对测验结果的合理解释首先要求获得该测验的结构效度资料 效标关联效度 实证效度 对被试未来成功的预测准确程度等 内容效度与结构效度 内容效度就是测验能代表它所欲考查内容的程度 知识覆盖率法是其最简单常见的统计方法 内容效度涉及到知识的计量问题 对同一学科而言 我们可将课程标准所开列的每一个知识点作为知识基本单位 也可用教材的章来构造基本知识单位 甚至是按照知识的内在联系来确定基本知识单元 内容效度反映的是测验外在的 形式上的东西 与所欲测量的特质 如 人文精神 科学素养 探究能力 创造能力 方法论等 没有必然的联系 事实上 它只是测量特质的必要条件 内容效度与结构效度 内容效度从知识间的内在联系出发 是以知识为本位分析效度的方法 对于学生而言 掌握必要的知识也是很重要的 因此 注意测验的内容效度有它合理性的一面 然而 学习者学习知识更为重要的目的是通过学习和掌握这些知识的过程 获得并发展隐含在这些知识中的特质 如果片面强调内容效度就可能导致被试在学习过程中重视知识本身而不重视能力发展 内容效度与结构效度 结构效度从隐含在建构这些知识联系背后的特质出发 反映的是其特质的当前发展水平 由于知识本身可能成为一种特质的表征 而且某些特质与特定的知识领域密不可分 因此 强调结构效度并不反对使用特定的知识作为试题的载体 但这种主张与强调内容效度的主张有着根本的差别 因此 应该在确保结构效度的基础上兼顾内容效度的需要 对于教育测量 特别是考试 而言 为了鼓励学习者既掌握好知识的本身 又获得和发展隐含于所学知识中的特质 编制测验应该在保证结构效度的基础上尽量选用被试所学过的知识为测验题目的载体 试题难度 通过率 p r n 或得分率 p x w 高考要求 全卷难度0 5 0 6试题难度0 3 0 7易 中 难 3 5 2 试题区分度 鉴别指数 d ph pl d 0 40 优 0 39 d 0 30 良好 0 29 d 0 20 尚可 d 0 20 劣 应该淘汰 高考要求 d 0 3高端区分与低端区分 其他分析指标 平均分 分数的集中水平标准差 分数的离散程度 高考要求全卷满分为150分时 s 15 选择题反应模式 若所有考生都选择了正确答案 说明题目太简单或给出了明显的暗示 若某个错误选项没有一个考生选择 说明该选项没有迷惑性 若所有考生都选择了同一个错误选项 可能是答案定错了 若高分组考生的选择集中在两个答案上 且两者选择率相近 说明两个答案可能都有道理 若高分组考生选择正确答案的人数接近或低于低分组 说明该题所考内容与水平无关 若考生零分人数过多或选择各备选答案的人数相近 说明题目过难 或题意表达不清 是的考生无法作答或只能凭猜测作答 综合试题分析 对试题难度 p 与区分度 d 进行总体衡量人的多数心理特征呈正态分布一个测验的各道题目之间或多或少存在着一定的相关因此一般采用使题目从易到难排列 而非皆固定在p 0 5左右 试题分析举例 标准参照测验的试题分析 主要是题目与标准的一致性分析关键是内容范围的确定题目的编制与筛选取决于所欲测的目标试题难度 p 与区分度 d 也需要分析 但不必按照选拔性考试的要求某些p 1或0 d 0 的试题 只要符合标准 也应采用 四 质量分析报告的撰写 测验目的与性质能力