试题编制技术与试卷质量分析.ppt

试题编制技术与试卷质量分析 companylogo 一 试卷编制前的准备1 命题前的思考点2 命题设计的一般原则3 试卷编制的基本程序 companylogo 二 试卷编制的技术要点1 命题双向细目表设计2 几类典型题型编制要求3 命题预测的评价指标4 命题需要注意的几个问题三 试卷质量分析与评价1 考试结果的基本分析2 质量分析报告的撰写 companylogo 一 试卷编制前的准备 命题容易又很难 一份好的命题更难 命题体会与考量 规范负责的态度一定的文字功底丰富的知识储备多研究经典试题试卷走钢丝的艺术 遗憾的艺术 人文素养的考验 科学素养的考验 教育测量技术 规范负责的态度一定的文字功底丰富的知识储备多研究经典试题试卷 companylogo 1 命题前的主要思考点思考准备 1 明确考试的性质测验 诊断性考试知识与技能的掌握 常模参照考试会考 水平考试稳定的认知能力特质标准参照考试智力测试 学习能力考试潜在的学习能力和学术发展倾向标准参照考试 companylogo 常模参照测验 是指以学生团体测验的平均成绩为参照标准 说明某一学生在团体中的相对位置 将学生分类排队 标准参照考试 是指以体现教育教学目标的标准为准 看学生是否达到标准以及达成标准的程度 它主要不是用于比较个人之间的差异 companylogo companylogo 2 把握考试对教学发展的导向性 反映课程改革的要求 体现学科的特点 引领学生学习 3 掌握考试对象的特点与水平 学生学习与心理特点 阶段知识掌握的水平区分 能力反映的特点 companylogo 4 考虑足够的内容抽样代表性 与备课组交流 抽取好 中 差学生练习与试卷 与不同层面的学生交流 5 选择合适的试题结构 试卷内容组成 试卷编排顺序 试卷难易控制 companylogo 2 命题设计的一般原则 1 命题的目的性 2 内容的代表性 3 格式的规范性 4 表述的简明性 5 答案的确定性 6 题目的独立性 7 创意的公平性 8 测试的实效性 companylogo 命题要全面考查学生课程目标的达成状况 立足全面性 注重代表性 体现导向性 考察内容的均衡性 适度的题量与难度 恰当的题型结构 适度的自主性和开放性 试题呈现方式的多样化 在此基础上 综合体现 基础性原则 发展性原则 科学性原则 时代性原则 开放性原则 规范性原则 companylogo 3 试卷编制的基本程序 1 拟定命题计划 各种题型的题量及分数分配 各项考试内容的题量及分数分配 能力考查的重点及各能力层次的分配 考试难度及各类难度比例 companylogo 2 根据命题计划 编制双向细目表 确定考试内容要目 确定考试目标层次 确定考试要目下的权重 试题难度预估 companylogo 3 根据双向细目表 编制试题并组卷 题型的选择与安排 先按题型 再按难度 试题的难度控制与预估 整卷难度与分题难度 有序层进 对试题区分度的把握 开放 或探究 试题形式与内容的探索 一些重要的内容及方向定位 如写作题 答案与评分标准的制定 companylogo 4 试测并修订 在保密中选取典型非我校学生进行试测 根据试测情况分析分调整命题 专家审卷 修正并定稿 companylogo 二 试卷编制的技术要点 1 命题双向细目表设计目的 设计试卷的蓝图 使命题者明确测验的目标 把握试题的比例与分量 提高命题的效率和质量 内容 考查的范围 具体知识点 测试目标 题型 分值分布 难度分布 操作 确定试卷要考查的目标 明确要考查的知识内容 知识点 根据考查目标和知识的重要程序给予不同的比重 合理安排好各部分权重 编制出双向细目表 companylogo 范例1 companylogo 范例2命题双向细目表 companylogo 范例3试卷组合双向细目表 companylogo 加权难度分数计算公式 为权注意 能力各栏目分数合计和题型各栏目分数合计均应为100 或150 分 companylogo 2 几类典型题型的编制要求 1 测试题型的分类 companylogo 客观性试题与主观性试题比较 companylogo 2 选择题的编制 选择题的编制 companylogo 编制选择题的注意要点 每题仅围绕一个测试中心 题意完整 表述简明 避免提供解题线索 题干应尽量创设新的情境 题干尽量以正面方式叙述 companylogo 各选项语词切勿重复 选项只间不应相叠 干扰项诱答须似是而非 各题彼此独立 避免链式 忌用 以上皆对 以上皆错 选项 选项数尽量一致 形式大体相同 正确项目须随机排位 companylogo 3 填空题的编制 companylogo 4 简答题的编制 companylogo 5 论述题的编制 companylogo 6 应用题的编制 companylogo 7 开放性试题的编制开放性试题的命制 条件开放型 过程开放型 结论开放型以及这三种题型的综合形式 这些形式还可以进一步细分 如在答案开放型中 可以再分为理论运用 知识视角 开放 论据素材 佐证事例 开放 表达方式开放和评分要求开放等 在各个学科中 其具体表现形式有所不同 companylogo 方法与策略 可选择作答 学生可以选择部分试题或一个试题中的若干小问题作答 增加答题的可选择性 有利于发挥学生的优势智能 表现学生的个性和特长 陈题新用 对传统试题进行改造 省略去其中的部分条件 或对问题提出不同的解决方向 或要求用尽可能的角度解决问题 从生活素材入手 选取社会热点 生活焦点和学生生活经验作为素材来设计问题 引导学生运用所学知识独立地解决生活问题 设置黑箱 将一个事物产生 发展过程和最终结果中的过程隐藏起来 即制造一个黑箱 让学生发挥想象力 提示黑箱的内幕 companylogo 假设情景条件 在一定条件下假设某种情景 探求事物的发展状态 或给出某种确定的情景 探求由于条件的变化 可能引起什么样的反应 例举事实 给出一定的规律或原理 要求学生搜集与之相关的现象或事实 证明这一理论 学生自编自答 在一定背景之下 让学生根据试题提供的素材 自己提出问题 并分析解决问题 超越课本知识 超越课本中的字面内容 挖掘隐藏一于文字背后的思想 考核学生的科学精神与人文思想 companylogo 巧用设问 调整问题的设问指向 引导学生摆脱传统的思维方向 寻找新的考虑问题的角度 引导推理 给出一定的材料或条件 让学生自主推导出可能产生的结果 或者给出一定的结果 让学生反向推导出它所需要的条件 补充材料或结果 给出不完整的材料或事物进程 通过学生自主想象 补充材料或推测结果 调整评分要求 评分要点充分考虑到学生答题的各种可能性 对于某些有创意的答案或要点 应该加以加分奖励 等等 companylogo 8 主观题命题评分的基本要求 不要逼着或诱导学生说假话是最起码的要求 给定标准答案 以命题者之心度学生之腹的题出了还不如不出 主观题发挥学生的创造性 有一定开放性并不表明可以题可以随便出 答案可以随便写 清晰的评分标准是必要的 如果测量的行为目标能够用客观题来测 就尽量不要用主观题 挑选的材料应该与学生学习经历过的材料有类似性或是全新的材料 companylogo 应该用清晰 明确的语言表述背景材料和问题 对材料分析题而言 设计试题应该要求学生对材料进行分析和解释 设计的试题数应该与背景材料的长度相匹配 对试题的赋分应该合理 对每个问题给恰当的时间完成 companylogo 3 命题预测的评价指标 1 难度控制 定义 学生完成题目和项目任务时所遇到的困难程度 难度值以p表示 公式1 通过率p r表示答对某题的人数 n表示测试的总人数 公式2 得分率p x表示某题的平均分 w表示某题总分 注意 通常对客观题计算难度时选择公式1 通常对主观题计算难度时选择公式2 companylogo 全卷难度用加权难度平均数公式计算 其中分别为的权数i 1 2 k companylogo 高考难度要求 全卷难度0 5 0 6 试题难度0 3 0 7 接近正态分布 易 中 难 3 5 2容易题p值为0 7以上 中档题p值为0 5 0 7 难度p值为0 3 0 5 试卷难度计算方法 假设容易题 中档题和稍难题比例按3 5 2预测 即30 的试题难度p值为0 7以上 50 试题的p值为0 5 0 7 20 的试题p值为0 3 0 5 companylogo 影响试题难度的因素情境的熟悉性 需要提取 应用元素本身的难度 熟悉性和数量 已知条件是否完备或冗余 先前是否存在模式能够参考 概括程度的高低 如是否需要建立模型 以及所建模型的复杂性和概括性程度 companylogo 试题 试卷 难度控制运用 难度相关因素表 和 难度分数对应表 掌握试题难度预估与控制方法 companylogo 难度相关因素表 companylogo 难度系数对应表 companylogo 影响试题难度应对策略题目条件的复杂程度 适可而止题目条件表述的隐藏性 提倡 联系实际 解答题目所需的心智技能 不过份是否隐含科学探究方法 提倡解答过程的数学手段 不过份需要文字表达的水平 适当以往解题经验的影响 提倡新情况 companylogo 2 区分度的控制 区分度 区分度是反映试题能否鉴别学生能力高低的指标 由某题答对人数与答错人数相比较而确定 如果某个试题 总分高的学生与部分低的学生都没有做对 或全做对 则说明该题没有区分度 假如一个试题对总分低的学生出错的人数比总分高的学生更多 则表明该试题有较高的区分度 companylogo 区分度计算公式为 d 其中 d为区分度 和分别为高分组在某题上的难度和低分组的难度 区分度在0 4 0 6之间为宜 companylogo 区分度与试题难度密切相关 要改变试题区分度 即必须调整试题难度 最难和最易的试题的区分度都很低 区分度最大的试题 其难度一般在0 3 0 6 提高等级间区分度 主要应该 准确控制30 的试题难度 增加0 6的题量 对于常模参照来说 区分度d 0 4为优 0 39 d 0 3 良好 0 29 d 0 2 一般 d 0 2劣 应该淘汰 companylogo 对试题难度 p 与区分度 d 进行总体衡量 人的多数心理特征呈正态分布 一个测验的各道题目之间或多或少存在着一定的相关 因此一般采用使题目从易到难排列 而非皆固定在p 0 5左右 高考要求d 0 3 companylogo 区分度的计算程序将考生的部分由高到低排列 预测时是预估的 从最高分开始向下取全部试卷的27 做为高分组 从最低分开始向上取全部试卷的27 做为低分组 计算高分组 低分组在某题的难度与 companylogo 主观试题区分度d companylogo 其中表示接受测验高分组在该题上的总得分数 表示低分组学生在该题上的总得分数 n表示参加测验高分组 或低分组 人数 即总人数的27 h表示该题最高分 l表示该题最低分 一般也可用d 高分组某试题的平均分 低分组某试题平均分 某试题的满分 整个试卷的区分度 是所有试题区分度的平均值 可用加权平均数求出 companylogo 注意 区分度比较小并不一定说明试题不好 首选应检查样本大小 如果样本太小 可能会导致相关系数不稳定 其次 应该检查试题的难度 如果试题难度过大或过小 都可能导致试题的区分度降低 第三 应检查试题本身是否有问题 如题干表述的不明确 题干存在某种给考生提示的线索或其他技术性错误 如果没有上述三方面的问题 那么试题的低区分度可能揭示学校教学或考生复习方面可能存在某些问题 companylogo 3 信度的控制 暂不考虑 信度即测量结果的可信程度 稳定性程度 如果用同一测量工具反复测量同一特质对象 则多次测量结果的一致性程度就叫信度 信度的估计方法重测信度 用同一个测验或评价表对同一组被试施测两次所得结果的一致性程度 用途在于估计测验结果经过一段时间后是否仍然维持稳定 一致的特性 复本信度 是指两个平等测验测量同一批被试者所得结果的一致性程度 同一时间或间隔一段时间进行 真正的平等测验非常重要 companylogo 分半信度 将一个测验分成对等两半后 所有被试在两半上所得分数的一致性程度 按题号的奇偶分半 按难度分半 按题目的内容分半 评分者信度 多个评分者给同一批人的答卷进行评分的一致性程度 主观题特别是作文题的评分信度值得研究 companylogo 提高信度的办法 a 增加题量 提高覆盖率 b 提高区分度 准确反映考生差异 c 减少考试过程中非智力和情感因素干扰 d 提高评分的客观性和准确性 高考要求 选择题总分信度 0 9 非选择题总分信度 0 7 全卷信度 0 8 companylogo 4 效度控制 暂不考虑 效度是指本次考试与考试目标的相关程度 即考试内容 形式 结果对考试目标的体现情况 提高效度的方法 合理规定考试目标 科学确定考试内容 选择适宜的考试方式 提高考试信度 不得滥用考试成绩 companylogo 效度包括 内容效度 试题与教学的目的和内容相符的程度结构效度 测验的结构与目标要求相符的程度标准相关效度 测验与作为标准的测验相符的程度 companylogo 4 命题需要注意的内个问题 1 情境设置问题 设置 情境 的本质是提供一个平台 能够让学生针对知识 技能 过程方法等进行提取 组合 尝试 判断以及模式化等等 有时这个过程比结果更为重要 根据学科和测试目标的不同 情境的现实化和生活化程度是不一样的 不要为了情境而设置情境 虽然有些情境不要求真实 但需要合理 一定不能让学生产生迷惑 companylogo 2 试题反映考试功能和目标 3 不出超纲题 偏题 怪题和其他没有考查意义的题目 4 解题情境和提出的问题新颖而不落俗套 5 问题含义明确 不是暧昧不清和模棱两可 用语准确清楚 companylogo 6 具有一定的区分度 难度结构合理 符合考纲的要求 7 试题覆盖面广 布点合理 内容具有较好的代表性 8 各试题