试卷分析指标的选择及其应用.pdf

医学教育探索2 0 0 8 年第7 卷第3 期 R e s e a r c h e si nM e d i c a lE d u c a t i o n2 0 0 8 V 0 1 7N o 3 2 6 5 试卷分析指标的选择及其应用 朱永香 肖赞英 肖丹秦 朱娟霞 王倩 于玮 西安医学院生理教研室 陕西西安7 1 0 0 2 1 教学评估 摘要 试卷分析是考试管理工作的重要内容 包括定性分析和定量分析 两者总是结合进行 互相补充的 本文对试卷分析指标 的选择及应用进行了论述 关键词 试卷 分析 难度 区分度 信度 效度 中图分类号 7 4 3 4 文献标识码 A 文章编号 1 6 7 1 8 5 6 9 2 0 0 8 0 3 0 2 6 5 0 2 T h eS e l e c t i o na n dA p p l i c a t i o no fE x a m i n a t i o nP a p e rA n a l y s i sI n d e x e s Z H UY o n g x i a n g X I A OZ a n y i n g X I A OD a n q i n Z H UJ u a n x i a W A N GQ i a n Y UW e i D e p a r t m e n to fP h y s i o l o g y X i a r tM e d i c a lC o l l e g e X i a n7 1 0 0 2 1 C h i n a A b s t r a c t E x a m i n a t i o np a p e ra n a l y s i si sa ni m p o r t a n tj o bi ne x a m i n a t i o nm a n a g e m e n t I ti n c l u d e s q u a l i f i c a t i v ea n a l y s i s a n d q u a n t i t a t i v ea n a l y s i s w h i c ha r ec o n n e c t i v ea n dc o m p l e m e n t a r y T h i se s s a yd i s c u s s e st h es e l e c t i o na n da p p l i c a t i o no fe x a m i n a t i o n p a p e ra n a l y s i si n d e x e s K e yw o r d s E x a m i n a t i o n A n a l y s i s D e g r e eo fd i f f i c u l t y D e g r e eo fd i s t i n c t i o n R e l i a n c e E f f e c t i v e n e s s 考试是教学过程中的一个关键环节 是评估学生学习成 绩 检测和判断教师教学质量的重要途径 充分发挥考试的测 量 评价作用 应该高度重视试卷分析工作 试卷分析包括定性 分析和定量分析 两者总是结合进行 互相补充的 1 试卷的定量分析 1 1 试卷成绩分析 1 1 1 用集中量进行分析集中量主要用于进行平行班考试成 绩和本班以往考试成绩的比较分析 主要包括均数 肘 和中位 数 纪 肘是学生集体考试成绩的算术平均数 其计算公式 M Y x n 其中 菇为某科学生成绩总分 n 为考试的学生人 数 它主要适用于呈正态分布或近似正态分布的资料 M d 即一 组有顺序数据中处于中间位置的数 计算方法是将某科学生考 试成绩按高低顺序排列 选取位次居中的数 它主要适用于呈 偏态分布或分布类型不明的资料 在高校学生课程合格性考试 中 为了能够使大多数的学生及格 学生的成绩分布应该呈负 偏态分布 而在选拔性 竞赛性考试中 考生的成绩分布应基本 呈正偏态分布 由于M d 不仅适用于偏态分布的资料 而且当资 料呈正态分布时 M d 和M 理论上是相等的 故用M d 分析学生 的考试成绩更合理1 1 1 1 1 2 用差异量进行分析常用的差异量有 极差 尺 最大数与 最小数之差 和标准差 s 要了解学生集体的学习成绩如何 仅有集中量分析还不够 应与差异量分析相配合 才能较好地 基金项目 西安医学院教改课题 生理教学与临床医学合理链接 f 收稿日J 2 0 0 7 0 7 1 7 作者简介 朱永香 女 硕士 讲师 主研方向 生理学教学及考试改革 反映学生成绩的基本状况 例如两个班级的学生成绩的肘相 等 R 不相等 那么一般认为R 小的班级的教学水平要高一些 学生成绩的差异情况仅用尺反映还是很不精确的 若用S 来代 替它 分析的效果就会得到改善 用S 进行学生成绩分析的意 义是 S 越小 则说明班级考试成绩越整齐 以肘代表班级考试 成绩的可靠性较高 S 越大 则说明班级成绩越不整齐 以肘代 表班级成绩的可靠性较低 1 2 难度指数 难度指数 P 是反映试题难易程度的重要指标之一 P 即通 过率 P 的范围是0 1 P 值越大试题越容易 如果试题为客观 题 P r n r 为答对该题的人数 n 为考生总人数 当试题为主观 题时 蝴 茗为全体考生在该题所得平均分 x 该题的满分 值 由于难度与区分度有关 P 值越接近0 5 区分度越高 因此 在选拔考试中 P 以0 5 为最佳 课程合格性考试试卷一般要求 中等难度 P 在0 5 0 7 之间 的试题占1 2 较难 尸如 5 和较易 P 0 7 的试题各占1 4 整套试题的难度以0 6 5 0 7 0 为好 不 过 对于目标教学的学业合格性考试 不应完全以难度指数作 为选择试题和判断试题质量的主要依据 主要应看其是否符合 教学大纲的要求1 2 1 试题的难度 并不完全由试题本身的复杂程 度决定的 还与考生对该题的适应程度有关 有的题本身较复 杂 但考生大都准备充分了 结果得分率很高 有的试题本身很 简单 但考生大都没准备 结果得分率很低 1 3 区分度 区分度 D 也称鉴别力 是反映试题效用高低的参数 是评 价试题质量 筛选试题的主要指标与依据 它能反映出各档次 学生对所学知识的掌握程度 即能拉开学生成绩优劣的层次翻 用高 低分组法求区分度指数值 其计算公式为 D P H P L 其 万方数据万方数据 一2 6 6 一 医学教育探索2 0 0 8 年第7 卷第3 期 R e s e a m h e s 叭M e d j c a lE d u c a t i o n2 0 0 8 V 0 1 7N o 3 中D 为区分度指数 P H 为 高分组 难度指数 取得分最高的前 2 7 被试者作为 高分组 咒为 低分组 难度指数 取得分最 低的后2 7 被试者作为 低分组 D 的取值范围在一1 0 0 1 0 0 之间 D 0 4 时 为优秀试题 一般可作为选拔性考试 O 3 D o 4 为良好试题 多作为课程合格性考试 O 2 趔 o 3 说明 这类试题区别被试者优劣的能力相当弱 O D 0 2 说明这类试 题区别被试者优劣的能力很差 D O 说明这类试题高水平的学 生得分比低水平的学生得分还低 即毫无区分度 这种题目应 删掉 试题太难或太易 其区分度都低 中等难度的试题 其区 分度最强翻 1 4 试卷信度 信度是指试卷的稳定性和可靠性程度 即将同一份试卷 对同一组参加考试者进行反复测验 所得结果一致 那么这份 试卷就具有很高的信度 4 所以 信度是衡量试卷质量的一项重 要指标 目前试卷分析多为计算内部一致性信度 内部一致性 信度是同一试卷的两个部分 例如分为奇数题和偶数题 得分 的相关程度 取值范围为0 一l 其值越大 信度越高 一般认为大 于0 9 可靠性较好 但对高校课程的合格性考试 由于区分度要 求降低 对信度的要求也可适当放宽 0 5 以上即可 即说明可 以有若干道题学生都能答对 这样可使大部分的学生的考试成 绩均在及格以上 1 5 试卷效度 效度是反映整套试卷命题的准确性和有效性的重要参数 它是对测量的目的而言测量结果与被测对象之间的符合程度 即考试成绩与预期目的之间相关的程度 效度分为内容效度 效应关联效度和构想效度 构想效度很少用 内容效度是指试 题对欲测的目标范围取样的适当程度 试卷考查的知识点在教 学实际知识点中的覆盖程度 它一般只能由有经验的教师根据 考试大纲对每道题进行比较分析来作出估计 效应关联效度是 指考试成绩与效标的相关程度 效标是检验考试效度的一个参 照标准 通常用同类的标准考试成绩来表示 两者的相关系数 即为效应关联效度 一般考试要求其在0 4 0 7 之间 信度和效度既有联系也有区别 效度是一种正确性 而信 度是 种稳定性 但是稳定性并不代表正确性 所以信度高 其 效度并不一定高 但是信度低 其效度必然低嘲 同时应注意 无 论采取何种抽样方法 所抽样本都应该能代表总体 样本的效 度主要取决于所抽样本的客观性和抽样数量 2 试卷的定性分析 从教育测量学理论角度看 定量分析的数据是不完全客观 的数据 除教师命题 评卷 登分等可能出现偏差外 更多的是 由测量过程误差如考试环境 监考态度 考场经验 应考动机 焦虑程度等造成的 因此定量分析的结果需要通过定性分析来 加以判断和解释 定性分析是试卷分析的主体 定量分析只能 为定性分析提供辅助的参考依据 脱离量化分析过程的定性分 析是片面的 没有定性分析的量化分析是教条的嘲 定性分析的 内容一般有 2 1 整体成绩分析 从各班级成绩分布情况概括出总体成绩分布特征 从中归 纳出共性特征 如成绩普遍较高或较低等 并查看各班级成绩 是否存在差异 如个别班级成绩分布与整体成绩分布不一致 则应力求寻找差异形成的原因 如教师教学方法或学生学习积 极性等方面因素 2 2 试卷覆盖面的分析 试卷的内容是否符合教学大纲和命题蓝图的要求 能否全 面反映教学目标 试卷考核的知识点能否有效地代表该课程总 知识点 能否全面测验学生的基本知识和基本理论 2 3 试题质量分析 试题难度太低 不能激发考生的积极性 试题难度太大 超 出考生的实际程度和能力 检测不出真实水平阿 试卷的难度应 从中等水平的学生出发 形成难度梯度 2 4 试卷质量分析 包括对试卷题型 题量分析 命题设计适当性分析 设计水 平 促进学生综合能力和创新能力提高等 试卷语言明确性和 准确性分析以及试卷印刷质量的评价等 3 试卷分析的意义 任课教师应着重分析学生的成绩及学习中的共性与个性 问题 从中获取信息 反思教学得失 为今后不断地改进教学方 法 提高教学质量提供依据 命题教师应注重分析与试题 试卷 质量有关的指标 为进一步提高试题质量与命题水平积累经 验 为建立和完善试题库奠定基础 课程负责人通过试卷分析 了解该课程师资的教学情况 并通过分析该课程与其它已修课 程的相关关系 反思教学决策的得失 提出下一步教学及考试 改革的方向和措施 院系教学负责人通过试卷分析 评估整个 院系总体教学质量 教师的教风 学生的学风以及教学管理的 成效 提出下一步课程建设 师资建设 学风建设和教学管理改 革的思路和措施 试卷分析固然重要 但教学质量问题并不能完全通过试卷 分析解决 如果考试的目的和原则本身出了问题 不能与创新 性人才培养目标相适应 不能促进学生综合能力 应用能力及 创新能力的发展 即使试卷分析的各项指标参数显示良好 也 不能算是一次高质量的考试 充其量只能算是一次应试教育成 功的考试 q 因此 注重人才培养模式的改革和相适应的考试改 革是提高教学质量的根本出路 在此还感谢徐燕老师的辛勤工作 参考文献 1 1 贺爱萍 用中位数考察考试成绩更合理 J 西北医学教育 2 0 0 7 1 5 2 3 1 9 3 2 0 2 陈熙 吴成秋 贺栋梁 试卷分析与评价的指标体系及其应 用 J 西北医学教育 2 0 0 6 1 4 5 5 4 2 5 4 2 3 白晓明 陈国明 叶成华 等 考试命题与试卷分折 M 宁波 宁波出版社 2 0 0 3 1 0 8 1 1 5 4 黄颖 林端宜 试卷分析研究现状综述 J 西北医学教育 2 0 0 5 1 3 1 3 9 4 0 5 张竿 汪利 丁国勇 高校课程试卷分析的管理创新 J 中国大学教学 2 0 0 5 9 3 9 4 2 6 6 张琼 试卷质量的分析 J 高教论坛 2 0 0 4 4 6 5 6 7 万方数据万方数据 试卷分析指标的选择及其应用试卷分析指标的选择及其应用 作者 朱永香 肖赞英 肖丹秦 朱娟霞 王倩 于玮 ZHU Yong xiang XIAO Zan ying XIAO Dan qin ZHU Juan xia WANG Qian YU Wei 作者单位 西安医学院生理教研室 陕西 西安 710021 刊名 医学教育探索 英文刊名 RESEARCHES IN MEDICAL EDUCATION 年 卷 期 2008 7 3 被引用次数 4次 参考文献 6条 参考文献 6条 1 贺爱萍 用中位数考察考试成绩更合理 期刊论文 西北医学教育 2007 02 2 陈熙 吴成秋 贺栋梁 试卷分析与评价的指标体系及其应用 期刊论文 西北医学教育 2006 05 3 白晓明 陈国明 叶成华 考试命题与试卷分折 2003 4 黄颖 林端宜 试卷分析研究现状综述 期刊论文 西北医学教育 2005 01 5 张竿 汪利 丁国勇 高校课程试卷分析的管理创新 期刊论文 中国大学教学 2005 09 6 张琼 试卷质量的分析 期刊论文 高教论坛 2004 04 相似文献 10条 相似文献 10条 1 期刊论文 胡宁 HU Ning 试卷分析系统的研究与分析 开封大学学报2009 23 1 论述了试卷分析系统开发的意义 目标 分析了衡量试卷质量的各种指标以及系统功能和性能方面的需求 为试卷分析系统的研究提供了参考 2 学位论文 方辉 高校试卷分析系统的设计与实现 2009 让学生全面发展 使学生全部成才 是渤海大学的办学目标 要达到这个目标的前提就必须提高教学质量 现阶段作为各高校使用最为普遍 也 是最重要的提高教学质量的方法 就是利用试卷分析系统对考试试卷进行科学的分析和研判 以往我校对于学生试卷的分析工作主要是通过计算器手工操作完成 只简单的计算学生的平均分 及格率 优秀率 填写完表格后 打印后上交存 档 因此 在分析试卷时由于提供数据指标过少 既不能对试卷进行全面科学的分析 又不利于今后的查找 而且 分析试卷这项工作任务非常繁重 耗时多 由人工完成 效率非常低 开发试卷分析系统 能够很好的解决上述问题 在节省了大量人力 物力的同时 还能够依据教育学 统计学的 原理科学细致的对考生试卷进行分析 通过对试卷的分析结果找出教学中存在的不足 从而提高教学质量 在开发渤海大学的试卷分析系统时 我们根据校园网现有条件 采用C S B S混合结构进行开发 对于需要交互性强 可靠性高 有较强的事务数 据处理能力的试卷分析部分采用C S结构开发 功能包括 试卷信息 学生成绩信息 试卷分析等 而交互性较低的数据查询操作采用B S结构开发 功 能包括 日程安排查询 任课情况查询 成绩及试卷分析数据查询等 系统开发工具前台采用VB JSP 数据库是Sybasc WEB服务器是Tomcat 并组合网 络开发方案进行设计 本文详细的介绍和描述了渤海大学试卷分析系统的开发和设计过程 并在最后通过图例阐述了系统如何进行的试卷分析 以及本系统中各模块的详 细功能 渤海大学试卷分析系统已经开始运行使用 通过上一学期的实际运行效果来看 在试卷的分析和数据共享方面还是起到了明显的效果 3 期刊论文 章永 论高等学校的试卷质量分析 以 心理统计学 课程为个案 乐山师范学院学报2009 24 7 文章以我校心理学本科专业期末考试试卷为例 阐述试卷质量分析的基本过程和步骤 以及测验题目难度 区分度分析 测验信度 效度 分析的基本方法 并强调试卷分析最根本的含义是指对试卷的质量进行系统的分析 而不仅仅是考试结果分析 试卷分析的目的是评价作为鉴别学生学业成 绩的测量工具的质量 并为进一步修改测验试题 优化试卷 不断提高试卷质量提供有效的依据 只有当一个测验的质量达到了一定的标准以后 对被试学 生测验结果的情况分析才有其实际意义 4 期刊论文 郭瑞林 刘亚飞 王景顺 GUO Rui lin LIU Ya fei WANG Jing shun 试卷质量的同异综合评价与分析 世界华商经济年鉴 高校教育研究2008 2 运用文献 1 2 提出的同异综合评判方法 对安阳工学院生物与食品工程学院2005 2006年度第二学期的考试试卷质量进行了分析 从中找出了各试 卷质量方面存在的问题 提出了试卷质量改进意见 在此基础上 肯定了这种评判方法的可行性 5 学位论文 陈秋萍 上海生物高考试卷的分析研究 2006 针对 应试教育 的弊端 中国于20世纪80年代提出了 素质教育 随着时代的发展 素质教育的内涵不断丰富 为了顺应社会发展趋势 我国 进行了第八次课程改革 这次课程改革的着眼点是 为了中华民族的复兴 为了每位学生的发展 这次课程改革要求基础教育的课程体系 学生的学 习方式和教师的教学方式都发生根本的变革 我国高考对中学教学有很强的引导作用 高考要有助于中学实施素质教育 引导中学教学更好地体现课程改革的要求 高考的内容就要体现课程改 革的新理念 改革后高考命题的指导思想是 以能力测试为主导 考查学生对所学的相关课程的基础知识 基本技能的掌握程度和综合运用所学知识分 析 解决实际问题的能力 实行 3 X 高考以后 生物学重新进入高考之中 上海市的生物高考试卷有其自身的特点 因此分析上海生物高考试题 总结经验 既有利于自身 的发展 也可以给别人一些借鉴 深入分析了上海市老版生物教材和上海生物高考试题 同时查阅了相关的理论和试题分析资料 对素质教育 标准化 考试和命题理论有了一些了解 然后对一些命题老师和中学教师进行了访谈 在此基础上对试题进行归类 分析研究试题的特点 本文首先论述了相关的理论 理论基础分为三部分 第一部分为素质教育 论述了在课程改革背景下 中学教学方式和学习方式的变革 以及创新教育和主体教育对实施素质教育的意义 第二部分为教育目标分类理论和命题理论 在教育测量和评价的视野下 论述了教育目标分类理论 进而介绍了生物学课程目标 命题理论主要介 绍了选择题和简答题的命题原则 生物试卷的编制以及生物试题和试卷的分析 第三部分介绍了标准化考试理论和高考改革 从标准化考试的内涵 标准化考试的设计步骤和标准化考试的实施步骤三个方面介绍了标准化考试 使得对标准化考试有一个全面的了解 然后简述了美国 日本和法国三个国家以及我国现行的大学入学考试制度 在接下来分析了2005年上海生物高考试卷 从试题的难度 区分度 试卷题目编排和试卷考查的内容四个方面对2005年上海试卷进行了总体分析 通过选项分析和试题特征曲线分析了选择题的特点和反映的教学问题 对简答题分析了考查的内容和能力 最后总结了2005年上海生物高考试卷的特点 即注重对基础知识 实验和各种能力的考查 最后纵向分析了2000 2005年的上海生物试卷 将简答题分为细胞 生物体的功能 遗传 生物与环境 人体 实验内容六个部分来讨论 通过归类 分析了各部分内容的命题重点和命题趋势 重点分析了选择题考查的内容和能力 最后总结了这六年来上海生物高考试卷体现的特点 提出了自己的 一些思考 6 期刊论文 李方满 关于试卷与试题的分析 肇庆学院学报2003 24 5 在水平测试和考试中 由于只是用简单的试卷分数识别 确定被试者的水平 有时会出现因试题和试卷的科学性较差或不合理性 影响了测试水平的评 估 如果采用本文方法对试题和试卷进行分析 可有效地避免上述问题发生 更客观地评定被试者的水平 7 期刊论文 罗遐 关于高职商务英语听说测试的几点思考 兼分析我校一份商务英语听说期末试卷 考试周刊 2009 29 本文作者通过对一份期末试卷的分析 对商务英语听说测试进行了思考 同时也提出了一些设想 使其能更好地发挥对教学的反拨作用 8 期刊论文 朱继民 李白坤 汪婷婷 ZHU Ji min LI Bai kun WANG Ting ting 医学统计学试卷的信度与效度分析 国际医学寄生虫病杂志2010 37 1 目的 分析医学统计学试卷的信度与效度 为评价试卷质量提供科学依据 方法 以某高校2005级骨伤班学生为研究对象 收集2008 2009学年第1学期医 学统计学等7门课程的成绩 以邓小平理论等6门课的成绩为参考 运用SPSS11 0软件对医学统计学考试成绩进行分析 结果医学统计学试卷的难度为 0 76 区分度为0 32 克朗巴赫 系数为0 62 标化 系数为0 65 效标效度为0 50 区分效度佳 P 0 001 结论 该试卷具有良好的信度和效度 是一份设计 合理的医学统计学试卷 但仍有改进的空间 9 期刊论文 王美华 杨德贵 WANG Mei hua YANG De gui 试卷评价系统算法设计与分析 昆明理工大学学报 理工 版 2006 31 1 分析了试题库组织结构和试卷的评价指标 对现行利用试题库自动生成的试卷的质量评价存在的主观性 后效性等问题进行了分析 考虑到试题的 知 识点不重复 题型 难度系数等多项评价指标 提出了试卷评价系统的调优算法