试卷质量分析漫谈.ppt

试卷质量分析漫谈,考试中心,目录,一、考试和试卷二、高质量试卷的基本要求三、决定试题质量的主要因素四、试卷质量分析的目的和意义五、试卷质量分析的内容六、工作进度和基本要求,一、考试和试卷,考试是各类各级教育管理机构了解教学状况、对学生的学习目标达成度给予认定的重要手段，也是一种对教、学的阶段性效果的评估手段。历来是选拔人才和认证资格的公认工具。作为考试载体形式的试卷的质量对于教育和人才的质量控制有着至关重要的作用。,教育部2007年启动实施“高等学校本科教学质量与教学改革工程”（简称质量工程）,创造安全、便捷、高效的考试平台。-2007年高教1号文件,教育部2007年启动实施“高等学校本科教学质量与教学改革工程”（简称质量工程）,“进一步完善高等学校的内部质量监控和评价体系。完善教师、院系、学校三级质量保障机制，逐步建立保证教学质量不断提高的长效机制。”-2007年高教2号文件,本科教学工作评价指标体系,5.5质量控制5.5.2教学过程质量监控A级指标：“监控体系完善，能及时对主要教学环节和教学阶段进行检查、调控，效果明显。”5.5.3试卷质量与考核方式A级指标：“试题库完善，试卷质量高；考核方式符合课程要求，有利于提高学员的综合素质。”,二、高质量试卷的基本要求,先决条件：建有一个数量庞大、质量优异的试题库是使得试卷质量高的先决条件。基本要求：客观、科学、公正、有效是对考试也是对试卷的基本要求。,三、决定试题质量的主要因素,命题命题必须熟悉和明确考试的内容领域和相应的行为目标。内容结构领域即不同方面知识的比例划分，行为目标即认知程度的设定。命题的核心问题是测量什么（即考试内容范围的确定）、如何测量（讲的是题型的选定）以及数量多少（包括总题量和上述各考察项目的具体数量）。试题的生命在于试题本身能够提供的信息量的大小，它和试题质量紧密相关。因此，命题时必须十分关注试题背景材料的选定。,三、决定试题质量的主要因素,组卷影响试卷质量除试题本身给出的内容和指标外，还应该包括组成试卷后整体质量的评估指标体系，它们是试卷的考试重点内容覆盖面、试卷的题量和难易度是否和考试时间适配、试卷的规范性、制卷过失率以及与测试目标的符合程度等项目。就我们多年教学督导的结果来看，组卷方面的不足也不可忽视。,四、试卷质量分析的目的和意义,目的：1主要是通过考试结果的实际数据来做出学生成绩分布曲线，以及对分组成绩的相关性分析来评价本次考试、试题以及组卷的信度、效度、难度和区分度等赋值。2利用试卷的质量评价综合指标来校验组卷时的设计方案的符合程度，并根据这种偏离来确定是否需要对评分予以调整，并确定是否需要对试题的属性指标作必要的修正。3从试卷质量分析入手，做好教学质量的评估、反馈和控制。,四、试卷质量分析的目的和意义,意义：无论是试题还是试卷的质量指标，都是需要通过考试的结果作为基本数据来确定的。此外。我们还可以从考试结果的实际数据来分析知识点、学科整体的教和学两方面的成绩与不足，给出评价性意见。横向比较学生其它学科和同学科其它学生的学习情况，以及纵向比较近几年的分析结果对教学质量给出建议性结果。总之一句话：试卷质量分析是提高教学质量的长效机制的重要组成部分。,五、试卷质量分析的内容,试卷的质量分析主要包括两方面的内容：试卷质量的统计性分析以及教学质量的诊断和可能性分析。目前对前者的研究相对地还比较充分，而对后者的研究和应用则欠缺得多。究其原因主要有两条：一是缺少指标体系，二是缺少功能执行主体。我们对前者主要是介绍统计学方法在教育测量学方面的应用，对后者主要是根据我们的教学经验和理论学习提供一些建设性意见，供大家参考。,五、试卷质量分析的内容,统计性分析：信度、效度、难易度和区分度是教育测量学的质量评价的常用统计学指标，有着严格定义而且规定了相应的计算方法和公式。试卷质量分析的基本依据也主要采用这四个指标。下面我们仅只介绍它们的内涵，而省去了计算方法和公式的讨论。,信度和效度,信度和效度是对考试成绩的期望值与真值偏差的概率评价分析。效度是对总误差，特别是系统误差的赋值和评价。它的内涵是通过此考试所得结果而对教学效果的认定或相关推断适当、有效程度的概率。二者均是统计学结果（不受系统和偶然偏差影响的程度）的表征，它们的取值区间均为0，1，数值越大越佳。,信度和效度,信度和效度是对考试成绩的期望值与真值偏差的概率评价分析。设考试成绩为X，真实值是T，那么考试结果存在着随机误差Ep和系统误差Es，四者的关系是X=T+Ep+Es。而信度是对随机误差大小评价的赋值，它是对此考试和除它之外的同一目标的其他考试（无论是否已实施）一致程度的评价。实践表明，信度评价的重点是对影响因素的分析，而不是获得信度。,难易度和区分度,试题的难易度可以用答对该试题考生占总数的纯小数值来表示。中等难度的数值在（0.3-0.8）,把易答题控制在20%，难答题在10%以内较妥。区分度是对学习目标达成度区分能力的鉴定指标。方法是把考试成绩分成优、中、差三组（客观题按对错只分成优差二组），把优、差的得分值（比例）的差与平均得分（答对率）的比值作为区分度；区分度的赋值以适中为好。,试卷的质量评价综合指标,所有题目的某指标的加权平均值即为试卷的该项指标；试卷四项指标的加权平均值即为试卷的质量评价综合指标。虽然对试卷质量评价的统计学指标可以只用一个，但是它又是所有试题的四个指标的加权平均值。,五、试卷质量分析的内容,诊断和可能性分析：试卷的考试重点内容覆盖面、试卷的题量和难易度是否和考试时间适配、试卷的规范性、制卷过失率以及与测试目标的符合程度、锚题的设置是否有效等。注：为了“校准”试卷测试系统的一致性，并为未来的分数调整、教学质量的纵向和横向比较提供尽可能相同的标准，在试卷中要安排一定数目的“锚题”。锚题或称共同参照试题，顾名思义就是在同一测试目标下在不同批次的试卷中共同的试题（可能在形式上略有变动）。,命题依据,依据学校颁发的人才培养方案和教学计划、针对学科特点、课程标准、使用主教材及课程教学实施计划合理进行。,命题思想,对本课程的考核要全面、有效、符合因材施教的实际，能反映课程学习达标的基本要求。试卷命题既要反映教与学的重点，又要照顾全面；既要能检查学员对基本概念和基本知识的理解应用能力，又要考核其运用已学知识综合分析问题的能力。,题型题量,题型要多样化，有利于承载试题信息、设置疑问，测量学员对各考点的理解深度、掌握广度和应用活度。总题量和各种题型所占比例适当，要使中等程度的学员在规定考试时间内能完成全部的答题并留有一定的检查时间。,内容分布,试卷内容分布要体现总体的教学目标，对教学重点要有所侧重，对教学难点要有所涉及，对于课时分配较少的了解层次的常识性内容的试题数量相对较少。试卷中掌握、熟悉、了解等各层次要求的内容分布分别为70%，20%和10%。章节覆盖率要达到80%左右，知识点覆盖率要达到70%。,测量指标,教育测量学的基本指标信度、效度、难易度和区分度的设置合理。建议难：较难：中等：较易题量的比例大致为1：3：4：2；难度系数在0.3-0.8之间，区分度适当，信度和效度较高。,其它项目,1.根据课程特点，主客观试题比例、定性定量试题比例合理。2.使用的试卷要求格式规范、卷面清晰、语法书写出错率低。3.各试题之间彼此独立，表达明确、简练，不会出现歧义。4.试卷要有答案以及准确、全面、合理的评分标准。5.近三年内考题的复用率不超过总量的15%。6.要在试卷中设置数目适当的“锚题”，以便作信度和效度等分析。7.要能确定非常重要问题试题（vip），或特别具有分析价值的试题。,六、工作进度和基本要求,试卷质量分析是系统工程中的一部分，也是我校有待加强的工作内容之一。工作需要分层次、分阶段的进行。关键在领导、科室是基础，考试中心应该发挥抓总、规划指导、总成的重要作用。整个工作大致可分成动员、计划指导、验收总成、分析报告四个阶段。原始数据由各教研室组织教员认真完成（原始数据的收集和格式见下面附表和说明），部院系作整体验收、电子归档，在考试中心指导下写出各自的分析报告，考试中心完成总成结构和整体分析报告，整个过程有检查验收。具体工作的进程从这次期末考试开始，前推一学年，按照规定的内容和任务，力争在本年十月底前完成，把电子文档上交考试中心，并由考试中心归总成文存档于教学评估办公室。总体完成期限为年底。力争下