考试规范化操作及题库建设 - 海南医学院

考试规范化操作及题库建设,马志健,授课内容,一、课程考试的现状分析二、试卷分析及其基本方法三、学校考试相关规定四、考试规范化操作-以考易为例五、教务管理系统应用介绍,一、课程考试的现状分析,1、考试目的的定位2、考试的形式与方法3、考试的内容4、考试的时机5、考试的管理6、存在的问题,1、考试目的的定位,传统观点：检查教学效果、检验教学目标实现程度、改进教学工作、提高教学质量。基本功能：即信息反馈，成绩检测，导向功能。新的观点：更重要的是要用于引导、激励和促进学生提高学习能力和基本素质。,2、考试的形式与方法,(1)闭卷考试占据绝对的主导地位“以传授知识为中心的传统教育”的核心，能较好体现考试的公平性、公正性和严肃性,而且考试的组织实施比较容易,阅卷比较省时,但是它往往不能准确反映学生的真实水平。(2)其他形式的考试多不成熟或不经济如口试、讨论会或报告会形式、分段式考试和半开卷式等,有待进一步完善和提高。,3、考试的内容,重理论测试,轻综合能力考试。侧重于知识型试题,要求记忆量大,不能有效将书本知识变为学生的知识源。从试题类型来看,考试题型单一,选择题、判断题、概念和理解等低层次的较多,而运用、综合、评价等考核学生综合能力型的高层次目标的题型较少。,4、考试的时机,普遍将考试放在学期末或在一门课程结束时集中考试，导致学生“平时不用功,临时抱佛脚”。一次考试来完成对一门课学习效果的评价往往不够客观和全面。应增加平时考试次数,强化平时测验的作用,提高学习效果。,5、考试的管理,有考试规定,但不够完善,或执行不够。考试管理的重点放在考场的管理和考试成绩的管理上,而对教师的命题、阅卷和考试结果的分析处理缺乏要求或要求放松。考试结束课程学习结束了, 特别是期末考试,面临寒暑假,多数教师把分数改出来一交了事。,6、存在的问题,一是考试命题一定程度地脱离教学大纲,限制了考试对教学质量检验的客观性和有效性。如少数教师对考试重视不够,命题不够准确或是命题数量较少涵盖性不够,考试有时一定程度上是对课堂笔记的重现,达不到检验教学质量的目的。,6、存在的问题,二是考试规范化程度有待进一步提高。如试题库建设未能考虑教学实际、生源实际及各专业的要求进行一定程度地细化,实行“一刀切”,使教、考分离未达到应有的效果。如考试卷面评分偏离正态分布,分数有时存在“贬值”,或“升值”现象,限制了考试对学生自觉学习的激励和促进作用,不利于学生学习能力的发展。,6、存在的问题,三是考试中记忆成分所占比重较大,善于记忆和努力记忆的学生获得高分,鼓励机械记忆,不利于学生的能力和技能培养以及对知识和能力的结合。“高分低能”、“考前突击”、“女生高分”等不正常现象的诸多原因中,考试中记忆成分所占比重较大是重要原因之一。,6、存在的问题,四是考试方式较为单一,较多地依靠闭卷考试,未能充分利用诸如开卷、测验、口试、讨论、网上考试、论文报告等多种考核手段。这样就使得一些能力性考核的内容受到了限制,也限制了学生创造思维和动手能力的培养,尤其不适合于一些专业性课程和前沿性课程。,6、存在的问题,五是存在一次考试定成绩的现象,主要表现在期末考试占总成绩的比重过大,凭期末一纸试卷定优劣,助长和导致了“考前突击”。这样做的直接后果是造成了学生对平日学习的忽视,使学生的学习处于非正常的功利性状态中,违背了学习的初衷,直接影响到学生学习自觉性和创造性的培养。,6、存在的问题,六是部分考查课及本科毕业论文设计的考核有待改进。这主要表现在某些考查课的考核缺乏明确要求,考察不够严谨,本科毕业论文设计的答辩方式及答辩质量不尽如人意等方面,使得该方面的考核往往流于形式,达不到应有的效果。,6、存在的问题,改革课程考试制度,提高教学质量已成为目前医学教育界亟待解决的课题。考试对学生的学习活动,不仅表现在对学习内容的选择,还会对学生的学习方式产生很大的影响。必须高度重视“试后管理”。,二、试卷分析及其基本方法,1、为什么要做试卷分析？2、试卷分析的四个度3、试卷分析的内容 4、试卷分析实例,1、为什么要做试卷分析？,试卷分析对于教师来说早已是司空见惯的事，譬如统计本班考试的平均分、及格率、各分数段分布等等。“试卷分析”的重要功能是根据发现的问题，寻找产生的原因、寻求解决的办法。换言之，用数据说话，而不是凭感觉下结论。“试卷分析”是给教师自己“看”的。 “试卷讲评” 是面向学生进行的、着重于反馈与更正的一种教学行为，即是给学生“看”的。,2、试卷分析的四个度,（一）难度（二）区分度 （三）信度 （四）效度,（一）难度,难度是指试题的难易程度，指应试者解答试题的难易程度，是描述性语言。 难度系数：“难度系数”也可以理解成“容易度系数”，是01之间的量值，难度系数越大，说明题目难度越小。一般认为，试题的难度指数在0.30.7之间比较合适，整份试卷的平均难度最好在0.5左右，高于0.7和低于0.3的试题不能太多。,（一）难度,难度的两种定义：（1）P=x/w x为某题得分的平均分数，w为该题的满分。这种定义法，难度值小时表明试题难，值大时表明试题容易，最小值为0，最大值为1。（2）P=1x/w这种定义法，难度值小时表明试题容易，值大时表明试题难，最小值为0，最大值为1。,（一）难度,难度的计算：（1）主观性试题的难度A 基本公式法：P=x/w x为某题得分的平均分数，w为该题的满分。B 极端分组法： P= (XH+XL)/2W XH：高分组的平均得分（前27%），XL：低分组的平均得分（后27%）。,（一）难度,（2）客观性试题的难度A 基本公式法：P=R/N R 为答对人数，N 为全体人数。B 极端分组法：P=（PH+PL）/2PH=RH/n 叫高分组通过率，RH：高分组答对人数，n：总人数的27%。PL=RL/n 叫低分组通过率，RL：低分组答对人数。,（一）难度,3、整卷难度和单题难度整卷难度系数计算公式：P=A（试卷平均得分）/T（试卷满分）；单题难度系数计算公式：Pi= Ai（第i题平均得分）/Ti（第i题满分）。,（一）难度,4、期望难度与实际难度。期望难度：命题时预设的难度系数。譬如：选拔性考试一般为0.55左右，水平性考试一般为0.800.90，平时考试一般为0.700.75。实际难度：是应试者考试的结果，与应试者实际学业水平有关。通过比较“期望难度”和“实际难度”，可以了解教师教学重点把握情况；可以了解学生掌握知识的真实情况，譬如教学目标的达成水平、模块掌握水平、某种题型的解题能力等一系列问题。,（二）区分度,区分度是区分应试者能力水平高低的指标，反映了试题对考生素质的区分情况。试题区分度高，可以拉开不同水平应试者分数的距离，使高水平者得高分，低水平者得低分，而区分度低则反映不出不同应试者的水平差异。,（二）区分度,1、区分度指标的评价： -1.00D+1.00。一般区分度指数高于0.3，试题便可以被接受。D0.4时区分作用很好；D0.2时，区分性很差。D值为负数时，说明试题或答案有问题。区分度和难度关系密切。太难、太易的题目，区分度都不很好只有中等难度的题，区分度才比较好。区分度高，则该测试的信度必然理想，因此提高区分度是提高测试信度的方法。,（二）区分度,2、区分度的计算方法：选取高分组（试卷总分得分最高的27%应试者成绩）和低分组（试卷总分得分最低的27%应试者成绩）基本公式法：D（HL）/ND代表区分度指数，H代表高分组答对题的人数，L代表低分组答对题的人数，N代表一个组的人数即高分组与低分组人数之和。,（二）区分度,极端分组法：（1）主观性试题：D=（SHSL）/n（WH-WL）SH:高分组得分总数，SL：低分组得分总数，WH：该题的最高得分，WL：该题的最低得分，n为高分组（或低分组）的人数，即总人数的27%。（2）客观性试题：D= PHPL ,或D=（RHRL）/nPH=RH/n 叫高分组通过率，RH：高分组答对人数，n：总人数的27%。PL=RL/n 叫低分组通过率，RL：低分组答对人数。（3）整卷区分度: D=（XHXL）/X满 计算。XH：高分组某试题的平均分，XL：低分组某试题的平均分，X满：该题的满分。,（三）信度,信度是指测得结果的一致性或稳定性，稳定性越大，意味着测评结果越可靠。和信度相关的一个概念是效度，信度是效度的前提条件。信度只受随机误差的影响，随机误差越大，信度越低。因此，信度可以视为测试结果受随机误差影响的程度。系统误差产生恒定效应，不影响信度。,（三）信度,测试的信度主要涉及到试题本身的可靠性和评分的可靠性这两个方面。试题本身是否可靠主要取决于试题的范围、数量、试题的区分度等因素；评分是否可靠则要看评分标准是否客观和准确。,（三）信度,测试的信度通常用一种相关系数（即两个数之间的比例关系）来表示，相关系数越大，信度则越高。当系数为1.00时，说明测试的可靠性达到最高程度；而系数是0.00时，则测试的可靠性降到最低程度。对信度指数的要求因测试类别的不同而不同，通常对标准化测试的信度系数要求在0.90以上，例如“托福”的信度大致为0.95，而课堂测试的信度系数则以0.70-0.80之间为可接受性系数。,（三）信度,1、评价信度的方法：（1）重测法。用同一套试卷在两个不同时间内来测试同一批受试者，这样便获得两组分数，然后计算出两组分数的相关系数。在两次测试中，学生第二次的测试成绩理应比第一次的要高，因为在第二次测试时学生已经有了进步而且临场经验也更丰富了。但是若该试题是比较可靠的，每个学生在两次测试中的排名次序应该是基本不变的。,（三）信度,1、评价信度的方法：（2）交替形式法。对同一批受试者使用试题类型完全相同，难易程度相当，但具体题目不同的两套对等试卷先后进行两次测试，然后计算出两次得分的相关系数。,（三）信度,1、评价信度的方法：（3）对半法。测试只进行一次，但将整份试卷的题目按单、双数分成两组来分别计分，算出两组分数的相关系数。,（三）信度,2、信度的指标（1）信度系数大部分情况下，信度是以信度系数为指标，它是一种相关系数。常常是同一被试样本所得到的两组资料的相关，理论上说就是真分数方差与实得分数方差的比值，公式为：r(xx)=S2(t)/S2（x）,（三）信度,2、信度的指标（2）测量标准误 信度系数仅表示一组测量的实得分数与真分数的符合程度，但并没有直接指出个人测验分数的变异量。我们可以用一组被试两次测量结果来代替对同一个人的反复施测，于是有了信度的另一个指标，公式为： SE=S(x)1-r(xx) SE为测量的标准误，S(x)是所得分数的标准差，r(xx)为测验的信度系数测量的标准误与信度之间有互为消长的关系：信度越高，标准误越小，信度越低，标准误越大。,（三）信度,3、影响信度的因素（1）样本特征 样本团体异质性的影响，以及样本团体的平均能力水平的影响 （2）测量长度 一般来说，在一个测试中增加同质的题目，可以使信度提高。,（三）信度,3、影响信度的因素（3）测验难度 理论上说，只有测验难度为50%时，才能使测验分数分布范围最大，求得的信度也最高。事实上，难度为0.50只适合于简答型题目，对于选择题目由于猜测因素，难度值应当提高。理想平均难度为：五择一测，0.70；四择一测，0.74；三择一测，0.77；是非题。0.85 在实际情况下，难度水平通常适用于中等能力水平的被试，而对较高水平的被试和较低水平的被试可能较易或较难，使得分数分布范围缩小，信度水平降低,（四）效度,效度是一个测试能够测试出它所要测试的东西的程度，即测试结果与测试目标的符合程度。任何测试工具，无论其它方面有多好，若效度太低，测试的结果不是它要测试的东西(如用英语试卷测试学生的数学能力)，那么，对目前所要测试的东西，这个测试将是无价值的。效度是一个相对概念，即效度只有高低之分，没有全部有效和全部无效之分。,（四）效度,测试的效度一般可分为以下几类： 1）表面效度2）内容效度3）编制效度4）经验效度,（四）效度,1）表面效度。指测试应达到的卷面标准，即一套测试题从表面看来是否是合适的。例如，若一次阅读理解力的测试包括许多受试者没有学过的方言词汇，则可认为这次测试缺乏表面效度。表面效度是测试出受试者正常水平的一种保证因素。,（四）效度,2）内容效度。指一套测试题是否测试了应该测试的内容或者说所测试的内容是否反映了测试的要求，即测试的代表性和覆盖面的程度。例如，如果某一套发音技能测试题仅仅考查发音所必须具备的某些技能，如只考单一音素的发音，而不考查重读、语调或音素在词语中的发音，那么，该测试的内容效度就很低。,（四）效度,3）编制效度。指一套测试题的诸项目对编制该测试所依据的理论的各个基本方面的反映程度。例如，以结构主义语言理论为基础，认为系统的语言习惯是通过句型而获得的，那么，强调词汇和语法环境的测试题目就失去了编制效度。,（四）效度,4）经验效度。经验效度是一种衡量测试有效性的量度，通过把一次测试与一个或多个标准尺度相对照而得出。经验效度可分为两种：一是共时效度，即将一次测试的结果同另一次时间相近的有效测试的结果相比较，或同教师的鉴定相比较而得出的系数；二是预测效度，即将一次测试的结果同后来的语言能力相比较，或是同教师后来对学生的鉴定相比较而得出的系数,（四）效度,一般来说，对某次测试的效度进行检验时，除了要根据教学大纲的要求和观念有效性的理论对试卷的内容进行考查以外，还须采用计算相关系数的定量方法，即计算出本次试卷与另一份已被确定能正确反映受试者水平的试卷之间的相关系数。 系数高则有效性大。课堂测试的效度应在0.4-0.7之间，规模较大的测试其效度应在0.7以上。,3、试卷分析的内容,1、整卷难度分析：了解难度把握（平均分）、离散程度（标准差）、分数段分布（正态分布）、试题得分分布（期望难度的布局与实际情况的差异）。,3、试卷分析的内容,2、难度层次分析：通过对“容易题”、“稍难题”、“较难题”的得分情况分析，了解学情把握、教学定位是否准确等问题。,3、试卷分析的内容,3、知识结构分析：通过对知识板块得分情况分析，了解学生知识板块的掌握结构以及教学目标达成情况。,3、试卷分析的内容,4、题型得分分析：了解“选择题”、“填空题”、“解答题”等题型的解题能力水平。,3、试卷分析的内容,5、命题质量分析：考察试题区分度，了解试题质量以及考试结果的信度水平。,3、试卷分析的内容,6、相关性分析：通过研究某些特性的个体与整体的相关系数，进行该特性的个体差异性分析，如女生群体与整体的相关性分析。,4、试卷分析实例,总评成绩试题分析试卷总体分析考后成绩分析统计个人成绩分析,三、学校考试相关规定,1、考试相关制度2、目前执行考试流程,1、考试相关制度,海南医学院关于学生违反考场纪律、考试作弊处理的暂行办法海南医学院考试证制度海南医学院考场规则海南医学院考试命题与评卷暂行办法海南医学院关于课程成绩的报送及查卷暂行办法海南医学院试卷交接、印刷、保管及保密措施海南医学院监考员职责海南医学院考场巡视员职责海南医学院监考执行指令关于考试命题、考风考纪工作的补充规定海南医学院评卷、成绩分析与答卷、毕业论文保存要求海南医学院学生考试成绩统计分析,2、目前执行考试流程,一、 考试时间：考试课程考试时间一般集中在第19、20周；结课较早的课程可适当提前安排考试。考查课程由教研室自行安排，须在18周前结束。,2、目前执行考试流程,二、考试资格审查：平时成绩不及格者不得参加相应课程的期末考试。各教学单位在第17周将学生平时成绩录入青果系统，同时填写考试资格审查表把不具备考试资格的学生情况报送考务科。,2、目前执行考试流程,三、考试命题：1、考试课程命题前，教研室要设立课程考试命题小组，指定命题负责人根据授课计划制定命题方案（双向细目表），在经二级学院审核后于第17周由教学秘书统一报送考务科。2、各教学单位于课程考试前7天将五套试题派命题人送交考务科，教务部在随机抽取试卷后将约请命题老师到考务科校对试卷。,2、目前执行考试流程,四、考试注意事项：1、巡视员、监考员于考试前半小时到教务部签到，领取考务用品及试卷。考务人员须在开考前20分钟到达考场。2、主监考员在考试前宣读考场纪律，辅监考员负责清场工作。如在考试过程中发现学生违纪、作弊情况的要及时通报巡视员做进一步处理。3、开考15分钟后不再准许迟到考生进入考场考试，开考30分钟后才准许考生交卷离场；离考试结束有10分钟时，监考员应提醒学生剩余时间。,2、目前执行考试流程,五、成绩报送：1、选修课程网上录分工作完成时间为第18周，必修课考查课程网上录分工作完成时间为第19周，考试课程录分工作完成时间为学生全部考试结束后七个工作日内。2、各学院教学秘书应在第二学期开学后一周内将各学院纸质成绩册一式两份按课程、年级、班级分类整理、汇总后交教务部考务科。3、纸质成绩应有授课教师、教研室主任和学院主管教学副院长签名确认并加盖教研室和学院章。综合成绩不合格应用红笔标明；考试课程必须附有成绩分析；纸质成绩分数不得涂改。,2、目前执行考试流程,六、其它1、因故不能参加期末课程考试的学生必须在考前2天向考务科提交缓考申请并附相关证明。2、学生可凭校园一卡通或学生证、身份证参加考试，无证件者不得参加考试。,四、考试规范化操作-考易,考易系统由南方医科大学设计，具有专业性、开放性、国际化等突出特点。直接向学生展示听诊和查体的音频、视频资料,还有影像和临床检验结果等可以看到成绩分析报告。教师组卷、监考、阅卷的工作量也大大减轻，考试成绩分析、试卷分析、试题分析、试卷科学组成、试卷的审核等都迎刃而解。,课程负责人考易培训,教研室秘书考易培训,考易系统试用,本学期生理学课程的期中考试、期末考试共组织1000人次参加网络考试。,考易网络题库与考试系统使用,设计研发课程的三级主题词表搭建课程题库框架 录入试题 审核试题 组卷命题 网络判卷,一、设计研发课程的三级主题词表,1、三级主题词表类似于教材中的章、节以及知识点。 2、确定使用层次、题型、考试类别 、应考专