命题的理论与技术.ppt

命题的理论与技术朱行建2009.10武汉,一、命题的基本原则：,1、有利于高校的选拔：,强调试题的区分作用：,a：过易（难度在0.8以上）和过难（难度在0.2以下）的试题都不易区分。,b：整卷要求中等难度（难度为0.55左右），则区分度最高,c：试卷设计应该由易到难，体现对高，中，低不同组的区分。,试卷长度：与录取率相当，即全体考生大约有60%的考生可以按时完成。主要考虑到文字的阅读量、书写量及思维量。,2、有利于中学教学：整卷难度不易过大，控制在0.550.60的难度。,试题的内容（知识）不超出教学大纲的要求。但又不拘泥于大纲，指能力要求比教学大纲中规定的要高,试题设计应贴近学生的生活实际。,试题应反映学生在学习中的常见错误。,应设置一些情境新颖的试题，考查考生独立分析问题与解决问题的能力，以起到有效遏止“题海战术”。如信息题等。,3、有利于高校扩大招生自主权：试卷设计应能满足不同层次的大学招生，即不同层次学校的分数线应有较大的差距，考生的分数分布不能太集中在一个很小的区域内。这与不同层次学校的录取率有关。,二、命题的基础理论。主要涉及“考什么？怎么考？”,1、学科理论：是考试目标中内容目标的体现，解决考什么内容的问题。主要涉及学科的理论体系。因此试题要依据大纲中的内容要求。要注意其上下限。,2、目标分类学理论：是考试目标中能力要求的目标体现。解决了考什么能力要求的问题。目前，国际上的大学入学考试都是采用这一理论体系，它将人的思维能力分为：认识、领会、运用、分析、综合、评价等层次，构成了能力由低到高的不同层次。各个学科根据学科特点作了调整，因此命题时要了解考试大纲中的能力层次及其确切含义，以便做到以“能力立意”的命题思想的有效落实。,3、标准化考试理论：包括：命题、阅卷、实施及分数解释的标准化。我们所要关注的是命题和阅卷标准化，它是解决怎么考的问题。主要涉及题型的有关理论，因为不同的题型考查的是不同的能力要求，根据学科的特点，采用什么题型以及题型之间如何合理搭配的充分发挥题型的功能效度，考试大纲均作了要求并给出题型的比例，如选择题为43.3%，填空10.7%，解答题46%。对于主观性试题要注意控制其评分误差。如选择、填空、计算等。,三、试卷（题）的质量指标：,1、效度：是衡量试卷质量的重要指标之一，其意义是测量是否真正测出了所测量的东西，亦即考试目标实现的程度。通常是指试卷设计的内容效度、预测效度和结构效度。用来说明测量是否是有效的。如题型结构、难度结构、内容结构等。,内容效度：通俗的话说是测量内容的代表性程度，即内容覆盖率，可分为知识内容和能力要求内容。（通常用知识双向细目表来实行）。,效标关联效度：又称予测效度，是以测验分数和效标之间的相关系数来表示考试的效度高低。如北京师大对78、79年的高考进行了效度分析，以大学一年级的成绩作为效标来检验高考的成绩，计算两者之间的相关系数来说明高考的予测效度，结果发现24个相关系数中只有5个达到显著性水平，特别是其中还出现了6个负值，使我们不得不承认高考总分并不能有效地予测学生进入大学后的学习成绩。再如用学生的平时成绩作为效标，求与高考成绩相关系数，来衡量高考试卷的质量。具体计算可参见有关统计学书箱。,结构效度：是指一个测量能实际测量出理论上的结构的程度。即解释说明分数的定义是什么？简易的结构效度如题型结构、内容结构等。较复杂的结构效度需用因素分析方法。影响效度的因素：试题难度的影响，效标合理，增加试卷长度，试题排列由易到难等。,2、信度：是衡量试卷质量的重要指标之一，其意义是试卷测量的准确程度，所测的误差怎样？即试卷是否可信。通常是指试题的同质性或一致性如何。用系数表示，一般在0.8以上。如近年物理为0.85,北京师大曾对1979年和1980年高考试卷进行统计分析,除1979年物理、数学和1980的化学试卷信度高外，其它各科试卷信度均较低，1981年的政治信度仅为0.317，与要求在0.85以上，差距大的惊人。同时他们随机抽取五个考生的语文、数学、物理、政治四科复印发到二十八个省市、请各地阅卷组评分，结果发现同一份语文试卷最大评分差异达33分，最低差异为13分，平均差异为28.2分，四科评分差异之和竟达63.8分。因此评卷误差控制非常重要。,信度与效度的关系效度高才能是信度高，信度高不一定效度高。因此在处理信度与效度的关系上，首先要保证高的效度。两者可形象的比喻为打靶，集中和准确。,3、标准差：是反映测量的离散程度，即考生水平的差异情况。也说明对不同层次的考生的区分作用。物理为22,试卷（题）的难易程度及试卷的长度对标准差有重要影响。,4、区分度：是衡量试题的质量指标之一，其意义是该题能否将不同水平的考生区分开来。,是试题对考生实际水平的区分程度，具有良好区分度的测验，实际水平高的应该得高分，实际水平低的应该得低分，故区分度又叫鉴别力。它是试题评价最主要的指标。区分度计算是用试题与试卷得分的相关系数表示，通常在01之间，越大越好。通常试题的区分度要在0.3以上。,美国考试专家伊贝尔关于试题区分度的评价标准如表,区分度评价0.4以上优秀0.339良好，如能改进更好0.200.29尚可，需要改进0.2以下劣，必需淘汰,区分度与信度关系：区分度越好，则试卷的信度越高。,区分度信度0.200.630.300.840.400.9150.500.949,区分度与难度的关系，中等难度时，考生分数分布呈正态分布，试题的鉴别力最强难度10.90.70.50.30.10区分度00.20.610.60.20由表可见，当难度为0.5时，区分度最大，这就是试卷难度控制在0.50.55之间的原因。,据北师大研究，19791981年高考有32的试题其区分度在0.3以下，对考生无区分作用。,5.难度：试卷（题）的难易程度。一般用试卷（题）的平均得分率或答对率表示，通常在01之间，值越大，表示越易，值越小，表示越难。一般认为0.3以下为难题,0.30.7为中等，0.7以上为容易.在命题时，通常过易（0.8以上）过难(0.2)以下的题目尽量不出，试卷的难度控制在0.55左右为易。,据北师大研究表明，旧法考试有着诸多不合理的现象,如1979年政治第一大题共10个小题占30分，其难度为0.83-0.99，表明绝大部分考生能回答，这意味着约占1/3的题目对选拔不起作用，同年化学试题共11个题，小于0.3的有7个，0.2以下的有4个显然太难了。,四、试卷与试题的设计技术,（一）、以能力立意的双向细目表：命题是时首先确立考查的能力要求，再选择一定的材料，再设计适当的题型进行命题，如图：,二二）、试题设计：功能与要求：1.试题的构成要素：立意；,（1）立意要正确实现考试目的，体现能力考查的主旨；,（2）立意要准确，每题的考查目标应独立、完整,（3）立意要重点突出，考查目标要有层次和相关性。,情境情境服从立意，根据立意的要求剪裁、选择有关的知识内容。尽量避免无用信息；根据考生的生活经验和理解程度设计情境；（1）情境科学、可信；（2）情境新颖，有相当的信息量和一定深度。,设问（1）围绕立意、根据情境选遍设问；（2）设问针对重点内容并涵盖其他内容；（3）设问方式新颖、巧妙、灵活；（4）设问语言准确、简明、通俗。,考试语言的特点是准确、简明、通俗。避免出现影响答题的罗唆而含义不清的设问。如物理想考查“分析综合能力”（立意）设计一个与生产相联系实际的问题（情景）再进行设问。,答案与评分参考（1）选择题答案要唯一，具有排他性；（2）答案与评分参考的关系要一致；主观题答案要符合解答要求，评分参考应明确。如：只要观点（或结果）对就可以给分，还是因叙述或解答的正确顺序分步给分，或是部分对就部分给分。,（1）评分参考的要求。主观题评分参考要鼓励考生有创见地答题；评分细则可操作性强，易于控制评分误差。,2、试题编制的基本原则（一）科学性原则试题的内容不发生知识性错误是保证测量科学的前提。,（二）准确性原则试题的准确性主要指试题内容与学科测量目标的一致性问题。,(三）（三）公平性原则公平性是指考查的内容，试题选取的素材、参考答案和评分参考要考虑到全体考生，防止编异。如在语文填空题中考查“亳”字，对安徽亳洲的考生就容易答出，而对其它地区的靠生就不公平。,（一）（四）规范性原则主要指试题表述要科学、严谨，应使用语法规范的语言。要使用国家规定的专业术语和计量单位。,3、3试题编制的基本要求,2题干把问题交代清楚，表述准确、简洁、不出现与答案无关的线索；,（一）选择题1题干应包括解题所必须的全部条件，选项不再做条件上的论述；,13.题干与选项内容属同一范畴；,4.题干慎用否定结构。使用否定结构应在否定用词下加着重记号，如“不能”，适当提醒考生，以免在紧张的应答情况下，疏漏了否定结构的关键词；,15.干扰项（错误项）能反映考生的典型错误，且看上去似乎有理，不要错得太明显；,16.正确选项和错误选项都应当在逻辑上与题干一致。正确选项和错误选项长度、结构等尽量相近。,（一（二）非选择题11要测量考生在哪方面的能力，要求考生在解答这道试题时应该有什么样的想法；,2要使每一个考生都能明确试题所提出的问题，不要因题意模糊或用词不当而影响考生回答问题，从而影响测量目的的实现；,13.为了更好的达到能测量考生各种能力的目的，在编制试题时，最好不要照抄书本上的列子和材料。应当使用新材料或采用经过改造的编排方式。,4每道题一般占分比列较大，评卷中容易产生评分误差，以至影响考试信度。因而可以采取一道大题中又分成若干小题，小题之间所有的条件互有联系，但小题的解题过程既可独立也可相联系，尽量不因前面小题的错误影响后面小题的作答。评分也不要“株连”，从而方便评分及减少误差；如实验都为两问,5较难的试题编制，应有一定的梯度，由易到难。,16.在命制试题的同时，还要写出试题答案及评分参考，评分参考，应规定每一个问题的分值，在评分过程中应坚持同样的评分方法。若试题解答并未包括全部解法（如计算题的多种解法），而考生的解答可能不在拟订的答案之内，最好注明其他合理答案也应给分，或注明合理地评分细则；,17.为方便考生解答试题，要遍写好试题的指导语，对每一道试题有什么不同的要求都应当有所说明，防止考生误解而影响成绩；,8填空题要求考生填的空位一般是关键性的内容或文字，若用符号、数字等应有所提示。一道填空题中可以有几个空位，但不能太多；,19.填空题和简答题在一大题中混用，效果比各自单用要理想些；,10.填空题应避免直接使用从教科书原文中去掉某些文字而安排空位的方法。,4.试题难度控制难度控制是根据当年的招生计划录取的群体人数和要求区分的各种层次的大致百分比来决定的。,（一）难度的调节有多种可能因子1是单个还是多个知识点？是单个原理、概念、规则、方法还是多个组合？,2是较为直观的还是抽象的概念？,3信息的形式怎样，是文字、图表还是数字？,4.解题时所有的思维方式属于什么层次？,5要求学生回答时的用语、方式是否容易表达、规范，是直接表达答案，还是需要转换才能表达？,6试题所设情境是否为考生所熟悉、陌生度是否较高？,7.试题所给的新信息是否容易被了解和接受？,8试题是否可能有多个答案，是否要求考生进一步选择最佳答案；,9试题是否已经将可能产生的歧义、误解的各处用说明语作了防止或提醒。,（一）难度估计一般方法是：（1）.根据类似的测试知识点（或块）、类似的测试能力层次的往届实测反馈数据（统计难度）参照后估计。（2）.根据以上9个方面考虑出题目的结构难度。（3）根据有经验的教师估计或部分考生实测（虚拟的小群体中各组得分情况）。,5.试题的功能：,选择题：功能：主要考查理解能力，有利于控制评分误差，内容的覆盖面广、效度高。,填空题：主要考查理解与推理能力，有利于控制评分误差。信度高。,计算题：主要考查分析与综合能力等较高层次的思维。,写作：考查写作表达与交流及评价等能力。试题设计主要是有利于控制评卷误差，不能完全开放，应在一定的条件下适当开放。,常见题型的特点与功能,选择题对陈述性知识的了解对术语和概念的辨析和区分填空/简答题对陈述性知识的了解简单的理解和阐述能力封闭式长试题：计算题对陈述性知识的理解对程序性知识的掌握和运用能力开放式长试题：论证题知识的理解和运用对问题的分析设计、论证和表述能力,选择题的优缺点,优点评分便利，可机器阅卷答案明确，评分误差极小可加大题量，保证覆盖面，控制整卷难度对学生错误回答的判断准确，诊断性能好可针对学生的常见错误设置选项缺点以再认的方式回答，属于较低的思维层次选项对解题思路有明显提示，不适用于考查高层次的能力无法考查表达能力只知答案，不知过程单选题存在较高猜测几率，影响信度和区分度,填空题的优缺点,优点：除简答式试题之外，填空题的阅卷简便、准确、效率高。考查点比较集中。设问方式灵活，可以有一定程度的开放性，可以考查简单的表述能力。考查的能力范围比较广，从简单的记忆到高层次的推理分析、综合、作图、表达能力都可以。缺点：只有结论，看不出解答的思路和过程。只有全对或全错两种结果，不利于区分。试题编制要求比较高，问题要十分明确，以免引起歧义。简答题的评分标准制定比较困难。,计算题的优缺点,优点：尽管从答案看试题是唯一封闭的，但是解答的方法却不唯一、不封闭，考生需要通过对情景的想像、分析、推断和综合，