试题编制技术与试卷质量分析.doc

试题编制技术与试卷质量分析考试命题双向细目表是一种考查目标（能力）和考查内容之间的列联表。制作考试命题双向细目表，是命题工作的一个重要环节。双向细目表可以使命题工作避免盲目性而具有计划性；使命题者明确测验的目标，把握试题的比例与份量，提高命题的效率和质量。同时，它对于审查试题的效度也有重要的指导意义。曹冬柏提供双向细目表是包括两个维度(双向)的表格，细目表也可以是多维的，一般用双向细目表。较常见的有四种：（1）反映测验内容与测验目标关系的双向细目表曹冬柏提供测验内容测曹冬柏提供 验目标合计识记理解应用曹冬柏提供分析与综合创造合计（2）反映测验内容与测验目标、题型之间关系的双向细目表 测验内容选择题简答题证明题应用题分析题合计识记理解识记分析综合应用分析综合、创造合计（3）反映题型与难度、测验内容之间关系的双向细目表 题型题量分数分布难易度覆盖面合计客观题主观题每小题分数曹冬柏提供每大题总分易中难第一章第二章选择题填空题简答题计算题合计100分曹冬柏提供（4）反映题型与难度、测验目标之间关系的双向细目表 题型填空题选择题判断题简答题叙述题合计题数152054246分数 难易程度A8 B7 C D 认知度I8AI7BI5AI II 1AII7BII 4CIII IV 2DIV 合计 注：难易度：A.较易 B.中等 C.较难 D.难度较大认知度：识记理解简单应用综合运用曹冬柏提供一般双向细目表纵向为要考查的内容即知识点，横向列出的各项是要考查的能力，或说是在认知行为上要达到的水平，通常采用识记、理解、应用、分析、综合、评价六个等级。这是按美国教育家布鲁姆(B.Bloom)目标分类划分的，是从最简单的、基本的到复杂的、高级的认知能力。每前一目标都是后面目标的基础。即没有识记，就不能有理解，没有识记与理解，就难以应用。（1）知识（识记）：是对知识的回忆。（2）领会（理解）：是最低层次的理解。（3）运用：是在特定的情况下，对抽象概念的使用。（4）分析：是将交流的内容分解成几个要素或组成部分，以便分清一个事物各要素或各部分的层次关系。（5）综合：是将所分解的各个要素或组成部分组合成一个整体。是对各个要素或各个组成部分进行加工 的过程和进行排列组合以构成一个比较清楚的模式或结构的过程。（6）评价：是为了特定的目的对材料和方法的价值所作出的判断。也就是说，对材料和方法符合标准的程度所作出的定量或定性的判断。布鲁姆认知领域教育目标的这六个层次是从学习过程的理解能力来划分的，它适应于任何一门学科，而且有很高的实用价值。制作双向细目表的程序如下：（1）列出大纲的细目表 （2）列出各部分内容的权重（3）列出各种认知能力(学习水平)目标的权重 （4）确定各考查点的“三个参数”（5）审查各考查点的分配是否合理同时应由命题人员单独、正式地对试题作答一遍，以发现问题，加以改正。命题人员作答时，要注意以下几个问题：曹冬柏提供（1）有效性 （2）时间性 （3）合理性 （4）简明性 （5）准确性 （6）鉴别性（7）独立性 （8）针对性 （9）答案的科学性 总之，制定命题双向细目表是一项非常复杂的工作，应严格遵循有关工作程序开展，以防出错及疏忽。一、填空题命制的技术要求 填空题属于再生式的客观测验。设计填空题的要求：1.问题必须明确，要让考生知道问题中心所在，要填什么。2.每道题的空白处(残缺处)不宜过多，以免影响对题意的理解，太多就失掉意义上的连贯性。3.每道题的空白处应是填有考查意义的关键词语，或是问题的重要内容或字眼，而不是旁枝末节。4.一般应将空白放在句子中间或后部，若放在开头，以不影响对题目的理解为原则。5.一般每道题只有1个空，对于有2个以上空白的题，各个待填答案要相互独立不能有关联。曹冬柏提供6.对于空白处的答案必须确定和唯一7.所留空白的长度要一样。曹冬柏提供8.以空格为基本计分单元，一般要求每个空格赋分相同。 9.尽量避免引用课文的原话，以免导致机械背诵教材的不良风气。同时要避免对答案有暗示作用的词汇。二、选择题命制的技术要求 选择题的解答是一种再认的心理过程。设计选择题时应注意：1.选择题的构成有题干与选择项两部分。所有选择项都必须与题干有所关联(具有逻辑性)。2.为提高测验的效度，特别有关较高级的能力的测验题，应将各选项之间的差异缩小，每个选项都有似真 性。就是说干扰项一定要有效，能反映出典型的错误。3.选择题的选择项中不宜使用重复的词语。4.题干与正确项应避免使用相同的修饰词语，以防给考生提供选择答案的线索。5.题干要求尽量精炼、准确、清楚，要使考生比较容易地了解题目的要求。6.选择项叙述的详略长短，不应成为考生选择答案的暗示因素。7.正确答案与其它所配选择项间插排列，不能有固定位置或次序。 8.文字叙述要避免有所暗示。9.尽量避免用否定句。曹冬柏提供10.题干意义要完整。11.题干的陈述要简单、明确，避免使用不必要的修饰词及过分复杂的句子结构。选择题适合测试的内容较广，其组题方式灵活多变，可从不同角度对其分类。1.辩识选 2.阅读选择 3.最佳选择 4.图解选择5.归类选择 6.承接选择 7.排序选择 8.填空选择三、简答题命制的技术要求 简答题是由一个直接问句构成。设计简答题时应注意：1.答案的叙述要确定且简单2.问题要涉及重要内容3.测验题的陈述要避免提供答案线索4.评分标准应该按点给出分数四、是非题命制的技术要求 是非题是由一个完全的陈述句构成。设计是非题时应注意：1.是非题每题只能包括一个概念2.概念的陈述或对或错均需无争议3.语句结构简单，用词避免晦涩生僻4.要正面叙述，一般不用否定句5.是非题要有足够的量，不宜过少6“是”题与“非”题的数量比例适当，并随机排列7.避免带有强调意味的字词，如“一定”、“常常”、“永不”等五、开放式试题命制的技术要求 所谓开放型试题，是指那些条件不固定，结论不明确，解法无限制，却能反映学生对知识的总结、整合、应用能力的试题. 开放型试题常见有：条件开放型题、结论开放型题、组合开放型题(即条件和结论同时开放)、策略开放型题。 编制开放式试题应注意为教学服务：1.答案可以清楚地看出考生的思路是否科学合理，解答是否新颖，了解考生对问题掌握的程度。2.学生存在的问题出在何处，是属于对概念、原理的理解上的错误，还是由于疏忽造成的失误。3.特别像数理化中一些借助运算得结论的问题，是因为根本不会造成的，还是因为最后一步计算出错而使 结果与标准答案不符等。曹冬柏提供4.在制定评分标准时应体现公平、公正，不能是照顾好学生或是差生。六、对于试题材料选择的几点要求 1.试题材料的选择，要注重思想内涵、文化品味，要注意体现情感态度价值观的导向。2.要注意避免试题情境设置生硬，或脱离客观实际。3.要注意考基础知识不等于考机械记忆。4.注意考知识不等于考生活常识。5.客观题的答案要明确、具体，不能存在争议。6.注意从实际中选取素材，考查学生在实际情境中提取信息分析和处理问题的能力。7.要注意对科学探究能力的考查，引导教学注重探究过程和方法，注重培养学生科学地认识事物、分析现 象和把握规律的能力。七、命题的建议:1.试题立意，体现教育价值；2.试题创新，以考查学生创新意识为本；3.联系实际，增强应用，体现时代性；4.试题设计，体现以考生为本；5.要有一定的覆盖面。第四部分 考试的教育测量学质量特性分析 教育考试的质量特性。从宏观上讲有信度、效度及可用度，从微观上讲，有题目的难度、题目的区分度，以及题目的教学敏感度等。测验的信度测验的信度（reliability），指测量结果或评价结果之间的一致性程度。也就是测量结果是否真实、客观地反映了考生的实际水平。无论是量的规定性，还是质的分析判断，高信度的测验或评价表意味着具有较好的误差控制能力。因此，信度是反映测量或评价表性能的一个重要的质量指标。信度高低可以用信度系数r来表示，其值在0到1之间。具体而言，可以从以下三方面来理解测量的信度。曹冬柏提供信度指实测值与真值相差的程度测量的目的之一，就是希望通过测量得到的实测值能够接近事物的真实值。由于各种原因，实测值一般不会完全等于真实值，两者之差称为测量误差。测量误差越小，测量的信度就越高。用一个等式表示如下：信度指统计量与参数之间的接近程度统计量和参数是统计学中的两个基本概念。统计量是指样本上的各种数字特征（如样本的平均数、标准差等），参数是总体上的各种数字特征（如总体的平均数、标准差等）。统计量越接近参数，这个统计量的可靠性就越高，因此，信度就越高。要知道统计量对参数的接近程度，可以对参数进行区间估计。这种方法对估计真分数也很有用的。但这种理解也无法计算出信度。信度指两次重复测量或等值测量之间的关联程度如果对同一对象进行两次重复测量或者等值测量以后，计算两次测量的相关系数，相关系数越高，说明测量的信度就越高；反之，就越低。对于信度的这种理解，有利于信度的计算。但重复测量会受到被测对象的经验、知识增长等因素的影响，等值测量又较难编制，因此，采用这种方法计算信度时，也是有误差的。曹冬柏提供信度是任何一个测量的必要条件，对于教育测量来说，它具有更为重要的意义。因为教育测量的对象主要是精神现象，所测量的特性不易把握，为了能真实地反映测量对象的某种特点，需要更加注意测量的信度，从而正确地判断测量结果的价值。只有信度高的测量才能成为教育工作者有用的工具，否则，测量的结果是无意义的、无效的。信度的理论公式曹冬柏提供 从以上公式可以看出，随机误差的方差越小，测量的信度就越高.信度的取值范围为0，1，如果测量误差的方差为0，那么，测量的信度等于1，如果测量误差的方差等于观察分数的方差，则测量的信度为0.信度的类型（一）稳定性系数(1)稳定性系数又称重测信度。它是指用同一测验试卷，在先后两个不同时间内对同一组被测试卷，两次 测验实得分数的相关系数。稳定性系数是估量信度最简单的方法，只需用同一份试卷对同一被测试卷 测验两次即可。(2)估计稳定系数的基本程序是： （二）等值性系数(1)当同一测验的一种型式不能或不适合实施两次时，就需要采用该测验的另一平行型测验或者复份。 (2)决定等值系数的方法是。先实施第一次测验，然后在最短的时间内实施第二份等值的测验，再求它们得分的相关系数。这个相关系数即为信度的等值性系数。(3)其基本程序为：（三）内部一致性系数(1)分半信度 这种方法是将一次测验分成两个假定相等而独立的两部分来记分，通常是以题目的奇数为一组，偶数为一组，计算两组的相关系数，最后用斯皮尔曼布朗公式校正，求得整个测验的信度系数。(2)库德尔理查德森公式法用这种方法只需测验一次，然后以各个问题的正确反应数为基础，或根据各人总分的平均数和标准差，计算信度系数，常用的库德尔理查德森公式有和 （四）论文式测验的信度系数论文式测验的评分，没有严格的评分标准，以致同样的一个题目，不同的应试者的回答和得分都不一样，所以无法用前面的公式，而要用克龙巴赫所创的 系数公式：考试的效度效度是指测量结果的准确性和有效性的程度，亦即测量是否达到了预期的目的。考试的效度是指通过一次考试能确实地测量到它所欲测量的东西的程度。因此，考试的效度既与考试本身属性有关，也与考试的用途与使用方法有关。离开考试用途，孤立地研究考试的效度是没有太大意义的。效度的概念在不断发展，效度的种类也因用途或研究方法的不同而不同。考试的效度可用考试的内容效度和效标关联效度来表示。我们可以从以下几个方面来理解效度：（一）测量的效度始终是对一定的测量目的而言的。一般而言，任何测量都有某种特定的目的和功能，判 断效度的高低，就是判断测验达到目的的程度。 （二）测量的效度也是对测量的结果而言。一种测量工具只有经过实际测量，才能根据出来的结果判断它 的效度。 （三）一种测量的效度只是高或低的问题。因为，一种测量在编制时，总是针对一定的目的而编写的。 （四）在教育测量中，效度问题比在其他领域的测量更为重要。 每当进行教育、心理之类的间接测量的时候，必须考虑是否测量到了所要测量的东西，在多大程度上测量到了这些东西。也就是说，必须考虑测量的效度问题。 效度的理论公式信度与效度的关系：信度是效度的必要条件，但不是充分条件。一个测量工具要有效度必须有信度，没有信度就没有效度； 但是有了信度不一定有效度。信度低，效度不可能高。因为如果测量的数据不准确，也并不能有效地说明所研究的对象 。信度高，效度未必高。例如，如果我们准确地测量出某人的经济收入，也未必能够说明他的消费水平。效度低，信度很可能高。例如，即是一项研究未能说明社会流动的原因，但它很有可能很精确很可靠地 调查各个时期各种类型的人的流动数量。 效度高，信度也必然高。 因此，在信度与效度之间，首先要重点保证是高效度，因为，高效度必然高信度；反之，则不然。特别是对于教育测量而言，效度问题显得更为重要。效度的估计（一）内容效度曹1831397724 内容效度是指测验目的代表所欲测量的内容和引起预期反应所达到的程度。也就是测量内容的代表性程度。在编制测验时，内容效度是一个相当复杂和不易解决的问题。估计内容效度的方法:逻辑分析的方法；用测验题目与教材内容比较的方法。（二）效标关联效度考察测验有效性的常用方法是选择一个外在标准，看测验结果是否与此标准相符。衡量测验有效性的外在标准简称效标，因为这种方法实际上是考察测验分数同效标的关系，所以称效标关联效度。效标关联效度有两种类型：同时效度与预测效度。前者指的是效标分数在测验同时即可取得。预测效度指的是效标分数要经过一段较长的时间后才能获得的效度类型。（1）效标是用来衡量测验效度的尺度。（2）选择效标是一件困难而重要的工作。（3）效标关联效度又可称为经验效度或统计效度，是以测验分数和效标之间的相关系数来表示测验的效 度的高低的。（4）效标关联效度又可分为同时效度和预测效度。（三）结构效度（1）所谓结构效度，是指一个测量能实际测量出理论上的构念或心理特性的程度。它的目的在于用心理学的概念来说明分析测验分数的意义，也就是说从心理学的理论观点就测验的结果加以解释和探讨。（2）结构效度的确定方法：从某一结构理论出发，导出各项关于心理功能或行为的基本假设；据此编制测验；由果溯因，以相关、实验和因素等方法，检验测验结果是否符合心理学上的理论见解。（3）确立一个测量的结构效度需要两个步骤必须指出，这个测量和所有理论上认为应与之有关的其他测量，有显著的相关。必须指出这个测量与所有理论上认为不应与之有关的其他测量，没有显著的相关。各种效度系数的要求曹1831397724（1）不同的测验对效度系数有不同的要求，例如，智力测验分数与教师对学生的等级评定之间的效度系数一般在0.300.50的范围内； 相同科目的标准测验成绩与教师对学生名次排列之间的相关系数一般应达到0.600.70；两种不同的智力测验或标准测验之间的相关系数应达到0.600.80，才符合要求。2）对效度系数大小的要求，也受原测验与获得效标的测验之间的相似性的制约。若二者不相似，则效度系数偏低；若相似，则效度系数会高些。所以，有的测验效度系数达到0.35即已符合要求，有的却要达到0.650.77才能被认为是有效的测验。题目的难度 难度是指测验试题的难易程度，可用通过比率来表示。 各个试题的难度以适中为宜。 试题太难或太易都不会有好的区分度，其信度也会降低。 国外许多研究者以及我国的试验结果证明，只有难度中等的试题才是较好的。在教育测量中，客观题的难度一般用正确回答试题的人数与参加测验的总人数的比值来表示。其公式为：这里，难度实际上表示的是容易度，与试题的实际困难程度正好相反。曹1831397724 难度是试题对学生知识和能力水平的适合程度的指标。 试题的难度不但对题目的区分度有影响，而且对试卷的信度和效度也有较大的影响。 难度是由参与测量的被试群体的整体水平决定的。 难度的计算(一)计算难度的基本公式观题难度的计算：2主观题难度的计算：(二)用极端分组法计算试题的难度 1用极端分组法计算客观题的难度，具体步骤如下：(1)先按测验总分的高低，按由高到低的顺序，依次排列试卷。(2)从得分最高的一份试卷开始依次向下选出全部试卷的27，作为高分组。(3)从得分最低的一份试卷开始依次向上选出全部试卷的27，作为低分组。(4)按下列公式计算难度：2用极端分组法计算主观题的难度 具体步骤如下： (1)按测验得分排列试卷，确定高分组与低分组，各占总人数的25(方法与前面相同)。 (2)分别为高分组、低分组编制每道试题的分析表。(3)按下列公式计算难度：难度对测验的影响 1.测验难度影响测验分数的分布形态 难度值过大或过小，都会造成测验分数的偏态分布。 难度值越接近0，测验的难度就越大，正确回答试题的人数就越少，测验分数就越是集中在低分段，其分数分布呈正偏态；相反，难度值越接近1，其难度就越小，正确回答试题的人数就越多，测验分数集中在高分段，分数分布呈现负偏态。 2.测验难度影响测验分数的离散程度 测验难度直接影响测验分数的离散程度，因为难度过大或过小，测验分数的分布都呈偏态分布，亦即测验分数都分布在高分段或低分段，这样，测验分数的离散程度就变小了。3.测验难度影响测验的鉴别能力 这里实际上谈的是难度对区分度的影响。 适中的难度可使试题的区分度达到最大。测验的适宜难度曹1831397724 在常模参照性测验中要求试题难度适中，即大多数题目的难度在0307之间，少数题目可在这一范围之两边且题数(或题分)大体相当，使整个试卷的平均难度为05左右(045055之间)。只有适中的题目难度，才能使试题产生区分不同程度考生的最大效果，也才能使考生得分呈正态分布。而对全部考生都能做或都不会做的题目则应予删去。控制题目难度的基本方法 一般说来影响题目难度的主要因素有：考查知识点的多少；考查能力的复杂程度或层次的高低；考生对题目的熟悉程度(如本来较易的题目会因考生均未注意而造成很难，或本来较难的题目会因为考生普遍练习过而变得较容易)；曹1831397724命题的技巧性(如同一个问题，可以命得容易，也可以命得较难)。在大规模的测试中，就要通过预测来掌握难度了。首先由命题人员根据上述因素估计一个难度范围；然后通过测试看这个估计的准确程度，分析原因，进而提高评估能力。经过预测取得难度的题目可以进入题库，以备后用。题目的区