通用试题库组卷策略算法1.doc

通用试题库组卷策略算法1余胜泉 姚顾波 何克抗 ysq hekk 北京师范大学现代教育技术研究所 100875 【摘 要】 在题库建设中，试题质量控制与属性参数标注、用于组卷的组卷策略的设计是最重要的两环，本文从设计组卷策略的角度出发，介绍三种实用组卷策略。本文介绍的组卷策略算法由三部份组成：试题属性项定义、组卷参数的定义、变换算法的说明。 【关键词】 题库、组卷策略、组卷算法、难度、区分度、认知分类、曝光时间 题库（Item Bank） 是“按照一定的教育测量理论，在计算机系统中实现的某个学科题目的集合”。 题库在教学实践中有两个独特的优越性：第一是管理上的优势，体现为使用题库的高效、经济、灵活和保密；第二是测量上的优势，体现为由题库生成的试卷具有高质量、能预控和等值可比等特点。目前，我们一般的命题过程是这样的：制定考试大纲和试题编写原则，向有教学经验和命题经验的教师或命题专家征集题目，通过小规模的试测获取关于题目和试卷的统计数据，然后从质和量两方面的角度对题目和由题目组成的试卷进行分析、判断和调整，之后再以这套试卷施测于考生对象。这种命题过程存在着大量人力财力浪费的问题，而且不能保证出题的科学性。随着经济和社会的发展和终身教育观念的普及，迫切需要有科学、方便、完善的题库管理系统，作为积累题目、自动组卷、保存成卷、分析试卷的利器。在先进理论指导下用计算机管理的题库，具有科学、高效、经济、灵活、方便等显著特点。题库为题目的保存、分类和检索提供了便利，为编制试卷提供了高效率和低成本的手段；而更为重要的是它作为评价工具的作用。教学过程中充分利用题库这种教学资源，进行富有成效的形成性测验，可以帮助师生把注意力从名次、得分集中到要实现的教学目标上来，真正关心学生的学习困难和错误所在，关心学生素质的提高，促使教育观念从“应试教育”向“素质教育”转变。因此，对题库进行研究和建设是具有十分重要的意义的。 在题库系统建设中，试题质量控制与参数设置、组卷策略是最重要的两个环节；题库建成后，我们需要输入一些查询参数，系统将根据这些参数抽出最适合参数要求的试题，组成能够实际使用的试卷，定义这种查询参数以及对这些参数进行变换算法，我们称之为组卷策略。组卷策略的实质是将对人比较直观明了的组卷参数变换成计算机能够直接操作的试题属性项，然后根据这些属性项，在题库中抽取试题组成试卷。因此，完整的组卷策略应该由三部份组成：试题属性项定义、组卷参数的定义、变换算法的说明。根据组卷方式和评价的类型不同，我们可以将组卷策略划分三大类型：快速组卷、相对评价组卷、绝对评价组卷。下面我们将对它们作详细的说明。下面我将对这三种组卷算法作详细说明，由于三种组卷策略的试题属性项定义、组卷参数的定义基本相同，我将它们一起说明，不同的地方，在文中指明。一、试题属性项定义 一般题库中试题所具有的属性项有：试题编号，试题类型，考察知识点，难度，区分度，认知分类，题干，操作说明，答题时间，建议分数，使用总次数，上次使用时间，出题人，出题日期，归档时间，保留项。其中经常用于选题的参数有：试题编号，试题类型，考察知识点，难度，上次使用时间，区分度，认知分类。上面试题的属性比较直观明了，在此只对一些主要的属性项作简要的说明：试题编号：试题的唯一标识，只要知道某个试题编号，便可唯一确定一道试题，这对利用计算机处理试题极为重要。试题类型：试题的类型，如填空、计算、填空等，抽题和组卷的重要参数之一。考察知识点：这道试题在这个学科的教学大纲中所属的知识点，它是教师用来确定考试范围的重要依据之一。 难度：题目的难度是衡量题目难易水平的数量指标，通常以题目的答错比率来表示：如果答对的人数越多，题目就越容易，难度就低。难度在题库中的作用主要是为了筛选题目。题目难度的选取需要考虑到测验的目的和性质。比如，如果测验是用于选拔录用人员，就应该比较多地采用那些难度值接近录取率的题目。 区分度：题目的区分度也叫题目的鉴别力，它是衡量题目对不同水平被试的心理特质的区分程度的指标，如果题目的区分度高，那么水平高的被试在题目上的得分就会高，而水平低的被试就会得分低，这样就可以把不同水平的被试区分开来。区分度属性在题库中的作用也是挑选题目。题目区分度越高，它分辨学生的知识水平和素质高低的能力就越强，因此对于相对评价的考试来说，题目区分度是很重要的参数。此外，对诊断类型的测验，区分度越高，就越能够快速而精确地定位学生问题之所在，为采取补救措施提供依据和方向；而使用区分度低的题目组成的诊断试卷，则在分析考试情况时容易产生误判的情况。 认知分类：学科体系与教育目标分类理论将决定整个题库及生成试卷的内容效度，是制定征题规划的根本依据，题库的整个框架结构就是要按照这个要求来设计与建造的。教育目标的分类方法，一般是采用布卢姆的知识、领会、应用、分析、综合、评价等六类。但是在实际应用当中，不同地域，不同学科，教师或教育研究人员也可以提出更符合实际情况的分类标准。只要试题属性和组卷参数对它的定义一致，那对组卷策略就没有太大的影响。 上次使用时间：题目的使用总次数和上次使用时间两个参数可以用来控制题目的曝光度。为了试卷的保密性、公平性和安全性起见，在抽取题目组成试卷的时候，需要控制题目的曝光度。控制曝光度有两方面的考虑，一是如果题目在规定的日期范围之后被使用过，本次就不再使用；二是如果有几个同时都满足条件的题目可供选择，那么在抽取试题的时候应该选择使用次数少的题目，以达到使用上的平衡和控制曝光度的目的。二、组卷参数定义 我们知道，计算机抽题是根据试题的属性一道一道进行处理的，教师一般都不可能对所有试题的属性进行设置，因此，我们要设置一些教师易于理解、容易操作，同时又能很好体现教师考试意图的组卷参数。设置组卷参数的主要依据是一套完整试卷的属性，比如试卷标题，考试时间，考察的知识点等，还有一些与评价类型相关的特殊考虑，如相对评价主要要考虑难度，而绝对评价则主要要考虑认知分类。下面我就来介绍我们在国家九五重点科技攻关项目面向中小学通用试题库生成与管理系统中所设置的组卷参数，不同的组卷策略有所不同，为了叙述方面，我将它们放在一起介绍，特殊的在文中说明。 1总体参数 总体参数是指对试卷的整体属性的说明，具体有：试卷标题，考试时间，满分值、平均难度、平均区分度、曝光时间、考察的知识点。对于平均难度和平均区分度的定义，请见第5和第6部份说明。其中对于相对评价组卷，需要设置试卷的难度比例，所以不需要设置平均难度；表A：总体参数表 参数名称 试卷标题 考试时间 满分值 平均难度 平均区分度 曝光时间 考察的知识点 参数值 Test 100 100 难 中 1998/09/02 (1)(2)(3)(m) 注：表中数据为示例数据，(1)(2)(3) (m)表示有m个知识点。 2题型比例 题型比例指试卷的题型结构，也就是试卷中有那些大题型，某道大题型下有多少道小试题，这些试题在试卷中占多少分，某题型要考察那些知识点，题型比例参数可概括成为一个一维表，其中列为：题型，试题数，分数，题型考察的知识点。表B：题型比例表 题型 试题数 分数 考察知识点 A 10 20 (1)(6)(5) B 5 20 (2)(4) N 1 5 (3) 注：表中数据为示例数据，A、BN 表示有（n）个题型。 3知识点难度比例 对于相对评价组卷，主要要控制的是试卷难度，我们需要确定整个试卷的难度比例及考察知识点的比例，还需要知道某个知识点下具体的难度比例，由此，我们可以得到一个二维参数表，其中列为难度等级（在此分为五等，实际应用时，可根据实际情况划分），行为考察知识点。表C：知识点难度比例表 难度 知识点 难 较难 中 较易 易 (1) 10% 1% 5% (2) 4% 16% (m) 注：表中数据为示例数据，(1)、(2)(m)表示m个题型。 4知识点认知分类比例 与相对组卷类似，绝对评价组卷主要要控制的是试卷的认知分类，以诊断学生在某知识点的掌握程度，这样组卷时不仅需要确定整个试卷的认知分类比例及考察知识点的比例，还需要知道某个知识点下具体的认知分类比例，同样我们可以得到一个二维参数表，其中列为认知分类等级（在此采用布鲁姆的认知技能分类，实际应用时，可根据实际情况划分），行为考察知识点。表D：知识点认知分类表 难度 知识点 知道 领会 运用 分析 综合 评价 (1) 10% 5% (2) 5% 10% 5% (m) 注：表中数据为示例数据，(1)、(2)(m)表示m个题型。 5参数约束条件 在组卷策略中，输入上述参数时，并不是随意的，参数必须符合如下约束条件：l 约束条件1：题型分数值满足： l 约束条件2：题型考试时间值满足： l 约束条件3：题型比例表中所出现的知识点必须为总体参数中所设的知识点。l 约束条件4：难度比例满足如下条件： l 约束条件5：认知分类比例满足如下条件： 6平均难度与平均区分度计算模式 在使用平均难度与平均区分度参数时，并不是所有的试题的难度或区分度都是平均值，而是有一个比例模式的，这种模式中包括所有的难度级别，区别只是比例数不同。模式值可以有多个，在具体使用中，模式类型可以取随机值。表E：平均难度计算模式表 模式类型 难度级别 难度比例 难 较难 中 较易 易 A 难 40% 20% 20% 15% 5% 较难 15% 40% 25% 15% 5% 中 10% 20% 40% 20% 10% 较易 5% 10% 25% 40% 20% 易 5% 5% 25% 25% 40% B 难 35% 30% 15% 15% 5% 较难 20% 30% 25% 15% 5% 中 5% 25% 40% 25% 5% 较易 5% 5% 30% 40% 20% 易 0% 5% 30% 30% 35% 表F：平均区分度计算模式表 模式类型 区分度级别 区分度比例 优 良 中 较差 差 A 优 40% 20% 20% 15% 5% 良 15% 40% 25% 15% 5% 中 10% 20% 40% 20% 10% 较差 5% 10% 25% 40% 20% 差 5% 5% 25% 25% 40% B 优 35% 30% 15% 15% 5% 良 20% 30% 25% 15% 5% 中 5% 25% 40% 25% 5% 较差 5% 5% 30% 40% 20% 差 0% 5% 30% 30% 35% 注：表中数据为示例数据，具体应用时，可设置更多的模式类型，比例也可以有所变化。 7最终抽题时的组卷参数 上面所陈述的都是为了使教师使用方便而设置的组卷参数，而计算机进行处理时，并不能直接用上述参数来抽题，我们需要对它们进行变换，变成如下所示的最终组卷参数表，这两者之间的变换方法就是组卷策略。表G：最终组卷参数表 试题编号 题型 难度等级 区分度等级 认知分类 知识点 1 A 难 （1） 2 A 难 （1） 在实际组卷时，每道试题选取的条件为：l 曝光时间参数：曝光时间定义的曝光时间l 试题编号参数：试题编号已抽出的试题编号l 抽题时的最终条件为：最终组卷参数表中的每一项（表与表中的每一项为与的关系，不包括试题编号）AND 曝光时间定义的曝光时间 AND试题编号已抽出的试题编号。若某个条件抽出的试题数大于一道，则从抽出的试题中随机取一道，若抽不出试题，则顺次取消的控制条件为：曝光时间、认知分类、区分度；若仍抽不出试题，则难度进行最小程度的变化（变一级）、若还抽不出试题，则在考察的知识点中抽随机知识点值。三、组卷策略的变换算法 1基本的组卷方式 通常情况下，我们只需要设置试卷的一些整体属性参数和题型结构参数，便可以组出一份满意的试卷，它对题目的知识点难度分布没有特殊要求，只设平均难度和平均区分度参数，参数设置简单直观，常常用于快速组卷。其组卷步骤为： 1）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考察的知识点，平均难度、平均区分度；示例值见表A； 2）设置题型比例表，示例值见表(2)，检查约束条件1、2、3，生成最终组卷参数原型表，表的格式见表B； 3）题型与知识点分布对应：根据题型比例表，来计算某知识点某类题型所出的试题数，如知识点(1)下填空题2道，计算题1道等等，并预写最终组卷参数表（填写参数表的知识点列）； 变换公式为：知识点题型比例表某知识点某类题型所出的试题数=题型比例表某类题型的试题数 DIV（整除） 该类题型的考察的知识点数 + Random（题型比例表某类题型的试题数 MOD（取余） 该类题型的考察的知识点数） 注：Random是将余下的试题数，用补零的方式补足与知识点相等的个数，再取随机值，若随机取的值为零，则加值为零，否则加1；若考察知识点列为空，则默认为所有考察的知识点。 4）试卷难度比例的分配：在平均难度计算模式表中随机取一模式值，得出这份试卷的试题的难度比例，将此难度比例变换成最终组卷参数表中的难度级别参数。变换算法如下所示： 变量说明：n：难度的等级数，这里为5；Nn：表示各难度级别的比例值，n的取值范围是1难度的等级数；m：题型比例表中试题的题型数，示例值为5；Mm：某一类题型，m的取值范围为1题型比例表中试题的题型数；num：某类题型所占的题数；j、tmp：中间变量； 算法说明：j=m将题型按题数多少从多到少排列While j0 doBegin If numn then 此类题型抽n道题，第n道题的难度比例为Sn（Sn为题型分数比），若Nn0 doBegin If numn then此类题型抽n道题，第n道题的区分度比例为Sn（Sn为题型分数比值，若NnSn，则此题型不抽。Nn=Nn-Snnum=num-n Else 将此题型记录在剩余试题表中，并按剩余试题的多少从多到少排列。 End if 将题型按题数多少从多到少排列 j=j-1EndFor I=1 to 剩余试题表的记录数 每类题型抽一道题，按分数比例值排列，再将区分度比例余值按大小排列，抽两者 重合的值，并对应减少难度比例余值。若某难度级别不够（允许的不够的范围为- 3%），则不抽此题。 If 剩余试题无法精确满足比列要求 then 抽与比例要求最近的区分度级别 End if I=I-此次循环抽的试题数Netxt I 2难度组卷方式（相对评价） 对于相对评价，主要目的是将学生的成绩拉开档次，以显示出差异，这就需要在题目上的难度拉开档次，需要在知识点的难度比例等级上进行必要的分布。相对组卷的步骤为： 1）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考察的知识点，平均区分度；示例值见表A。 2）设置题型比例表，示例值见表B，在本组卷方式中，不考虑考察知识点列，检查约束条件1、2、3。 3）设置知识点难度比例表，示例值见表C，检查约束条件4、5； 4）难度比例分配：根据知识点难度比例表，将所有知识点下的难度比例变换成最终组卷参数表中的难度级别参数。变换算法如下所示： 变量定义：Ni：难度级别，表一个难度级别，i的取值范围为15；Zj：知识点，表3中知识点变量，其中j的取值范围为1m，表m个知识点；Ti：表示第i个题型；Ti Num：Ti题型所拥有的试题数；Si：表某题型的分数比例，其中i的取值范围为1n，表n个题型；NZij：某知识点下难度比例值 算法说明：将所有题型按Si从大到小排列；对排列后的所有题型：for i=1 to n do 在知识点难度比例表取TiNum个最大的NZij值，则Ti题型抽TiNum个试题， 它们的难度和知识点对应NZij所对应的知识点和难度级别，若有多项最佳满足条 件的NZij值，则加难度比例和知识点不相同的条件，若还有多项，则在这几项中 取随机值。 写最终参数表 NZij =NZij-Sinext i 6）区分度比例分配：在平均区分度计算机模式表中随机取一模式值，得出这份试卷的试题的区分度比例，并将此区分度比例变换成最终组卷参数表中的区分度级别参数，变换算法参见基本组卷算法步骤5。 3认知分类组卷方式（绝对评价） 对于绝对评论，以考察学生知识点的掌握情况，它以认知分类为主要参数抽题，需要填写知识点认知分类比例参数表。这种策略的组卷步骤为： 1）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考察的知识点，平均区分度；示例值见表A。 2）设置题型比例表，示例值见表B，在本组卷方式中，不考虑考察知识点列，检查约束条件1、2、3，最终组卷参数原型表，表的格式参见表13： 3）设置知识点认知分类比例表，示例值见表D，检查约束条件4、6； 5）认知分类比例分配：根据知识点认知分类比例表，将所有知识点下的认知分类比例变换成最终组卷参数表中的认知分类级别参数。算法说明如下： 变量定义：Ni：认知分类级别，表一个认知分类级别，i的取值范围为16；Zj：知识点