通用试题库组卷策略算法1

1、通用试题库组卷策略算法 1余胜泉 姚顾波 何克抗 北京师范大学现代教育技术研究所 100875【摘 要】 在题库建设中，试题质量控制与属性参数标注、用于组卷的组卷策略的设计是最重要的两环， 本文从设计组卷策略的角度出发， 介绍三种实用组卷策略。 本文介绍的组卷策略算法由三部份组成： 试题 属性项定义、组卷参数的定义、变换算法的说明。【关键词】 题库、组卷策略、组卷算法、难度、区分度、认知分类、曝光时间题库( Item Bank ) 是“按照一定的教育测量理论，在计算机系统中实现 的某个学科题目的集合”。 题库在教学实践中

2、有两个独特的优越性： 第一是管 理上的优势，体现为使用题库的高效、经济、灵活和保密；第二是测量上的优 势，体现为由题库生成的试卷具有高质量、能预控和等值可比等特点。目前，我们一般的命题过程是这样的：制定考试大纲和试题编写原则，向 有教学经验和命题经验的教师或命题专家征集题目，通过小规模的试测获取关 于题目和试卷的统计数据，然后从质和量两方面的角度对题目和由题目组成的 试卷进行分析、判断和调整，之后再以这套试卷施测于考生对象。这种命题过 程存在着大量人力财力浪费的问题，而且不能保证出题的科学性。随着经济和 社会的发展和终身教育观念的普及，迫切需要有科学、方便、完善的题库管理 系统，作为积累题目、

3、自动组卷、保存成卷、分析试卷的利器。在先进理论指 导下用计算机管理的题库，具有科学、高效、经济、灵活、方便等显著特点。 题库为题目的保存、分类和检索提供了便利，为编制试卷提供了高效率和低成 本的手段；而更为重要的是它作为评价工具的作用。教学过程中充分利用题库这种教学资源，进行富有成效的形成性测验，可以帮助师生把注意力从名次、 得分集中到要实现的教学目标上来，真正关心学生的学习困难和错误所在，关 心学生素质的提高，促使教育观念从“应试教育”向“素质教育”转变。因此， 对题库进行研究和建设是具有十分重要的意义的。在题库系统建设中，试题质量控制与参数设置、组卷策略是最重要的两个 环节；题库建成后，我

4、们需要输入一些查询参数，系统将根据这些参数抽出最 适合参数要求的试题，组成能够实际使用的试卷，定义这种查询参数以及对这 些参数进行变换算法，我们称之为组卷策略。组卷策略的实质是将对人比较直 观明了的组卷参数变换成计算机能够直接操作的试题属性项，然后根据这些属 性项，在题库中抽取试题组成试卷。因此， 完整的组卷策略应该由三部份组成: 试题属性项定义、组卷参数的定义、变换算法的说明。根据组卷方式和评价的 类型不同，我们可以将组卷策略划分三大类型：快速组卷、相对评价组卷、绝 对评价组卷。下面我们将对它们作详细的说明。下面我将对这三种组卷算法作 详细说明，由于三种组卷策略的试题属性项定义、组卷参数的定

5、义基本相同， 我将它们一起说明，不同的地方，在文中指明。一、试题属性项定义一般题库中试题所具有的属性项有：试题编号，试题类型，考察知识点， 难度，区分度，认知分类，题干，操作说明，答题时间，建议分数，使用总次 数，上次使用时间，出题人，出题日期，归档时间，保留项。其中经常用于选题的参数有：试题编号，试题类型，考察知识点，难度， 上次使用时间，区分度，认知分类。上面试题的属性比较直观明了， 在此只对一些主要的属性项作简要的说明:试题编号：试题的唯一标识，只要知道某个试题编号，便可唯一确定一道 试题，这对利用计算机处理试题极为重要。试题类型：试题的类型，如填空、计算、填空等，抽题和组卷的重要参数

6、之一。考察知识点：这道试题在这个学科的教学大纲中所属的知识点，它是教师用来 确定考试范围的重要依据之一。难度：题目的难度是衡量题目难易水平的数量指标，通常以题目的答错比 率来表示：如果答对的人数越多，题目就越容易，难度就低。难度在题库中的 作用主要是为了筛选题目。题目难度的选取需要考虑到测验的目的和性质。比 如，如果测验是用于选拔录用人员，就应该比较多地采用那些难度值接近录取 率的题目。区分度：题目的区分度也叫题目的鉴别力，它是衡量题目对不同水平被试 的心理特质的区分程度的指标，如果题目的区分度高，那么水平高的被试在题 目上的得分就会高，而水平低的被试就会得分低，这样就可以把不同水平的被 试区

7、分开来。区分度属性在题库中的作用也是挑选题目。题目区分度越高，它 分辨学生的知识水平和素质高低的能力就越强， 因此对于相对评价的考试来说, 题目区分度是很重要的参数。此外，对诊断类型的测验，区分度越高，就越能 够快速而精确地定位学生问题之所在，为采取补救措施提供依据和方向；而使 用区分度低的题目组成的诊断试卷，则在分析考试情况时容易产生误判的情况。认知分类：学科体系与教育目标分类理论将决定整个题库及生成试卷的内 容效度，是制定征题规划的根本依据，题库的整个框架结构就是要按照这个要 求来设计与建造的。教育目标的分类方法，一般是采用布卢姆的知识、领会、 应用、分析、综合、评价等六类。但是在实际应用

8、当中，不同地域，不同学科， 教师或教育研究人员也可以提出更符合实际情况的分类标准。只要试题属性和 组卷参数对它的定义一致，那对组卷策略就没有太大的影响。上次使用时间：题目的使用总次数和上次使用时间两个参数可以用来控制 题目的曝光度。为了试卷的保密性、公平性和安全性起见，在抽取题目组成试 卷的时候，需要控制题目的曝光度。控制曝光度有两方面的考虑，一是如果题目在规定的日期范围之后被使用过，本次就不再使用；二是如果有几个同时都 满足条件的题目可供选择，那么在抽取试题的时候应该选择使用次数少的题目, 以达到使用上的平衡和控制曝光度的目的。二、组卷参数定义我们知道，计算机抽题是根据试题的属性一道一道进行

9、处理的，教师一般 都不可能对所有试题的属性进行设置，因此，我们要设置一些教师易于理解、 容易操作，同时又能很好体现教师考试意图的组卷参数。设置组卷参数的主要 依据是一套完整试卷的属性，比如试卷标题，考试时间，考察的知识点等，还 有一些与评价类型相关的特殊考虑，如相对评价主要要考虑难度，而绝对评价 则主要要考虑认知分类。下面我就来介绍我们在国家九五重点科技攻关项目 面 向中小学通用试题库生成与管理系统中所设置的组卷参数，不同的组卷策略 有所不同，为了叙述方面，我将它们放在一起介绍，特殊的在文中说明。1.总体参数总体参数是指对试卷的整体属性的说明，具体有：试卷标题，考试时间， 满分值、平均难度、平

10、均区分度、曝光时间、考察的知识点。对于平均难度和 平均区分度的定义，请见第5和第6部份说明。其中对于相对评价组卷，需要 设置试卷的难度比例，所以不需要设置平均难度；表A:总体参数表参数名称试卷标题考试时间满分值平均难度平均区分度曝光时间考察的知识点参数值Test100100难中1998/09/02(1) (2)(3)(m)注：表中数据为示例数据，(2)(3)(m)表示有m个知识点2 .题型比例题型比例指试卷的题型结构，也就是试卷中有那些大题型，某道大题型下 有多少道小试题，这些试题在试卷中占多少分，某题型要考察那些知识点，题 型比例参数可概括成为一个一维表，其中列为：题型，试题数，分数，题型考

11、 察的知识点。表B:题型比例表题型试题数分数考察知识点A1020(6) (5)B520N15(3)注：表中数据为示例数据， A 表示有（n）个题型。3 知识点一一难度比例对于相对评价组卷，主要要控制的是试卷难度，我们需要确定整个试卷的难 度比例及考察知识点的比例，还需要知道某个知识点下具体的难度比例，由此,我们可以得到一个二维参数表，其中列为难度等级（在此分为五等，实际应用 时，可根据实际情况划分），行为考察知识点。表C:知识点难度比例表、难度知识点、难较难中较易易(1)10%1%5%(2)4%16%(m)注：表中数据为示例数据，（1）、（2）（m）表示 m个题型4 知识点一一认知分类比例与相

12、对组卷类似，绝对评价组卷主要要控制的是试卷的认知分类， 以诊断学 生在某知识点的掌握程度，这样组卷时不仅需要确定整个试卷的认知分类比例 及考察知识点的比例，还需要知道某个知识点下具体的认知分类比例，同样我 们可以得到一个二维参数表，其中列为认知分类等级（在此采用布鲁姆的认知 技能分类，实际应用时，可根据实际情况划分），行为考察知识点。表D:知识点一一认知分类表、难度知识点知道领会运用分析综合评价(1)10%5%(2)5%10%5%(m)注：表中数据为示例数据，（1）、（2）（m）表示 m个题型5.参数约束条件在组卷策略中，输入上述参数时，并不是随意的，参数必须符合如下约束条件：丫题型r的分数总

13、分数约束条件1题型分数值满足:题型船考试吋间二总考试时间j约束条件2:题型考试时间值满足：约束条件3:题型比例表中所出现的知识点必须为总体参数中所设的知识点。（知识点-难度比例y） = 100%约束条件4:难度比例满足如下条件：约束条件5:认知分类比例满足如下条件:a 6吃知识点-认知分类比例血=100%6 平均难度与平均区分度计算模式在使用平均难度与平均区分度参数时，并不是所有的试题的难度或区分度 都是平均值，而是有一个比例模式的，这种模式中包括所有的难度级别，区别 只是比例数不同。模式值可以有多个，在具体使用中，模式类型可以取随机值表E:平均难度计算模式表模式类型遴度级别难较难中较易易难度

14、比例A难40%20%20%15%5%较难15%40%25%15%5%中10%20%40%20%10%较易5%10%25%40%20%易5%5%25%25%40%B难35%30%15%15%5%较难20%30%25%15%5%中5%25%40%25%5%较易5%5%30%40%20%易0%5%30%30%35%表F:平均区分度计算模式表模式类型、区分度级别区分度比例优良中较差差A优40%20%20%15%5%良15%40%25%15%5%中10%20%40%20%10%较差5%10%25%40%20%差5%5%25%25%40%B优35%30%15%15%5%良20%30%25%15%5%中5%

15、25%40%25%5%较差5%5%30%40%20%差0%5%30%30%35%注：表中数据为示例数据，具体应用时，可设置更多的模式类型，比例也可以有所变化。7 最终抽题时的组卷参数上面所陈述的都是为了使教师使用方便而设置的组卷参数，而计算机进行处理时，并不能直接用上述参数来抽题，我们需要对它们进行变换，变成如下所 示的最终组卷参数表，这两者之间的变换方法就是组卷策略。表G:最终组卷参数表试题编号题型难度等级区分度等级认知分类知识点1A难(1)2A难(1)在实际组卷时，每道试题选取的条件为：曝光时间参数：曝光时间 定义的曝光时间试题编号参数：试题编号 已抽出的试题编号抽题时的最终条件为：最终组

16、卷参数表中的每一项（表与表中的每一项 为与的关系，不包括试题编号）AND曝光时间 定义的曝光时间AND试 题编号 已抽出的试题编号。若某个条件抽出的试题数大于一道，则从抽出的试题中随机取一道，若抽不出 试题，则顺次取消的控制条件为：曝光时间、认知分类、区分度；若仍抽不出 试题，则难度进行最小程度的变化（变一级）、若还抽不出试题，则在考察的 知识点中抽随机知识点值。三、组卷策略的变换算法1基本的组卷方式通常情况下，我们只需要设置试卷的一些整体属性参数和题型结构参数， 便可以组出一份满意的试卷，它对题目的知识点难度分布没有特殊要求，只设 平均难度和平均区分度参数，参数设置简单直观，常常用于快速组卷

17、。其组卷 步骤为：1 ）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考 察的知识点，平均难度、平均区分度；示例值见表A；2 ）设置题型比例表，示例值见表 （2） ，检查约束条件 1、2、3，生成最终 组卷参数原型表，表的格式见表 B；3 ）题型与知识点分布对应：根据题型比例表，来计算某知识点某类题型所 出的试题数，如知识点 （1） 下填空题 2道，计算题 1 道等等，并预写最终组卷参 数表（填写参数表的知识点列）；变换公式为：知识点题型比例表某知识点某类题型所出的试题数 =题型 比例表某类题型的试题数 DIV （整除） 该类题型的考察的知识点数 + Random（题型比例表某类

18、题型的试题数MOD （取余） 该类题型的考察的知识点数）注：Random是将余下的试题数，用补零的方式补足与知识点相等的个数，再取随机值，若随机取的 值为零，则加值为零，否则加 1；若考察知识点列为空，则默认为所有考察的知识点。4 ）试卷难度比例的分配：在平均难度计算模式表中随机取一模式值，得出 这份试卷的试题的难度比例，将此难度比例变换成最终组卷参数表中的难度级 别参数。变换算法如下所示：变量说明：n：难度的等级数，这里为5；Nn：表示各难度级别的比例值，n的取值范围是1难度的等级数;m题型比例表中试题的题型数，示例值为 5;Mm某一类题型，m的取值范围为1题型比例表中试题的题型数；num某

19、类题型所占的题数；j、tmp：中间变量；算法说明：j=m将题型按题数多少从多到少排列While j0 doBeginIf numn then此类题型抽n道题，第n道题的难度比例为Sn（ Sn为题型分数比），若 Nn0 doBeginIf numn then此类题型抽n道题，第n道题的区分度比例为Sn (Sn为题型分数比 值，若 NnSn，则此题型不抽。Nn=Nn-Sn num=num-nElse将此题型记录在剩余试题表中，并按剩余试题的多少从多到少排列。End if将题型按题数多少从多到少排列j=j-1EndFor I=1 to 剩余试题表的记录数每类题型抽一道题， 按分数比例值排列， 再将区

20、分度比例余值按大小排 列，抽两者重合的值， 并对应减少难度比例余值。 若某难度级别不够 （允许的不够 的范围为-3% ），则不抽此题。If 剩余试题无法精确满足比列要求 then抽与比例要求最近的区分度级别End ifI=I- 此次循环抽的试题数Netxt I2难度组卷方式（相对评价）对于相对评价，主要目的是将学生的成绩拉开档次，以显示出差异，这就 需要在题目上的难度拉开档次，需要在知识点的难度比例等级上进行必要的分 布。相对组卷的步骤为：1 ）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考 察的知识点，平均区分度；示例值见表 A。2 ）设置题型比例表，示例值见表 B,在本组卷

21、方式中，不考虑考察知识点 列，检查约束条件 1、2、3。3 ）设置知识点一一难度比例表，示例值见表C,检查约束条件4、5；4 ）难度比例分配：根据知识点难度比例表，将所有知识点下的难度比例变换成最终组卷参数表中的难度级别参数。变换算法如下所示：变量定义：Ni ：难度级别，表一个难度级别， i 的取值范围为 15；Z :知识点，表3中知识点变量，其中j的取值范围为1m表m个知 识点；Ti ：表示第 i 个题型；Ti Nu m： Ti 题型所拥有的试题数；Si:表某题型的分数比例，其中i的取值范围为1n,表n个题型；NZij ：某知识点下难度比例值算法说明:将所有题型按 Si 从大到小排列；对排列

22、后的所有题型：for i=1 to n do在知识点一一难度比例表取 TiNum个最大的NZij值，则Ti题型抽TiN um个试题，它们的难度和知识点对应 NZij 所对应的知识点和难度级别， 若有多项最佳满足条件的 NZij 值，则加难度比例和知识点不相同的条件， 若还有多项， 则在这几项中取随机值。写最终参数表NZij =NZij-Sinext i6 ）区分度比例分配：在平均区分度计算机模式表中随机取一模式值，得出 这份试卷的试题的区分度比例，并将此区分度比例变换成最终组卷参数表中的 区分度级别参数，变换算法参见基本组卷算法步骤5。3认知分类组卷方式（绝对评价）对于绝对评论，以考察学生知识点的掌握情况，它以认知分类为主要参数 抽题，需要填写知识点认知分类比例参数表。这种策略的组卷步骤为：1 ）设置总体参数：试卷标题，考试时间，总题数，满分值，曝光时间、考 察的知识点，平均区分度；示例值见表 A。2 ）设置题型比例表，示例值见表 B,在本组卷方式中，不考虑考察知识点 列，检查约束条件 1、2、3，最终组卷参数原型表，表的格式参见表 13：3 ）设置知识点一一认知分类比例表，示例值见表D,检查约束条件4、6；5 ）认知分类比例分配：根据知识点认知分类比例表，将所有知识点下 的认知分类比例变换成最终组卷参数表中的认知分类级别参数。 算法