（课程与教学论专业论文）试题库系统智能组卷与试卷分析的研究.pdf

摘要 随着教学改革的进一步深入和课程建设的逐步完善，对每门课程 的考试必须规范化、系统化、科学化和智能化。通过试题库系统可以 进行试卷生成和试卷分析，它是保证考试的测试试题具有较高质量、 保持水平稳定、更好的测试诊断的重要手段。 对于试题库系统而言，能生成符合要求的试卷并对其测试结果进 行定的分析是两项最根本的功能要求。智能组卷能最有效地把专家 们的知识和组卷经验与计算机技术结合在一起，生成符合要求且比较 客观和规范性好的试卷；同时使用起来较为方便，对操作人员几乎没 有什么专业上的要求。而用智能组卷系统生成的试卷对学生进行测 试，对测试的结果进行科学的分析，能够较准确的获得学生对所教授 的知识的掌握情况，并且根据所反馈的信息诊断学生的疑难知识点， 进行相应的教材反馈，以完善试题库系统智能组卷，进而指导学生有 针对性的学习。近几年，国内不少单位都在研制和使用智能组卷系统 和各种试卷分析方法，并在很多方面已取得成功，但在功能和性能尤 其是实用性、智能化上都存在一些缺陷。所以研究并开发实用性更强、 智能化更高的试题库组卷系统以帮助教师在工作和学生在学习中方 便地使用它，是目前亟待解决的问题。 本文首先对试题库系统智能组卷的背景、概念、理论和技术进 行概述，接着比较分析了已经存在的各种试题库系统智能组卷算法。 为完善试题库系统，还提出基于知识点的试卷分析方法及算法依据， 并以高等数学试题库系统智能组卷为例，通过实验证明了本文介 绍的基于遗传算法自适应性的智能组卷算法和基于知识点的试卷分 析方法较其它组卷算法和试卷分析方法更智能化，从而更好的实现了 试题库系统的智能组卷。 关键词：试题库系统，智能组卷，组卷策略，试卷分析 w i t ht h ed e v e l o p m e n t so ft h ef a r t h e rr e f o r mi ne d u c a t i o na n dw i t h t h ed e v e l o p m e n t sg r a d u a l l yp e r f e c ti nc o n r s e ，t h es t u d e n t sm a s t e ra n d c o m p r e h e n de a c he x a m i n a t i o no fe a c hc o u r s em u s tb es t a n d a r d i z a t i o n , s y s t e m a t i z a t i o n ，s c i e n c e ，i n t e l l i g e n c e w eg a ng e n e r a t ea n da n a l y z et e s t p a p e rb ye x a m i n a t i o nd a t a b a s es y s t e m i ti sa ni m p o r t a n tm e t h o dt o a s s u r et e s ti t e mh a v i n gb e t t e rq u a l i t y , k e e p i n gl e v e ls t a b i l i z a t i o na n d g e t t i n gb e t t e rt e s ta n dd i a g n o s e s a sf o rt h ee x a m i n a t i o nd a t a b a s es y s t e m , t h e r ea r et w om o s tr a d i c a l f u n c t i o n s o n ei sg e n e r a t i n gat e s tp a p e rw h i c hi su pt om u s t a r d t h e o t h e ri sa n a l y z i n gt h er e s u l to ft h et e s tp a p e r i n t e l l i g e n tg e n e r a t i n gt e s t p a p e rc a nc o m b i n ek n o w l e d g ea n dg e n e r a t i n gt e s tp a p e r se x p e r i e n c eo f e x p e r t sw i t ht e c h n o l o g yo fc o m p u t e rm o s te f f e c t i v e l y , a n dg e n e r a t e sm o r e o b j e c t i v ea n ds t a n d a r dt e s tp a p e rw h i c hi su pt om u s t a r d a tt h es a m e t i m e ，i ti su s e dm o r ee x p e d i e n t l y i ta l s od o c s n tm a k ea n yp r o f e s s i o n a l r e q u e s tt oo p e r a t o r s w ec a ng e tm o r ee x a c ts i t u a t i o no fs t u d e n t s m a s t e r y o fk n o w l e d g eb ys c i e n t i f i ca n a l y z i n go nt h er e s u l to ft e s tp a p e rw h i c hi s g e n e r a t e db yi n t e l l i g e n tg e n e r a t i n gt e s tp a p e rs y s t e m a c c o r d i n gt ot h e f e e d b a c ki n f o r m a t i o no ft h er e s u l t ，w ec a nd i a g n o s ed i f f i c u l tk n o w l e d g e o fs t u d e n t ，a n df e e db a c ki tt ot h e s y s t e ma n di m p r o v ei n t e l l i g e n t g e n e r a t i n gt e s tp a p e rs y s t e m t h e nw ev a ng u i d e s t u d e n t st os t u d y p e r t i n e n c e l a c c l y ，t h e r ea r em a n yi n l a n du n i t sa r er e s e a r c h i n ga n du s i n g i n t e l l i g e n tg e n e r a t i n gt e s tp a p e rs y s t e ma n dd i f f e r e n tk i n d so fm e t h o d s o f a n a l y s i so nt e s tp a p e r , a n dp u ti to v e ri nm a n yf a c t s b u tt h e r ea r es o m e d e f e c t si nt h ef u n c t i o n sa n d p e r f o r m a n c e s ，p a r t i c u l a r l y o i lt h e p r a c t i c a b i l i t ya n dt h ei n t e l l i g e n t s or e s e a r c h i n ga n dd e v e l o p i n gs t r o n g e r p r a c t i c a b i l i t y a n d h i g h e ri n t e l l i g e n t o f g e n e r a t i n g t e s t p a p e r i n e x a m i n a t i o nd a t a b a s es y s t e mi no r d e rt oh e l pt e a c h e r sa n ds t u d e n t sd u r i n g t h ew o r k i n ga n ds t u d y i n gt ou s ei te x p e d i e n t l y , t h o s en e e dt os o l v et h e p r o b l e m sc u r r e n t l y t h i st e x ts u m m a r i z e st h eb a c k g r o u n d , c o n c e p t s ，t h e o r i e sa n d t e c h n i q u e so ft h ee x a m i n a t i o nd a t a b a s es y s t e m ，c o m p a r e sw i t hs o m e e x i s t e n ta l g o r i t h m so fi n t e l l i g e n tg e n e r a t i n gt e s tp a p e ri ne x a m i n a t i o n d a t a b a s es y s t e me a c ho t h e r i no r d e rt oi m p r o v ee x a m i n a t i o nd a t a b a s e s y s t e m ，t h i st e x tb r i n g sf o r w a r dam e t h o do fa n a l y s i so nt e s tp a p e rw h i c h i sb a s e do nk n o w l e d g ea n db a s i so fa l g o r i t h m a tl a s tb ya ne x a m p l eo f i n t e l l i g e n tg e n e r a t i n gt e s tp a p e ri ne x a m i n a t i o nd a t a b a s es y s t e mo fh i g h e r m a t h e m a t i c s ，t h et e x tt e s t i f i e st h i si n t e l l i g e n ta l g o r i t h ma n da n a l y t i c a l m e t h o dm o r ei n t e l l i g e n tt h a no t h e r s t h e r e b yw ec a l la c h i e v ei n t e l l i g e n t g e n e r a t i n gt e s tp a p e ri ne x a m i n a t i o nd a t a b a s es y s t e m k e yw o r d s ：e x a m i n a t i o nd a t a b a s es y s t e m ，i n t e l l i g e n tg e n e r a t i n gt e s t p a p e r , s t r a t e g yo fg e n e r a t i n gt e s tp a p e r , a n a l y s i s o nt e s tp a p e r i v 湖南师范大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不合任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：爻砖词 年岁月引日 湖南师范大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权湖南师范大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密讲 ( 请在以上相应方框内打“ ”) 作者签名：文为词 翩签名：钐 ； 月 月 。 孑 年 年 叫7 期 期 试题库系统智能组卷与试卷分析的研究 1 前言 试题库系统是目前迅速发展起来的新型计算机辅助教学的一种 有利的工具，是计算机科学、教育测量理论科学相结合的产物，是 计算机辅助教学系统的一个新的实用的发展方向。 试题库的种类和品种十分繁多。最常用、最传统的试题库是各 种习题集及其解答、分析类的图书，一般用于学生的平时训练。其 次比较常用的是以套题形式出现的试题库，这类题库往往掌握在教 师手中，一般用于阶段性测试或各种考试。目前最流行的是基于计 算机的电子试题库，这种试题库便于海量试题的存储、使用和修改， 更便于试题和试卷的难度划分、采分点的运用和试后分析等【1 1 。试题 库的出现和发展显示出强大的生命力，在教学活动中发挥了重要作 用，不仅弥补了传统教学的部分缺陷，而且将计算机在教学管理中 的应用推向了一个新的阶段，引起了计算机界和教育界广泛的兴趣 和重视。目前，在国外，试题库系统己开始应用于各个教学阶段【2 】【3 】【4 】， 特别是大、中学的考试和作业以及正迅猛发展的远程教育等方面的 应用，收到了显著的效果。 ，我国试题库系统的研究和应用最广泛的领域是考试和组卷方 面。在先进理论指导下用计算机管理的试题库，具有科学、高效、 经济、灵活、方便等显著特点。试题库为题目的保存、分类和检索 提供了便利，为编制试卷提供了高效率和低成本的手段；而更为重 1 硕士学位论文 要的是它作为评价工具的作用。教学过程中充分利用试题库这种教 学资源，进行富有成效的形成性测验，可以帮助师生把注意力从名 次、得分集中到要实现的教学目标上来，真正关心学生的学习困难 和错误所在，关心学生素质的提高，促使教育观念从“应试教育” 向“素质教育”转变。因此，对试题库组卷功能进行研究和建设是 具有十分重要的意义的。我国不少院校和公司在试题库系统智能组 卷的研制中也取得了显著成绩。所谓智能组卷，就是集中教育专家 的知识，运用人工智能技术，自动从题库中选择试题，组成满足各 种性能要求的试卷。智能组卷是一个典型的约束满足问题的求解过 程。它是试题库系统必须具备的核心功能。要实现计算机的智能组 卷，需要有合理的知识库和高效的知识推理模型支持，就要求有一 个功能强大、设计科学合理的试题库为前提。因此试题库的设计在 功能上除了要考虑能够提供试题和答案的录入、修改、删除外，更 重要的是其设计要为组卷系统提供高效的服务；以便组卷系统能够 准确、快速地从题库中调用所需试题和答案。目前的试题库系统偏 重于试题库的管理以及实现组卷的功能，但一个优秀的试题库系统 不仅需要这些功能，更重要的是能够使出题速度和组卷成功率更高， 以此提高系统组卷效率和速度，减少试题库冗余度。如果能够编制 实用且科学的试题库，广泛开展对试题库系统智能组卷的研究与应 用，必将促进我国计算机在教学应用中的迅速发展，从而提高计算 机在各种教学管理中的应用。 针对当前试题库系统智能化程度和组卷效率和速度不高等不 2 试题库系统智能组卷与试卷分析的研究 足，本文主要从以下几个方面进行了探讨，共分五个部分： 第一部主要介绍了试题库系统的概述。总结了试题库系统背景 和意义以及目前的发展状况和今后的发展趋势。 第二部分首先阐述了智能组卷的基本理论，包括智能组卷的定 义、组卷控制参数的确定、组卷策略和试卷赋分，然后简要介绍了智 能组卷的实现及现有的各种组卷算法，着重介绍了采用了新的编码方 式、交叉算子和变异算子等方法的自适应遗传算法的实现过程。 第三部分扼要介绍了试卷的分析组成和目前使用的一般方法优 点和缺陷，为弥补这些方法的不足，实现试卷的智能分析，充分考虑 学生的因素，更好的为教学服务，本文给出了基于知识点的试卷分析 方法并阐述了其算法依据。 第四部分在本文对试题库系统智能组卷各方面研究并改进的基 础上，以高等数学课程测试的智能组卷为例，利用基于自适应遗 传算法进行组卷，通过与其他算法实验结果的分析，及某次测试结果 运用基于知识点试卷分析方法，证明比其它的组卷算法更高效。 最后，对本文进行了总结。 试题库系统智能组卷与试卷分析的研究 2 试题库系统的概述 2 1 试题库系统 考试是教学过程中的一个重要环节，而命题的好坏又是能否达到 预期效果的关键。目前，一般的命题过程是这样的嘲：制定考试大纲 和试题编写原则，向有教学经验和命题经验的教师或命题专家征集题 目，通过小规模的测试获取关于题目和试卷的统计数据，然后从质和 量两方面对题目和由题目组成的试卷进行分析、判断和调整，之后再 以这套试卷用于考生对象。这种命题过程存在着大量人力财力浪费的 问题，而且不能保证出题的科学性。随着经济、社会的发展及终身教 育观念的普及和计算机技术的发展，出现了试题库系统。 试题库系统是一个复杂的系统，包括试题库的建立和使用两个部 分的内容。具体的题库系统一般由以下模块组成，其系统结构如图 2 1 所示【6 】。 图2 - 1 题库系统结构 5 硕士学位论文 1 ) 题库生成模块：完成接收输入和分类存储等任务； 2 ) 题库维护模块：完成试题的查询、修改和增扩等功能； 3 ) 试卷生成模块：根据出题的要求生成合乎要求的试卷； 4 ) 编辑印刷模块t 与印刷系统联合使用，能直接排印出试卷； 5 ) 试卷分析模块：直接在计算机上自动测试、评分、诊断报告结 果、保存与分析考试资料。 2 2 试题库系统的背景和意义 试题库在教育活动中具有十分重要的意义，试题库经过这些年来 的发展，逐步形成了自己的理论、原则和方法，发展成一门新的教育 管理手段，即计算机辅助教学的一个方面。试题库的基本组成单位是 单个的题目，试题库是试题的仓库。计算机化的通用试题系统作为教 学手段现代化的重要组成部分，与数据库技术相结合，具有良好的发 展前景。 教学过程中充分利用题库这种教学资源，进行有效的测验，可以 帮助师生把注意力从名次、得分集中到要实现的教学目标上来。让教 师真正关心学生的学习困难和错误所在，关心学生素质的提高，促使 教育观念从“应试教育”向“素质教育”转变。因此，对题库进行研 究和建设是有十分重要的意义，也是非常有实用价值的嘲。试题库在 教学实践中有独特的优势：一是教学管理上的，即题库具有的商效、 经济、灵活和保密的特点：二是教学测量上啊【8 l 的，即由题库生成的试 卷具有质量高、可预控等特点。这是试题库产生的理论意义。 2 3 试基库系统的发展历史 6 试题库系统智能组卷与试卷分析的研究 运用计算机进行试题管理是计算机辅助测试c a t ( c o m p u t e r a s s i s t e dt e s t i n g ) q 1 首要项目，最早运用这项技术的是1 9 6 8 年i b m 公 司和美国洛杉矶学区共同开发的一个c t s s g j ( c l a s s r o o m t e a c h e r s u p p o r t i n gs y s t e m ) 。c t s s 系统最初管理一个美国历史题库，其中贮 存有8 0 0 道题目，能为中学教师生成测验，家庭作业、课堂讨论题以 及课外辅导材料等。c l x 3 s 采用批量处理方式，先由教师填写申请单， 标明所需题目的数量，类别及有关属性，经光电扫描机输入电脑。 c t s s 即能自动选取题目，复印所需的份数，还能自动输入答案单、 核对答案和评分等。后来，加利福尼亚州开发了一个拥有1 1 个题目 库的系统，大的试题库装有万个以上的试题，如美国历史题目库，小 的题目库也有数百道题目，如心理学题目库。计算机辅助教学能编制 出各种测验f 埘，如自我测验、定位测验、诊断性练习、学期测验和综 合测验等。 在我国虽然计算机参与教学管理已经有比较长的时间，但由于受 到硬件设备性能和软件制作水平的限制，在过去的一段时间中，利用 计算机现代化管理试题的技术只为少数对计算机程序精通的人士所 掌握，广大的教育工作者仍然处在手工操作的低水平上运作，不外乎 于先把试题抄写在卡片纸上，再分别放置于不同的试题柜中，不仅复 制极其困难，而且更新、查找也十分麻烦，效率极其低下。随着计算 机的发展，试题库系统智能组卷技术，为试题的保存、分类和检索提 供了科学的、有效的方式和手段，为编制科学的、公正的试卷提供了 高效率和低成本的手段：而更为重要的是它作为教学评价工具的重要 7 硕士学位论文 作用。因此，对题库进行研究和建设是有十分重要的意义，也是非常 有实用价值的。 2 4 试题库系统的现状和发展趋势 2 4 1 试题库系统的现状 在试题库系统建设方面，国内外都在积极进行研究和应用。在国 外，试题库技术的发展非常迅速。很多著名的考试很早就开始使用这 种技术。以g r e 为例，1 9 9 2 年就可在计算机上进行考试，1 9 9 3 年 开始计算机化。9 0 年代末，i b m 公司和a r t h u ra n d e r s e n 公司也开始 致力于计算机考试系统的研究。这些研究成果改变了传统的考试就是 “纸加笔”的状况，从而向计算机化转变。 在国内，试题库系统的研究在最近十几年里取得了很大的进步。 些大型的考试也运用了这些研究成果，如c e t - 4 、c e t - 6 等。在 高校的研究群体里，华南理工大学显得比较突出，它们在试题库建设 的理论基础、组卷算法、系统框架等方面进行了很多研究，发表了很 多论文。目前国内也开发出了很多试题库产品，如应用于海事局的北 京尖峰计算机系统有限公司开发的尖峰时课_ 考试系统，北京英时软 件公司开发的英时网络考试系统等。但与国外的研究相比，还是有较 大差距。 目前，各类试题库系统的应用主要有五种： 1 、将己经出版的习题集以及各种考试中用过的题目，存入计算 机的软盘中，称之为题库。 2 ) 基于m i c r o s o f te x c e l 或m i c r o s o f tw o r d 的试题库。它通过 皇 试题库系统智能组卷与试卷分析的研究 m i c r o s o f te x c e l 或m i c r o s o f tw o r d 来编辑试卷。实际上是手工出卷的 计算机机械化。 3 ) 基于脱机的专业试题库系统。它在生成试卷、进行测试和试 卷分析等方面可以为教师节省大量的时间。目前各教育部门和科研单 位所提供的题库，一般都汇集了全国各省市近年来的高考预选题、毕 业会考题、高考模拟题和高考试题等，试题有一定的代表性。 4 ) 基于对客观题有效专业或通用试题库系统，这限制了试题的 形式，它不能测验考生的综合能力、理解能力和文字表达能力。这种 试题库增加了计算机辅助教学方面的智能，体现出计算机辅助教学的 高效性和智能性，也可减轻教师的工作负担，最终彻底改变传统命题、 考试和评分方法。 5 、基于单机的试题库系统。单机试题库从成卷要求到数据库响 应到生成试卷，是单用户单线程模式。 们基于网络的试题库系统。 2 4 2 试题库系统的发展趋势 试题库的发展方向主要是： 1 1 专业化、个性化。专题性的网络试题库系统是为了专门测试 某一专业、某一主题和某一地区的考试而建立，非常实用。 2 ) 智能化。智能化就是智能成卷、试卷批改和智能查询、统计 分析。利用人工智能中合理的知识库和高效的知识推理模型来完成组 卷、查询和统计分析的一种手段。利用专家知识将试卷批改自动完成。 3 ) 简单化。网络试题库系统体现人的思维和思想，用户只要通 o 硕士学位论文 过浏览器，连上网络，便可轻松使用，无需复杂的配置、安装和管理， 大大降低了对题库使用者的技术要求。 钔网络化。与基于网络的远程教学平台进行集成。 5 ) 实施远程自适应测试。 6 ) 加强统计与分析功能，提供更加丰富的教学测量指标分析。 试题库系统智能组卷与试卷分析的研究 3 智能组卷及组卷算法 对试题库系统来说，能生成符合要求的试卷是一项最根本的功能 要求。智能组卷能最有效地把专家们( 指有丰富经验的教师群体) 的知 识和组卷经验与计算机技术结合在一起，生成符合要求的试卷且比较 客观和规范性好( 避免个人的主观性和局限性) ；同时，使用起来又最 为方便，对操作人员几乎没有什么专业上的要求。 3 1 智能组卷的定义 要实现试题库系统的智能组卷，首先必须了解相关的几个概念。 1 ) 智能化的定义 人工智能技术的进展为计算机辅助教学领域注入了很多新的内 容，研制高质量的智能教学系统已成为当前计算机辅助教学领域的重 要课题【1 l j 。智能化具有两方面的含义n 2 1 ：一方面，试题库管理系统应 该能根据学生的答题情况自动生成试卷分析统计数据，用户可以以此 为依据修正试题的属性。另一方面，系统应具备一定的自我学习功能， 通过对以往所出试卷的分析总结，去指导用户的命题规范和出题策 略。 综上所述，本系统中“智能”是指：智能查询、统计分析和智能 全自动成卷。即利用人工智能技术中合理的知识库和高效的知识推理 模型来完成查询和统计分析、组卷的一种手段。 组卷的定义 组卷是试题库系统的重要的基本的功能。通过输入一些条件参 1 1 硕士学位论文 数，系统将根据这些参数抽出最适合参数要求的试题，组成能够实际 使用的试卷，定义这种条件参数以及对这些参数进行变换算法，我们 称之为组卷策略【5 】。组卷策略的实质是将对人比较直观明了的组卷参 数变换成计算机能够直接操作的试题属性项，然后根据这些属性项， 在题库中抽取试题组成试卷。因此，完整的组卷策略应该由三部份组 成：试题属性项定义、组卷参数的定义、变换算法的说明。通常，试 卷策略指用户对试题所要达到的测试目标所做的规定和限制。具体实 施为：组卷人能够按照多种条件设计组卷方案，根据设计的组卷方案， 可以从题库中抽取想要的题目，从而得到满意的试卷。 综上所述，组卷是指将对满足试卷条件的试题从题库中提出来构 成一份用户所需要的试卷。其实质是将人比较直观明了的组卷参数变 换成计算机能够直接操作的试题属性项，然后根据这些属性项，在题 库中抽取试题组成试卷。 3 1 智能组卷的定义 智能自动成卷是智能化试题库系统必须具备的核心功能【1 3 】。“智 能组卷”集中教育专家的知识，运用人工智能技术，自动从题库中选 择试题，组成满足各种性能要求的试卷的过程。“智能组卷”需要有 合理的知识库和高效的知识推理模型支持。由于生成的试卷是用于真 正的考试，知识库和知识推理模型的设计除了要顾及到用户的需求特 点之外，还需要考虑到有关考试的命题时间、题型分布、内容分布、 赋分、平均分和及格率等等的要求，因此智能组卷是一个典型的约束 满足问题的求解过程。其实，智能组卷就是用户只要输入最基本的考 1 2 试题库系统智能组卷与试卷分析的研究 试要求，如考试内容，难度等级，题型和要求等，计算机能自动地科 学地生成一份合乎教学要求的试卷，使试题的内容在各篇章的分布上 比较合理均匀，如果条件不合适，系统会给出提示信息，并尽可能地 组出满足条件的试卷，还可进行调整并避免出现重题。2 综上所述，智能组卷就是：集中教育专家的知识，运用人工智能 技术，自动从题库中选择试题，组成满足各种性能要求的试卷。 3 2 智能组卷的实现 智能组卷通常包括组卷和赋分。而如何保证生成的试卷能最大 程度地满足用户的不同要求，并具有随机性、科学性、合理性，是组 卷的一个难点。尤其在交互环境下用户对组卷速度和质量的要求极 高，如题目应具有多样性、广泛性、可靠性和稳定性等。因此，一个 组卷系统对于用户而言是有重要的作用的。 3 2 1 常见的智能组卷的几种方式 组卷是任何考试系统设计的核心也是最难实现的部分。有几种成 功的智能化的组卷方式，如下所示： 智能全自动成卷是智能化试题库系统必须具备的核心功能【1 4 1 。智 能成卷需要有合理的知识库和高效的知识推理模型支持。由于生成的 试卷是用于真正的考试，知识库和知识推理模型的设计除了要顾及到 用户的需求特点之外，还需要考虑到有关考试的命题时间、题型分布、 内容分布、赋分、平均分和及格率等等的要求。知识库设计的主要思 想是在给定误差范围内把一切成卷的要求都与时间建立关系。知识推 理模型中选题的主要根据就是时间指标，如果被选中试题的时间指标 1 暑 硕士学位论文 在给定的误差范围内，就认为它是可以接受的。设计其相应的预赋分、 时闯、权重、优先级。 智能组卷是一个典型的约束满足问题的求解过程旧。组卷是试题 库系统的重要基本的功能。智能组卷集中教育专家的知识，运用人工 智能技术，自动从题库中选择试题，组成满足各种性能要求的试卷。 提供基于章节和基于知识点两种组卷方式【1 6 l ，使之更接近教师的 出题习惯和思路，在建立题库时有相应的字段标明每题所在章节和所 属知识点。为了避免同一内容的题目在试卷的不同题型中出现，题库 增设了关键词和语义词两个字段。组卷时，每选一道试题，都要考察 其是否与已选试题的关键词和语义词相同，若相同则不予采纳。由于 网络考试平台的开放性，为了保证试卷的保密，需对试题复用时间间 隔加上一定的限制。为此，采用最近、最少用算法以避免试题的重复 率。随机选题模型使用的是二项分布算法，它使得所选试题难度符合 要求并呈正态分布。为了达到智能化，随机选题模型就成为系统的一 个新难点，如何在庞大的试题库中选出符合难度要求的试题，涉及到 试卷的平均难度、题型及每一题的难度问题。系统采用的是二项分布 算法，因为随机抽出的试题概率都不依赖于其它抽题的结果，对于每 道试题而言只有两种可能：被抽出或不被抽出，具有随机性。所以可 认为随机抽题事件符合离散型随机变量的二项分布函数。在模型中k 表示难度，p 表示难度级射为k 的概率，即级别为k 在总趣数中所占 的比例表示试卷的平均难度。因为对于固定的二项分布，当k 增加时 概率p 先是单调增加至最大值，然后单调减少，两头的概率很小可以 1 4 试题库系统智能组卷与试卷分析的研究 忽略。所以在实际计算中，如果设定难度级别分为五级，就取n = 6 ， 共7 级难度，即可求出每种难度的试题在总题数中所占的比例p ，再 乘以总题数即得到每种难度应该抽取的试题数。如果计算出的题数与 所规定的题数仍不等，则将差额加到与平均难度最接近的难度中。由 此，所选试题难度符合要求并里正态分布【1 t l 。 为了实现组卷的智能化，提高考试系统的性能，在组卷系统中引 入专家知识【1 8 1 ，使系统快速高效地组出用户满意的试卷，实现组卷智 能化、自动化。智能组卷系统是一个知识基系统【1 9 】( 以知识为基础的 系统) 。知识是决定一个知识基系统的主要因素，是一种经过解释， 分类和使用的结构化信息。在研究中，可把领域知识归纳为三种类型 2 0 j 。 1 ) 描述性知识：用于刻划领域中的基本概念和定义： 2 ) 过程性知识：用于刻划关于领域中概念的操作： 3 ) 元知识：用于控制对过程性知识和描述性知识的应用。 智能计算机辅助教学 2 1 1 中一个关键的问题是试题库的智能组卷。 目前常用的两种组卷方法是： 1 ) 在试题库中随机搜索满足条件的试题，直到试题总数满足要 求为止 2 2 1 2 3 1 。该方法的有很大的随机性和不确定性，易于陷入局部最 优解和求解速度慢。 2 ) 整卷随机抽取法。该方法的缺点是无法满足题库多变的要求。 近年来，遗传算法( 遗传基因的运算法则) 作为一种全局优化搜索 算法，得到了广泛的应用。它能根据自然法则从群体中选择适应性更 1 s 硕士学位论文 大的个体，从而得到最优解，具有自组织，自适应和自学习等智能特 征。 智能系统嘲实质是用计算机模拟人的智能活动，而智能活动是一 个获得知识和运用知识的过程，这就要求把人所拥有的知识转换为计 算机能够接受的形式。将人的知识转换为特定的数据结构的组约定 就是所谓的知识表示嘲。好的知识表示方法可以提高人工智能系统解 决问题的水平和效率，甚至对有些问题，人工智能主要表现在寻找适 当的表示方法上。 3 2 2 试卷赋分 试卷赋分是指将试卷的卷面总分分配到每道试题。这项工作可由 教师凭经验自己完成扛也可由系统自动实现。自动赋分也是智能组卷 的一个部分。自动赋分方案有两种：一是组卷策略参数法，即在组卷 策略中向系统提供试卷中各题型的单位分值和各个题型在各目标层 次上的分数比例：一是给各难度级规定赋分权重。在后者这一条件下， 卷面分数分配策略可这样设计：在同级难度的赋分权重相同时，各题 的分数与答题的参考时间成正比：在不同难度级不同的赋分权重下， 可通过加入某些难度级的题目在总分中的比例进行调整。这样可使所 需时间相同而难度级不同的题目，其赋分的多少完全与该题难度级的 赋分权重成正比。这种卷面分数分配的方法灵活，可以支持不同类型 的考试与练习。 3 2 3 组卷策略的分析 组卷策略就是组卷人能够按照多种条件和组卷控制参数设计组 1 6 试题库系统智能组卷与试卷分析的研究 卷方案，根据设计的组卷方案，可以从题库中抽取想要的题目，从而 得到满意的试卷。 1 组卷控制参数 确定组卷控制参数是试题库系统进行组卷的先决条件。将考核要 求转化成系统可执行的组卷控制参数是组卷过程的关键环节。 试题库系统数据库对试题的组织如下：把考试科目的内容分成若 干个知识点，每个知识点下分布考核该知识点的试题。在组卷晃面中。 利用v b 6 0 的t r e e v i e w 控件生成树状结构，考试科目的子节点是 知识点，每个知识点有2 个子节点：教学要求和学时。教学要求和学时 这2 个节点是可编辑的，由考核者根据大纲和教学情况进行填写。系 统根据教学要求推理确定知识点的题型分布和难度系数，根据学时确 定知识点所占的分值。知识点的分值、题型分布和难度系数就是该知 识点的组卷控制参数。其中题型分布是指当前知识点在考核时采用哪 几种题型的组合和每种题型所占的分值。系统根据各个知识点的组卷 控制参数从题库中抽取考核各个知识点的试题组成试卷。 组卷控制参数的推理确定，首先要在s q ls e r v e r2 0 0 0 中建立了 必要的的存储过程函数和视图，然后利用s q l 语句中的赋值语句和 循环语句调用这些已经建立的存储过程函数和视图。包括建立视图 g e t f a c t ，建立存储函数r e a c h e x a m p l e ，建立存储函数r u l e r e a s o n i n g ， 存储函数p a p e r p a r a j u d g e ，建立函数c o m p u t e r p a r 。 在此基础上系统自动将知识点的学时和教学要求作为事实性知 识存入事实知识库( f a c t d a t a b a s e ) 。各个知识点的分值是根据知识点学 1 7 硕士学位论文 时确定的。试卷总分值根据知识点所用学时按比倒分配给每个知识 点，从而完成试卷分值的确定。 推理确定知识点题型分布和难度系数的过程中利用了组卷参数 知识库和案例知识库，采用了基于案例和基于规则的混合推理方式。 推理过程在事实知识库( f a c t d a t a b a s e ) 、规则知识库( m l e d a t a b a s e ) 、控 制知识库( c o n t r o l d a t a b a s e ) 和案例知识库( e x a m p l e d a t a b a s e ) l 拘基础上进 行。推理的具体过程表述如下： 1 ) 利用g e t f a c t 从事实性知识库获得当前知识点的教学要求和学 时，并写入暂时性知识库。 2 ) 利用g e t p o i n t 根据当前知识点的学时计算出其分值。 3 ) 利用r e a c h e x a m p l e 以当前考试科目代码、当前知识点代码 和当前知识点的教学要求代码为检索条件，检索案例知识库。如果检 索到案例知识即可获得组卷控制参数编码，转6 1 ；如果案例知识库中 没有相关记录，转4 ) 。 4 ) 利用r u l e r e a s o n i n g ，以暂时性知识库的内容( 教学要求) 匹配 规则性知识库获得触发规则知识。同时，以触发规则知识的结论部分 更新暂时性知识库的内容。 。 5 ) 利用p a p e r p a r a j u d g e 判断触发规则知识的结论部分是否是 组卷控制参数编码。如果是，转6 ) ：否则，转4 ) 。 6 ) 利用c o m p u t e r p a r a 把推理获得的组卷控制参数编码转化成 当前知识点的题型分布和难度系数。即解读上述组卷控制参数编码即 可把知识点的分值按比例分配到各个题型即确定知识点的题型分布， 1 盛 苎壁壁至竺墨墼丝耋兰兰堂坌堑竺婴壅 同时根据编码确定知识点的难度系数。推理过程流程图如图3 - 1 所示。 图3 - 1 推理确定组卷控制参数流程图 2 组卷策略的矩阵结构 试题库系统的组卷策略的数据来源一个组卷策略矩阵【2 刀，如公式 3 1 组卷策略矩阵所示。其设定的1 1 维向量( 分数a ，难度a 2 ，知识点 a 3 ，认知分类a 4 ，题型a 5 ，所用时间a 6 ，区分度i t 7 ) ，a i 是第1 项指 标。组成一份试卷就生成一个l l l x n 矩阵，其中1 1 1 是试卷所含的试题 个数，1 1 是试卷的i 1 项指标。 组卷策略矩阵应该满足如下的约束条件【冽：公式( 3 2 ) 试题难度 约束公式，公式( 3 - 3 ) 试题区分度约束公式，公式( 3 4 ) 试题题型约 束公式。 硕士学位论文 s m 4 踢2 a n 口订 ( 3 1 ) 难度。善( a j l a 弘1 1 0 0 ) j i l ，。 ( 3 - 2 ) 弘驴g 渐区触的分数 其中c ，- = 0 磊 ( 3 3 ) 和甜= r 舢登的微x 其= 长耋2 i 鬻 ( 3 4 ) 3 组卷策略的难度和区度分析 系统根据输入一些查询参数在试题库中抽出最适合参数要求的 试题，组成能实际使用的试卷，定义这种查询参数及对这些参数进行 变换的算法，称之为组卷策略。组卷策略的实质将比较直观明了的组 卷参数交换成计算机能直接操作的试题属性项，然后根据这些属性 项，在题库中抽取试题组成试卷。 根据公式( 3 2 ) 难度约束和公式( 3 - 3 ) 区分度约束对公式( 3 - 1 ) 进行分析，可以预测试卷的整体难度和区分度。参考经典测量理论， 试题难度由公式p = 1 - s f 确定，其中s 为学生的平均分，f 为满分数： 试题区分度的计算采用两端分析法：d = ( r , - r l ) n ，其中r h 为高分 组( 前2 7 的被试者) 的合格人数，r l 为低分组( 后2 7 的被试者) 的合 试题库系统智能组卷与试卷分析的研究 格人数例。教育测量学家认为：如果考试的目的是要在全体考生间进 行最充分的比较，要求分数能够最大程度地区分考生，则此时考试的 平均难度应控制在o 5 左右较为适宜。若要达到这一难度要求，试卷 中的试题难度最好分布在【0 3 ，o 7 】范围之间，超出此范围的试题都要 谨慎选用，全卷平均难度为0 5 时能最好地发挥考试的甄选作用。一 般认为区分度在【0 3 ，l 】为较好的题，【o 1 5 ，o 3 】可修改后使用，【0 ，o 1 5 】 者应予以废弃。计算机组卷时将优先选用区分度高的题目，整个试卷 中区分度高的题目越多，试卷的信度越高 2 9 1 。从而针对不同的测试目 的，适当的提高或降低难度和认知度达到预期的目的。例如，如果测 验是用于选拔录用人员，就应该比较多地采用那些难度值接近录取率 的题目。 3 2 4 智能组卷的流程 智能组卷过程是根据组卷策略中的实际参数从试题库中选择满 足条件的试题的过程，大致流程主要有以下5 个步骤，每步流程的具 体设计好坏影响试卷整体质量： 1 设置和接受用户要求 考试内容、试卷难度、考试时间、试卷份数等要求在组卷时要由 用户直接键入。其它指标，如各篇章分数比例、各教学层次要求上的 分数比例、重点章节、1 0 分题数目等，除在程序内部设定约定值外， 还可允许在组卷时键入修改。根据这些要求，程序生成产生试卷所依 据的参数及各篇章和各层次分数比例的控制库。 2 制定试卷和试题模式 2 1 硕士学位论文 所谓模式是指一种规范性的约束条件。试卷模式包括客观题( 即 选择题和填空题) 和主观题( 包括计算题、证明题、问答题等) 的分数 比例( 如客观题6 0 分，主观题4 0 分) ，试题的难度分布，1 0 分题的 题数( 可在2 4 之间选择) 等。试题模式就是对各道试题所规定的各 项指标或指标范围。试卷和试题模式是根据用户要求和一定的推理策 略和算法求得。制定和生成模式是智能组卷设计中的关键问题。智能 组卷和选码组卷的根本区别在于模式得到的方法不同，前者按一定的 推理算法由程序自动生成，后者靠人工编码键入。 3 搜索争回溯 所谓搜索就是根据模式到试题库中去找题，要找出满足模式的所 有试题。当按某模式找不到试题或找到的试题数量不够时，就要修改 模式( 一般是放宽条件) ，然后再去搜索，这一过程称为回溯。 4 选题和处理 试卷中每一试题都是从搜索到的试题中随机地选出一题而得到 的。当每选出一题后，要进行有关指标得分的处理，如统计试卷得分， 从各种指标限定的总分中扣除相应指标的得分。 5 检查和调整 这一初步试卷的各项指标并不都满足要求。通过程序内部设置的 检查找出不合适的试题，进行更换调整直至试卷指标满足。 组卷的流程图，如图3 2 所示。 试题库系