（应用数学专业论文）自适应网络考试系统的设计与实现.pdf

摘要 摘要 测验与评价是教学过程中一个十分重要的环节。计算机辅助测试，特别是具有一定 智能程度的计算机测试，不仅可以帮助教师减少大量的重复劳动，而且还可以完成教师 手工难以胜任的工作，例如对大量测试的数据进行分析、根据学生的水平选择试题等等。 计算机辅助测试已经成为计算机辅助教学的重要组成部分，国内外许多教学单位都已建 立了试题库并投入实际应用。 然而一个试题库并不是简单地将数量众多的试题存贮在计算机中，要充分发挥试题 库的作用还必须以教育测量理论【l 】作为基础，同时辅助于项目反映理论 2 】，进行自适 应考试，即考试应能自动地适应应试者的具体情况，试题的难度、数量、知识点分布可 根据应试者的特点和考试过程而灵活变通。一般自适应测验是建立在项目反应理论基础 上发展起来的一种测验，它是一种在项目水平上进行分析的测验。这种测验的编制者认 为，要测量考生的能力，最理想的项目就是相对于考生难度适中的项目，即他答对或答 错的概率都在0 5 左右。在测验开始时，计算机一般给出一个难度中等的题目，如果被 试做对，计算机就会估计他的能力高于中等水平，然后再给他一个难度高一点的题目； 如果他做错，计算机就会估计他的能力低于中等水平，然后给他一个难度较低一点的题 目。计算机将根据被试第二题的回答情况，对其能力再作估计，在第二次估计基础上， 计算机在题库中选择最接近他能力估计值的题目，接着根据被试反应，对其能力再进行 估计。这样，随着被试做的题目增多，计算机对他能力的估计精度越来越高。最后其估 计值将收敛于一点，该点就是该被试的能力较精确的估计值。 本文提出了一种新的自适应算法，基本原则是考题的难度根据前面考题的回答情况 自行调整，如果你前面连续答对两道题，那么下一道题的难度相对于前面一道题的难度 将增加：如果你前面连续答错两道题，那么下一道题的难度相对于前面一道题的难度将 降低：当然难度只有有限的几个等级。考题的内容也会根据前面考题的内容进行调整， 尽量保持考试内容的分散性，以覆盖更多的知识点。 在依靠纸和笔的情况下，通常采用固定的试题进行测验，即要求所有的学生回答同 样的问题，因而难免会包含对学生太容易或太难的试题，这对某种能力层次的学生可提 供的有关信息太少。只有当试题的难度与被试者水平相适应时，测验结果可提供的信息 量才可达到最大值，也只有这样才可以提高应试者的积极性。另外，随着人们对教育需 求的不断增加，以及我国在教学资源上的相对缺乏，使得远程教育在我国有广阔的发展 华南理工大学理学硕士学位论文 空间，而考试系统作为远程教育的一部分，对其网络化是必然的。进而讨论了网络技术 和计算机技术对考试系统的支持，分析了其网络化的可行性。 本文的主要工作是对考试系统的设计以及自适应成卷算法的实现。首先，讨论了考 试系统的总体结构和运行环境。然后建立了试题的指标体系并确定了其值。设计与实现 了考试系统的成卷模块。另外，本文还讨论了怎样给考生评分，怎样输出答卷。对成卷 算法进行了有效性检查，从检查结果来看，系统达到了我们的要求；最后提出了系统需 要改进和完善的地方。 关键词考试系统；自适应擞学模型；成卷算法；项目反映理论 a b s t r a c t t h et e s ta n de s t i m a t i o ni s a l l i m p o r t a n t b r a n c hi n t e a c h i n gp r o c e s s 。 c a t ( c o m p u t e r a s s i s t a n tt e s t ) ，e s p e c i a l l yw i t hs o m ei n t e l l e c t u a l ，n o to n l yc a nh e l p t e a c h e r sr e d u c i n gr e p e a t e dw o r k s ，b u ta l s od o e ss o m ew o r k st h a ti sh a r dt ot e a c h e r 。 f o re x a m p l e ，a n a l y z i n gp l e n d f u ld a t u m ，s e l e c t i n gt e s tq u e s t i o n sb a s eo ns t u d e n t s l e v e l 。c a th a v eb e c a m eai m p o r t a n tp a r to fc o m p u t e ra s s i s t a n te d u c a t i o n 。m a n y c o l l e g e so ru n i v e r s i t yh a v em a d e t h et e s tq u e s t i o n sb a s es y s t e ma n dm a k eu s eo ft h e m i no r d i n a r yt e s ti nt h ed o m e s t i co ra b r o a d h o w e v e r ，at e s tq u e s t i o nb a s es y s t e mi sn o to n l yt h ec o l l e c t i o no fm a n yt e s t q u e s t i o n sb u tb a s eo n e d u c a t i o nm e a s u r et h e o r ya n di t e mr e s p o n s et h e o r yi no r d e rt o m a k ee x a m i n e e a d a p t t h e t e s t 。n a m e l y ，t e s tm a ya d a p t u s e r sr e a ll e v e l a u t o m a t i c a l l y at h ed i f f i c u i t , d e g r e e ，t h ea m o u n t a n dt h ec o n t e n to ft h et e s tq u e s t i o n s a r ec h a n g i n gw i t ht e s t e r g e n e r a l l y , s e l f - a d a p t i v e t e s ti sb a s eo ni r t 。t h eo r g a n i z e ro ft h et e s tc o n s i d e r s w h e nw et e s tt h ee x a m i n e e sa b i l i t y ，t h em o s t a p p r o p r i a t ei t e m i sm e z z o d i f f i c u l t yf o r e x a m i n e e s 。a tt h eb e g i n n i n g ，t h ec o m p u t e r g i v e sa m i d d l e d i f f i c u l t yd e g r e eq u e s t i o n ， i f t h ee x a m i n e e sa n s w e ri sr i g h t t h ec o m p u t e rw i l le s t i m a t eh i sa b i l i t yb e i n gh i g h e r t h a nm i d d l el e v e l 。a f t e r w a r d s ，t h ec o m p u t e rw i l lg i v e sa h i g h e rd i f f i c u l t yq u e s t i o n s 。 i ft h ee x a m i n e e sa n s w e ri sw r o n g ，t h ec o m p u t e rw i l le s t i m a t eh i sa b i l i t yi sl o w e rt h a n m i d d l el e v e l 。a f t e r w a r d s ，t h ec o m p u t e rw i l l 百y e sal o w e rd i f f i c u l t yq u e s t i o n s i , et h e c o m p u t e r e s t i m a t e st h ee x a m i n e e sa b i l i t yb a s eo nh i sa n s w e rc a s e aa f t e rt h ec o m p u t e r e s t i m a t e st h ee x a m i n e e sa b i l i t y ，t h ec o m p u t e rw i l ls e l e c ta na p p r o p r i a t eq u e s t i o nt o e x a m i n e e s 。t h u s ，t h ea m o u n to fq u e s t i o n si n c r e a s e ，t h ee s d m a t ep r e c i s i o n o fa b i l i t y w i l li n c r e a s e 。a tl a s t ，t h ee s t i m a t ev a l u e o f a b i l i t yw i l lc o n v e r g e n c e ap o i n t 。t h ep o i n t i sf i g u r e da na o c u r a t ev a l u eo fe s t i m a t e t h ea m o u n to ft h e s e l f - a d a p t i v e t e s t q u e s t i o n i sn o tf e d 。t e s tq u e s t i o n s d y n a m i c a l l ye m e r g ei nt e s tc o u r s e 。t h eb a s i cp d n c l p i ei st h ed i f f i c u l t yd e g r e em a y s e l f - a d j u s tb ym a n s o ft h es i t u a t i o no fa n s w e r e dt e s tq u e s t i o n s ，i ft h ea n s w e ro ff r o n t t w o q u e s t i o n si sc o r r e c t ，y o uw i l la n s w e r am o r ed i f f i c u l tq u e s t i o mi ft h ea n s w e ro f i l l 华南理工大学理学硕士学位论艾 f r o n tt w oq u e s t i o n si s f a l s e ，y o u w i l la l l s w e rae a s i e rq u e s t i o n 。o fc o u r s e ，t h e d i f f f i c u l t yi sl i m i t e ds e v e r mg r a d e s 。t h ec o n t e n to f t e s tq u e s t i o n sa l s oa d j u s tb a s eo f f r o n tt e s tq u e s t i o n ，i no r d e r 幻k e e pt h es c o p eo ft e s tc o n t e n t i f y o ut a k ep a r ti nt e s ti np a p e r a n dp e n ，t h et e s tq u e s t i o ni sf i x c d ，i e ，a l ls t u d e n t a n s w e rt h es a m eq u e s t i o n s ，s ot h et e s tw a st o od i f f i c u l to rt o oe a s yt os o m ep e o p l e 。 t h et e s ti sn o te s t i m a t ec e r t a i nl e v e ls t u d e n t ，i f t h ed i f f i c u l t yo f t e s tq u e s t i o n si sn o tf i t f o rs t u d e n t sl e v e l 。w h e nt h el e v e lo f t e s ti sf i tf o rs t u d e n t ，t h et e s tm a yi m p r o v et h e s t u d e n t sa c t i v i t y 。t h e r ea r em o r ea n dm o r ed e m a n d sf o re d u c a t i o n ，h o w e v e rt h e r e s o u r c eo fo u r c o u n t r y se d u c a t i o nr u n ss h o r to fc o r r e s p o n d i n g l y 。t h i sc o n t r a d i c t i o n c a nb es o l v e db ya p p l y i n gt h er e m o t ee d u c a t i o n 。t h et e s ts y s t e mi sap a no ft h e r e m o t ee d u c a t i o ns y s t e m ，s ow ec a n g e ta c o n c l u s i o nt h a tt h es y s t e m sa p p l i c a t i o no n i n t e r a c ti sa ni n v a r i a b l et r e n d 。t h ed i s c u s s i o no f t h es u p p o r to f t h es y s t e ms u p p l i e db y t h en e t w o r kt e c h n o l o g ya n dt h ec o m p u t e rs c i e n c et e c h n o l o g ya n dt h ea n a l y s i so f t h e f e a s i b i l i t yc a nb es e e n i nt h et h i sp a p e r 。 t h em o s tw o r k so ft h ea r t i c l ei sd e s i g no fs e l f - a d a p t i v en e t w o r k t e s ts y s t e m ( s a n t s ) a n dr e a l i z a t i o nt h ea l g o r i t h mo ft e s tg e n e r a t i o n 。f 1 | r s t l y ，t h ea r t i c l e d i s c u s s e st h ec o n f i g u r a t i o no ft h et e s ts y s t e ma n dt h er u n n i n gc o n d i t i o n s e c o n d l y ， t h ed i s s e r t a t i o nd e s i g na n dr e a l i z et e s tg e n e r a t i o nm o d u l e at h i r d ，t h ea r t i c l es e t su p a m a t h e m a t i c a lm o d e lf o rs c o r ea l l o c a t i o n 。b a s eo n t h i sm o d e l ，a n a l g o r i t h m t or e a l i z e t h es c o r ea l l o c a t i o ni sg i v e n 。f o u r t h l y ，t h ea r t i c l eg i v e st h em o d e l a b o u tc o m p u t i n g s c o r e 。i nt h el a s tp a r to f t h i sd i s s e r t a t i o n ，t h e r ei sa t e s to f v a l i d i t yo f t h et e s ts y s t e m 。 f r o mt h ed a t u m ，t h es y s t e ma c h i e v e so u rd e m a n d y e t ，t h es y s t e m h a sm u c hf u n c t i o n n e e dt ob e i m p r o v e d a k e y w o r d sc o m p u t e r t e s ts y s t e m ；s e l f - a d a p t i v e ：m a t h e m a t i c a l m o d e l ；a l g o r i t h m o ft e s tg e n e r a t i o n ；i t e m sr e s p o n s et h e o r y 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：嚣 他专硐日期：1 。哆年6 月届日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密回。 ( 请在以上相应方框内打“4 ”) 作者签名：研 电细 铷签名：1 瓣 日期：2 口哆年6 月培日 日期：2 d d ；年6 月吕日 第一鼙绪论 第一章绪论 1 1 选题背景 1 1 ，1 国内外计算机考试系统的概况 在传统的考试中，准备一次考试是一件很烦琐的事情，从收集资料开始，选取考题、 对考题贼分、考卷排版、日 刷、考试、评分、统计等等，工作量很繁重，工作周期很妖。 面随着计算机技术的不断发展及其功能的不断强大，计算机被应用于越来越多的领域。 对传统的考试进行改革，引进计算机技术减轻工作量提高毅率成为一个新兴的课题。而 考试系统就此应运雨生，建立与使用试题库的目的就是为了克服在命题中人的主观性和 片面性，提高考试命题的客观性藕科擎陛。以及命题垂勺质量和效率。 计算机化考试绝对不是简单地把纸笔搬上计算机。比蛔参加高考的考生有见萏万， 有多少人就备多少台枫器，大家同日同时考显然不可能，但是枫考理论可以根据一个考 生对一道考题的反应，由计算机分析相关的数据，然后决定下一道考题，这样就诞生了 自适应性考试现在的g r e 考试就是这样计算机考试系统a 够在比较短的时间内 通过比较少的试题摸出考生的水平这些考题都来自题库，每道考题都有一定的参 数，这些参数能穆决定一道考题的考察目标和难度水平。实际操作中，先绘考生一道中 等难度的考题，如果徽对了，就出一道难度更大的考题，如果做错了，就出一道更加简 摹的试题，只要少数凡道题，藏基本上摸清了个考生的水平。这种方式掴对于纸笔考 试育几个方面的优点：一是节省考题、纸笔；其次，纸笔对应的是一个群体，必须照弱 一个尺子对一个群体进行测量一套统一酶考题对于好鹩考生来说太简单，实际上是 一种浪费，对于水平差的考生太难，反正不会做，也是种浪费。计算机考试的特点是， 我大概知道你的水平，载给出一些试题来，反复几下就可以精确地知道你的实际水平。 这釉方式似乎更直口适应现代人的需求，因而得到了广泛的认同。 在国夕卜，已经投入使用的考试系统有著名的美国t o e f l 、g r e 、g m a t , 还有微软等 太公司弱国际认汪考试譬。另步卜，辽出现了一些支将网络考试的产品，如i n f o r m a t i o n s y s 协m sa n t il n s e c ts t u 6 i e sa t 辖垴i 矗钕h 开发的一个网上考试系统w h i z q u i z ：还有 呶蛐e s s o n te v a j ，t u t o r i a l g a t e w a y 邪t h e o p e n l e a r n i n g a g e a c y o fa u s t r a 正a s ( o l a a ) 华南理工大学理学硕士学位论文 s y s t e m 等等。 在国内，试题库系统理论与技术的研究方面在最近几年取得了很大的进步。我国 许多高校都投入了大量的人力和物力到各门课程的试题库中研制工作中去，在试题库的 框架结构、模型建立和选题算法上都获得了进展，并取得了一定的成果。但是，能够在 线面向用户的考试系统还不多见，带有智能性的考试系统就更少，所以在以后的研究和开 发过程中，还有很多的工作要做。 1 1 26 r e 机考简介 g r ec a t 的考试思路与笔试相同，但题目的分布和顺序都有很大的改动。它有三 个部分：v e r b a l ，q u a n t i t a t i v e ，a n a l y t i c a l ，题目数目和时间如下表l l ： 表l lg r e 机考题量与时间分布 t a b l e l 1t h e d i s t r i b u t i o n o f t e s t q u e s t i o n sa n d t i m e a b o u t t h e c o m p u t e r t e s t o f g r e v e r b a l q u a n t i t a t i v ea n a l y t i c a l 题量3 02 83 5 建议答题时间 3 04 56 0 ( 分) 考试程序具有自动调节功能，可以根据每个考生答题的状况自动选择最适合于该 考生的考题。所以每位考生的试题都不尽相同，高分考生会发觉题目越做越难，而低分 考生会发觉题目越来越简单。 不管考生答出多少题目，也不管考试时间是否超时，考生将得到每一部分的成绩。 如果考生对某一部分题目没有做出任何回答，则这一部分将按无成绩计( n s ) 。 考生每部分的分数将建立在规定时间内回答问题的数量和质量上。在已经回答的 问题基础上，计算机会规划出下一步耍给考生的题目，以最好地反映出考生的现实成绩。 计算机将根据以下三个因素规划下一个考题： ( 1 ) 已回答问题的统计参数( 主要指难度) ( 2 ) 试题类型 ( 3 ) 合适的覆盖面 与笔试相比，c a t 有以下特点： ( 1 ) 考生可以随时在全球6 0 0 多个考点进行考试； ( 2 ) 个人预约按照先来后到的原则进行； 2 第一章绪论 ( 3 ) 考试环境更加舒适，每人一个小隔间，一台电脑，一副耳机，不受外界干扰。 ( 4 ) 题目配合图片和声音，活化题目场景，加强考生的理解程度。 ( 5 ) 问题更少 ( 6 ) 考试可根据参试者的实际水平自动进行调整： ( 7 ) 可在屏幕上随时检查非官方的分数 ( 8 ) 正式分数单在两周后即可寄到。 参加c a t 考试要注意： ( 1 ) e t s 允许考生在考场熟悉考试设备； ( 2 ) 选中选项以后，用鼠标n e x t 和0 0 n f ：m 才可进入下一题： ( 3 ) 不要忘记带草稿纸，这对c a t 很重要。 1 1 _ 3 自适应网络考试系统的优点 1 传统命题、考试方式的弊端 首先由于教师个人对教学目标和教学基本要求的理解不尽相同，个人的教学经验 也存在差别，因此试卷考核的难度重点都有随意性。 其次，教师在命题、改卷、统计上需要花费太多的时间。 第三，传统的命题大部分采用主观题型，覆盖面较窄，很难保证试题对知识点的 覆盖。 第四，用于评价试题质量的指标( 如难度、区分度) 严重依赖于被测试样本，对同一 问题，如果被测试样本能力水平差异大，则区分度值会很高，反之，区分度值则很低。 第五，测验某项能力或知识水平时，必须同时使用同一套测验题，否则测验结果 无法直接进行比较。 2 自适应网络考试的优点 ( 1 ) 如果允许，考生可以自由选择地点和时间进行考试； ( 2 ) 相对传统考试，考试时间更少了： ( 3 ) 考题可根据应试者的实际水平进行调整； ( 4 ) 考试结束以后可以马上知道成绩； f 5 ) 监考更加容易，因为考生的试题都不尽相同： ( 6 ) 对高能和低能考生可以提供更为精确的能力估计，而经典测验对这两类考生考查的效 果一般较差。 3 华南理工大学理学硕士学位论文 3 考生进行自适应考试需要注意以下几个方面： ( 1 ) 考生不能调整做题顺序； ( 2 ) 考生不能修改已经确认过的答案，因为电脑程序只有在收到答案后，才会根据答案的 正确与否，选出下一道题； ( 3 ) 考生无法在试题上做任何标记，以帮助解题； ( 4 ) 试题库的容量对于考生水平的考查可能会有影响。 1 2 前入的工作 2 0 0 0 年，高等教育出版社对“网络试题库系统”进行了招标。而华南理工大学由于 在试题库方面有着深厚的基础和技术力量，所以承担了“大学数学系列网络试题库系统” 的设计和开发任务。该任务已于去年完成。本人在“自适应网络试题库”的设计与实 现中，用到了“大学数学系列网络试题库系统”的概率论与数理统计的部分试题， 以及其对应的数据表( 指标体系) 。 文献 3 1 2 3 1 2 7 基于项目反映理论，提出了一些自适应考试模型( 见第二章) ，这 些模型对于本文的写作起了不少的作用。 1 3 本论文的主要工作及其意义 1 3 1 主要工作 虽然在试题库系统方面已经有了很大的发展，但是能够进行在线考试和评分的考 试系统还不多见。尽管在i n t e m e t 上有一些可以进行考试的网站，但其功能远远没有达 到智能化的程度，而且试题数量较少，在考试中甚至会出现重题，所以不能满足用户的 要求。 本论文的工作就是利用当前成熟的试题库理论及现有的试题，还有试题所对应的 指标体系，结合网络技术、人工智能技术和数据库技术，对传统的试题库系统进行网络 化，使其能够在互联网上运行，并且可以让用户上网在线考试，或者用户通过i n t e r n e t 测试自己的水平。 “自适应网络考试系库”不仅扩展了试题库系统使用的覆盖面，而且为远程教育的 4 第章绪论 =i i i i i i ! j 自- 日d 日自自e = ! e = = = ! = = e e e _ _ e 一 推广与实施提供了必要的技术支持。在自适应网络试题库的设计与实现的过程中，完成 了考试系统的总体设计、数据库设计、指标体系及其指标值的确定、自适应成卷设计、 记分设计。该系统的核心是自适应成卷设计。 1 3 2 本文的意义 本文的意义主要有： l ，为自适应网络考试系统建立了个可行的总体框架，为传统的试题库系统向网络化和 在线考试提供了条可行之路。 2 在考试系统的网络化方面做出了尝试，为远程教育的实施提供了一个技术基础。 3 提出了一个可行的、简洁的、高效的自适应成卷算法，并在系统中得到了运用。 5 华南理工大学理学硕士学位论文 第二章自适应网络考试模型 2 。1 项目反应理论简介 国际上计算机化考题设计涉及到两个理论问题，一是经典考试理论，另一个是项目 反应理论，这些理论说到底就是研究考题如何组成试卷。经典的考试理论根据考生群体 的表现组合试题，每一道试题的情况都会总体来考虑，然后依据统计学的规律作出分配。 项目反映理论的对象不是群体，而是一个具体考生，根据一个考生对于某一难度水平考 题的反应状况来决定一套试卷的试题这种理论为计算机化考试奠定了基础。 项目反应理论是关于心理和教育测量的一种较新的理论。这理论的起源可以追溯 到本世纪三十年代中期，但是它真正引起广大测验理论家的注意并对之进行广泛而深入 的研究则在近二十年之中。由于项目反应理论有着经典测验理论所没有的种种优点，因 而随着研究的深入，它越来越受到广大测验理论家的重视，从而得到迅速地发展和不断 完善，并广泛应用于测验的全过程，例如g r e 、t o e f l 、微软认证等，取得了良好的 效果。 2 1 1 项目反应理论定义 h a m b l e t o n 和s w a m i n a t h a n 对项目反应理论作了如下定义 2 ：在测验情景中，通 过定义被试的特征，即特质或能力、估计被试在这些特质上的得分( 称作能力分数) 、 并运用这些分数来预测或解释项目以及答题情况，来解释和预测被试的作答。特质( t r a i t o ra b i l i t y ) 和项目( i t e m ) 是项目反映理论的核心概念。两者之间的关系是i r t 的主要 内涵。 2 1 。2 项目反应模型 在( i t e m sr e s p o n s et h e o r y ) i r t 研究过程中，人们提出了多种项目反应模型，这些模 型主要分为两大类：静态模型与动态模型。静态模型描述被试某时刻的素质、能力水平 ( 不随时间变化) ；动态模型则用来描述被试的内在素质、能力水平随时间变化的情况。 目前比较成熟的是静态模型。 1 静态项目反应模型 静态模型还可以根据测试能力的维度分为单维、多维，根据测验的评分方式分为二 值记分和多值记分( 二值记分是指用l 表示答对，用o 表示答错) ，以及根据项目特性曲 第二章自适应网络考试模型 线的形状分为正态卵型和逻辑斯蒂型等多种。目前应用较广的是单维逻辑斯蒂模型。 2 逻辑斯蒂模型 逻辑斯蒂型是由伯恩鲍姆于1 9 5 7 年提出的，他所假设的项目特性曲线如图2 一l 所示。 图2 1 逻辑斯蒂模型 f i g u r e2 - ll o g i s t i c m o d e l 【n g 如上所述，项目特性益线描述的是被试测验得分与被试内在素质、能力水平之闻的 关系。在图中具有不同能力水平的各个被试用q 表示：被试关于项目j ( 即第j 题) 的测验 得分用”正答概率”p i 表示。定能力水平的被试对某- n 验项目的正答概率只与该项 目( 即试题) 的质量有关。 3 逻辑斯蒂模型解释 由图3 一i 可见，所假设的项目特性曲线彤状是以拐点为对称中心的s 形。 曲线下部的渐近线离坐标原点有一定的距离c i ，这是由于存在猜测因素，即使能力素质 很低的被试仍有可能答对该项目，因此距离c i 即可定义为项目j 的“猜测参数”。 由图3 1 还可看到，拐点在纵轴上的投影落在c 与l 之间的中点( 1 + c i ) 2 上，这 表明对于能力素质水平为b ( 拐点在横轴上的投影) 的被试来说，若不考虑猜测因素，则谷 对与答错项目的概率恰好相等，即对于能力素质水平为b 的被试来说，所回答的项目有 适当的难度( 不太容易也不太难1 ，所以通常就把b 定义为该项目的”难度参数“。 此外，曲线越陡峭，正答概率p j ( q ) 随能力q 的变化就越敏感，该项目区分被试的 华南理工大学理学硕士学位论文 能力就越强。而曲线的陡峭程度是由拐点处的斜率决定的，因此我们就可以将曲线在拐 点处的斜率定义为该项目的”区分度参数”，并用a 表示。 由以上分析可见，项目特性曲线所描述的实际上是，被试的正答概率p i ( q ) 与项目 质量数a 、b 、c ( a 代表区分度，b 代表难度，c 代表猜测系数) 以及被试的能力素质水 平q 之间的数值关系。 4 逻辑斯蒂拱形函数的应用和简化 伯恩鲍姆为了较好地描述这种数值关系，选择了”逻辑斯蒂拱形函数”，这就是逻辑 斯蒂模型的由来。包含三个质量参数的逻辑斯蒂模型的数学表达公式为： 弓( q ) = c + 瓦1 - c 丽 除了选择题和非题以外，对于其他类型的试题来说一般不含有猜测因素，因而可令 c - - - o ，这样就得到双参数逻辑斯蒂模型的数学表达式为： 弓( q ) 2 瓦孑而 在不含有猜测因素，并且测验中各个试题又有大致相同的区分度的情况下，可令上 式中的a 取某一数值，比如令a = l ，这时项目的质量参数剩下难度一个，从而得到单参 数逻辑斯蒂模型如下式所示。 弓( q ) 2 瓦南而 式中，q 为被试的能力素质水平值，b 为项目的难度。b 随项目而变化，若第i 个被 试的能力素质水平值用q i 表示，项目j 的难度用b j 表示，第i 个被试答对项目j 的正确 概率用p j ( q 0 表示，则上式可改写为： 哆眩卜鬲丽南j 西万 可以看出，当被试的能力素质q 等于难度b j 时，正答概率p j ( q ) = u 2 , 当q i b j 时， ( q l b j ) 为正值，p j t 将大于1 2 ，被试的能力越强( q i 越大) ，p j ( q ) 越接近于l ；当q ：b j 时，( q i b j ) 为负值，p j ( q i ) 将小于i 2 ，被试能力越弱( q i 越小) ，p j ( q i ) 越接近于0 。 由以上分析可知，在逻辑斯蒂模型中，对项目参数的估计可以和能力素质的估计完 全分开。这就是说，只要测验项目符合该模型，对于被试能力素质的估计就独立于所使 用的测验项目( 即与施测所用试题无关) ；反之，只要被试符合该模型，对项目参数的估 计就独立于被试样本的能力素质分布( 即与被试样本的选择无关) 。 s 第二章自适应网络考试模型 2 2 单参数l o g is t i c 模型 项目反应理论中最常用的数学模型的有三神：单参数模型、双参数模型、三参数模 型。在这里我们介绍单参数l o g i s t i c 模型( 单参数模型又叫拉什模型，尽管该模型对 考试有很多的限制，但是拉什模型具有较大的承受能力，且具有其它模型不可比拟的优 点 2 5 j ) ，即名，= l + e x p ( 一d 瓦一i 万 艺，表示能力为吃的考生对具有难度为( q 代表第j 道试题的难度，且事先已经确定) 的试题作答时，答对的可能性( 概率) ； 皱j = 卜只，d = 1 7 ，当取d 2 l 7 时，采用l o g i s t i c 模型所引起的误差很小，但在应用 上却方便得多。 在考生对各题目作答是相互独立的假设下，得到似然函数为 = 驴a i 小。c r i 硒所答题眦辄矿龆盖俐了期蠲，于是为枫的极 大似然估计值，需如下n e w t o n r a p h s o n 迭代公式 串“k 串l 鲁 o ，t ，z ， 其中蜀= 等= 嘻魄，蝴r 。o 。2 1 a l 一。2 薯嘲初值 屹， o 。( o = i n 号- 一。 m 一 卢l 当能力初值o o 估出后，则根据o o 计算出题库中各个题目所对应的信息量 编) = 甍选取信息量最大的题目让考生作答r 根据考生的作答情形，得到新的 r = 号茅，r = 可a 2 i n l ，然后再通过极大似然估计，计算新的能力估计值b 由于测试的试题已经增加，则信息量，( 岛) = f ，( 吃 也有所增加，如果，( 绞) 不 j = l 大于某个指定的数且答题数不超过预先设计的上限，则继续上述步骤，否则报告估计出 9 华南理工大学理学硕士学位论文 的能力值。流程图如图2 2 ： 图2 2 单参数模型流程图 f i g u r e 2 - - 2t h ef l o wc h a r to fs i n g l ep a r a m e t e rm o d e l i o g 第二章自适应网络考试模型 2 3 试题指标设计 2 3 1 试题的指标体系 指标体系是指试题参数，它是建立试题库管理系统，实现自适应考试的基础和关键， 实践证明试题本身含有固有的一些参数。比如，难度，建议答题时间等。 对于这些固有的特性参数都需要一些指标来进行刻画，另外由于成卷的需要，也需 要一些指标来指导成卷中的选题，因此必须建立一个试题的指标体系，支持自适应成卷 模块功能。 对于指标的选择，本人参照了“大学数学系列网络试题库系统”，选用了其中的一 些指标来描述试题。整个指标体系如表2 1 。 表2 1 自适应网络考试系统的指标体系 t a b l e2 一lt h es y s t e mo fi n d e x e so ft h es a n t s 指标名称类型长度说明 试题编号字符型5试题的唯一标识，不同的试题其编号也不 同，并且该编号对应于一个h t m l 文件， 即具体的试题 所属章字符型2标识试题所属的章，由两位数字构成 所属节字符型2标识试题所属的节，由两位数字构成 知识点字符型2标识试题在所属的章节是哪个知识点，由 两位数字构成 试题难度数值型标识试题的难易程度，以试题的得分率作 为划分等级的标准，本系统的难度值由低 到高为1 3 ，1 代表最易3 代表最难 建议完成时间数值型表示学生在会做该试题的前提下，完成改 题所需的时间( 包括读题、审题、思考及 解答) ，以分钟做单位 试题答案字符型 l 标识试题的答案。本系统只有气b ，c ，d 分数数值型该试题放在1 2 0 分钟、总分为1 0 0 分的考 试中的分数。 2 3 2 试题指标值的确定 试题的某些指标值是客观确定的，比如说所属奄，所属节、知识点、试题答案：某 些指标值的更改不会影响试题的属性，比如编号。试题的某些指标值是由人为确定的， 当然这种确定需要一定的理论依据，比如试题的难度值、建议答题时间、分数。在这里 我们讨论试题的难度值( 难度档次) 、建议答题时间、分数( 1 2 0 分钟、1 0 0 分的考试) 华南理工大学理学硕士学位论文 的确定。本人主要参照了文献 3 1 试题难度档次的确定 试题的难度d 是指试题在测试中考生的平均失分率，习惯上常用得分率c 来间接描述试题的难度。显然d = 卜一c 。严格地说c ，d 都可以是0 、1 之间的任意实数， 但实际中不需要也不可能对试卷的难度进行如此细微的区分。实用上，常把区间( 0 ，1 ) 细分为若干小区间： ( q 一吩，c 1 + h o ，( c 2 一如，c 2 + 如) ，( c 。一恕，c 。十) 。 q ，c 2 ，是每个小区间的中心值， l ，k 也是每个小区间的半区间长，并把得分 率属于区间( c j 一噍，q + 岛) 的难度称之为第1 档难度，这样一来，我们定义了难度的n 个档次( 得分率高于c 1 + 啊的并入l 档，得分率低于巳一心的并入n 档) 。 至于c l ，c ：，c 。及】f 1 1 ，如，也的选取可随各个课程的不同特点而有所不同但有一点 是共同的，即一般：q q c ；啊( 也 d 。时，则取d m ) = d 。；如果考生的难度值下降到最低值西，那么难度 值不能再下降了，也就是说如果d ( n 1 ) - l d 时，则取d ( n ) = d 。； 从上式可见，设d ( 1 ) = d ( 2 ) = 2 ，考生两题都答对，那么d ( 3 ) = 2 + 1 = 3 ，难度升一 级；如果考生答一对错，那么d ( 3 ) - - 2 ，难度不变：如果考生两题都答错，那么d ( 3 ) - 2 一l = l ，难度降一级。 如果当d 2 ) _ 2 ，d ( n - 1 ) = 3 ，考生两胚都答对，那么d 伽) = 3 + 1 = 4 ；如果考生答 题为对一错，那么d 如) = d ( 加1 ) - - - 2 ，难度取上一题的难度； 2 所选试题所属的章节 如果考试不需要考虑各章节的权重，那么只耍使得试题均匀分布在各章节中就可 了。如果需要考虑各章节的权重，就要使试题按照权重分布在各章节，在这里我们不妨 设有n 章，各章的权重之比为k 。：七：一七。，( k 。：k 2 ：屯都是自然数) 即某些章需要出 现较多的试题进行考查，而某些章只需要出现较少的题进行考查，本系统采取了下面的 模型：b ( 1 ) = f i x ( r n d * n ) + 1 = i ，b ( 2 ) = f i x ( r n d * n ) + 1 = j ，即第一道题和第二道题由【l , n 的随机整数确定它们所属的章。( b 代表第k 道题所属的章) 。 i 占( 七一1 ) ，毛i b ( c ) = l 占 一1 ) m o d n + 1 ，与= 1 或第占( 七一1 ) 章的试题连续出现了岛次 这样不管考查多少道试题，可以在概率意义上保证内容的分配比例。 3 确定试题 我们知道一道试题的难度值和它所属的章节，并没有完全确定这道试题。但是我 们可以求出满足这两个条件的所有试题的数量( 这个数量必须躐去已经选出的这类型 试题，这样可以保证不会在一份试卷中出现重复的试题。) 。然后我们可以在所有的这些 试题中随机选取一道题。 假设满足条件的试题有r e c o r d c o u n t 道，在区间【l ，r e