（计算机应用技术专业论文）校园网环境下的自适应考试系统的设计与实现.pdf

摘要 摘要 随着项目反应理论的发展，自适应考试成为人们研究的一个热点，其研究对汁算机辅助 教育测试有意义，但目前已有的自适应考试系统，确定题库项目参数时，一般需要采集大量 的实验样本，通过极大似然估计法，用矩阵迭代的方法求项目参数，这需花费大量的人力、 物力和时间。其次只注重测试而忽略对测试的评价。为此，本文提出了一种新型的考试系统 模型，其基本思想是：通过专家意见和极大似然法相结合的办法求出题目的参数初值，然后 在测试过程中采用联合极大似然法调整题目的质量参数和特质参数，以提高系统的质量和效 率。另外采用基j 二知识点体系的题库系统，对测试结果进行分析，反馈相关知识点掌握情况 信息。该模型具有高效性、实用性等特点。 本文的主要工作是以本文所提出的自适应考试系统模型为核心，设计和实现了基于校网 园的自适应考试系统( w e b b a s e dc o m p u t e ra d a p t i r et e s ts y s t e m ，简称为w e b c a t s ) ，该 系统采用r s 体系结构，实现环境是a s p n e t 。将实现环境限定在校园网，主是要基于技术 和应用方面的考虑，这样，诸如安全问题、用户身份识别列题等可以得到简化。 本文共分七章，第章主要阐述论文研究背景、国内外自适应考试系统研究现状、论文 研究目标、主要研究内容和论文结构安排；第二章主要研究基于项目反应理论自适应考试系 统模型的构建；第三章是关于w e b c a t s 的分析和设计；第四章讨论w e b c a t s 的原型实现；第 五章分析了校网园环境下存在的安全隐患，提出了从网络利系统级、用户级和数据库级对系 统进行多重保护。第六章讨论了w e b 工程测试理论及软件的测试过程。论文最后对系统的设 计开发过程进行了总结，展望了自适应考试系统的发展趋势，提出了今后的研究方向。 关键词：自适应考试项目反应理论模糊贴近度知识点模型 摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h ei t e mr e s p o n s et h e o r y ( i r t ) ，s e l f a d a p t i r et e s t i n g a r eb e c o m i n gah o tr e s e a r c ht o p i c t h er e s e a r c h e so ns e l f - a d a p t i v et e s t i n ga r ev e r y i m p o r t a n tt ot i l ec o m p u t e r a i d e dt e s t i n g b u tw en e e dt oc o l l e c ts u f f i c i e n ts a m p l e s i nd e t e r m i n i n gt h ei t e m b a n ko ft h ep a r a m e t e r sp r o j e c ti nt h ee x i s t e ds y s t e m so f t h es e l f a d a p t i r et e s t i n g a n dt h em e t h o do fm a x i m n m1 i k e i h o o de s t i m a t ea n dm a t r i x i t e r a t i o nf o rt h ep r o j e c tp a r a m e t e r si sn s e di l lt h e s es y s t e m s ，w h i c hc o s t sal o t o fm a n p o w e r ，t i m ea l l de n e r g y o nt h eo t h e rh a n d ，t i l ef o c t t so ft h e s es y s t e m si so n l y t e s t i n g ，n o tc o n s i d e r i n gt h et e s t i n ge v a h t a t i o n t h e r e f o r e ，w eb n i l dan e wt e s t i n g s y s t e mm o d e li nt h i sp a p e r ，t i l eh a s i ci d e a sa r eo b t a i n i n gt h ei n i t i a l i z a t i o n p a r a m e t e r sb yc o m b i n i n gt h ee x p e r t s o p i n i o n sw i t hm a x i m u ml i k e l i h o o de s t i m a t e ， l i s i n gj o i n tm a x i m n m1 i k e l i h o o de s t i m a t et oa d j u s tt h eq n a l i t yp a r a m e t e r sa n d c h a r a c t e r i s t i c sp a r a m e t e r so ft h et i t l et oi m p r o v et h eq u a n t i t ya n de f f i c i e n c yo f t h es u b j e c tb a n k b e s i d e s ，b a si n go nt h ek n o w l e d g ep o i n t s ，w ec a l la n a l y z et h et e s tl e g r e s u l t ，a n df e e dh a c kt h er e l a t i r ei n f o r m a t i o no ft i l ek n o w l e d g e ，t h em o d e li so f h i g he f f i c i e n c y ，p r a c t ic a l i t ya n do t h e rc h a r a c t e r i s t i c s ， t i l em a i nt a s ko ft i l ep a p e ri st od e s i g na n dr e a l i z et h ew e b b a s e ds e l fa d a p t i v e t e s t i n gs y s t e mw i t ht i l ec o r eo ft h es y s t e m a t i cm o d e o ft h es e l f - a d a p t i v et e s t i n g i nt h i ss y s t e m , w ea d o p tt h es t r a c t a r eo fb s s u p p o r t e db ya s p n e tw h i c ha r e r e s t r i c t e dw i t h i nt h ec a m p t l si n t i a n e t i nt h ec a m p n si n t r a n e tt h ei s s u eo fs a f e t y a n d t h eid e n t i f i c a t i o no ft i l en s e i sc a nb ep r o c e s s e di l ls i m p l em e t h o d s ， t h e r ea r e7c h a p t e r si l lt h i sp a p e r i nc h a p t m1w es t a t e st h eb a c k g r o u n do f t h er e s e a r c hp a p e r ：t h ec u r r e n ta c h i e v e m e n t so fs e l f - a d a p t i v et e s t i n g ：t h ea i m c o n t e n ta n ds t r u c t u r eo ft i l ep a p e r i nc h a p t e r2w em a i n l ys t u d yt h es t r n c t u r eo f t h ei t e mr e s p o n s et h e o r ya n ds e l f a d a p t i v et e s t i n gs y s t e mm o d e l s i nc h a p t e r3m e f o c n so nt h ew e b c a t s ( w e b b a s e dc o m p u t e ra d a p t i v et e s t i n gs y s t e m ) a n a l y s i sa n dd e s i g n i nc h a p t e r4w ed i s c t l s st h ei m p l e m e n t a t i o n so nt h ew e b c a t sp 1o t o t y p e i nc h a p t e r 5w ea n a l y z et h eh i d d e nd a n g e r su n d e rt h ec i r c l l m s t a f 】c e so ft h ec a m p u si n t r a n e t a n d o f f e rt h em l i i t i l e v e lp r o t e c t i o nm e c h a n i s m i nc h a p t e r6w ed l s c a n st h et e s t i n g p i o e e s so f w e bt e s t i n gt h e o r ya n ds o f t w a r ee n g i n e e r i n ga n dt h er e l a t e da p p l i c a t i o n s i no e rs y s t e m i l lt h ef i n a lp a r tw ed r a wae o n c h l s i o no nt h ed e v e l o p m e n tp r o c e s s o fs y s t e md e s i g n ，a n df o r e s e et h ep r o s p e c to fs e l f a d a p t i v et e s t i n gs y s t e m k e yw o r d s ：s e l f - a d a p ti v et e s ti n g ，i t e mr e s p o n s et h e o r y f u z z yp r o x i m i t y ，k n o w l e d g e p o i n tm o d e l s 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加阱标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名：盔碰缝 e l期：坐乒 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 研究生签名：名筝肇埠导师签名：豸受鹜起日期：玉型f 第一章绪论 第一章绪论 基于校网园环境的自适应考试系统的设计与实现对如何在远程教育系统的设计中充分利用现代先进技术，具 有重要的参考价值；也对提高项目反应理论、自适应考试系统的研究，具有一定的参考作用。本章将阐述自适应 考试系统的研究背景，并介绍该系统的研究开发目标以及本文的主要工作内容和论文结构的安排情况。 1 1 计算机辅助考试系统的现状和发展趋势 考试是教学过程中的重要环节，它担负着因材施教、选拔人才、诊断补救、评价教学等众多功能。当前，计 算机“无纸化考试系统”由于高度安全，便于组卷和评阋，无纸化资源消耗低，自动化程度高，在各种考试中已 被广泛应用。但大部分考试系统只是简单的将传统的人工出题改为计算机出题，或者将笔试改为上机考试，其基 本思想仍没有突破传统的经典测试理论( o c t ) 。 传统的测验，不论考试水平高低全部要接受同一批题目的测验，结果对水平低的考生来说，那些难度大的题 目，根本无法作答，反而引起焦虑。对高水平考生来说，那些难度小的题目，又测不出考生的真实水平，徒然浪 费精力。理论的分析与实践的经验都证明，当题目难度跟考生水平相适应时，题目所提供的信息量最大，考生的 积极性最高，测验效度也就最好。 自适应测验的基本思想是“闻人施测”，使不同水平的考生都能接受一组跟他自己水平相适应的试题。所谓 “自适应”就是测验本身要自动地适应考生的具体隋况，在考生作答过程中及时根据作答资料估出考生的可能水 平，并针对这一冰平迅速决策，从大型题库中提取难度冶当、性能优良的题目继续施测。直到施测的题目足够多， 测验信息量累计和达到指定值为止。 国外现有不少自适应考试系统软件。如芝加哥大学心理学实验宝研究没计的b i g s t e p s 软件，可处理3 2 ，0 0 0 个考生和3 0 0 0 个项目的数据。美国教育测试中心和芝加哥大学的专家共同开发设计的b i l o g 软件，能处理1 0 0 0 个项目，考生数量不限，很适合国内当前的大型考试分析。美国“测试系统公司”( a s s e s s m e n ts y s t e m s c o r p o r a t l 0 n ) 是世界上计算机测试系统的龙头老大。该公司的f a s t t e s tp r o f e s s i o n a l 是套基于视窗平台和 局域网的多媒体在线测试软件，也可用于自适应测试。使用该软件可制作多项选择题( 最多町达2 0 个选项) 、是 非判断题、配对题等，支持图形、音频和视频等多媒体文件，还具有随机出题、实时随机、题目衍支、关键词查 询、统计查询等功能。其中的管理模块具有暂停、浏览或预览题目、跳越题目、局域网管理、显示题数、显示剩 余时间、题目反馈、限定及格分数等功能。有消息表明自适应考试( a d a p t i v e ) 是微软今后考试的主要类型u j 。 在我国，已经出现了一些应用型的研究，自行编制了一些c a t 测验，并取得了实际的运用效果，上海电大在 上海市计算机应用能力的考试项目“v b 6 0 程序设计”中已采用了c a t 的考试设计方法。江西师大小学数学c a t 研究、华南理工大学的“数据结构”自适应测试系统的研究也取得了一定的成果。上海华中师范大学陈艳的“一 个计算机化自适应考试系统”采用v b g 0 和s q l7 0 开发。杨琳的基于w e b 的自适应考试系统采用a s p 利s o l7 0 开发。自上世纪九卜年代初期开始，全国大学英语四、六级考试委员会一直致力于项目反应理论和“计算机自适 应测验”的研究和开发【z l 。h 前，国内自适应考试系统大多采用胖客户瘦服务器计算模式，这种模式对客户端 要求比较高，安装、操作都比较复杂，对于题库参数的确定需要采集大量的实验样本，非常复杂。而且都不支持 主观题题型。 1 2 课题的提出 虽然自适应考试理论是一种更先进的考试测量方法，但当前在国内的实际应用并不广泛。究其原因，大致有 以下4 点： 第覃鳍论 ( 1 ) 题库项目参数计算复杂 在采用i r t 方法确定题库项目参数时，一般需要采集大量的实验样本，通过极大似然估计法，用矩阵迭代的 方法求项目初始参数a ，b ，c 。在考试过程中，根据考生反应情7 兑校正项目参数。 ( 2 ) 重测试轻评价 采用i r t 方法能更准确、快速地测出考生的实际能力，更有利于对测试情况进行评价，反馈相关知识点掌 握情况及建议。但已有的自适应考试系统更注重对项目模型的研究和考试过程的控制，而忽略对测试后的评价。 ( 3 ) 只支持标准型试题 在试题结构方面，课程考试多限于选择题、填空题等标准化试题，仅有这类题型的试卷对测试考生的能力还 有欠缺。因此，理想的试卷还应包括问答、计算等。 ( 4 ) 安全性 当前的白适应考试系统大多没有考虑到考试的安全性。考试系统的安伞赢接关系到测评的效果。如果不能保 证考试系统的安全性和完整胜，那么考试的口j 信度就会受到影响。 1 3 研究目标与主要工作内容 甘前，基于校浏园环境下盼自适应考试系统研究是学校教学研究的一个热点，但支持知识模型的自适 应考试系统还基本处于实验阶段，无典型产品。本文就此课题展开研究，希望能为校网园自适应系统的设 计与实现提供一种思路，满足学校等应用需要，其目的是能更准确、快速地测出考生的真实水平，并给出 详细的知识点掌握情况。 本课题的研究目标是：在校园网环境下设计与实现一个基于项目反应理论的自适应考试系统。自适应考试系 统能够根据被测试者的个性特征，“因人施测”，能够更陕速、更准确的测出考生的真实的水平，以进一步提高教 师的工作效率，推进教学改革。 本课题的主要r 作内容是： ( 1 ) 项目反应理论的研究和廊用，传统的题目初始参数采用试测法确定，这需要花费大量的人力、 物力和时间，本系统采用专家估计法确定试题项目参数初值，在考试过程中，采用极大似然估计法校正试 题项目参数。 ( 2 ) 校园网环境下的自适应考试系统模型研究。包括研究基于项目反应理论的题库建设和考试流程、 知识点体系结构、基于单向! l i 占近度的匹配法的主观题评分等内容。 ( 3 ) 以所研究的考试系统模型为核心，设计一个包括登录( 注册) 、教师管理、管理员管理、知识点 管理、系统管理、数据库日志分析、安全管理、知识点管理、主观题评分等模块的校网园环境下的自适应 考试系统，并以a s p n e t 为开发平台，实现系统原型。 1 - 4 论文结构安排 本文共分七章。 第一章对当前计算机辅助考试系统和计算机自j 舌! 衄考试系统的现状和发展趋势进行了分析，提出了研究本课 题的意义所在。 第二章主要研究校园网环境下自适应考试系统模型的构建。j 鞫述了将项目反应理论应用于自适应考试环境的 设计，在探讨基于项目反应理论题库建设、考试流程等内容基硎 上，完成了自适应考试系统模型的构建。 第i 章给出了基于校网园环境下的白适应考试系统的分析和设h 思路，提出了自适应考试系统的框架，详细 说明了w e b c a t s 系统的构成及考试实施过程，包括系统模块、题库结构、参数估计及考试流程、知识点模型等内 容。 第四章讨论了w e b c a t s 的原型实现。根据应用系统设计方案，完成校园网环境下自适应考试系统的原型实现。 并讨论了w e b c a t s 开发所涉及的相关理论和技术。 第五章洋细分析了系统潜在的安全性问题，并提出了相应的安全保护措施。 第章绪论 第六章讨论了w e b 工程测试理论及软件的测试过程。 第七章对系统的设计开发过程进行了总结，简要介绍本文的主要特色及系统有待完善之处，同时对自 适应考试系统的发展趋势进行了展望。 第二章基于项目反应理论的白适应考试系统模型研究 第二章基于项目反应理论的自适应考试系统模型 w e b c a t s 的核心是校园网环境下的自适应考试系统模型( c o m p u t e ra d a p t i v et e s ts y s t e mm o d e l ，简称为 c a t s m ) ，在设计完整的自适应考试系统之前，本章剥自适应考试系统模型进行研究，为w e b c a t s 的设计与实现奠 定基础。 本章咀项目反应理论为指导。研究校园网环境下自适应考试系统模型的建立，我们之所以将研究范围限定为 校园网，主要是基于技术和应用方面的考虑，这样，诸如安全问题、用户身份识别问题等可以得到简化。 本章重点讨论了基于项目反应理论的题库建设和考试流程。在此基础上构建校园网环境下的自适应考试系统 模型。 2 1 传统测验的局限性 在传统测验l 3 ，4 ，b j 中，对所有考生都使用相同的题e l 进行测试，常见的测验有“尖峰”型和“平矩”型。 有些测验则介于这两种极端类型之间。 在“失峰”型测验中，所有试题均集中于同一难度，当考生的特质水平与这一难度水平相当时，测验的精度 很高。但是，对低水平的考生来说，那些难度大的题目，根本无法作答，形同虚设，乃至引起瞎猜；对高水平的 考生来说，那些难度小的题目，测不出考生的真实水平，徒然浪费精力。测验的精度迅速降低。 “平矩”型测验既包括一些适合于低特质水平的考生的非常容易的试题，也有些适合于高特质水平的考生 的高难度试题，但能适合各种水平的考生的试题数目报少。结果是当“平矩”型测验在多数水平上能提供相对 均等的精度时，测验的整体精度却相对地降低。 传统测验采用线性的确定性模型，通过项目分析和整体分析来鉴定测验试题的质量和衡量测验的有效性和可 靠性。在传统测验中，题目参数( 难度、区分度) 是咀通过该题的人数的平均得分率、题分和试卷分的相关来计 算的。所求得的参数会受到不同考生样本组能力水平的影响。传统测验主要适合于检测考生相对水平的测验，较 难适应考察考生实际水平的测验。总而言之，传统测验的局限性在丁： ( 1 ) 传统测验用于评价试题质量的指标( 如难度、区分度) 严重依赖于考生样本，对同一问题，如果与考 生样本能力水平差异大，则区分度值会很高反之，区分度值则很低。 ( 2 ) 传统测验只适用于测验考生相对能力水平，不适用于考察实际能力水平，如果所有考生全部不能通过 测验，则无法计算难度和区分度。 ( 3 ) 传统测验测验某项能力或知识水平时，必须同时使用同一套测验题，否则测验结果无法直接进行比较。 2 2 项目反应理论的发展 项目反应理论是一种新兴的心理与教育测验理论，它是在批评传统测验理论的局限性的基础上发展起来的 【6 ，7 ，8 ，9i 。它剥心理与教育测验理论和实验的作用是巨大的。 项目反应理论的基本思想起源于上世纪3 0 年代末和4 0 年代初，1 9 4 6 年，塔克正式提出“项目特性曲线” 概念。所嚼项目特性曲性，就是表征考生能力或特质水平与其对一个测验项目的正确反应概率之间关系的二维曲 线圈。 1 9 5 2 年，美国心理和教育测量学家洛德提出了著名的正态卵形模型和孩模型的参数估计方法，并成功地将 他的模型应用于实际测验。随后， 9 5 7 年，伯恩鲍姆提出了易于处理的逻辑斯蒂模型以及相应的统计处理方法， 进步推动了项目反应理论的发展。 白上世纪7 0 年代以来，项目反应理论在其各个主要应剧领域，如测验设计、能力估计、测验唰化、自适应 测验等方面，都取得了相当大的进展。目前人们对项目反应理论的研究工作，在理论方面，集中在连续变量8 验 4 茎三兰至主堡旦垦壁堡堡堕鱼望窒耋望墨竺堡型婴塞 资料和多维隋况下的数学模型探索上：在实际应用方面，则主要集中在项目反应理论在测验编制、题库建设、测 验参数等值等实际问题的应用上。 2 3 项目反应理论的基本原理 在项目反应理论研究过程中，人们提出了多种项目反应模型，这些模型主要分为两大类：静态模型和动态模 型。静态模型捕述考生某时刻的素质、能力水平( 不随时间变化) ；动态模型则用来描述考生的内在素质、能力 水平随时间变化的情况。目前比较成熟的是静态模型。 静态模型还可以根据测试能力的维度分为单维、多维，根据测验的评分方式分为二值记分和多值记分，以及 根据项目特性曲线的形状分为正态卵型和逻辑斯蒂型等多种，应用较广。的是单维逻辑斯蒂模型。 2 3 1 项目反应模型( 逻辑斯蒂模型) 单维逻辑斯蒂模型【l o ，1 1 ，1 2 l 是由伯恩鲍姆于1 9 5 7 年提m 的，他所假设的项目特性曲线如下图( 图2 - 1 ) 所 图2 - 1 单维逻辑斯蒂模型 图中，o 表示被试能力水平。 p j ( o ) 表示被试关j ：项目j ( 即第j 题) 的“正答概率”。 c 为项目j 的猜测系数。它是曲线在p 轴上的截距，表示能力很低的被试仍有可能答对该项目的概率。 b 表示该项目的难度系数。它是曲线拐点在。轴上的投影，拐点在p 轴上的投影晗好落在c j 与1 之间的 中点( 1 + c j ) 2 上，这说咀对于能力素质水平为b ( 0 = b ) 的被试来说，若不考虑猜测因素，则答对与答错项目 的概率恰好相等。 a 表示该项目的区分度。它是曲线在拐点处的斜率。显示，曲线越陡峭，正答概率p j ( o ) 随能力。的变化 就越敏感，该项目区分被试的能力就越强。 包含三个质量参数的逻辑斯蒂模型的数学表达公式为：( 这里，d 为常数l - 7 0 2 ) 1 一， e ( 臼) = c + 百南馘2 1 第二章基于项目反应理论的自适应考试系统模型研究 除了选择题和是非题以外，对于其他类型的试题来说一般不含有猜测因素，因而可令c = o ，这样就得到双参 数逻辑斯蒂模型的数学表达式为： 弓( 口) = 百；而公越： 在不含有猜测因素，并且测验中各个试题又有大致相同的区分度的情况下，可令卜式中的a 取某一数值，比 如令a = l ，这时项目的质量参数剩下难度一个，从而得到单参数逻辑斯蒂模型如下： 弓( 臼) = 百而 公船， 由以上分析可知，存逻辑斯蒂模型中，对项目参数的估计可以和能力素质的估计完全分开。这就是说，只要 测验项目符合该模型，对于被试能力素质的估计就独立于所使用的测验项目( i p 与施测所用试题无关) ；反之， 只要被试符合该模型，对项目参数的估计就独立于被试样本的能力素质分布( 即与被试样本的选择无关) 。 2 3 2 项目反应模型的参数估计 上面的乱b ，c 和0 各参数值都不能直接测量得到，而必须通过被试的反应数据进行估计来求出。对于项目反 应模型中参数的估计，通常采用的是极大似然估计法。用m 道试题组成的试卷对n 名被试进行测验，该测验采用 二值评分，所有被试在m 个测验项目上的得分构成一个“二值得分矩阵”( 项目反应矩阵) 。在极大似然估计中， 似然函数u 3 的一般形式为 三( u | 护，口，b ，c ) = n 兀 p “n ( 1 一u ) 1 f z 公式2 4 i = 1 j = l 式中，u 为n x m 的项目反应矩阵，其元素为l j i 。若i 被试答对项目j ，则u j i = l ；否则，u j i = 0 。 p j i 为被试i 答对项目j 的概率；q j i = ip j i 为被试i 答错项目j 的概率。 在进行参数估计时，应寻找能使似然函数达到最大值的那个参数值。因此，只要求出l n l 对于各个参数的一 阶偏导数并令其等于零，即可达到目的。 2 3 3 项目与测验的信息函数 信息雨数是项目反应理论中的一个重要概念。某俏式题j 的信息函数值的大小直接反映出该试题对被试能力 素质水平的估计精度，信息函数值越人，这种估计就越精确。因而信息函数可作为衡量测验试题是否有效果的工 具。在项目反应理论中某个测验项目j 的信息函数 1 3 定义为： w ) = 篙= d 2 a j 2 ( 1 一c j ) c f + e d 。护6 1 + e 也口 公式2 - 5 式中，p j 是被试答对项目j 的概率：日j = 卜p j 表示答错的概率；p j 是项目反应函数p j 的一阶导数。 信息函数具有可加性，饮测验的i ( e ) 值可以由各题的i j ( o ) 简单相加而得到的。组成测验的各道试 题的质量越高，斟门所能提供的信息量越大，从而根据该测验对被试的能力素质水平所作出的估计就越准确，越 接近其真值。信息函数的可加性充分说明了信息函数是反映测验有效性的一个客观而精确的指标。正因为如此， 6 第二章基于项目反应理论的自适应考试系统模型研究 信息函数是项目反应理论中最重要的一个概念。 2 4 基于项目反应理论的题库建设 1 4 ，1 5 在传统的项目反应理论中，题目初始参数采用试测法确定，即采用大量的样本对每一道题目进行试测， 以得到该题的题目参数，这需要花费大量的人力、物力和时间，本系统采用专家估计法和极大似然法相结 合的办法求出题目的难度、区分度以及猜测系数和特质参数。 首先，采用专家意见，将每个题目的难度、区分度作估计。评价分五级： 难度级别：容易、较容易、适中、较难、难 区分度级别：优、良、中、较差、差 我们将上述级别作如下量化( 表2 - 1 、表2 2 ) l 难度级别 难 较难适中较容易 容易 难度值l o 7 o 50 3o 1 表2 一l 区分度级别优良 由 较差差 区分度值 10 4o 3o 20 1 表2 2 将以上结果作为题目的参数初值，然后在测试过程中采用联合极大似然法调整题目的质量参数并确定被试的 特质水平。其基本步骤如下： 第一步，为特质参数和题目参数指定初值。 题目i 的区分度参数初值i r t a 用袁2 - 2 中的区分度值来表示；将表2 - 1 中的难度值作如上变换： 1 r t b ：i n l l b ，所得的i r t b 作为项目的难度初始值；项目的猜测系数i r t c 的初值等于该项目的选择项数的 倒数，如四选一单选项的猜测系数为i 4 ：o 2 5 。特质参数的初值oo 可由下式确定： 11 1 一 0 0 = 1 r t b + 三一1 1 1 r 二+ 一14 1 + 8 1 r t c 公式2 - 6 1 7 豫7 a 22 第二步，把项目的质量参数看作是已知的，先估出被试的特质参数的初步估计值。这一步可以用极刘以然估 计法来进行。在项目质量参数已知的情况下，我们先假定n 个项目的质量参数分别为a i ，b i ，c i ，其中 i 2 1 ，2 ，3 ，n 。 特质水平为0 的被试在第i 个测验项目上的反应变量u i ，因为该测验采用二级评分公式，故被试在第i 个测 验项目上的答对概率记为p ( u i = 1 10 ) ，或简记为p i ，答错概率记为p ( u i ：0 10 ) ，或简记为o i ，则 e ( u ：1 秒) = p ( u ，= 0f 秒) ( p ( u ：= 1 乡) = 口q ，卜q 公式：。， 其中o i = l p i 。特质水平为0 的被试在全部测验项目上反应的联合概率为 尸( u ，以l 臼) = 户( ui 臼) ( p ：i 目) h f 臼) = 兀p ；v , q 公式2 8 i = 1 当依据实测数据给每个随机变量u l ，l j 2 ，u n 取定了具体的值后，我们就可以进行特质参数估计了。首先 确定似然函数 三( u ，u ：，u 。10 ) = 公式2 9 u q u 只 。兀斟 笙三童董王堡旦垦坐型堕望旦堕蜜兰堕墨篓堡型笪塑 简记为l ( o i0 ) 。当这一函数取最大值时的0 值就是待估的特质参数的值。由于1 咀然函数与它的自然对数函 数i nl ( u 10 ) 同时达到最大值，故可用对数似然函数取代它。 l n l ( ul 护) = u ii n 只+ ( 1 一u ，) l nq f 公式2 1 0 i f f i l 求出对数似然函数的一阶导数，令其为0 ，就可得到似然方程 ，( 目) = d d d _ 曰l i l l ( ul 占) = o 公式2 “ 对于该非线方程，用n e h t o n r a p h s c a 迭代公式om + 1 = 0mh m 。0m + l 、0m 为第+ l 、m 次选代的能力估计 值。 l = f ( 0 ) f ( e ) 吼= i n ( 聆一u ，) i = 1 公式2 1 2 朋脚喜半群馘2 _ 1 3 厂( 臼) = 。2 喜! ! 二等若；妒公式2 _ 1 4 第三步，把第二步中估出的被试的特质参数作为该参数的已知值，估计项目的质量参数。这里仍用极大似然 f ( a ，) ：三1 n l ( ui 口) = o o a ； f ( b i ) 2 杀m 三( u 旧。0 t 式2 - 1 6 f ( c 。) = 三1 n l ( u1 秒) = o d c i 公式2 。1 7 对于这几个方程，同样用n e w t o n r a p h s o n 迭代公式a m + l = a mh l 、b m + l = b m - h m 、c a + 1 2 c al m 。a m + l 、a m b t a + 1 、b m 、c l l i + l = c t b 为第m + l 、次迭代的能力估计值。 h m = f ( x ) f ( x )其中x = a i ，b i ，c i u 。埘 第二章基于项目反应理论的自适应考试系统模型研究 m 护。型揣老幽 公式2 1 8 f ( a i ) = d 2 型幂挚盟棚 ( 6 f ) = 一。旦兰三主群公式z ：。 f ( 玩) = d ：q 2 ( u i c ，一只2 ) ( 一c ，) q j 2 ( 1 一e ) 2 m ) = 耥馘2 - 2 2 州= 耥 公式2 2 1 第四步，判别结束条件是否满足。如果满足，那么无论是特质参数主是项目质量参数，它们最后一次估计值 即为最终的估计值。如果结束条件不满足，则返回第二步继续迭代。结束条件有两个：第一，迭代次数达到指定 的最大值；第二，f ( o ) 达到指定的精度。 其流程如图2 - 2 所示。 指定项日质量参数及被试特质水平的初值 ( 表2 - 1 、2 - 2 公式2 - 6 ) 令项e l 的质量参数为己知条件，利用极大似然估训 法，估出被试的特质参数( 公式2 一l 2 、2 一1 3 、2 1 4 ) 令特质参数的初步估计值为已知条件，利用极 大似然估计法，估出项目的质量( 公式2 1 8 2 2 3 ) 判别结束条件是否满足 特质参数和项月参数的最后一次估计值即为最终估计值 图2 2 题库建设流程 否 第二章基于项目反应理论的自适应考试系统模型研究 2 5 基于项目反应理论的考试流程 1 6 】 计算机辅助测验一般是通过测验算法来实施的。所谓测验算法，就是用来选择要呈现给被试的试题及 决定这些试题的呈现顺序的一整套规则、指令。一般来说，个测验算法主要有以下三个部分组成： 1 怎样开始：如何选择呈现给被试的第一道试题； 2 怎样继续：每当被试作出一次反应后，应当如何选择呈现给被试的下一道试题； 3 怎样结束：什么时候测验可以结束。 2 5 1 试验性探查阶段 测验刚开始时，我们设置了一批探套性题目，初步估计被试的水平。首先选择较接近被试的能力水平 的题目。本系统中采用以下初始选题策略：如果被试参加过测试，则根据历史记录确定受测者的初始能力 值，以此确定此次的开始题目；若被试没有参加过测试，则由被试自行决定自己的能力程度，选择测试的 起始题目。 在初始难度确定后，本系统首先将l o 道题目作为一纽测试项目，当被试做完1 0 道题目后，如果被试 的回答情况全对或全错，则选取一道极难或极易的题目，以使这个阶段能实际终止。如果在再次选择1 0 道题目以后，被试的回答情况仍为全对或全错，则说明题库中的试题对于被试而言太难或太易，无法测出 被度的真实水平，此时则终止测验，并向被试反馈预测结果。 如果被试的答题情况有对有错，则利用极大似然法初步估计其特质水平o ，结束试验性探查阶段。 2 5 2 后继选题策略 在初步估计出被试的能力水平后，如果选取下一道试题，才能精确地估计被试的能力水平昵? 项目信息函数是直接反映测验分数对被试能力水平的估计精度的指标。项目信息函数越大，对被试能 力水平的估计就越精确。一个项目所能提供的信息量，在项目质量参数已知的情况下，也并不是固定不变 的。它的取值取决于所测被试的特质水平。也就是说，同个项目在测验高、中、低水平的被试时，它所 能提供的信息量是不一样的。在项目质量参数不变的情况下，项目信息函数的取值是随所测被试的特质水 平的不同而变化的，而且所测试被试的特质水平就越近试题难度，信息函数的取值越大。 因此，如果已知一个被试的某项特质水平，且测量该特质水平的题库也已建成，那么就可以为该被试 选择一系列能提供最大信息量的项目。 选题原则确定后，每做一道题目，系统根据被试的反应利用极大似然法再次估计被试的能力值，继续 选择施测题目，增加信息量，直到满足测验终止条件。 2 5 3 测验终止策略 施测到什么时候结束，取决于我们对测量精度的要求。因为题目信息量的累加和就是测验信息函数值， 而估计的标准误差就等于信息函数平方根的倒数。随着施测题目的增加，信息量的累加值也不断变大，当 这一累加值达到指定要求时，测验即可终止。但是用这种方法容易造成测验过长，尤其对于两种极端能力 水平的被试而言，因而这种方法的效率较低。因此，我们采用以下两种方法相结合： 1 当测验项目达到一定的数量之后，测验就自动终i e ，这种方法的优点是易于实现，且对每个测验 项目的使用率作较精确的统计：缺点是对不同被试的特质参数的估计精度不同，而且要确定一个合适的长 度般来说并不容易。 2 比较被试特质参数最后两次的估计值，当这两个值之差小于某顶先给定的数值之时停止。这种 l0 第二章基于项目反应理论的臼适应考试系统模型研究 方法得到的被试能力水平的估计精度与指定信息函数值的方法十分接近，但所使用的测验项目甄量要歹福 多。 我们使用的测验终止策略是以上两种策略的结合，即只要满足其巾- 个条件测验即终止。 综上所述，可知自适应测验的流程图如图2 - 3 所示。 图2 - 3 自适应测验流程 2 6 基于项目反应理论自适应考试系统模型的构建 构建自适应考试系统的关键是发现考生能力值的个性差异，提供适应个体需要的测试模型。在研究基 于项目反应理论题库建设和考试流程的基础上，本文提出的基于项目反应理论自适应考试系统模型由考生 图2 - 4 系统模型 1 1 第二章基于项目反应理论的自适应考试系统模型研究 ( 1 ) 考生髓录模块主要负责收集考生的特征信息，并完成系统登录。 ( 2 ) 组卷模块：教师可以定义测试知识点范围，组卷模块根据考生初始能力值，在指定的知识点测 试范围内选择初始试题，记录并评价考生的反应情况，校正特质参数的估计值，调整题目的参数。继续后 继试题，重复上述操作，直止满足终止条件。 ( 3 ) 考试支撑环境提供给考生一个考试环境。考生通过这个模块进行测试。考试的进行中所发生的 情况都是由这个环境所处理的。这是考试的关键部分。 ( 4 ) 阅卷模块。自适应考试系统根据考生项目的反应动态生成试题，因此阅卷不是考试全部结束时， 而是在考试过程中。试题有主观题和客观题两种类型，那么判卷也要有相应的处理部分。这里就是处理部 分， ( 5 ) 成绩分析模块主要负责将考生的情况、考试的情况进行分析，反馈相关知识点掌握情况及建议， 有利于教师的教学和学习的学习。 ( 6 ) 管理平台。管理员可以对教师、系统等方面进行管理，教师可以对学生、试题、考试环境等进 行管理，这样有利于平台的顺利发展。 c a t s m 的上作流程是：考生首次进入，必须填写注册表单，注册信息存入用户数据库；根据考生初始 能力值从大型题库中选取1 0 道试题，初步估计考生能力值，以后每选择一题试题就记录考生答该题的情 况并校正特质参数和试题题目参数，直到满足测试终i p 条件。当本次测试结束时，反馈考生成绩及考生测 试的知识点掌握情况和后继测试的知识点范围。 2 7 本章小结 本章介绍了项目反虚理论、基于项目反应理论题库建设和考试流程等内容，经过分析，构建了完整的 自适应考试系统模型，并对系统组成模块和工作流程进行了详细的描述。 自适应考试系统模型是w e b c a t s 的核心，下一章将立足于系统的实用性及可行性，具体介绍w e b c a t s 的设计方案。 1 2 第三章w e b c a t s 总体的设计 第三章w e b c a t s 总体的设计 上一章对校园网环境下基于w e b 的自适应考试系统模型进行了详细的描述，本章将结合宁波工程学院 校网园建设的具体情况，完成w e b c a t s 的总体方案设计。首先，介绍系统的设计目标、设计原则、运行架 构和体系结构，其次进行系统功能模块设计、构建系统模块模型，最后，阐述系统的工作流程。 3 1w e b c a t s 概述 在系统需求调查阶段，我们了解到宁波工程学院的生源主要来自浙江地区，但还有一部分学生来自全 国各地，这些学生在学习基础、学习能力、学习兴趣与习惯、努力程度等方面，都存在巨大的个体差异， 传统的测验方法无法将学生的真实水平测出来，测验可比性差等。因此，在项目反应理论的指导下，我们 提出了构建基于项目反应理论的自适应考试系统，以满足学校管理的需要。 3 1 1 设计目标 自适应考试系统是b s 架构的辅助测验系统，系统能够根据被测试者的个性特征，自动选择个性化的测验试 题，因人施测，能够更快速、更准确的测出考生的真实水平，井根据考生测验的情况，提示考生对相关知识点 的掌握情况，自适应考试系统不仅是计算机技术水平的体现，更重要的是符合现代化测验的一般规律，能够为网 络测验提供一个真正高效的现代化测验手段。 3 1 2 设计原则 ( 1 ) 整体性保障原则 由于受人员、经费等条件的约束，系统开发采取“总体规划、分步实施”的开发策略。即在开发之初， 先进行总体的分析与设计，然后在总体规划的指导与约束下分步开发。 ( 2 ) 实用性原则 实用性是衡量软件质量最重要的指标，是系统成败的关键因素。因此，在系统需求分析阶段，必须展