（教育技术学专业论文）基于irt的网络自适应考试系统的设计与应用研究.pdf

华东师范大学磺士学短论文 摘要 教学测评是教学过稷中的个重鼷环节，也是教育质量保证体系中的一个鼹 主要手段。 乍为教学测量謦口评价的重要工具的考试，其特有的评宠、检测、诊断、 爱续释激聚五大功藐，轰按关系弱教学溯译豹准确瞧釉客鼹牲，彀影响虱教学震 量的好坏。 作为我图高等教育的一种重要形式的成人教育，在现行考试方式中，传统的 笔试掇然占缝艇翡主导媲披。笔试薅为琴孛重要静考试手段，敷焚本身露富存茭 科学性、严肃牲、准确性、客观性、公疆性等特点，并具有易操作、便于检套、 低成本、高效率等优点，逸在多年的教学实践中已得到充分地验诚。但随着时代 的发展和社会的进步，成人教剪教学模浅中自主学习鞠个性化学习戆特征愈显突 出，笔试静片疆性、霞定秣等缺陷也鹱驻暴露窭采。程实际教学审我粕发瑗，传 统的笔试方式往往很难适应成人学生的认知特点和认知规律，从而难以保证考试 结果作为课程教学效果测评的准确性和有效性；并殷。传统笔试彤式极大忽略丁 考试瓣诊叛爱镶臻熊，忽鼷了考试缝暴瑟俸瑗塞夔教孥过毽孛基瑗魏润踅或愚教 师很难从考试结果中发现问题，因此不能有针对性嫩改进教学。鼹前，成人教商 课程考试在话4 度、内容、功能、方式和手段等方面，与成人教育人才培养模式的 羧革、剖凝憋发震实际存农较大偏差，已成为成入教育送一步发震豹辍颈。 锋对成人教育中课程考试存在的闻藤，本文对一种新形式的考试方式蒸 于项目反应理论( i t e mr e s p o n s et h e o r y 简称i r t ) 的计算机自适应考试 ( c o 扭p u t e r i g e da d a p t i v e 彳e s t i n g 简称c a t ) 进行了大量的研究工作。依托体 嚣实舔送孬煞谍程教学，撼黠教毒孝虢终梅偬分辑彝教旁倍惠楚理萼l 入诗冀凝蠢送 成考试系统并与之有机结合，利用先进的网络编程和数据库访问技术n e t 技术， 设计和实现一个在教学中凝有实际使用意义、具有自适应考试以及知识点掌握评 徐、纛疼管璨、系统管理等凌缝夔宠熬憨瓣终建适凌考试系统。劳遴过对系统实 际应用产生的数据分析，研究项目反应理论在教育测餐中运用的安际效果，探索 成人教育在考试形式、制度，乃至整个教学模式上创新的一条崭新道路。 【关键词】成人教育项目反应理论网络自适成考试 n 艚 华东师范大学碳：论文 a b s t r a c t 轴s 嘲c 鼍主。转a le v a l u 鑫t i o 拄 s 鑫ni m p o 娃黼p 蠡矗i n s 鼬o 珏蘸鼬c e s s ，a 芏盖硅i t sa l s o t h em o s ti m p o r t 姐tm e a s u r ei ni n s t n j c t i o n a lq u a l i t ye n s u r i n gs y s t e m a sam a i nt o o lo f i n s t r u c t b n a l 州山a t i o n ，e x a r nh a si t so 、撇f h n c t i o n si n c l u d i n ga s s e s s 瓤舀c h e c k m 鼢 靶喇b a e 薹 鑫鞋d 娃坤涮t 主珏窑s oi l 谢l l 潮轻e n e e 臻眩v e f a e 毋鞠do 秘e c t i v i 移o f i n s 仇l c t i o n a le v a l t l a t i o na n dq u a l i t yd i r e c t l y t h et r a d m o n a lp a p e f - a n d - p e nt e s t sa r eh o l d i n gm em a i ns t a t i o ni n 协ee x e c u t i n g e x a m i n a t i o nm e m o d so f a d 越le d u c a t i o n 搬a ti sa ni m p o n a n tf o 芏mo f 姒g h 髓e d u c a t 主o n 派c h i n at o d 8 y 1 ti sp v e d 讯把a c h n gp r a c t i c 。s 饿嫩p 霜p e r - a 舔憎e n c 娃重e 或sa f e s c i e n t i f i c ，v e r a c i o u s ，o b j e c t i v ea n dj u 8 t ，i t i sa l s oe x c e l l e n tw i t hc h a r a c t e ro f e a s y - o p 删，e a s y c h e c k e 以锄de 慑c i e n t w i 也t h ed c v e l o p m e n ta i i dp r o g 端s so ft b e 澉i e 重y ，a 珏幻魏。掰硼sk 嚣癫娃g 赫矗e h 嚣瓣耙r 至菇el 。a 瓣l 蠡gk e o l 鞋e 搬。撑蕊搬0 f e i i n p o r t a n ti nt h ei n s t r u c t i o n a lm o d eo fa d l l l te d u c a t i o n ，a 1 1 dt h ep a p e 卜a l l d p e ne x 撇 c o m e st oc x p o s ei t sd i s a d v a 札t a g el i i 【eu i l i l a t e r a l i s m 锄dc h a n g e l e s s n e s 8 w 毫萎n do 啦i ni 嬲瓠蟛畦。腮lp f a c 鑫c e 搬a t 氆ep 翠e f * 黼d p e n c i lt e s 括u s 诚移| l a r d 妻o | i tt 量l e 辨i t i o no fa d u l tl e a m e f ，s oi ti sh a r dt 。e v 越u a t ea e c u 斌e l ya n de 壤c e n t 重y e v e nm o r e ，t l l ep a p e r a n d - p e nt e s t si g n o t h ef h n c t i o no fc h e c h n ga n df e e d b a c ks o 协a c h c r sa 揣h 鑫芏_ dt of i n do u t 幽ep r o b l e m se m e 唱i r 塔蠹o mt l l el e s t i n gr e s m t 矗l l d i 瑚v e 蠡et e 鑫c 孰 箨。霸l e 然a 蕊强a 蛙。珏鞭e 氆。蠡至珏a 蠢疆l e d u c 畦。髓蘸o w 量薹矗v ed e v 疵莲 f 沁m 廿1 ea i mo fa d u l te d l l c a t i o nr e f o r m i n ga n db e c a m eab a r r i c ra c r o s st h er o a dt o d e v e l o pa d u l te “c 撕o n 弱3 0 l v e 撼s 西l 铭k 蛙撼弼t e rg 料e 畦撼p 带l 强延3p 攀 搦城e sl o 鼍so f f e s e a r c 量l i n gi nan e wt e s tm e 畦l o de a l l e d 饿ec o m p u t e r i z e da d a p t i v e 髓s l h 毽( c a d b a s eo ni r t ( i t 咖r e s p o n s et h e o r y ) i nt h ep 印e r ，t h e 州t e rd e s i g n saw e bc a t s y s 自醴nt b 融b a n d e d 协 t 量l e r 诵t h 也e 奴连n i c 畦a lm a t e d 8 la n a l y z 血g 赫de d u c a 虹o n a l n 内蕊a 童i 鳓p c e s s 捷g 喇像a 曲强e 醯钕赫o l o g yo f 螽翱【b a s em 髓a 窑e 辩e n t 翘莲燧鼍 m e nu s et h ec a l s y s t e mi n t oa c n l a li n s n u c t i o n b yp r o c e s s i n gt h ed a 恤，t h ew r i t e r t r i e st of i n do u tt h ce 虢c to f t l l ec a ts y s t e mu s e di na d u l tj n s 咖c t i o n i na w o r d ，t i l e c a 王b 器e 瓣翥陡王g i 张s 璐a w a y t 。f e 岛辩娃娃撑e x a 堇芏建黻l i o 拄m e 穗o d 鞠痤姆鬟锄，霉v 燃 t h ew h o l ei n 剐n l c t i o n a ln l o d eo f a d u i te d u c n i o n x e y 翼o r d s ： a d u l te d u c a t i o ni r t w e bc a tn e t i i 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表 或撰写过的研究成果对本文的研究做出重要贡献的个人和集体，均已在文中作了 明确说明并表示谢意。 作者签名 日期： 学位论文授权使用声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子 版和纸质版有权将学位论文用于非赢利目的的少量复制并允许论文 进入学校图书馆被查阅有权将学位论文的内容编入有关数据库进行 检索有权将学位论文的标题和摘要汇编出版保密的学位论文在解 密后适用本规定 导师签名： 日期：z ：篁 签一崔(越歹 淞，) 叼 簪拳帮范天学襞士论文 纂一耄黉喜 第一章弓l 富 教学测评是教学过程中的一个重隳环节，也是教育质量保证体系中的一个最 主要手段。它不仅要完成对学生在经历一个教学过程后学习情搅的评价任务，丽 盈还要捡豢教舞麓教学效榘与承乎，诊断教擎孛存在豹趣麓，爱绥教与学过秘孛 的各种信息，对于学生的学习起到重瓣的激励作用。而考试作为教育测量和评价 的重要工鼹，是“根据教育内容和目标，选择有代液性的内容与问题，按照定 夔方式，对应试簧豹翔谈、鼓l 透露溅基与评徐静遴程”。它溅将有懿谨定、捡 测、诊断、反馈和激励赢大功能，是熬他教学环节所不能替代酌。教学测评的规 范性、科学性以及考试的诊断、反馈动能的有效运用等，直接关系到教学测评的 准确性和雾双性，也影响到教学质量的好坏。 或人教育是我嚣离等教育静一秘簸要形式，农嚣家经济辛圭会发震中静 馨溺稻 地位司渐明显。由于历史原因，成人教育受普通教育影响很大，在管理、教学方 式、方法、手段及课程考试方面基本上都参照普通教育，脱离成人教育的特点， 茏荬成人教枣漾程考试凌裁度、内套、臻筵、方式秘手段等方赣，与残大教蠢人 才培养模式的改革、创新与发展实际存在较大偏麓，己成为成人教育进一步发 展的瓶颈。本文力图通过网络自适应考试系统的设计实现以及系统在实际课糨教 学中的应臻效粟的研究，擦索成人教势燕考试形式、铡度，乃登熬个教学模式上 刨薪静一条新路。 1 1 问题的提出 在囊行豹戏天教鸯考试方式中，广泛采爱瓣影式烫笔试。菇零天爱在学校残 人大专为例，目前共有舭余及脱产专业i 9 个，考试课程共计4 4 8 门，排除公共 课及各专业相同课程后共计考试课程1 8 6 门，其中需臻测试学生的知识与能力应 嗣类型谋稷3 2 门。在这3 2 门课程中采取笔试方式蠢2 6 门，笔试与操作结合方 式3 门，操作方式l 门，萁纯方式l j ( 数据来自2 5 年教学计划) 。如表 卜l 。其他课程考试全部采用笔式形式。 鼠表l l 可敬看鬟，虽然已羟开始莱蠲了一些嚣灵活合理豹考试方式，髓传 4 黄光扬主编：救育测量与评价【m j ，卜海，华东师范大学出版社2 0 0 2 年版，第1 0 页 华东师范大学硕士论文 第一章引言 统的笔试在目前的考试形式中仍然占绝对的主导地位。笔试作为一种重要的考试 手段，就其本身而言有其科学性、严肃性、准确性、客观性、公正性等特点，并 具有易操作、便于检查、低成本、高效率等优点，这在多年的教学实践中已得到 充分地验证。但随着时代的发展和社会的进步，笔试的片面性、固定性等缺陷也 明显暴露出来，不利于推进素质教育，不利于学生全面发展，不适应成人教育现 代化、信息化与网络化的趋势。目前成人教育中笔试的考试方式存在的主要弊端： 1 不利于学生素质和能力的培养。单一的闭卷笔试的考试方式，束缚了教师 和学生，教师满堂灌，读教案、划重点，学生死记硬背，导致了“上课记笔记、 下课抄笔记、考试背笔记、考后全忘记”的不良后果，不符合成人教育的教学目 标。 2 难以保证考试结果作为课程教学效果测评的准确性和有效性。一方面是 考试命题教师受时间、精力或自身业务素质的制约，在命题时没有充分考虑考试 内容的难度、信度、效度和区分度，考试内容无法科学合理地评价学生的学习质 量与效果。另一方面成人学生知识基础参差不齐，丽笔试形式考试题量、内容相 对固定单一，难以适应成人学生的认知特点和认知规律，使得考试的结果难以体 现教学效果。 3 忽略了考试的诊断反馈功能。自主学习和个性化学习是成人教育教学模 式中最突出的特征。在目前的成人教育中，考试往往仅担负着考核评价的单一功 能。一方面，由于各方面条件的限制，成人教育课程教学中难以采用集中测验方 式使学员了解自己对所学知识的掌握程度，难以有的放矢地开展自主学习。另一 方面，考试作为检验“教”与“学”效果的一种手段，对教师教的方面同样具有 重要的影响。笔试的考试方式，往往忽略了考试结果所体现出的教学过程中出现 的问题或是教师很难从考试结果中发现问题，从而有针对性地改进教学。 因此，如何改革传统笔试形式，体现成人高教课程考核特点，体现考试的科 学性、适应性，如何合理准确地把握考试的功能，是实现成人教育适应社会发展 亟需解决的关键问题。 1 2 教育测量与评价理论的发展和成人教育考试的发展趋势 什么样的考试形式才是符合当前时代发展的特征、符合成人学习特点的考试 形式呢? 考试制度历史悠久，在我国，考试制度在西周已现端倪，西周选士是我国考 试制度的萌生阶段。但是，考试的理论基础，作为以科学理论为指导的教育测 量理论，却在2 0 0 0 多年后才迟迟诞生于1 9 0 4 年的美国。随着美国心理学家桑代 。杨学为：中国考试制度史料选编( m j ，台肥，黄山书杜，1 9 9 2 年1 月第2 页 华东师范大学硕士论文第一章引言 克( e l - t h o r n d i k e ) 具有划时代意义的论著精神与社会测量导论的出版， 教育测量与评价理论得到了快速的发展。到了2 0 世纪的4 0 年代，欧美等国家的 一些测验统计理论专家提出了今天广泛使用的测验信度、效度、项目的难度与区 分度等指标以及经典的统计分析方法，并在2 0 世纪5 0 年代前后形成了经典测验 统计理论。从2 0 世纪6 0 年代以来，除了经典测验理论( c 1 a s s i c a lt e s tt h e o r y 简称c t t ) 进一步拓展外，还创立了多种现代测量理论，其中项目反映理论( i t e m r e s p o n s et h e o r y 简称i r t ) 和概化理论( g e n e r a l i z a b i l l i t yt h e o r y 简称g t ) 是近段时间在世界上最有影响的两种测量理论。2 0 世纪中叶以后，在泰勒 ( r w t y l e r ) 的行为目标评价理论的影响下，美国的布卢姆( b s b 1 0 0 m ) 、克 拉斯沃尔( d r k r a t h w h 0 1 ) 、哈罗( a j h a r r o w ) 和辛普森( e j s i m p s o n ) 等 人相继完成了认知领域、情感领域和动作领域的教育目标分类，使得课堂“教、 学及考试评价”三者之间能够相互促进、相互联系、相互融合。 相对作为考试的理论基础的教育测量与评价评价理论的发展，它在教育实践 中的应用却相对滞后，尤其在我国成人教育的实践中。以先进的教育测量与评价 理论为指导的考试形式的创新，是突破成人教育考试改革瓶颈的有效方法。随着 教育理论和计算机、网络技术的发展，围绕着如何提高成人教育的教学过程中的 教学测评环节的开放性，为求学者提供“灵活、方便、科学、公平”的个别化课 程考试服务，成人教育的考试正朝着注重考试内容的科学性、创造性及适应性； 考试形式的多样化、个性化、多元化及现代化的方向发展，考试也更加注重和合 理运用它所具有的各项功能。 1 3 计算机自适应考试概述 在众多的新型考试形式中，基于项目反应理论( i r t ) 的计算机自适应考试 ( c o m p u t e r i z e da d a p t i v et e s t i n g 简称c a t ) 是近年来将计算机技术应用于教 育测量学并取得重大进展的考试方法。 1 3 1 计算机自适应考试的优势 计算机自适应考试是一种根据被测试者能力水平自动选择相应难度题目的 个性化测试。目前广泛采用的基于经典测验理论( c ”) 的传统笔试是一种试题 固定的考试方式，所有的应试者面对的是相同题量、相同难度的试题，这在一定 程度上体现了考试的公平性，但在对应试者能力以及对知识的掌握程度测试的准 确性和有效性上存在着很大的不足。对测试而言，过难或过易的题目对评估、判 断被测试者的能力都是无效的。与之相比较，c a t 的每一试题不是对被试能力水 平消极的度量，而是承担两项功能，一是评定学生对该试题所代表的知识掌握的 程度；二是决定下一道试题的挑选。c a t 将每一个回答通过计算得出应试者的相 华东师范大学硕士论文 第一章引言 应能力估计值，并进行匹配运算，挑选出最符合应试者能力值的题目作为下一道 题。这样，能力水平高的考生能够避免做层次较低、难度较低的题目。而能力水 平较低的考生则避免做超出其能力范围的试题。与传统的笔试相比，基于计算机 自适应考试主要有以下优点： 1 在同样的测验效率要求下，与传统考试相比，试卷的试题数目可以减少大 约5 0 左右。 2 对于能力高的考生与能力低的考生可以提供更为准确的能力水平估计。 传统的考试对于这两类考生的测试效果通常都比较差。由于在自适应考试的过程 中呈现给考生的题目难度适应，因丽每名考生的相应反应更为可靠，充分体现 出考生的能力特征，同时也在很大程度上消除了出题者对考试的影响因素。 3 基于计算机自适应考试过程中应用计算机对考试全过程实旆全程科学管 理，不仅可消除监考对考生的各种影响，而且考生还可以在自己认为合适的时间 来参加考试，从而使考试条件控制更趋于合理。 4 基于计算机的自适应考试的计算机系统有可以记录考生在整个考试全过 程中的各种反应数据，可以对学生的学习提供强有力得支持，也能够为科研工作 提供排除各种干扰的第一手数据资料。 1 3 2 计算机自适应考试的发展现状 计算机自适应考试是由适应性测验( t a n o r i n g s t ) 发展而来的。适应性 测验是w i l l i 锄w t u r nb u l l 于1 9 5 1 年提出的。上个世纪五六十年代有许多 教育测量学家对适应性测验的理论作了大量的深入研究，为日后的基于计算机的 自适应考试奠定了坚实的理论基础。2 0 世纪7 0 年代以后，计算机科学技术的 发展对全社会各行各业都带来了巨大变革。同样也促使适应性测验的研究迈上了 一个新的台阶。1 9 7 1 年，美国的教育测量学家劳德( l o r d ) 依据当时计算机技 术的发展，在前人对适应性测验理论研究的基础上深入研究，首先提出了基于计 算机的自适应考试( c a t ) 这一概念。美国军方从上世纪7 0 年代初起就在适用于 军队选员的美国陆军职业性向测验组( a s v a b ) 中采用了计算机自适应考试，在 1 9 8 4 年美国军方实验室应用了另一个计算机自适应考试系统c a s t ( t h e c o m p u t e r i z e da d a p t i v es c r e e nt e s t ) ，这是第一个全国范围的c a t ；在信息 产业中，美国n o v e l l 公司于1 9 9 1 年成功地应用了c a t 进行认证考试，使参加 n o v e l l 自适应考试的人数超过了1 0 0 0 0 0 0 人次。如今在美国，c a t 已经在教育测 验、职业测量、人事评测等领域中大显身手，如美国研究生入学考试( g r a d u a t e r e c o r de x a m i n a t i o n ) 、工商管理类研究生入学考试( g r a d u a t ef o rm a n a g e m e n t a n da d i n i s t r a t i o nt e s t ) 以及全美护士国家委员会资格考试( n u r s en a t i o n a l c o 唧i t t e el i c e n s et e s t ) 等都已经采用了c a t 考试方式。 4 挚零瓣蔻夫孝疆圭论文第一章辱l 言 在我国，高校中已经出现了一些应用泌的研究，自行编制了一魃c a t 测验， 并取 ! 导了实际应用效果，上海电大在上海市计算机应用能力的考试项强“v b 6 o 耧缪设诗中”袋慧e 勰夔考试方式。汪嚣绨大，j 、学数学c 艚磅突、肇裔瑾工夫豹 “数据结构”的自适应测试系统的研究也取得了一定的成果。自九十年代初期开 始，全国大学越语四、六级考试委员会一点致力于项网反应应理论和”基于计算 掇鹣叁逶痤溅骏”豹疆究秘秀发。嚣嚣i 雕基残功遗鼹予e 疆分数等蕊处理过程 中，基于计算机的自适应测验题库也正在建设和完善过程中。国内一悠大规模的 考试如微软认诞考试m c s e 、东软在线凯思艇语考试等都已经成功采用c a t 方式。 自从计算机技术和项强殷瘟理论弓| 进到自适应考试领域后，自逶斑考试才真 燕成为入们广为关注静磅究谦透，莠有一魏初步往的应用。霹藏，对爨逶应考试 的研究主要集中于试题曝光殿控制、知识领域的搜盖、带生考试自主控制、自适 应考试与传统考试的比较等殿用前的研究，预计在不久的将来，自适废考试将会 在穗会土褥舅广泛豹应翅。 i 4 研究的目标 曩嚣国内戎对诗算枧窟邋应考试系统懿应霜磷究上，雀实舔中成功瘟愿c 矗t 更多主要是一鹜大型的考试如g r e 、徽软认证考试等，两在实际教学巾，诗算祝 自谶应考试应用进展不大。遮主要是由于： 1 题库建设与计算机臼遮斑考试对学生测量评价是磷准确有效脊着至关重 要戆关系，瑟锋黠学校教弯斑蠲豹醴零系绫浚诗与教誊孝分耩、题痒建设瓣经往籀 对分离，造成系统测试结果的准确性有限； 2 计算机囱适应考试的理论基础项目反应理论肘考生的能力( 潜特质) 豹谨定枣难一静数蓬拶确定，因此在当翦的应爰研究上圭要针对戆力黧骢课程， 这类课程的评窥可以用一个数值描述( 如阙级的英语永平) ，丽对予由若干褶关 联的知识点构成的知识型课程来说，对学嫩掌握知识点稷度的评定有踅积极的意 义； 3 嚣蓠静螽适应考试系统偏重予谬定帮检溺懿功溅，您褪了考试貔诊瑟窥 反馈的功能，丽熬于计算机的考试系统在数据的搜集和信息处理方面恰恰比传统 考试方式具备不可比拟的优势，充分利用遮一优势可阻为学生的自主学习和教师 欢送教学、教学管理部门煞秘学棼理提供疆骞力戆支羚。 本文力图从上述三点对计算机自适应考试系统进行进步研究，淝对教材的 结构化分析和教育信息处理引入考试系统并与之有机结合，利用先进的网络编程 和数据库访闻技术设计和实现个在教学巾具有实际使朋意义、具存囊适应测验 霸熟识点掌撵译价、题库蛰溅、系统管瑗等功能酶完整豹网络謇适森考试系统， 华东师范大学硕士论文第一章弓f 言 并通过对系统实际应用产生的数据分析研究项目反应理论在教育测量中运用的 实际效果，为成人教育考试改革探索新的道路。 肇衷舞薤大学礞圭论文第二章嬲终鸯遥痤考熬理论基础和牙发技术 第二章网络自适应考试的理论基础和开发技术 2 。l 叁逶应考滚理论 与自适应考试相近的概念有：分支考试( b r a n c h e dt e s t i n g ) 、个别化考试 ( i n d i v i d u a l i z e dt e s t i n g ) 、程序化考试( p r o g r a 咖e dt e s t i n g ) 、连续题目考试 ( s e 毽u e n t i 8 li t e 撙t e s t ) 、茨窭z 投宣考试( r e s p o n s ee o n t i n g e n tt e s t i n g ) 冬爹蛩。 名称虽多，意义犬同小异，都具有下列一些特征。：( 1 ) 肖一个由一定爨精选丽来 的测试题所组成的题库作为支持：( 2 ) 按照定的策略进行选题并根据被试的作 签情况不断地调整测试题：( 3 ) 按一定的规则终止测验，评分在实施测试的过程中 滋行。 目前大多数人认为自适应考试的般原则首先怒由艾尔弗雷德比内特 ( a l f r e db i n e t ) 提出并应用于比内智力测验。这种智力测验诞生于二十世纪初期 瓣法嚣，矗来凌搜蔫英语掺为母浯豹国裘审又发震残簸毽福一魄内貉t 8 n f o r 曲 b i n e t ) 智力测骏。在这个测验中，研究者撇据不同年龄段的学生事先编制好不同 难度等级的题障，向被测试者呈现出和他年龄段相对殿的试题题目，如果被测试 露昝对了该年龄段水平豹测试题目，则继续绘被测试辫提供更高年龄段的题目， 如聚被戳试者没有答对该颦豁段酶有关繇嚣，癸j 给被溺试者密较低年龄段酶鼹 网。这是一种出入为干预和控制的基于固定分支的自激应测验。它使用了固定的 出| 题策略，有一个相对可变豹入口点和一个有限可变的测验结束标准，由此比内 瓣验确定了蠡逡应考试懿一魏鏊零蒙刘。 上个世纪8 0 年代初，溉德( l o r d ) 谶行了一种称之为“灵活测骏”的实验， 测验的试卷中包括了一系列难度从极易剁极难做等距离分布的试题。在测验开始 辩，斑试人嚣毙圈答中等难发豹试题，如聚醒答正确攀达到要求剿接着提出先前 没有出过酶、鼹有更高难度豹试题，如栗黼答正确率不能达到要求姗出辐对容器 些的试题。对该项测试特性具有高水平的人会接受最难的试题，丽具有低水平 特性者接受最低难度试题的5 0 ，在这礴卷之间的应试人则接受一缀能覆盖其特 绞窳平静试蘧。这个实验最大静贡献是尝试逶遘一耱瑟活霹交豹分支结穆来选舞 试题。到此时，全部自适应考试的基本原则都已经建立起来。 由于自适应考试需要根据学生对试题的反应来选择下道测试题，它需要实 黠辩学生豹反旋徽出判薮，萍嚣要攫据一定豹蕊嬲策黪袋选择下一j 蓑试题。这对 传统的人工控铆并实施的测验来说，是十分困难的。德避年来，随麓项目反应理 毋壬宝壤： 现找测验理论氆】，鸯湾，心理出版，1 9 8 3 年，第1 2 一 4 蕊 鸯w 戚嚣d 玉n e w h o r i z o n s 洒烈h 粥n t 舡a i t 慨t 如。孵冁dc o m p t 她r 黼鲥删v e 勰l l n 暮断】，n 雠 y o r k ，a c a d e m i cp r c s s ，1 9 8 3 年，第2 2 2 7 页 7 华东师范大学硕士论文第二章网络自适应考的理论基础和开发技术 论( i t e mr e s p o n s et h e o r y ) 的提出和计算机技术的飞速发展，为灵活分支的自适 应考试的计算机实现提供了可行性。项目反应理论能够将考试试题的难度、区分 度和猜测参数综合成一个信息函数，并根据信息函数值的大小来选择下一个应该 显示的考试题目。通常是在被测试者仅回答了少数几个题目后，系统就会通过使 用最大似然法对他们的能力进行估计，并根据信息量最大的原则去选择下一题 目，即该题目能够在被测试者此能力水平上得到最多的信息。这样就可以用相对 较少的题目达到所需的测量精度。 2 2 项目反应理论( i t 伽r e s p o n s et h e o r y ) 概述 2 2 1 项目反应理论的发展 项目反应理论的基本思想起源于上世纪3 0 年代末至4 0 年代初，在1 9 4 6 年， 塔克( t u k e r ) 正式提出了“项目特征曲线”概念，把表征被测试者的能力或特 质水平与其对一个测验项目的正确反应概率之间的关系描述为二维的曲线图。 1 9 5 2 年，美国心理和教育测量学家洛德( l o r d ) 提出了著名的正态卵形模 型以及该模型的参数估计方法，并成功地将他的模型应用于实际测验。随后，在 1 9 5 7 年，伯恩鲍姆( b i r n b a u m ) 提出了易于处理的逻辑斯蒂( l o g i s t i c ) 模型 以及相应的统计处理方法，取代了洛德的正态卵形模型，即一步推动了项目反应 理论的发展。 自上个世纪7 0 年代以来，项目反应理论在其各个主要领域，如测验设计、 能力估计、测验等同化、自适应测验等方面，都取得了相当大的进展。目前人们 对项目反应理论的研究工作，在理论方面集中在连续变薰测验资料和多维情况下 的数学模型探索上；而在应用方面，则集中在模型资料拟合良度检验方法和 参数估计方法的改进，以及项目反应理论在测验编制、题库建设、测验参数等值 等实际问题中的应用上。 2 2 2 项目反应理论的基本原理 我们都知道，考试的目的在于将被测试者不能直接测量的内部潜在特质用测 验分数来进行估计，从而推断和评估其发展水平。项目反应理论是建立在潜在特 质理论的基础上的，它通过建立一定的项目反应模型来描述这种关系的。项目反 应理论的最大特点是：它找到了一条项目特性曲线并且以多种数学表达式( 即数 学模型) 来描述它和逼近它。显然，不同的数学模型对曲线有不同程度的逼近， 也含有个数不同的参数。项目特性曲线的数学模型一般都包含两方面的参数： 对测验项目的特征进行刻画的项目参数； 对考生的特征进行刻画的潜在特质或称能力参数。 根据这些参数，可以对测验项目的质量做出评价，也可以测算出考生个体在 8 华东师范大学硕士论文 第二章网络自适应考的理论基础和开发技术 任一测验项目上的反应，从而估计出潜在特质的量数，即考生完成测验项目时所 具有的能力或特质。从理论上说，有效解决了经典测验理论无法建立考生得分与 测验项目参数之间的函数关系的问题。 1 基本假设 项目反应理论的基本假设主要有三条： ( 1 ) 单维性假设 单维性假设指测验只测量被试者的某一种能力( 如计算能力) ，而可以忽略 其他能力对测试结果的影响( 如阅读能力) 。也就是说，被试者对测验项目的反 应只受一种能力水平的支配而不受其他能力水平的束缚。 实际上，任何测验都不可能是单维的。影响被试者对测验项目反应的因素， 除了该测验所测量的能力或特质外，通常还包括认知、个性以及测验情景等方面 的因素，如动机水平、测验焦虑等。因而，项目反应理论的关于测验的单维性假 设并不是严格意义上的单维性假设，只要在所有影响被试者反应的因素中只有一 个占主导地位，且该因素正是测验所要测量的能力或特质，那么这样的测验可认 为是单维性测验。 ( 2 ) 局部独立性假设 所谓局部独立性假设，是指同一能力或特质水平的被试者对不同测验项目的 反应在统计上是独立的。也就是说，被试者对某一测验项目的反应不受对其他测 验项目反应情况的影响，只与该测验项目本身的性质有关。 同样，在某一项目上各被试者的作答也是彼此独立的，仅由被试者的潜在特 质水平决定，一个被试者的成绩不影响另一个被试者的成绩。 ( 3 ) 项目特性曲线 项目反应理论认为，被试者对项目所作的反应概率遵循一定的函数关系，这 种函数关系可以用项目特性曲线表述出来。 2 项目反应模型 不同的项目特性曲线假设对应着不同的项目反应模型，目前应用最广的项目 反应模型二级评分的单维非线性模型，以伯恩鲍姆提出的逻辑斯蒂模型为代表。 连续性模型与多维模型比较复杂，都还处于研究阶段。下面重点介绍两种二级评 分项目反应模型：最优量表模型和逻辑斯蒂模型。 ( 1 ) 最优量表模型 最优量表模型是古特曼提出的，所以又称为古特曼模型。吉特曼认为，对于 一个测验项目，如果被试者的相应能力或特质。达到或超过了难度水平b ，那 么被试者就能对此项目作出正确反应，反之则不能。如图2 一l 所示，古特曼模型 的相关被试曲线是一条阶梯曲线，图中的b 通常被称为项目难度。 9 华东师范大学硕士论文第二章网络自适应考的理论基础和开发技术 答对概率p 特质水平。 图2 1 古特曼模型 在实际测量中，大量的分析和统计结果表明，大多数情况下，即使被试者的 能力或特质水平。达到或超过了某个水平b ，被试者也不一定能对难度为b 的 项目作出正确的反应；反之亦然。因此，古特曼模型存在很大的局限性，在实际 中很少应用 ( 2 ) 逻辑斯蒂模型 逻辑斯蒂模型是伯恩鲍姆于1 9 5 7 年提出的。他假定的项目特性曲线如图2 2 所示。 图2 2 逻辑斯蒂模型 项目特性曲线描述的是各种特质水平的被试者( 一般用8 表示) ，对某一测 试项目的正确反应概率( 一般用p ( e ) 表示) 。一定能力或特质水平的被试者对 某一项目的正确反应概率只与该项目的质量有关。 一般来说，被试者的特质水平可视为连续变化的，因此，反映各特质水平上 被试者的答对概率的连线就一定是一条平滑的曲线。由于特质越高的被试者答对 概率越大，所以这条曲线应该是单调递函数曲线。经研究，被试者的答对概率与 其特质水平之间的关系是非线性的，即当特质水平。大或小到一定程度以后， 1 0 华东师范大学硕士论文 第二章网络自适应考的理论基础和开发技术 答对概率p ( e ) 随之变化的速度显著变小。研究表明，这种曲线的形状，是一条 以其拐点为中心的s 型曲线。 一般地，对某一测验项目的质量，我们可采用项目难度、项目区分度和猜测 参数三个指标来描述。从图中可以看到，项目特性曲线下部的渐近线离坐标轴的 零点有一定距离，这表明由于存在猜测因素，能力或特质水平很低的被试者仍有 可能答对。该项目的猜测参数，般用c 来表示，它是凭猜测答对该题的概率。 前面已经提到，项目特性曲线是一条以拐点为中心的曲线，因而其拐点在纵轴上 的投影正好落在c 与l 的中心上，即拐点的纵坐标为( 1 + c ) 2 。这表明特质水平 为b ( 拐点在横轴上的投影) 的被试者与答对、答错该项目的概率，排除猜测因 素不计，恰好彼此相等。所以b 通常被定义为项目的难度参数。项目特性曲线拐 点处的斜率刻划了曲线的陡峭程度，这与项目划分被试者特质水平的能力有关。 很显然，曲线越陡，答对概率p ( o ) 对特质水平的变化就越敏感，即项目区分被 试者水平的能力越强。因此，曲线拐点处的斜率被称为项目的区分度参数，一般 用a 来表示。 用来描述项目反应模型的数学函数称为项目反应函数。从以上的分析可以看 出，项目反应函数实际上是描述被试者答对概率p ( e ) 与项目的参数a 、b 、c 和 被试者的特质水平e 在数值上的关系。伯恩鲍姆选择用来描述项目反应模型的 数学函数是逻辑斯蒂拱形函数族，逻辑斯蒂模型正式由此得名。常用的是三参数 的逻辑斯蒂模型，它的数学表达式为： 为 胛) = c + 南 c z 一- ， 去处猜测因素，令猜测参数c = 0 ，就得到双参数逻辑斯蒂模型的数学表达式 刖) = 去 ( 2 2 ) 如果令c = 0 ，同时假定各题目的区分度相同，比如a = 1 ，这时项目只在难度 上有变化，对应的逻辑斯蒂模型成为单参数逻辑斯蒂模型，其项目反应函数为 即) = 南 防s ， 另外，有不少题目即使高水平的被试者，也难以绝对完善地作答，反映在项 华东师范大学硕士论文 第二章网络自适应考的理论基础和开发技术 日特性曲线上就是曲线的尾部并不以1 0 0 为极限，而是略低于1 o o 。因此，有 人又提出了第四个参数r ，这就得到了四参数逻辑斯蒂模型。其表达式为 p ( 曰) = c + r c ( 2 4 ) 洛德提出的项目反应函数是正态卵形函数，其表达式为 朋) - c + ( 1 _ c ) r 去一；。出 倍s ， 实际上，洛德提出的正态卵形函数与逻辑斯蒂函数相比，在计算结果上并无 大的区别，所绘制的曲线也大体相同。然而，在实际中大多采用后者，其中主要 有以下两个方面原因：首先是它在形式上简洁，更具有数学模型的特点；其次是 它便于用对数关系作处理，因而模型的项目质量参数和能力参数估计起来更方 便。 3 项目的测验信息函数 题目信息函数( i t e mi n f o r 砚t i o nf u n c t i o n ) 是项目反应理论的核心概念， 它是项目反应理论中用来刻画一个测验或一道试题有效性的工具。它是用来直接 反映一种测验分数对被试者能力或特质水平的估计精度的指标。信息函数越大， 这种估计就越精确。 在项目反应理论中，对于某个特定的测验目标i ，它的信息函数可用下面的 表达式来表示。 邶，= 矗 ( 2 6 ) 其中q i = 1 一只，只是答对概率，p 。是只的对。的一阶偏导数。若以三参数逻 辑斯蒂模型为例来说明，则 邶，= 再祟嚣鲁听浯， 从上述项目信息函数的表达式来看，我们至少可以得出以下两个结论： ( 1 ) 对于一个测验项目而言，其质量指标是一定的，因而信息函数的值就只 与被试者的特质水平有关。因此，项目信息函数可以用来描述在所测被试者特质 的每一个水平上某道试题的测量有效性。 1 2 华东师范大学硕士论文第二章弼络自适应考的理论基础和开发技术 ( 2 ) 对于某特定的被试者而言，其特质水平。是一定的，这时某一试题项 目信息函数的大小就取决于该试题的质量。若猜测参数c 越小，信息函数的值就 越大i 项目的区分度a 越大，信息函数值也就越大。 由以上分析可见，项目信息函数是反映题目优劣的一个综合指标。信息函数 还具有可加性。假定某测验有n 道试题，则测验信息函数i ( o ) 是测验所含有的 各道题目的信息函数i 。的简单相加： 咿) = 喜w ) _ 矗 s ， 即在测验中，每一个测验项目对测验信息函数的作用都是独立的，与所有其他项 目无关。这是局部独立性假设提出的。由信息函数的可加性可知，组成测验的各 个项目的质量越高，它们所能提供的信息量就越大。从而根据整个测验所获资料 而估出的被试者的特质水平就越精确，越可靠，越接近其真值。信息函数的可加 性有力地说明了测验信息函数是反映测验有效性的一个客观而精确的指标。 2 3 网络考试系统的开发技术 2 3 1w e b 应用程序的体系结构 w e b 应用程序的体系结构描述了构成w e b 应用程序的逻辑功能模块，它直接影 响到1 】e b 应用程序的系统设计，技术方案以及编程方法。通常，w e b 应用程序可以 采用几种基本的体系结构：两层结构，三层结构以及多层结构。 1 两层体系结构 采用两层体系结构的w e b 应用程序由w e b 浏览器与w e b 服务器两部分组成，如图2 3 所示。1 】e b 浏览器与w e b 服务器之间的通信遵循h t t p 。w e b 浏览器向w e b 服务器请求 文档，w e b 服务器则根据该请求返回相应的文档。如果该文档不在，w e b 服务器将 返回错误提示信息。 在b 发展早期，由于w e b 服务器中的文档是事先编写好的，任何用户请求 文档时返回的结果都一样，这种网站被称为“静态网站”。随着w e b 技术的发展， 人们开始提出一些增强w e b 浏览器功能的新技术，比如让浏览器执行一些简单的 脚本程序。这样来，w e b 浏览器从w e b 服务器接收到文档后，就可能根据用户的 操作呈现不同的结果。无论是简单的h t m l 文档，还是嵌入脚本程序的h t m l 文档， 两层体系结构的w e b 应用程序的基本逻辑结构都一致。w e b 服务器的任务就是响应 w e b 浏览器的文档请求。 毕东师范大学磁士论文 第二章嘲络自适应考韵瑗论基础和开发技术 图案固 图2 3 两层体系结构w e b 应用程序 圈置四警图 1 4 华东师范丈学硕士论文 第二章羽络囟适应考豹理论基础和开发技术 ( 3 ) 服务器端所做的任何变动都会对每个客户端产生选锬影响。 2 b s 结构，即b r o w s e r s e r v e r ( 浏览器服务器) 结构。采用三层分布结构，即： 浏览器- w e b 服务器数据库服务器。该结构的核心是web 服务器，它负责 接收浏览器的w e b 页请求和数据请求，弗处理b 页请求，同时将数据请求通过数 据席接口程序转换成数据库服务器能够接受的形式，之后送到数据库服务嚣，数 据库缀务器执行楣疲的数据瘁操作，并将结果透过数据瘁接口程序的转换遴匿 w e b 服务器，web 服务器将结果处理成浏览器熊够接受的形式后，送回发出请求 豹浏览器，驻示结果。 b s 结构的三层体系结构是为新一代分布式计算方案鼗计的皮用软件体系结 构，使用户阿建造一个能在任何网络上实现的、可伸缩的多层应用，减少对信息 技术专家的依赖，使用户能够集中精力解决实际问题。开发位于中间层的w 曲 服务器端的成用软件，无需考虑客户端的兼容性，并且后台数据库系统的改变或 者数据库结构的改变不会对客户端产生影晌，形成“瘦客户髀中间层疫 服务器”。藻于三层结构的组件，还可以通过继承、封装、组装，增加软件开发 豹灵活性、稳定性，鄹肘极大地提裹了软件重用性。斟s 豹三层体系结梅如图2 5 所示： i 闶 ( 器，应用服i i n t e m “客 一 一 篡捌 c =_ 数据库 户浏览器 z 表示屠，u i 层 业务逻辑，数据访问詹数据存储屡 臆2 5b ，s 三层结构体系w e b 应用系统 b s 结构具有如下特点：