（电气工程专业论文）在线适应性考试系统的研究.pdf

重庆大学硕士学位论文摘要 w i t ht h e p o p u l a r i z a t i o n o f c o m p u t e r sa n dt h ei n t e m e t , m o d e me d u c a t i o n t e c h n o l o g yh a sb e e ng r e a t l yi m p o v e d a tp r e s e n t ，o n eo fm o d e mo n l i n ee d u c a t i o n s f e a t u r e si st h ei n t e r a c t i o nb e t w e e ns y n c h r o n i z a t i o na n da s y n c h r o n i z a t i o n d e p e n d i n go n m u l t i m e d i at e c h n i q u e ，n e t w o r kc o m m u n i c a t i o nt e c h n i q u ee t c ，m o d e mr e m o t ee d u c a t i o n h a se f f e c t i v e l yb r o k e nt h r o u g ht h el i m i t so ft i m ea n ds p a c e ，i n c r e a s e dt h es t u d y o p p o r t u n i t y ，i n c r e a s e dt e a c h i n gq u a l i t ya n dr e d u c e dt e a c h i n gc o s t , s oa st or e a l i z e i n f o r m a t i o ns h a r i n g ，l e a r n i n gs o c i a l i z t i o na n d l e a r n i n gf o rl i f e o n l i n ea d a p t i v et e s t i n g s y s t e mi sb a s e do nm o d e me d u c a t i o nt e c h n o l o g y b yu s i n go a t , a ne x a m i n e el o g si n t h ec o r r e s p o n d i n gw e b s i t e ，t a k et h ea d a p t i v et e s ta n dg e th i st r u es c o r ea b o u th i s e x a m i n e da s p e c t t e s t sc a nn o tn o l yh e l pl e a r n e r sm a k i n gs u r et h e i rl e a r n i n go b j e c t i v e s ，t h eb a s i c k n o w l e d g ea n ds k i l l s ，b u tc h e c k i n gi n s u f f i c i e n c yt oi m p r o v et h e i rs t u d ye f f i c i e n c y b e c , a u s eo ft h ei m p o r t a n c eo ft e s t , s e e k i n ga ne f f e c t i v et e s t i n gm e t h o db e c o m e sa n u r g e n tp r o b l e mo fe d u c a t i o n t h i sp a p e rp r o v i d e sas o l u t i o nt ot h ep r o b l e m - i r tb a s e d o n l i n ea d a p t i v et e s t i n gs y s t e m ，w h i c hi se l e c t r i c a le n g i n e e r i n gb a c k g r o u n d , d e p e n d i n g o nn e t w o r kt e c h n o l o g ya n dd a t a b a s et e c h n o l o g y , a n db a s e do ni t e mr e s p o n s et h e o r y f i r s t ，t h i sp a p e ri n t r o d u e st h ep r i n c i p l eo fi t e mr e s p o n s et h e o r ya n dc l a s s i c a lt e s t i n g t h e o r y , a n da n a l y s e dt h ed i f f e r e n c eb e t w e e nt h e s et w ot h e o r i e s t h e nb r i n gf o r w a r dt h e a p p r o a c ho fu t i l i z i n gi r t sg r o u pi n v a r i a n c ea n da b i l i t yi n v a r i a n c et oc o n s t r u c ta nh i 【g h q u a l i t yi t e mb a n k s e c o n d ，a i m i n ga t t h ep h e n o m e n o nt h a tt h e r ei ss e r i o u sw o r k r e p e t i t i o na n dl o we f f i c i e n c yi nt r a d i t i o n a lt e s t , t h i sp a p e rp r e s e n t sas c h e m eo fw e b b a s e da d a p t i v et e s t i n g , a n dr e a l i z e si t t h i r d , d e a l sw i t ht h ec o l l e c t e dd a t a a n ds t u d y s t h er e l a t i o nb e t w e e na n s w e r i n gt i m ea n dt h ep r o b a b i l i t yo fr i g h t a n s w e r a tl a s t ，b r i e f l y i n t r o d u c e st h ea c h i e v i n gc o n d i t i o na n do p e r a t i o ns t a t eo ft h i ss y s t e ma sw e l la sr a i s e s s o m ea d v i c et op r o m o t et h es y s t e mi nf u t u r e t h r o u g ht h ed e s i g na n dd e v e l o p m e n t ，t h eo n l i n ea d a p t i v et e s t i n gs y s t e mh a sb e e n s u c s e s s f u l l ye s t a b l i s h e d t h i sp a p e rs t a t e san e wt e s t i n gs y s t e ma i m i n ga t e l e c t r i c a l s t u d e n t s 谢t han e ws y s t e ma r c h i t e c t u r e ，u s i n ga d v a n c e dt e c h n i q u e s ，a n db a s e do ni t e m r e s p o n s et h e o r y i ti sp a r t i c u l a rt os e tu ps u c h a l lt e s t i n gs y s t e m k e y w o r d s ：c o m p u t e r i z e da d a p t i v et e s t i n gs y s t e m ，o a s s i c a lt e s t i n gs y s t e m ，i t e m 重庆大学硕士学位论文摘要 i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重麽太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月 日 学位论文版权使用授权书 本学位论文作者完全了解重迭太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重麽太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。， 保密( ) ，在l 年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名： 签字日期：年月 日 导师签名：刹鸟行 签字日期：洒妒年夕月罗日 重庆大学硕士论文1 绪论 1绪论 1 1 在线适应性考试发展概况 考试是考核一个人某方面的能力水平的最重要的手段，也是最容易被大众所 接受的考核方式。关于考试的原理，一向都被众多教育学家和教育学研究人员所 关注。长期以来，传统考试的能力评估都是以经典测验理论( c l a s s i c a lt e s t i n g t h e o r y ) 为理论基础的。在传统考试中，由于对被试者群体施测的题目组是相同的， 因此对每一位被试者而言，这些题目中只有一部分是符合其真正能力的，其余的 题目要么简单，要么过难。近些年来，随着计算机技术的发展，使得短时间内完 成大规模的计算成为了可能，这就导致计算复杂的项目反应理论( i t e mr e s p o n s e t h e o r y ) 在考试评估中能够得以运用，计算机化适应性考试也随之应运而生n 【3 】。 项目反应理论( 盯) 与经典测验理论( c 】盯) 相比，主要有以下特点：首先， i r t 具有项目参数的组不变性，即对于不同的被测组，项目难度和项目区分度不变； 其次，i r t 具有被试估测能力值的项目不变性，即使用不同的测试题，被试者的能 力估测值不变。有了这两个特点，使用基于i r t 的适应性考试系统进行测试，在 选择题目时，根据最大信息量的原则选题，选择难度与被试者能力相匹配的题目 进行测试，直到达到预定之测试精度，结束考试。这就能达到使用较少的题目而 获得较精确的测量结果。已有的研究结果表明，用1 1 个题目就达到传统纸笔测试 中2 9 个题目的效果 4 1 。使用基于i r t 的计算机化适应性考试，不仅可以减少学生 的答题时间，还可以有效的替代教师的出题、批改试卷和试卷分析等重复性、高 强度工作。能有效的节省物力和智力资源。 适应性考试的流程如下图所示 重庆大学硕士论文1 绪论 图1 1 适应性考试流程 1 1a d a p t i v et e s t i n gf l o w 1 2 在线适应性考试国内外研究现状 随着计算机的普及和i n t c r n c t 日益广泛的应用，计算机化考试以其方便、重复 性小、灵活性强等特点，越来越多地取代了传统考试，考试发展到了无纸化时代。 近年来将i r t 用于计算机化考试在国外得到了广泛的关注并有了深入的研究。e t s 作为全球最大的测验公司，推出了许多众所周知的测验，例如t o e f l ，g r e ， g m a t ，这些都是基于i r t 的计算机化适应性测验很好的范例。被试者解答过程中， 考试系统会根据被试者的做答情况实时调节出题难度，令之与被试者的能力值估 计值一致，以使考试获取最佳测验效果。目前，美国、澳大利亚及欧洲的一些国 家，大都实行计算机化适应性考试。在台湾地区，计算机化适应性考试也已得到 了广泛关注，并已取得一些成果 4 1 。但是在我国内地，至今还没有相关的成功范例 的介绍。究其原因，主要因为i r t 理论首先出现在心理学领域中，但是由于其对 数学基础要求很高，往往造成心理学学者很难理解这一理论，因此很难将其应用 于实践中。近年来，随着i r t 应用领域的拓展，它日益受到重视。 1 3 课题研究的重要意义 建立远程测评系统是现代远程教育的一项不可或缺的内容，而在线适应性考 试系统是远程测评系统的发展方向。因此，从客观实际出发，提出在线适应性考 试系统模型具有如下意义： 2 重庆大学硕士论文1 绪论 准确估测被试者的真实能力值，为教师授课提供依据。当测试精度要求较 高时，以c i t 为理论依据的传统考试，对被试者的能力估计很难达到要求。而在 线适应性考试系统借助于项目反应理论的组不变性及能力值不变性，可以满足对 测量精度的要求。 采用传统的纸笔考试，每次编制考题时，往往是主观估测题目的难度、区 分度等参数；而采用在线适应性考试后，可以保证试题的质量。 提高教师的工作效率，减少重复性工作。教师不仅可以随时随地更新题库， 而且不再需要为平衡一套试题的各个参数而消耗人力物力。 弥补教科书更新周期长的不足，方便、及时地为学生提供最新资料。随着 计算机和网络技术的飞速发展，以及与专业相关的基础理论和专业知识不断地丰 富和发展，如果依然局限于书本知识，就会造成理论与现实脱节。如此一来，专 业知识的学习过程将会变得枯燥而无趣，严重影响教学质量，甚至与教学初衷背 道而驰。在线适应性考试系统能够为教师提供及时修改、补充题库的功能，使学 生学习的知识与实际联系的更加紧密，使学生拓展知识面，提高理解能力，因而 有效地解决了上述问题。 从技术角度上看，本课题涉及到电气工程，计算机科学，远程教育3 个学科的 知识。应用数据库的相关技术建立数据库服务器，通过服务器提供对答题过程中 产生的数据进行存取、查询及处理，及时反馈被试者的答题状态。主要采用数据 库，网络技术，并在项目反应理论等相关理论的指导下综合以上技术，为电气类 学生建构一个良好的在线考试环境。因此，本课题具有相当的学术意义。 通过对在线适应性考试系统的研究，我们可以积累经验，总结方案，这对我们 以后进行同类的远程教育的建设也是大有裨益的。所以，这个课题有相当广阔的 前景。 1 4 主要研究内容 本论文通过分析传统纸笔考试的不足，利用网络技术，构造出一个在线考试 系统框架，并建立一个在线考试系统。获取被试者对题库中录入题目的反应矩阵， 然后通过对采集数据进行统计分析，研究了被试者做答时间与做答正确率间的关 系。 主要内容： 对适应性考试的发展历史、远程教育现状以及主要研究内容进行了综述。 分析了基于项目反应理论的适应性考试系统与传统考试相比的优势，并概述了目 前在这方面的研究现状。 本论文中笔者提出的在线考试系统与适应性考试系统的关系，它的作用及 3 重庆大学硕士论文 1 绪论 意义。 提出在线考试系统的框架，并利用j s p 、j d b c 等先进的工具和技术建立 一个在线考试系统。 介绍了c t r 与i r t 的理论原理，并对二者进行比较。 处理采集数据，获取标准题库；并提出了被试者做答时间与做答正确率间 的关系模型。 4 重庆大学硕士论文 2c t 与i r t 两种考试评价理论的比较 2c c t 与i r t 两种考试评价理论的研究 2 1 经典考试理论 2 1 1 经典考试理论原理 经典考试理论( c l a s s i c a lt e s t i n gt h e o r y ) 起源于二十世纪初，至今已有一百年 的历史。一般认为，5 0 年代g u l l i k s e n 的著作使其具有完备的数学理论形式。1 9 6 8 年f m l o r d 和m r n o v i c k 的心理测验分数的统计理论书，将经典考试理论的 发展推至颠峰状态，并实现了向现代测量理论的转交。真分数模型是经典考试理 论的基础。在测量上，所谓真分数，即观测分数( 或测量实得分数) 的期望值。 数学表达式为圈 r = e x( 2 1 1 ) 式中，x 为试者在考试中的实得分数，即观察分数。e 为数学上的期望。z 为被试 者的真分数。 任何一组信息都包含有真正的信息信号和无关的信息( 也称为噪声) 。心理与 教育测量的目的在于获取被试者的真正信息，排除无关信息。测量上称前者为真 分数，后者为误差。由于误差的存在，直接测量而得的观测分数便会在一定范围 内波动。 难度参数的计算公式如下嘲 p = r n( 2 1 2 ) 式中，p 为项目难度，尺为答对人数，为参加考试总人数。 区分度参数的计算公式为【3 l ： s 黼 q ) 式中，为项目得分，s 为测验总得分。 经典测量理论提出了三方面的基本假设 町： 在所讨论的问题范围内，真分数不变，亦即个体具有恒定的特质，其变量 一定，取值是常数。真分数所代表的被试特质，在我们讨论问题的内容范围内， 所经历的时间过程中，其值不变，保持恒定。 误差是完全随机的。首先，误差是平均数( 1 期望值) 为零的正态随机变量。 多次测量中，误差有正有负，观察分数对真分数而言，时高时低，上下波动。但 是，只要重复测量次数足够多，这种正负偏差会两相抵消，测量误差的平均数为 零。其次，测量误差跟被测心理特质其他变量间，也是彼此相互独立。 5 重庆大学硕士论文 2a t 与i r t 两种考试评价理论的比较 观察分数是真分数与误差分数的和。经典考试理论的基本思想为：每个个 体都有某些无法直接观察到的心理特质变量，被称为“真分数”( z ) ，用实际得到 的具有一定测量误差( e ) 的“观察分数”( x ) 作为真分数的估计值。基本关系式 为： x = t + e 式中：x 为观察分数；r 为真分数；e 为误差。 ( 2 1 4 ) 通常用此式代表真分数模型。对某个特定被试者来说，真分数有确定值，为常数： 而多次测量时的观察分数与误差分数都是随机变量，真分数就是观察分数与误差 分数的差，观察分数随测量实施的不同而围绕真分数上下波动。 2 1 2c t t 的局限 经典考试理论发展到今天，对心理学与教育测验的编制、使用曾起到很大的指导 作用。c t t 是体系上最成熟的，它有以下的优点：l ，建立在较简单的数学模型之 上，易于被人理解和接受，且计算简便，容易推广；2 ，理论假设较弱，对实施条 件的要求不严格，适用性广；3 ，在多数情况下，c t t 是足够精确的。但是，作为 一种理论，经典考试理论仍有很多不足之处。 a 盯依据其项目分析法所得的项目统计量受样本的抽样变动影响大。即项目 统计量依赖于考试所实施的被试样本。c t t 中项目统计量主要是项目难度( p 值) 和项目区分度( d 值或项目得分与测验总分的相关系数) 。项目难度p = 鼬i n 是答对 该项目的被试比率。这样一来，如果抽取的样本中，能力高的被试者占的比例高， 则r 值就高，p 值也随之增大：反之，如果抽取的样本中，能力低的被试者占的比 例高，p 值就会降低。在以d 值为项目区分度的项目分析中，如果样本同质，那么 被试能力高低差不多，高分组与低分组答对此项目的比例就相差无几，d 值就小； 反之，若样本异质，d 值就大。由此可见，抽样变动是嘶法解决的问题。 a 盯中，被试测验分数依赖于项目的难度，使得进行不同测验的被试者间难 以比较。一般来说，不同的测验会导致不同的测验结果。项目难度高时，被试者 的测验分数往往偏低。因此，c t t 要求对所有被试者都实施相同的测验项目，这样 才能对测验的结果进行比较，即利用相同测验或平行复本测验被试者。但是一般 的测验只适用于中等能力的被试者，对能力特别高或特别低的被试者，评估结果 并不精确，因此需要适合不同能力被试者的测验题目，也就是说，必须有项目难 度不同的测验，也就是说会造成被试者的能力难以比较。 c 】盯中经常用到的平行测验假设是不可能实现的。c f l r 在平行测验的假设下 估计测验信度、测量标准误差，以及达到预期信度所需的测验长度。然而，事实 上，平行测验是不可能实现的，即使让同一组被试对同一组试题再次做答，由于 6 重庆大学硕士论文 2c 1 1 与i r t 两种考试评价理论的比较 遗忘、学习进度造成的能力提高等因素，被试者的反应并不能达到完全平行的程 度。 在实际应用中，a 噼在的一些问题。首先，c 】广r 无法预测被试者对一个新 测验项目的正确反应概率。在实际工作中往往要对这一概率进行估计，以使编制 的测验与被试者的能力水平相适应。例如，入学考试和选拔考试为使录取工作简 便、顺利进行，要求测验项目有一定难度，以使分数分布情况达到期望值。其次， a 盯无法向测验编制者提供各项目及测验在其分数量表上具有最大区分能力的位 置。再以上例为例，若在高考设定的录取分数线这点上，具有最大的区分能力， 则此测验效果最佳，但是，a r i 无法确定这一点。目前，针对这两个问题，c i t 并没有很好的解决办法1 5 】【7 】。 2 2 项目反应理论( i r t ) 的原理隅1 项目反应理论的诞生至今已有很长一段历史了，但是因其潜在的统计计算非 常复杂，一直未能得到广泛应用。近些年来，随着计算机技术的发展，使得短时 间内完成大规模的计算成为了可能。如今，在国外经济发达国家，项目反应理论 已经成为了教育评价的基础。在项目反应理论( m t ) 的发展进程中，有三位学者 做出了杰出的贡献。e d i b u r g h 大学的d n l a w l e y 先生于1 9 4 3 年发表论文，指出许 多经典考试理论可以利用项目特性曲线的参数进行描述。这一论文的发表标志着 项目反应理论作为测量理论的开始。f m l o r d 博士系统地定义、拓展和研究了项 目反应理论( 嬲) ，同时编制了计算机程序使此理论的实际应用成为了可能，他 所做的工作对5 0 年以来该理论的发展和应用起到了很大的推动作用。上个世纪六 十年代后期，芝加哥大学的b d w r i g h t 博士提出利用r a s c h 模型作为项目反应理 论( i r t ) 的模型，为项目反应理论( r o t ) 的进一步发展做出了很大贡献【6 l 。 最初，i r t 模型只能处理二分值问题，现已扩展到其他多种项目格式及反应处 理方式，包括：( 1 ) 多值反应格式项目模型，( 2 ) 测量多种能力的项目模型，( 3 ) 非参数反应模型，( 4 ) 非单调项目模型，比如态度测量，( 5 ) 测试项目的反应时 间模型，( 6 ) 多组模型，( 7 ) 多级结构的项目模型。 i r t 模型是非线性的，因此使i r t 模型得以应用的必要条件是：一个对实际数 据集的高效处理程序。在上个世纪7 0 年代末期，最大似然估计的e m 算法的引入， 使得这一棘手问题得到了很好的解决。之后，利用m c m c 方法估测模型参数的后 续分布也成功的应用于这一领域。 由于i r t 模型分别对项目和人确定参数，因此利用i r t 模型处理数据不完整 的问题，显得十分简便。i r t 在教育及心理学测试中的应用大多基于它自身的这一 特点。比如题库，大规模教育评估，计算机适应性考试，项目克隆以及对不同测 7 重庆大学硕士论文 2a 盯与i r t 两种考试评价理论的比较 试组的时间序列数据的分析。 2 2 1 项目参数特性曲线 与经典考试理论( c i t ) 不同，项目反应理论( 盯) 的基本概念是基于一次 考试中的每个单独的项目，而不是对项目的反应的某些集合，比如说一次考试的 得分。 在项目反应理论( i r t ) 中，假设每个被试者对一个项目的反应包含着他实际 能力值的某些信息。根据这个值将被试者的能力值置于能力值范围的一点，用希 腊字母0 表示。对于每个项目，在每一个能力值水平，被试者都有一个相应的答对 此项目的概率，用只缈表示。反应聃与0 二者关系的曲线称为项目特性曲线，形状 类似于s 型。图2 1 就是一个典型的项目特性曲线。对于每一个标准的项目，能力 值高的被试者答对的概率高于能力值较低的被试者。 9 国 b 图2 1 项目特性曲线 f i g2 1at y p i c a li t e mc h a r a c t e r i s t i cc u l n o 一条项目特性曲线可以用两个技术性属性来描述。第一个技术性属性是项目 难度，它描述了项目反应曲线起作用的位置。例如，一个简单的项目在低能力值 被试者处有效，而一个复杂的项目在高能力值被试者处有效，也就是说，项目难 度是位置指标。第二个技术性属性是区分度。一般来说，设a 为难度等于0 5 时 所对应的能力值轴上的点。区分度描述了项目( i t e m ) 对能力值高于还是低于a 点的能力值的被试者的区分程度。图2 2 和图2 3 对这两个技术性属性进行详细说 明。 p 喻 8 图2 2 三条区分度相同难度不同的项目特性曲线 f i g2 2t h r e ei t e mc h a r a c t e r i s t i cc u r v e sw i t ht h e s a l t 把d i s c r i m i n a t i o nb u td i f f e r e n tl e v e l so fd i f f i c u l t y 首先，阐述项目反应理论中的难度。在图2 2 中，三条项目特性曲线被画在同 一个图中。它们的区分度相同而难度不同。曲线是难度最小的项目的特性曲线， 因为能力值低的被试者答对该项目的概率相对其它两个项目较高，能力值高的被 8 重庆大学硕士论文2c t t 与i r t 两种考试评价理论的比较 试者答对概率更是趋近于1 。曲线代表的项目难度适中。因为答对该项目的概率 在低能力值处较低，在能力值轴的中间位置在0 5 左右，并且在高能力值出接近1 。 曲线代表的项目难度较大。因为答对该项目的概率在整个能力值轴上都较低， 只在到达非常高的能力值时才有所增加，即使在能力值为+ 3 时，答对概率也仅为 o 8 区分度的概念由下图阐明。图2 3 中为难度相同区分度不同的三条项目特性曲 线。最上面一条曲线的区分度最高。被试者答对该项目的概率在曲线中部斜率 很大。中间的曲线的区分度居中。它的斜率变化并不象上面那条曲线那样明显。 最下面那条曲线区分度最小。它在显示的整个能力值轴上斜率变化并不明显口1 。 土 p 图2 3 三条难度相同区分度不同的项目特性曲线 f i g 2 3t h r e ei t e mc h a r a c t e r i s t i co l i v e sw i t ht h e s a i n ed i f f i c u l t yb u tw i t hd i f f e r e n tl e v e l so fd i s c r i m i n a t i o n 2 2 2 项目特性曲线模型 项目反应理论( ) 基于假设的被试者能力值与其对项目的反应二者之间的 数学关系，对测试和所得分值进行研究。项目反应模型有r a s c h 模型、2 参数l o g i s t i c 模型和3 参数模型等几种。 首先介绍l o g i s t i c 函数。l o g i s t i c 函数最初应用于生物科学，作为植物和动物 从出生到成熟的生长过程的模型。在2 0 世纪5 0 年代后期，首次用作项目特性曲 线的模型。因其方便、简单，很快成为项目特性曲线应用最多的模型。2 参数l o g i s t i c 模型方程式如下所示。 p ( 口) - 丽1 ( 2 2 1 ) 其中：0 为被试者的能力值；口为题目的区分度；b 为题目的难度；朐为能力值 为0 的被试者答对此题的概率。 就理论上而言被试者能力值0 的取值空间为( ，+ ) ，从实际应用上，一 般只取【3 ，+ 3 】这一区间。难度b 定义为在项目反应理论特性曲线上答对概率为0 5 时，所对应的0 的值。因此一般情况下难度b 的取值区间是【- 3 ，+ 3 】。区分度定义 为与在项目反应理论特性曲线上0 - - b 处的斜率成正比的值。区分度a 的一般取值 区间是f 2 8 ，+ 2 8 】。 r a s c h 模型的方程式如下 9 重庆大学硕士论文 2c t t 与i r t 两种考试评价理论的比较 p ( 秒) 。丽i t ( 2 2 2 ) 需要说明的是上式中有区分度参数，它的值为1 0 。 3 参数模型考虑到客观题的答题过程中，被试者有猜测的成分，故在项目特性 曲线模型中增加了猜测这一参数。3 参数模型的方程式为 1 即) - c + o - c ) 丽 ( 2 2 3 ) 这里，c 为猜测参数。需要说明的是，猜测参数c 代表仅凭猜测答对此项目的概率。 对于每个项目而言，在整个能力值上，它是不变的。从理论上讲，c 的取值范围为 【o ，1 】，但是实际中，c o 3 5 是不能接受的，因此c 的实际取值范围为【0 ，0 3 5 。 2 2 3 考试特性曲线 经典考试理论( c 】r i ) 中，考试评分一般采用二值记分，即答对一题得1 分， 答错得0 分。将每个题的得分相加即为考试得分，这里我们称之为原始考试得分 ( r a wt e s ts c o r e ) 。对于一个n 个项目的考试，原始考试得分总是一个o 到n 间 的整数。假设被试者前次考试对后一次考试不产生任何影响，那么被试者对同一 套题目进行多次解答，得到一系列不同的原始考试得分。这些得分在某一值簇集， 在测量理论中，这个值称为真实得分( t r u es c o r e ) 。在项目反应理论中，按照 d n l a w l e y 的公式给定的t r u es c o r e 如下 t s ，- 忍( 巳) ( 2 2 4 ) 其中：嬲，是能力值为9 ，的被试者的真实得分；f 代表项目标号；p ，) 代表能力 值为口，的被试者答对第f 个项目的概率； 下面以一个3 个项目的考试为例进行说明。需要说明的是实际考试中，项目的 个数远不止3 个。这个例子的目的是计算给定能力值的被试者的真实得分。使用2 参数模型，能力值0 = 1 0 。 项目1 的区分度a - - o 5 ，难度6 - 1 0 ，则 b ( 1 o ) - i 0 + p 删州舢的) 一o 7 3 ( 2 2 5 ) 这个项目的特性曲 9 图2 4 项目1 的特性曲线 f i g5 1i t e mc h a r a c t e r i s t i cc l l r v f o ri t e m1 1 0 重庆大学硕士论文 2c t r 与i r t 两种考试评价理论的比较 项目2 的区分度a - - 1 2 ，难度b = 0 7 5 ，则 罡( 1 0 多- 1 ( 1 + e 。1 。1 肛- ( 仉7 5 的) 。0 5 7 ( 2 2 6 ) 这个项目的特性曲线如下 尹卿 酋 图2 5 项目2 的特性曲线 f i g2 5i t e mc h a r a c t e r i s t i ca m v ef o ri t e m2 项目3 的区分度a - - 0 8 ，难度b - - o , n b ( 1 0 ) - 1 ( 1 + e 删1 州呦) - 0 6 9 ( 2 2 7 ) 这个项目的特性曲线如 t p 卿 b 图2 6 项目3 的特性曲线 f i g2 6i t e mc h a r a c t e r i s t i cc u r v ef o ri t e m3 那么，可以得到能力值0 = 1 0 的被试者的真实得分，即将3 个项目的答对概 率相加得 t s - - - o 7 3 + o 5 7 + o 6 9 = 1 9 9( 2 2 8 ) 能力值为1 o 的被试者在这次考试中真实得分为1 9 9 。这样就得到了能力值轴上一 点，通过同种方式的计算，得出能力值日从负无穷到正无穷范围内各点的值，就可 获得考试特性曲线，图2 7 即为条由1 0 个项目组成的考试的特性曲线。 真 实 得 分 图2 7 考试特性曲线 f i g 2 7t e s tc h a r a c t e r i s t i cc u l c e 9 建立考试特性曲线的主要目的是提供种将能力值转化为真实得分的方法。 2 2 4 项目反应理论的组不变性和能力值不变性 组不变性是项目反应理论很重要的个原理。它是指项目的参数是项目自身 重庆大学硕士论文 2c 】盯与i r t 两种考试评价理论的比较 的属性，不依赖于被试样本，不随参加测验的被试组的改变而改变。 将一个项目向一个被试者集合施测，做答完毕后，从此被试者集合中抽出两 组进行观察。其中，一组被试者的能力值分布在区间【3 ，1 】上，平均值为2 ；另 一组被试者的能力值分布在区间【1 ，3 】上，平均值为2 。根据两组中被试者的反应 数据，可以得到每个能力值上对该项目的正确反应所占的比例。第一组的正确反 应比例观察图如下 1 p c e 9 ： e 图2 8 第一组的正确反应比例观察图 f i g2 8o b s e r v e dp r o p o r t i o n so fc o r r e c tr e s p o n s ef o rg r o u p1 利用最大似然法对第一组被试者的反应数据求解，求得项目特性曲线的参数。 分别为难度b ( 1 ) = - o 3 9 ，区分度1 ) = 1 2 7 。此项目特性曲线在第一组能力值范围上 的部分如下图所示 三 p 鼢： 9 图2 9 项目特性曲线在第一组能力值范围上的部分 f i g2 9i t e mc h a r a c t e r i s t i cc u r v ef i t t e dt ot h eg r o u p1d a t a 同理得出，第二组的正确反应比例观察图如下 p 0 8 9 8 图2 。1 0 第二组的正确反应比例观察图 f i g2 1 0o b s e r v e dp r o p o r t i o n so fc o r r e c tr e s p o n s ef o rg r o u p2 由第二组被试者反应，求得项目特性曲线的参数。难度b ( 2 ) = - 0 3 9 ，区分度 重庆大学硕士论文2c n 与i r t 两种考试评价理论的比较 a ( 2 ) = 1 2 7 。此项目特性曲线在第二组能力值范围上的部分如下图所示 工 p 癌 g 图2 1 1 项目特性曲线在第二组能力值范围上的部分 f i g2 1 1i t e mc h a r a c t e r i s t i cc u r v ef i t c c dt ot h eg r o u p2d a t a 即b ( 1 ) = b ( 2 ) ，“1 ) = a ( 习，这两组数据求出的项目参数值相同。亦即利用这两组 数据分别求出的此项目的特性曲线是同一条特性曲线 工 p e 图2 1 2 该项目完整的特性曲线 f i g2 1 2i t e mc h a r a c t e r i s t i cc u i v cf i t t e dt ot h ep o o l e dd a m 因此，可看出i r t 模型的项目参数具有组不变性。同样一个项目，不同能力值组 的被试者进行做答，所得出的难度、区分度的值是相同的。由组不变原理，可得 出项目特性曲线的参数可以通过整个曲线上的任意一段而求出。同时，这一原理 也是项目反应理论下考试等效的理论依据。 另一个基本原理是被试者能力值不变性。即对于不同的项目，被试者的能力 值不变。这个原理以下面这两个条件为基础：1 所有的项目都是测试被试者同一方 面的能力；2 所有项目的参数值都是在同一标准下。假设一个被试者的能力值为零， 也就是说，他的能力值位于能力值轴的中点。如果将一组由十个项目组成，难度 系数平均值为2 的测验向该被试者施测，利用得到的项目反应组估计被试者的能 力，求得其能力估计值为反。再将一组由十个项目组成，难度系数平均值为1 的 项目组向同一位被试者施测，同理求解，求得其能力估计值为反，根据比较可得 反= 反。这个原理的具有很强的实用意义。考试的题目可以落在任何一个能力值范 围，比如，被试者不管参加较容易的或是较难的考试都可以得到相同的能力估计 值。这与经典考试理论( a r r ) 形成了鲜明的对比。 2 2 5 信息量 项目反应理论中另一个很重要的指标就是信息量i ( i n f o r m a t i o n ) 。在二参数特 性曲线模型中，信息量的定义如下 重庆大学硕士论文 2a t 与i r t 两种考试评价理论的比较 ( 口) 一口? 只( 口) q ( 秒) ( 2 2 8 ) 其中：p ) 是能力值为口的被试者解答第f 个项目所得的信息量；a 。是项目f 的 区分率；q p ) 是指能力值为0 的被试者答错第f 个项目的概率，其值为 q ) = l - 只p ) 当信息量值较大时，对被试者能力值的估计值疹就接近能力值0 ，反之，会有较大 的误差。 2 3 项目反应理论的优点及其应用概况 与c t r 相比，i r t 在理论和方法上有以下优点： 1 采用非线性模型，建立了被试者对项目的反应与其能力值之间的非线性关 系，这一点更符合事实； 2 被试者能力的估计不依赖于特定的测验题目。i r t 将被试者能力和测试题难 度、区分度放在同一量尺上进行估计，无论测验的难易，被试者能力估计值不变， 不同的测验结果可以直接比较； 3 难度和区分度的估计值与被试者能力无关。同一个测验项目，高能力和低能 力被试者的反应拟合同一条项目特性曲线，同一条项目特性曲线所对应的项目参 数是唯一的； 4 测验信息函数的概念代替了信度理论，用测验对能力估计所提供的信息量的 多少来表示测量的精度。这避免了平行测验的假定，并能给出不同能力被试者的 测量精度； 5 根据项目信息量的大小来选择对能力估计精度最有增益的项目，使测验达到 预先规定的满意的精度。对不同能力的被试者实施不同测试题，既提高了测量精 度又缩短了测验长度。 同时，i r t 与a 盯相比，也有不足： 扎i r t 理论假设较强，对实施条件要求严格，使其适用性受到限制； b i r t 模型的复杂性导致采用i r t 进行心理测试或教育评估，花费时间很长； c i r t 模型复杂，较a r r 难以理解，特别是心理学领域的学者通常并不具有很 坚实的数学基础，这对它的推广造成了障碍。 虽然针对c i t 自身的不足，研究者也曾做过由“峰形”测验改为“矩形”测验的 尝试，都没有解决根本问题。近些年来，随着计算机技术的发展，使得短时间内 完成大规模的计算成为了可能，从而使得计算复杂的项目反应理论在考试评估中 得以运用。使用基于i r t 的测试，在选择题目时，根据最大信息量的原则选题， 每次呈现的题目可以提供更多的信息量，这就能达到使用较少的题目而获得较精 确的测量结果。已有的研究结果表明，用1 1 个题目就达到传统纸笔测试中2 9 个 1 4 重庆大学硕士论文 2c t t 与i r t 两种考试评价理论的比较 题目的效果。使用基于i r t 的计算机化适应性考试，不仅可以减少学生的答题时 间，还可以有效的替代教师的出题、批改试卷和试卷分析等重复性、高强度工作。 能有效的节省物力和智力资源。近年来将i r t 用于测试在国外得到了广泛的关注 并有了深入的研究。一些传统的智力测验如比奈测验、韦氏智力测验、瑞文测验 等也使用i r t 作为分析的理论依据。 但是应该提到的是c t t 作为一种经典的考试理论，也有很多优点。吸收a 广r 的优点，不断完善i r t ，并以i r t 为主要导向，与c t t 有效的结合是教育评估原 理的最佳选择。e t s 作为全球最大的测验公司，推出了例如1 d e f l ，g r e ，g m a t ， 这些基于i r t 的许多众所周知的计算机化适应性测验，目前已致力于将以上两种 理论有机结合的工作。 2 4i r t 模型的计算方法1 首先对i r t 模型的求解过程进行详细说明。假设某位被试者对n 个试题的测 验上的反应组为( 坊，玩，玩，珥，现) ，其中奶的值为1 ( 代表正确反 应) ，或为0 ( 代表不正确反应) 。基于局部独立性的假设，上述观察到的反应组的 联合概率( j o i n tp r o b a b i l i t y ) 可以说是每一个试题反应概率的乘积，即 p ( u 。y 2 ，【，玑1 8 ) 一p ( u ll o ) p ( v 2l 口) p ( u ，i 口) p ( 虬i 口) ( 2 4 1 ) 或化简为 p 哪2 ，u ，虬lp ) 一兀弓q q ( 2 4 2 ) 其中： 了t p ( 1 y ，i p ) ，q ，1 4 1 1 一p ( u ，i 口) 公式( 2 4 2 ) 是某个反应组的联合概率的表示公式；当这个反应组为已知时， 亦即珥= 蜥，这种概率的解释方式便不再是恰当的，此时，对这种联合概率的表示 公式便称作近似值函数，并且记作l 似j ，h 3 呦10 ) ，其中h f 代表在试题j 上的实得反应。因此，记作 o ，