(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf_第1页
(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf_第2页
(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf_第3页
(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf_第4页
(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf_第5页
已阅读5页,还剩71页未读, 继续免费阅读

(计算机科学与技术专业论文)自适应考试系统组卷算法的研究与设计.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

中文摘要 摘要 随着计算机和网络技术的发展和普及,计算机,了姒u 。肚厂口越来越广泛。这 种考试形式可以相对减少考试环节中的人为主观因素,可以更快捷、更方便、更 准确地组织考试工作,并大大减少教师的工作量。目前,基于计算机的考试已经 被广泛应用到各种学历考试、职称考试和证书考试中。但大部分考试系统只是简 单的将传统的人工出题改为计算机出题,其基本思想并没有突破传统的经典测试 理论,不能很好的体现出考生的真实水平。而基于项目反应理论( i t e mr e s p o n s e t h e o r y ,i r t ) 的计算机自适应考试( c o m p u t e ra d a p t i v et e s t ,c a t ) 是以考生作为对 象,根据不同考生在考试过程中所反应出来的能力和水平,动态的调整适合考生 难度的试题,以求更准确的反映出考生的真实能力水平。 本文首先对自适应考试系统的背景和现状进行了研究,论述了c a t 考试的理 论基础一项目反应理论,并阐述了考生能力参数估计的几种方法;然后确定了考 生能力值估计的方法和初始题目选择策略,给出了自适应考试系统的设计思路和 解决方案。组卷算法是本文研究的重点,通过对多种选题策略的深入分析和比较, 本文在基于可操作性和实用性的基础上,提出了一种优化的组卷方法,既可以对 考生的初始能力值进行估计又可以完成自适应题目选择。 最后对系统进行了测试,验证了系统的可行性和实用性,统计并分析了实验 结果,以便今后对系统做进一步改进和完善。 关键字:项目反应理论;计算机自适应考试;组卷算法;能力值 英文摘要 a b s tr a c t w i t ht h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fc o m p u t e ra n dn e t w o r kt e c h n o l o g y , c o m p u t e r i z e de x a m i n a t i o nh a sb e e na p p l i e dm o r ea n dm o r ee x t e n s i v e t h i sf o r mo f e x a m i n a t i o nc a nr e d u c et h eh u m a ns u b j e c t i v ef a c t o r si nt h ee x a m i n a t i o n ,i ta l s oc a n o r g a n i z et h ee x a m i n a t i o nm o r eq u i c k l y , m o r ec o n v e n i e n t l y , a n dm o r ea c c u r a t e l y , m o s t s i g n i f i c a n t l y , i tc a nr e d u c et h ew o r k l o a do ft h et e a c h e r s a tp r e s e n t ,c o m p m e r - b a s e dt e s t h a sb e e nw i d e l ya p p l i e dt ov a r i o u se d u c a t i o ne x a m i n a t i o n s ,t i t l ee x a m i n a t i o na n d c e r t i f i c a t i o ne x a m i n a t i o n s b u tm o s to ft h ee x a m i n a t i o ns y s t e m so n l yc h a n g et h e t r a d i t i o n a lw a yo fm a n u a lq u e s t i o n si n t oc o m p u t e rq u e s t i o n s ,t h eb a s i ci d e ah a sn o t b r o k e nt h r o u g ht h et r a d i t i o n a lc l a s s i c a lt e s tt h e o r y ,a n di tc a nn o tr e f l e c tt h et r u el e v e lo f t h ee x a m i n e ew e l l i no r d e rt oa s s e s st h et r u el e v e lo fe x a m i n e em o r ea c c u r a t e l y , t h e c o m p u t e ra d a p t i v et e s tw h i c hb a s e do nt h ei t e mr e s p o n s et h e o r y t r e a t st h ee x a m i n e e a sao b j e c t a c c o r d i n gt od i f f e r e n te x a m i n e ew h or e f l e c tt h ea b i l i t ya n dl e v e li nt h e e x a m i n a t i o n ,a d j u s tt h ed i f f i c u l t yo f t h ee x a m i n a t i o nd y n a m i c a l l y t h ep a p e rf i r s t l yr e s e a r c ht h eb a c k g r o u n da n ds t a t u so ft h ec a t s y s t e m ,d i s c u s s e s t h et h e o r e t i c a lb a s i sf o rc a te x a m - c a t , e l a b o r a t es e v e r a lm e t h o d so fp a r a m e t e r e s t i m a t i o no fe x a m i n e e sa b i l i t y a n d t h e ni td e t e r m i n e st h em e t h o do ft h ea b i l i t yv a l u e e s t i m a t i o n a n dt h ei n i t i a ls u b j e c ts e l e c t i o ns t r a t e g y , a n dp u tf o r t l lad e s i g ni d e aa n d s o l u t i o nf o rc a ts y s t e m t e s tp a p e rc o m p o s i t i o na l g o r i t h mi st h ef o c u so ft h i sp a p e r , t h r o u g ht h ea n a l y s i sa n dc o m p a r i s o no ft h ev a r i o u ss t r a t e g i e sa b o u tt o p i c ss e l e c t i o n ,t h e p a p e rb r i n gf o r w a r dao p t i m i z e dm e t h o da b o u tt o p i c ss e l e c t i o n , w h i c hi sb a s e do n f e a s i b i l i t ya n dp r a c t i c a l i t y i tn o to n l yc a ne s t i m a t et h ei n i t i a la b i l i t yo ft h ee x a m i n e e , b u ta l s oc a nc o m p e t et h es e l f - a d a p t i v ec h o s e n f i n a l l y ,i no r d e rt ov e r i f yt h ef e a s i b i l i t ya n dp r a c t i c a l i t yo ft h es y s t e m ,t h ep a p e r t e s tt h es y s t e m ,r e c o r da n da n a l y z et h ee x p e r i m e n t a lr e s u l t sf o rf u t u r ei m p r o v e m e n ta n d p e r f e c t i o n k e yw o r d s :i t e mr e s p o n s et h e o r y ;c o m p u t e ra d a p t i v et e s t ;t e s tp a p e r c o m p o s i t i o na l g o r i t h m ;a b i l i t yv a l u e 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明:本论文是在导师的指导下,独立进行研究工作所取得的成果, 撰写成博硕士学位论文 竺自适应耋达丕统组鲞筵洼鲍研究皇遮让 :。 除论文中已经注明引用的内容外,对论文的研究做出重要贡献的个人和集体,均 已在文中以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体 已经公开发表或未公开发表的成果。本声明的法律责任由本人承担。 学位论文作者签名:弛 学位论文版权使用授权书 本学位论文作者及指导教师完全了解大连海事大学有关保留、使用研究生学 位论文的规定,即:大连海事大学有权保留并向国家有关部门或机构送交学位论 文的复印件和电子版,允许论文被查阅和借阅。本人授权大连海事大学可以将本 学位论文的全部或部分内容编入有关数据库进行检索,也可采用影印、缩印或扫 描等复制手段保存和汇编学位论文。同意将本学位论文收录到中国优秀博硕士 学位论文全文数据库( 中国学术期1 :l j ( 光盘版) 电子杂志社) 、中国学位论文全文数 据库( 中国科学技术信息研究所) 等数据库中,并以电子出版物形式出版发行和提 供信息服务。保密的论文在解密后遵守此规定。 论文作者张碜锄导师躲事嘶 日期: 矽9 年7 月2 - - e t 自适应考试系统组卷算法的研究与设计 第1 章绪论 1 1 论文研究背景和意义 随着网络技术的迅速发展,利用网络进行学习已成为现实。网络化学习的核 心要素是利用现代信息技术提供的具有全新沟通机制与丰富资源的学习环境,实 现全新的既能充分发挥教师指导作用又能充分体现学生学习主体作用的“学教并 重”的网络学习环境。网络教学为学生的学习创建了广阔自由的环境,提供了丰 富的资源,拓延了教学时空的维度。 考试是教学过程中的重要环节,它担负着因材旌教、选拔人才、评价教学等 众多功能。当前,计算机“无纸化考试系统”由于安全性高、便于组卷和评阅、 资源消耗低、自动化程度高、可以实现远程考试等特点,在学历考试、各种职称 考试、证书考试中已被广泛使用【l 】。但大部分考试系统只是简单的将传统人工出题 改为计算机出题,或者将笔试改成上机考试,其基本思想仍没有突破传统的经典 测试理论( c l a s s i c a lt e s tt h e o r y ,c t t ) 。 在传统的考试中,考生不论水平高低全部要接受同一批题目的测试,结果对 水平低的考生来说,那些难度大的题目,根本无法作答,反而引起焦虑;对高水 平考生来说,那些难度小的题目,又测不出考生的真实水平,徒然浪费精力。理 论分析与实践经验证明,当题目难度跟考生水平相适应时,题目所提供的信息量 最大,考生的积极性最高,测验效度也就最好【2 1 。除了上面的心理学因素外,传统 测验还存在以下问题: ( 1 ) 考生成绩和题目难度密切相关,即题目太难或太易,可能导致考生成绩普 遍偏低或偏高,差距不大。 ( 2 ) 如果考题偶然和考生的学习相悖或考生偶然答题失误,则无法测试出其真 实水平。 ( 3 ) 考试测量误差与样本相关。 八十年代中期兴起的计算机自适应测验( c o m p u t e ra d a p t i v et e s t ,c a t ) 是一种 量裁性( t a i l o r i n g ) 考试【3 1 。它根据每个考生的实际能力定制考试内容,即根据考生 第1 章绪论 对最初几道题目的答题情况对考生的能力作初步估计,再通过试题选择算法从试 题库中选取与考生能力水平最接近的试题继续进行测试直到能够准确地标定考生 的能力值为止。其理论基础一项目反应理论( i t e mr e s p o n s et h e o r y ,i r t ) 是针对经 典测量理论的不足而提出来的,是一种先进的测量理论,它估计出的能力水平不 依赖于特定的施测题目样本,而且能明确算出信息量即测量精度。因而,即使多 个考生各自接受了一批难度变化不同的测验,据此估出的能力值也是可以相互比 较的。考试成绩能较准确客观地反映考生的实际能力,不会因为题目的难度偏差 和考生的偶然失误而对成绩有太大影响。因为c a t 考试能相对更准确地考核考生 的掌握程度,很可能成为今后远程教育中考核测试的主流。 自适应测试与传统测试相辅相成,对教学的测试起到了不同方面的作用,同 时也对考试系统提出了一些新的问题。如何估计出每一位考生的能力水平,如何 从试题库中快速抽出能够满足用户各项要求的试题组成一份适应考生能力的试卷 是一个亟待解决的问题。 1 2 论文研究现状 传统考试系统大多使用单机环境,而随着信息技术和网络技术的发展,网络 远程考试得到突飞猛进的发展,各所大学都积极进行相关方面的探索。目前由 e t s ( e d u c a t i o n a lt e s t i n gs e r v i c e ) 主持的多种考试都已经实行 c a t 考试:g r e 采用 自适应考试模式,同时逐步减少以纸卷笔试为基础的考试方法;美国护士协会把 以纸卷笔试为基础的考试方法完全改用计算机自适应考试,每年对护士进行 4 0 0 ,0 0 0 多人次的注册护士考试【4 】。在信息产业中,美国n o v e l l 公司应用c a t 进行认 证考试,使参j j h n o v e l l 自适应考试的人数超过1 ,0 0 0 ,0 0 0 人次;t o e f l 考试也已经在 中国采用自适应考试模式。另外,美国一些大学也有专门的c a t 系统开发项目组, 许多研究项目都得到了政府部门或军方的支持和资助,一些小规模的c a t 系统已 经广泛地用于专业培训等方面【5 】。德国西班牙等国也有关于德语和西班牙语的自适 应考试系统投入使用。 国内对c a t 的研究和应用起步比较晚,8 0 年代末开始有一些对i r t 的研究和小 型c a t 系统的开发,应用的范围不广,影响也不大。目前,随着信息技术的发展 自适应考试系统组卷算法的研究与设计 我国也出现了研究自适应考试的热潮。国内的中国汉语水平考试和微软认证考试 已经采用c a t 系统。一些公司研究的关于心理测试方面的网站也采用了c a t 技术 【6 】。全国英语四六级考试委员会也在着手研究英语四六级的自适应考试系统。但是 国内目前尚未出现采用c a t 的正式大规模考试,所以适合大规模考试的c a t 系统 的研究有非常大的空间也有非常高的实用价值。 目前常用的组卷方法有两种,第一种方法是从试题库中根据约束条件随机搜 索满足条件的试题,直到试题总数满足要求为止,具体有随机抽取法、回溯试探 法等。随机抽取法对整个组卷过程来说组卷成功率低,具有很大的随机性和不确 定性;而回溯试探法对内存的占有量大,求解速度慢、组卷过程所需时间长,无 法满足实时应用。虽然数据挖掘在组卷中具有一定的先进性,但对它的研究目前 却停留在理论上,缺乏成熟的技术和理论【7 1 。第二种方法是整卷随机抽取法,是在 试题库中一次抽取满足所有约束条件的试题,这种方法克服了随机抽取法与回溯 试探法等方法的缺陷,具有很好的实用性,但对抽取算法要求很高。 目前常见的对试卷结果的评估一般能够分析学生完成测试的情况,评估学生 对所测内容的掌握程度,并按照评估成绩对学生的下一步学习作出推介,并生成 各种试卷评估报表,比如试卷信度、试卷效度。但大多数试题库都是通过教学专 家分析、评定试题进而构建的,这种完全凭借先验知识设置试题难度系数、区分 度等属性与实际考试中的难度必然存在差距【8 】。最合理的方法是利用试卷的分析结 果去检验、修改试题库中相关试题的指标和属性;利用考试成绩的结果,评估学 生对各知识点掌握的熟练程度,从而反映出学生的真实学习情况,有利于教师掌 握教学重点,提高教学质量。 1 3 本文的主要工作和创新 在阅读大量国内外相关文献的基础上,阐明了基于i r t 的自适应考试的相关 理论,对比分析了现有组卷算法和成型系统,提出了在w r e b 环境下一种优化的、 实用的组卷算法,并论证了算法可行性,结合既有考试系统的开发经验,设计和 实现了原型系统,最后通过一组实例进行实验验证和系统评估。在组卷过程中, 对考生的初始能力进行估计,为不同水平的考生选择最合适的题目,当考生完成 一3 一 第1 章绪论 一次测试后,重新估计考生的能力值,系统根据新的能力值继续选择题目,直到 考试结束。 本文所做的工作归纳如下: ( 1 ) 搜集整理国内外大量文献,深入研读,总结分析,奠定了自适应考试系统 的理论基础。 ( 2 ) 项目反应模型参数的确定以及考生能力值的估计算法和组卷策略的研究。 ( 3 ) 结合实际进行系统的需求分析和总体设计。 ( 4 ) 原型系统的设计和实现,结合实例进行试验。 ( 5 ) 对系统进行评价,得出实验结论。 本文的创新点: ( 1 ) 考生能力估计方法是c a t 的一个关键问题,尤其是初始能力值的确定, 本文采用传统考试与自适应考试相结合的方法,比较准确的得到考生的初始能力 值。 ( 2 ) 选题策略是c a t 的一个核心问题,c a t 理论研究表明,按难度等级出题 是一个很好的方法,但是每答完一道题,系统都要重新估计考生的能力值,在题 库中试题数量较大的情况下,系统开销比较大。本文采用每5 道题为一次测试的 方法,使题目的难度值与考生的能力值相对应,据考生的回答情况,系统既能得 出考生的能力值,又能为下一步的测试选择难度自动出题,很好的解决了系统开 销大这一问题。 自适应考试系统组卷算法的研究与设计 第2 章自适应考试系统理论基础 目前教育测试理论主要有两种,即经典测试理论和项目反应理论。建立在经 典测量理论上的传统考试和建立在项目反应理论上的自适应考试,二者的区别在 于它们采用的数学模型不同,是基于不同的假设提出的。经典测量理论采用的是 线性的确定性模型,项目反应理论采用的是非线性的概率模型。 2 1 经典测试理论的主要内容 经典测试理论出现于2 0 世纪初,到了5 0 年代逐步形成了完整的体系。经典测 试理论的基本思想是把测试的得分看作是真分数和误差分数的线性组合,可归结 为如下的简单数学模型:x = t + e 。其中x 是观测分数,t 是真分数,e 是误差分。 传统的信度、项目分析的原理与方法均建立在这一模型之上。经过了近百年的发 展,经典测试理论建立了一系列项目分析的指丽包括平均分( m e a ns c o r e ) 、标准 差( s t a n d a r dd e v i a t i o n ) 、难度( d i f f i c u l t y ) 、区分度( d i s c r i m i n a t i o n ) 、信度( r e l i a b i l i t y ) 和 效度( v a l i d 时) 等9 1 。 2 1 1 平均分 平均分是用的最多的一种集中量数。所谓集中量数是指反映分数集中位置这 个特征的数值,它代表一批分数,反映一批分数的典型情况,因此常用它进行不 同分数组之间的比较【l o 】。集中量数的形式有多种,如算术平均数、中位数、众数 等,算术平均数则是最常用的一种。如果一组分数分别用x l ,x 2 x 3 表示,则这 组有n 个分数的分数组的平均分( m ) : m = 半 ( 2 1 ) 2 1 2 标准差 对于一批分数,除了要了解它的集中量数外,还应了解它的差异量数,即分 数的离散程度1 1 】。差异量数的形式也有多种,标准差是最重要的差异量数。计算 公式如下: 第2 章自适应考试系统理论基础 s = ( 2 2 ) 其中,s 为标准差,m 为平均分,n 为参加考试的人数,x 为每一个考生的分数。 2 1 3 难度 难度通常就是指考生完成题目或项目任务时所遇到的困难程度。它可分为绝 对难度和相对难度两种,绝对难度又称认知难度,是指项目本身固有的难度;相 对难度又称统计难度,是学生实测后,经计算得到的难度指标。考生作答一个题 目所遇到的困难程度的量数,就叫题目的难度系数,也常称为难度值,用符号d 表示。其计算公式为: l , d = 1 一竺 ( 2 3 ) 2 3 式中,d 是题目的难度值;x 为全体考生在该题上得分的平均数;形为该 题的满分值。 从公式可知,x 越大,d 越小,当x = i f ,d = 0 ;x 越小,d 越大,当x = 0 时,d = 1 。d 的取值范围0 d 1 。 也就是说,考生得分越多,试题的难度值越小,试题越容易;考生得分越少, 试题的难度值越大,试题越难。当所有考生都答对了时,试题的难度值为o ,试题 最容易;当所有考生都不会答时,试题的难度值为1 ,试题最难;当难度值为0 5 时,试题为中等难度。 在上面公式中定义的难度,是指某一道试题的难度,而一次测验的难度,是 指测验卷中所有试题的平均难度。测验的难度,要根据测验的目的、测验的性质 和测验项目的形式等因素来确定。 当测验用于考查考生某种知识技能的掌握情况时,对难度可以不作严格限制, 只要是应该掌握的内容,即使它的难度值为0 或者难度值接近于1 ,也应该采用。 当测验用于最大程度地区分考生时,难度恒定在0 5 0 左右最为合适。例如全 国高等学校入学考试其难度规定为3 :5 :2 ,即较容易的题目占3 0 ,中等难度的 题目占5 0 ,较难的题目占2 0 ,整个试卷的平均难度大约为o 5 0 。 一6 一 自适应考试系统组卷算法的研究与设计 2 1 4 区分度 试题的区分度也叫题目的鉴别力,是区分不同层次的学生水平能力的指标, 它是由考生在该题上的得分与考生的实际能力水平之间的关系来确定的,可衡量 题目对不同水平考生的心理特质的区分程度。如果试题的区分度高,那么水平高 的考生在题目上的得分就会高,而水平低的考生就会得分低,这样就可以把不同 水平的考生区分开来。区分度属性在题库中的作用也是用于挑选题目。对于常模 参照性测验来说,希望测验的结果能把考生水平拉开,以便择优或进行分组编排, 所以用于常模参照性测验的试题,就需要有较高的区分度。对于目标参照性测验, 则主要是按照预定的标准,考核学生是否达到标准要求,达标程度如何,或者考 核学生知道什么,能做什么。目标参照性测验,是把考生的成绩和特定的目标作 比较,因此它无需强制性地把学生的水平拉开距离,对试题的区别性能的要求并 不非常重视。 试题的区分度一般是由该题的成绩与整个测验成绩之间的相关程度来表示。 相关程度高,表明区分度高;相关程度低,表明区分度低。区分度过低的试题, 在筛选试题时,应当删去。为了给区分度的高低确定一个评定鉴别标准,经过大 量研究,在估算试题的区分度上,常用的方法是先将学生的成绩按得分排序,从 前、后各取2 7 的学生作为高分组和低分组,分别计算高分组对a 题的得分率晶 和低分组对a 题的得分率只,则a 题的区分度为: 一 g = 斥一置 ( 2 4 ) 试题区分度评鉴表如表2 1 所示。 表2 1 试题区分度的评价标准 t a b 2 1e v a l u a t i o nc r i t e r i o no f t e s td i s c r i m i n a t i o n 区分度指数( q ) 评价 o 4 以上 o 3 m 加3 9 o 2 0 旬2 9 0 1 9 以下 高 较高,如能改进更好 尚可,使用时需做改进 劣,必须淘汰或加以修改 第2 章自适应考试系统理论基础 2 1 5 信度 语言测试专家b r o w n 把信度定义为“测试结果的一致或稳定的程度”。换句话 说,有信度的试题应在任何时间、任何地点测试都能够得到一致的结果。通常以 相关系数为数据指标,称为信度系数。如果信度系数大,则测试信度高;如果信 度系数小,则测试信度低。 信度的概念是个理论上的构想概念,在实际测量中是无法得到的,通常是以 估计的方法求得信度系数,以它的大小来表示测试信度的高低。常用的估计方法 有以下4 种: ( 1 ) 再测法( t e s t - r e t e s tr e l i a b i l i t y ) 。以同一份试卷,在不同的时间对同一组受测 者施测两次,根据两次测试分数计算得到的相关系数称为再测信度。但是,两次 测试结果的稳定性受间隔时间的影响,一般标准化测试很少使用此种方法。 ( 2 ) 副本法( e q u i v a l e m - f o r m sr e l i a b i l i t y ) 。编制两套题目不同、形式相同的试卷, 在最短的时间内用两套试卷测试同一个群体,所得结果的相关系数称为复本信度。 ( 3 ) 分半法( s p l i t - h a l fr e l i a b i l i t y ) 。一次测试结束后,将全部试题分为相等的两 部分( 一般采用奇、偶题分半) ,并分别计算每个学生在两半试题的得分,再求得两 半试题得分的相关系数,这是半个考试的信度系数。为了估计整个测试的信度, 可采用s p e a r m a n - b r o w np r o p h e c yf o r m u l a 公式计算: ,:盟 ( 2 5 ) 瓤 【刀一l 沙+ l 其中7 矗为试卷的信度,r 为两半试卷之间的相关系数,1 1 为2 。 ( 4 ) 库理法( k u d e r - r i c h a r d s o nf o r m u l a2 0a n dk u d e r - r i c h a r d s o nf o r m u l a21 ) 。使 用k r 2 0 公式与k r 2 1 公式估计测试的信度,是一种常用的方法,但用库理法估 计测试的信度只适于客观测试。如用k r 2 0 公式,计算方法如下: 2 。:吉k 擎, , 一1 、s f 、 k r 2 0 为k u d e r - r i c h a r d s o n2 0 公式,k 表示测试所有的题目数;酽为题目的 方差;g 是测试总分的方差;如果每个题目的难度相近,可利用k r 2 1 公式: 自适应考试系统组卷算法的研究与设计 k一心=击(1一可m(k-m)k1 ( 2 7 ) 一、 格。 、 7 这里,k r 2 1 为k u d e r - r i c h a r d s o n2 1 公式,k 表示测试所有的题目数,m 为 平均分,s 是标准差。 2 1 6 效度 效度即测试的有效性或测试结果的正确程度,是指测试在大多程度上测量到 了所要测的东西1 1 4 】。由于测试的目标不一样,效度有几种,如内容效度、效标关 联效度和结构效度等。 内容效度( c o m e n t v a l i d i t y ) 指测试内容与预定要测量的内容之间的一致性程度。 第二种效度是效标关联效度( c r i t e r i o n r e l a t e dv a l i d i t y ) 。所谓效标关联效度也就是该 参照效标有关的效度。第三种为结构效度( c o n s t r u c tv a l i d i t y ) 。结构效度是指测试能 测量理论上的结构或心理特性的程度。效度是经典测试理论的一个重要指标。效 度系数可以通过下面的公式来获得: ,x v r x y ( m a x ) 2 了萧 q 名 这里,勺为效度系数,为x 考试的效度系数,r t t ( j ) 为x 考试的信度 系数。 2 2 项目反应理论的主要内容 项目反应理论是经典测试理论的继承和发展,代表了语言测试学领域的发展 方向。项目反应理论的产生可追溯到上世纪4 0 年代,最早是由丹麦学者拉什( g e o r g e r a s c h ) 提出的。但直到6 0 7 0 年代,由于计算机的广泛运用与普及,才相继出现了 一些项目反应理论的研究论文。既便如此,系统而复杂的项目反应理论文献也只 是近几年才被列入教科书,使之成为当前语言测试学领域内极为引人瞩目的理论。 它的出现,打破了经典测试理论一统测量领域的格局,使语言测试领域发生了全 新的变化。 项目反应理论是建立在强假设( s t r o n ga s s u m p t i o n s ) 基础上的,它有三条基本假 第2 章自适应考试系统理论基础 设1 15 j _ 【1 一 ( 1 ) 潜在特质空间的单维性假设:指组成某个测试的所有项目都是测量同一潜 在特质,测验只测量考生的某一种能力,而可以忽略其他能力对测验结果的影响。 ( 2 ) 局部独立性假设:指对某个考生的能力而言,项目间无相关联系。这是与 一维性假设相等同的,它是指考生对测验中不同题目的反应在统计上是互相独立 的。也就是说考生在测验中对某题目上的正确反应概率不依赖于他在其它题目上 的正确反应概率。 ( 3 ) 项目特征曲线假设:指考生对项目所作反应的概率遵循一定的函数关系, 这种函数关系可以用项目特征曲线形式表示出来。 2 2 1 项目反应模型 项目反应理论有各种各样的模型,其中著名的是二级评分模型中的单参数逻 辑斯蒂模型( 即拉什模型) 和三参数逻辑斯蒂模型。三参数逻辑斯蒂模型中有项目 难度、项目区分度、猜测系数三个参数。只要找到适合数据的模型,就可以对项 目进行比较精确的分析。 项目反应理论由许多数学模型构成,每种模型都是建立在一定假设基础之上 的,是反映考生在测试中观察不到的能力水平和观察到的反应之间的数学函数关 系。但函数的形式并不是一种假设,而是为了适应测试的需要而设计的一种模型。 构成模型的元素称为项目参数,它决定了模型曲线的实际形状与定位,并通过这 些数据进行评估,与多重线性回归系数通过独立与非独立变量进行评估的方法相 似,只是在项目反应理论中的“独立变量”能力或个人参数是未知的,需要由项 目参数进行评估,有些类似经典测试理论的真分数,但是项目反应理论中的个人 参数不受特殊测试的约束。 在所有的项目反应理论模型中,最为普通的是三参数逻辑斯蒂模型( t h r e e p a r a m e t e rl o g i s t i cm o d e l s ) ,其项目特征曲线( i t e mc h a r a c t e r i s t i cc u r v e ,i c c ) 为一条 带有非零渐近线的典型卵型曲线。 另外一种简单易用的项目反应理论模型是单参数模型( o n ep a r a m e t e rm o d e l ) 。 单参数模型有许多统计上的优势,而且实际应用时费用最低。但由于过于简单, 自适应考试系统组卷算法的研究与设计 应用于测验数据时可能会有缺点。项目反应理论的选择应考虑到所掌握数据的特 性在所有测试和群体中是不变的,个人的同一种能力在不同测试中也是不变的。 同时,在数据评估时需要计算机程序的支持,因为计算机能够反复解决非线性均 等的系统问题。目前在语言测试领域广泛运用的项目反应理论模型有以下一些共 性【1 6 】: ( 1 ) 模型是单维的,函数反应的可能性仅依赖于个体的能力水平,并随能力水 平的增加而增加; ( 2 ) 项目之间存在有条件的独立, ( 3 ) 大多数项目反应理论模型采用二分记分法。 项目反应理论根据考生回答问题的情况,经题目特征函数的运算,推测考生 的能力。公式如下: 单参数模型:尸( e ) 2 石= 丽1 ( 2 9 ) 双参数模型:p ( o ) 2 石i 丽1 ( 2 1 0 ) 三参数模型:尸( 。) = c + ( j c i i 丽1 ( 2 1 1 ) 其中:d = i 7 0 2 ;0 为受测者的能力值,a 为题目的区分度,b 为题目的难度, c 为题目的猜测系数,p ( o ) 为能力为0 的人答对此题目的概率。 根据特征函数可画出题目的特征曲线( i c c ) 。图2 1 为典型的三参数模型的特 征曲线【1 8 】。 第2 章自适应考试系统理论基础 匆 矽 图2 1l o g i s t i c 模型项目特征曲线 f i g 2 1i t e mc h a r a c t e d s t i c c u r v eo fl o g i s t i cm o d e l 从图中可以看出,项目特征曲线下部的渐近线离坐标轴的零点有一定的距离。 这表明由于存在猜测因素,能力或特质水平很低的受测者仍有可能答对该项目。 这个猜测参数值,用c 表示,它的值越大,说明不论受测者的能力高低,都越容易 猜对本道题目。图中拐点在纵坐标为正好落在c 与1 的中点上,即拐点的纵坐标为 ( 1 + c ) 2 。这表明特质水平为b ( 拐点的横坐标) 的受试者答对与答错该项目的概率排 除猜测因素不计,恰好彼此相等,所以b 通常被定义为项目的难度参数。项目特征 曲线拐点处的斜率刻画了曲线的陡峭程度,这与项目区分考生特质水平的能力有 关。很显然,曲线越陡峭,答对概率尸( 。) 对特质水平0 的变化就越敏感,即项目 区分考生水平的能力就越强。因此,曲线拐点处的斜率被称为项目的区分度参数, 一般用a 来表示,它的值越大说明题目对受测者的区分程度越高。 2 2 2 项目的测验信息函数 项目信息函数( i t e mi n f o r m a t i o nf u n c t i o n ) 是项目反应理论的核心概念,它是项 目反应理论中用来刻画一个测验或一道试题的有效工具。它是用来直接反映一种 测验分数对考生能力或特质水平的估计精度的指标【1 9 】。信息函数越大,这种估计 就越精确。 在项目反应理论中,对于某个特定的测验目标f ,它的信息函数可用下面的公 式来表示: 自适应考试系统组卷算法的研究与设计 邶卜奄 ( 2 1 2 ) 其中q = 1 一只,。只是答对的概率,p 是只对e 的一阶偏导数。若以三参数逻 辑斯蒂模型为例来说明,则: = 篆= 再描 从上述项目信息函数的表达式来看,我们至少可以得出以下两个结论: ( 1 ) 对于一个测验项目而言,其质量指标是定的,因而信息函数的值就只与 考生的特质水平有关。因此,项目信息函数可以用来描述在所测考生的每一个水 平上某道试题的测量有效性。 ( 2 ) 对于某个特定的考生而言,其特质水平0 是二定的,这时某一试题项目信 息函数的大小就取决于该试题的质量。若猜测参数c 越小,信息函数的值就越大; 项目的区分度a 越大,信息函数值也就越大。 由以上分析可见,项目信息函数是反映题目优劣的一个综合指标。信息函数 还具有可加性。假定某测验有n 道试题,则测验信息函数i ( 0 ) 是测验所含有的各道 题目的信息函数f 的简单相加: 删= t = l = 毒( 2 1 4 ) 即在测验中,每一个测验项目对测验信息函数的作用都是独立的,与所有其他项 目无关,这是由局部独立性假设提出的。由信息函数的可加性可知,组成测验的 各个项目的质量越高,它们所能提供的信息量就越大,从而根据整个测验所获资 料而估出的考生的特质水平就越精确,越可靠,越接近其真值。信息函数的可加 性有力地说明了测验信息函数是反映测验有效性的一个客观而精确的指标。 第3 章基于i r t 的自适应组卷算法的分析及设计 第3 章基于ir t 的自适应组卷算法分析及设计 3 1 自适应考试的能力参数估计方法 3 1 1 近似估计 参数的近似估计不仅仅对近似计算有意义,它还可以为迭代提供较好的初值。 迭代初值选取的好坏往往对迭代成败有举足轻重的影响【2 0 】。 设n 个考生参加长度为m 的测验,采用“1 ,0 ”计分,反应矩阵为工= ( x 掣) 。 mn 记乞= ,t = ,即乞为卷面总分,s ,是答对项目j 的人数。再记: ,= j口= l 一芒f 。 t = 上,o ,2 急n l 一晶s , s2 上, 6 。2 智m 5 即f ,o ,是平均卷面分及卷面分的标准差;s ,o ,是项目的答对人数的平均值 及标准差。 倘若o t a m ,对l o g i s t i c 模型中考生能力o 。的估计可由考生a 的得分与失分之比 的对数来近似,即: 瓦乩矗。 ( 3 1 ) ,摊一f 若t a = o 或t a _ m ,则由经验l o g i s t i c i ) 马 的理论,可以做出如下的修改: 酝乩老 ,2 一r + u ) ( 3 2 ) 在测试开始阶段也可以采用每做对1 个题目能力估计值就加0 2 ,每做错1 个题 目能力估计值就减0 2 的近似估计方法。 3 1 2 条件最大似然估计 假定某测验由性能参数如表3 1 的三个采用“1 ,0 ( 对1 错0 ) 计分方式的选 择题组成。 自适应考试系统组卷算法的研究与设计 表3 1 项目参数表 t a b 3 1i t e mp a r a m e t e rt 2 l b l e 项目 abc 考生得分形式只能是八种形式( 三位0 ,l 数的组合) 之一。我们记符号p 表示 答对第i 题的概率,q 表示答错第i 题的概率,显然q = 1 只。按i r t 的局部独立 性假设( 即:总项目上某种得分结果出现的概率等于在各个项目上对或错概率的乘 积) ,假设考生o 已知,利用( 2 1 1 ) 式,我们能算出针对该假定的测验,答题结果( 1 , 1 ,0 ) 出现的概率。表3 2 列出了0 在区间 3 0 0 ,3 o o 几个特定点上所求得的在表 3 1 三个项目上答题结果( 1 ,1 ,o ) 出现的概率取值。 表3 2 答题结果出现概率值 t a b 3 2p r o b a b i l i t yv a l u eo f t h ea n s w e rr e s u l t 第3 章基于i r t 的自适应组卷算法的分析及设计 表2 2 说明,被试得分向量( 1 ,1 ,0 ) 的出现概率毋县q 3 的取值,起初随e 的增 大而升高,到e = 0 9 0 附近达到最大,然后又随0 的增大而减小,预示着鼻罡q 3 出 现的可能性会在某一0 值处达到最大( 本例中即e = 0 9 0 ) 。因此,我们从考试结果出 发,计算含有待估参数0 的项目特性函数的连乘积,并考察其达到最大值时所对应 的能力参数e 的具体值是什么,这就是条件最大似然估计的基本思想。像片只q 这 种含有待估参数( 这里指0 ) 的各个概率函数的积所构成的函数,叫似然函数【2 1 1 。利 用似然函数取极值时来估出待估参数值的方法,叫条件最大似然估计法。假定测 验由1 1 个项目组成,在单维三参数模型时,似然函数是: 三( “1 0 ,口,b ,c ) = 兀华q j l l ( 3 3 ) 上式,u 为考生得分向量,甜,是其中第i 个试题的得分,为0 或1 。p 为第i 题的项目特征函数,q = 1 一只。 该似然函数在s h i i t e 参数a ,b ,c 已知的情况下,以e 为自变量,其几何图形 为单峰曲线( 所有项目全部答对或全部答错情况除外) 。单峰曲线的峰顶对应的横坐 标上0 的取值即为考生的能力估计值,在这点上,似然函数的一阶导为o 。由于似 然函数跟它取对数时形成的函数,其值在同一0 点上达到最大,为便于计算,故用 对数似然函数来运算,令其一阶导函数为0 ,我们可得到如下似然方程: 喜j 髻生0 0 o ( 3 4 ) 吲p q 。 p 一7 对上述数似然方程的求解,可用牛顿一拉夫逊迭代法。这一般都要靠计算机 来完成,其步骤如下【2 2 】: ( 1 ) 求取能力参数初值:e ( 。) :l n ( - - )( 3 5 ) n 一厂 ( 2 ) 利用已知的项目参数值与能力参数值求取对数似然函数的一阶导与二阶 导的值。 ( 3 ) 求取迭代修正值并利用它对原用能力参数值作修正,从而获得更为逼近真 值的估计值:。( f “) = 酽) 一器 ( 3 6 ) 自适应考试系统组卷算法的研究与设计 ( 4 ) 考察修正值是否小于事先指定的一个足够小的值,可令= o 0 1 或 0 0 0 1 等。若o ,则重新反复进行第2 、3 、4 步,直到迭代 收敛。 显然,以上介绍的最大似然估计,适用于己知项目参数,估计考生能力的情 况。可用于c a t 考试过程中每步结束时的能力测评。 3 1 3 联合极大似然估计f 2 3 】 上面所介绍的条件最大似然估计可应用在试题参数己知情况下估计考生能 力。实际测试过程中,常常会遇到试题参数未知的情况,如在决定向题库添加一 批试题时,我们必须先确定所有试题的参数,可用的一个方法是:找一批考生接 受测试,得到一个分数矩阵,根据此分数矩阵采用联合极大似然估计方法,能够 同时估计出所有试题的参数和考生的能力。我们将所有考生的得分向量构成的一 个得分矩阵,记为u = ) 。这时,前述的对数似然函数就要改写成如下的对数联 合似然函数: 1n z ( u ) = 窆甜l i l 弓+ ( 1 - - u q ) t nq 。 ( 3 7 ) 这里,n 表示考生个数,1 1 表示项目数。根据i r t 的局部独立性假设,考生之 间相互独立,实际估计各考生能力参数值时仍分别单独进行。这样,对数似然方 程改写如下: 喜髻等= 。 8 , 乞

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论