（教育技术学专业论文）基于irt的自适应练习系统的探讨.pdf

丫7 1 8 7 0 3 四川师范大学硕士学位论文 基于 i r t ， 的自适应练习系统的探讨 教育技术 学专业 研究生石隽义指导教师王世伦 自 适应练习是自 适应学习支持系统的重要组成部分， 它可对学生的 学习情况进行测量， 在测量的基础提供最合适的题目 给学生进行练习或 者是 自测，它减少了学生重复练习的数量 ，提高练习的效率，无论是对 于学生的自 主性学习还是课堂教学都有促进作用。在计算机网络环境 下， 通过学生的练习还可以为标准化题库提供实际使用数据， 使衡量试 题质量的参数更加准确。 目前的测量理论主要有两种:真分数理论 ( c t t )和项目 反应理论 ( i r t ) i r t 是目前测量理论研究的热点， 它是自适应练习的理论基础， 本文首先阐述了两种理论的优缺点，重点分析了i r t 理论下题目 参数和 学生能力参数的估计， 并在其基础上设计开发了 一套支持多媒体的自 适 应练 习系统。 论文中述及的主要 内容如下 : 1 . 分析了学生自 主学习的困难性以及目前标准化题库运用过程中 存在的问题， 提出了以自 适应练习的方式促进学生的课外自 主学习和题 库的完善 。 2 . 在阐述了两种测量理论的数学基础后， 分析了它们的优缺点和区 别。 工 r t 不同于c t t 主要体现在其提出了题 目 信息量的观点， 同时给出了 计算学生能力值和题目 信息量的数学方法， 这是抽取题目的基础。题目 参数的估计一直是研 究的重点，也是难点 ，特别是对于多级评分，目前 四川师范大学硕士学位论文 还没有提出完善的方法手段， 本文对各种估计手段及其优缺点和运用范 围进行了分析阐述 。 3 . 分析了练习系统的设计目 标、 运用方式和环境， 阐述了系统的总 体研究、 功能模块和逻辑设计。 为了实现信息共享和有效的利用各种资 源， 在题库设计中参考了国家颁布的相关标准， 并在满足系统要求的基 础上尽量不作改动。 4 . 阐述了利用vcs. o 进行开发过程中用到的关键技术。其中包括多 媒体数据的存储和表现以及数据的安全性保护 。 5 . 简单介绍了系统的测试手段和实践应用。 系统达到设计的预期 目 标，各部分功能工作正常。 关键字: 自适应练 习 项 目反应理论项 目实测数据 参数估计 题 目信息量 四川师范大学硕士学位论文 s t u d y t h e p r a c t i c e s y s t e m b a s e o n i r t ma j o r : e d u c a t i o n a l t e c h n o l o g y gr a d u a t e s t u d e n t : s h i j u n - y i s u p e r v i s o r : wa n g s h i - l u n c o m p u t e r i z e d a d a p t i v e p r a c t i c e i s a n i m p o r t a n t p a r t o f a d a p t i v e s t u d y , w e c a n g e t a n a c c u r a t e m e a s u r e m e n t o f s t u d e n t s a b i l i t y a n d c h o o s e q u e s t i o n t h a t m a t c h e s t h e i r c a p a b i l i t y t h r o u g h i t , a d a p t i v e p r a c t i c e i s o f g r e a t i m p o rt a n c e i n i m p r o v i n g s t u d y i n g e f f i c i e n c y a n d q u a l i t y o n n o t o n l y c l a s s r o o m i n s t r u c t i o n a n d s t u d y b y o n e s e l f , i t w o u l d r e d u c e d t h e q u a n t i t y o f s t u d e n t s r e p e a t e d e x e r c i s e , i mp r o v e s t h e e f f i c i e n c y o f t h e e x e r c i s e . i t o ff e r p r a c t i c e d d a t e f o r t h e i t e m b a n k t h r o u g h s t u d e n t s e x e r c i s e u n d e r t h e e n v i r o n me n t o f c o m p u t e r n e t w o r k , w e c a n m a k e s p a r a m e t e r o f i t e m mo r e a c c u r a t e t h r o u g h t h a t d a t a t h e r e a r e t w o k i n d s o f m e a s u r e m e n t t h e o r i e s m a i n l y : c l a s s i c a l t e s t t h e o r y ( c t t ) a n d i t e m r e s p o n s e t h e o r y ( i r t ) , i r t i s t h e f o c u s o n m e a s u r e me n t o f e d u c a t i o n a t p r e s e n t , i t i s a t h e o r e t i c a l f o u n d a t i o n o f a d a p t i v e e x e r c i s e , t h i s p a p e r h a s e x p l a i n e d t h e a d v a n t a g e a n d d i s a d v a n t a g e o f t w o k i n d s o f t h e o r i e s a t f i r s t , h a v e a n a l y s e d t h e e s t i m a t i o n s o f t h e p a r a m e t e r o f t h e i t e m a n d s t u d e n t s a b i l i t y p a r a m e t e r u n d e r i r t t h e o r y e s p e c i a l l y . i n t h e s a m e t i m e t h e t e s t a n a l y s i s a n d i t e m b a n k s y s t e m h a s b e e n d e v e l o p e d , c o m b i n i n g w i t h t h e p r a c t i c a l w o r k . th e ma i n i d e a s o f t h i s d i s s e r t a t i o n a r e a s f o l l o ws : c h a p t e r o n e i l l u mi n a t e s s o me p r o b l e m a b o u t s t u d y b y o n e s e l f a n d t h e u s e o f i t e m b a n k a t p r e s e n t . a d a p t i v e p r a c t i c e w o u l d p r o mo t e t h e 四川师范大学硕士学位论文 s t u d y b y o n e s e l f a n d m a k e t h e i t e m b a n k m o r e a c c u r a t e . c h a p t e r t wo p o i n t s o u t t h e d i f f e r e n c e b e t w e e n i t e m r e s p o n s e t h e o r y a n d c l a s s i c a l t e s t t h e o r y a ft e r e x p l a i n i n g t h e i r m a t h e m a t i c s f o u n d a t i o n s , i r t p u t f o r w a r d t h e v a l u e o f i n f o r m a t i o n o f t h e i t e m , p r o v i d e a m a t h e m a t i c s m e t h o d t o c a l c u l a t e s t u d e n t s a b i l i t y v a l u e a n d i n f o r m a t i o n v a l u e . a n u m b e r o f w a y s t o e s t i ma t e t h e i t e m p a r a m e t e r s w a s i n t r o d u c e d a n d t h e i r a d v a n t a g e s a n d d i s a d v a n t a g e s w e r e a n a l y z e d t o o f f e r r e l i a n c e f o r s e l e c t i n g f i t t i n g m e t h o d b a s e d o n i t e m r e s p o n s e t h e o r y . c h a p t e r t h r e e a n a l y z e s t h e r e a l i z a t i o n o f s y s t e m b a s e o n 2 p l m i s i n t r o d u c e d . a n a l y z e s t h e d e s i g n e d g o a l , t h e a p p l i c a t i o n r a n g e a n d e n v i r o n me n t . i t a l s o d e a l s wi t h t h e c o m p r e h e n s i v e r e s e a r c h , t h e f u n c t i o n a l m o d u l e , t h e l o g i c d e s i g n . i n o r d e r t o s h a r e t h e i n f o r m a t i o n a n d m a k e f u l l u s e o f a l l k i n d s o f r e s o u r c e s , t h e i t e m b a n k c o n s u l t e d r e l e v a n t n a t i o n a l s t a n d a r d s a n d m e e t t h e s y s t e m f u n c t i o n w i t h c h a n g e i t l i t t l e . c h a p t e r f o u r e l a b o r a t e s o n t h e k e y t e c h n o l o g y i n d e s i g n i n g s y s t e m u t i l i z e s v c 6 . 0， i n c l u d e t h e s t o r a g e o f m u l t i m e d i a d a t a , d a t a s e c u r i t y p r o t e c t i o n , e t c . t h e l a s t c h a p t e r s h o w s t h e a p p l i c a t i o n o f t h e s y s t e m， a n d d e mons t r a t es t h e co n cl u s i on . k e y w o r d s :a d a p t i v e p r a c t i c e , p r a c t i c e d d a t a , i t e m r e s p o n s e t h e o r y , p a r a me t e r e s t i m a t i o n , i t e m i n f o r ma t i o n 四川师范大学硕士学位论文 1绪论 t . 1 选题背景 以计 算机技术及其网 络技术为核心的 信息技术的 不断发展， 为 教育改 革 提供了物质基础，它将对人们的学习、生活产生重大的影响，促使教育领域 发生 一系列的 深刻变革。 在信息时 代， 生产力的发展主要靠知识， 大量生产 知识， 不断更新知识， 信息时代是知识爆炸的时代。 信息社 会的教学活动不 应该再以发 展人的记忆力为主要目 的， 而应发展人的智力和创造力为目 的， 教育方式应由 “ 维持性学习 模式”转变成 “ 创 造性学习模式”。 1 . 1 . 1 自主学习的困 难性 信息技术的发展扩展了 学生的学习方式， 学习将不再局限 于课堂，学生 将有更多的学习自 主权， 根据自 身特点和需要选择学习的内 容、 时间 和地点， 远程教育将广泛运用于各 种非学历教育中. 在学生有了更多学习主动权的同时，也带来了一些问题，由于没有教师 的 及时指导 帮助， 学生只能凭自己 的个人经验选择学习的内 容和方式， 同时 也 没有评 价自 己学习效果的考试手段， 学生 课外主要是以 松散的方式 进行学 习， 有很大的随意性。 在远程教育模式下， 由于 教师和学生的时空分离，这 个问 题更突出。 这要求教育工作者对这种学习模式进行深入研究， 建 立自 主 学习的支持系统， 即适应性学习的支持系统。 其中适应性练习 或测试就是 这 种支持系统中不可缺少的一部分， 它要求系统能够准确的测量学生的学习效 果并提供适合学生当 前水 平的 练习 题目 。 但是目 前市面上练习 软件的 题目 抽 取方式往往过于 简单， 不能很好的实现这些功能， 因此在这方面需要 进行深 入研究和探索。 1 . 1 . 2 题库运用中存在的问题 题库在教学中的意义是很明显的，通过它可以评价教师的教学效果，比 较各种教学方法的效果， 为 进一步改 进教学工 作提供参 考， 可以 考察学生的 四川师范大学硕士学位论文 学习情况， 教学过程中 进行测量和评价，以 促进师生间 进行更好地交流， 但 是在实际运用过程中却存在如下问题: 1 . 题库中题 目 参数的准确性。 题 目中的参数主要有两个: 难度、 区分度。 这两个参数的获取要通过实际的使用数据通过不同的测量理论来分析获取， 仅仅根据专家的经验判断是不够准确的。由于题库一般仅仅是在期末考试中 使用， 仅仅靠几次使用的数据是不能保证参数是准确的。参数的不准确必然 影响了 生成试卷的 质量。 2 . 题库没有在平时的 学习中 起到 促进作 用。目 前的 高等院 校和各 种教育 机构一般都己 经建立有自 己 相关领域的 题库， 但是题库的用途一般仅仅是学 校的达标考试， 没有运用在平时的学习过程中， 辛辛苦苦建立的 题库却没 有 促进教学，这是一种资源的浪费。 1 . 2 开发适应性练习系统的意义 1 . 2 . 1 对课堂 教学效果的 促进 在传统的 教学中， 往往强调题海战术， 其中 有许多 是重复 性的劳 动， 停 留在相同 难度的 题目 上， 这 样只是增加学生的劳 动量， 并没有提高学习的 效 率。 在远程教育中，由 于没有教师的及时 指导， 学生只能凭个人主观判断选 择题目进行练习。在适应性学习中，练习和测试是其不可缺少的组成部分， 在没有教师参与的 情况下要求支持系统为学习者 提供学习 业绩的评价并提 出恰当 的学习 建议。 对于适应性练习， 还没有提出 完善的 模型。目 前的练习 支持系统有两种: 一是课 本之后的 测试 题目 ， 二是以 计算机为硬件基础的练 习软件。 前者无法 对学习者 进行业绩评价并提 供恰当的 练习 题目( 在工 r t 理 论中称为项目) 。 后者的抽题方式一般也是课本题目的 迁移， 采 用的抽 题算 法过于简单， 通常为指定一定范围后随机抽取。 1 . 2 . 2 . 对适应性学习的支持 适应性学习是通过学生自 身原有知识经验与适应性学习系统进行交互 活动来获取知识， 获 得能力的过程。 在这个过程中， 学生能够自 我组织、 制 订并执行学习计划，自 主选择学习 策略， 并能控制整个学习过程， 对学习 进 行自 我评估，它充分地考虑到教学行为的个人化与学习行为的个人化特征， z 四川师范大学硕士学位论文 打破了 传统学习的 群体结构， 把学生作为单独个体， 置于一个更为个人化的 情景之中口因 此，建 立自 适 应学习是教育改革的方向 之一p 1 自 适应性学习 在本质上突 破了传统学习的内 涵， 它是一种全新的 学习理 念与学习方式，是今后远距离教育模式发展的大趋势。主流的适应性学习模 式的关键环节是: 学习诊断、学习内 容的动态组织、 学习 策略 2 1 3 1 学习诊断就是利用一些经过测量理论校定的测试练习题对学生进行测 试， 并根据学生的 反应情况来估测学生能力以 及对领域知识的掌握程度， 它 是系统 对学习内 容进行动态组织的 重要依据。 它可以发生在学习的开 始、 学 习的结 束或学习的过程之中， 在学习开 始时进行测试， 可以了 解学生的原有 知识水平、认知水平，结合学生学习过程的历史记录，便可以对学生的知识 水平和能力进行估测， 从而可根据学习者的能力，组织和呈现与他能力最适 应的学习内 容， 并 给出 相应的 学习 建议; 在学习 过程中 进行测试， 主 要是做 针对性的测试， 为 学生 发现薄 弱环节并 进行巩固 性练习 提供依据， 而且练习 与测试也是一种学习 手段。 在学习结束时 进行测试， 主要是对学生学习结果 的成就性检测，检测学生是否达到预期教学 目标的要求，若己经达到，则建 议学生终止学习或开始新一轮学习过程， 若未达到相应的教学目标，则建议 学生进行补习单元的学习。 在适应性学习中， 学习诊断是至关重 要的一 环， 因为它是适应性学习系 统了 解学生学习能 力、 认知能力的重要依 据， 没有这个依据， 适应性学习 模 式系统根本无法了 解个别 学生的学习需 求， 那就更谈不上适合学生需求 进行 适应性教学了。 因此， 适应性学习系统对教学诊断测试具有非常严格的要 求， 它要求这种测试具有极高的 效率， 尽可能以 最少的测试内 容诊断出学生的真 实能力，而且 在不同 环境、 不同时间内 所诊断的 结论是 一致的4 1 1 . 2 . 3 练习 和题库的完 善相互促进 在学校里， 学生平时的练习题目 往往是一批， 而期末达标测验使 用的题 目又是另外一批，导致了平时练习和期末考试不能紧密联系， 抑制了学生课 外学习的主 动性， 如果学生期末测试的 题目 能够从平时的 练习 题库中 抽取适 当的题 目 组成试卷，也就是说学生平时练习和考试共用一个题库的题 目，期 末考试的试题是根据学生平时使用的情况从中抽取， 这样必将可 以提高题库 四川师范大学硕士学位论文 的使用率，同时也 刺激了 学生课外学习的主动性 5 . 在上述方式下，题库一方面可以促进学生的学习积极性，另一方面学生 平时的练习也为 题库的完善提供了使用数据。 标准化题库是教育测量的 基础， 题库中的参 数要求有较高的准确性， 题 库要有淘汰机制， 排除不合格的 题目 。 这 种淘汰 仅仅靠专家的经验判断是不 能够完成的，需要在一定的理论指导下对题目 实际运用数据进行统计分析， 只有这样才能正确量化确定题目优劣。 但是由于缺少实际使用的数据，这种 统计分析无法完成。通过练习可以 为其提供使用的数据。 当 然， 要使二者能 够结合起来、 相互促进， 系统对 题库的要求也要高一 些，我们在建立题库的过程中必须要考虑到以下几点: 1 .使 用方式 学生是在线使用还是下载后单独使用， 不同的方式对题库的建立技术有 不同的要求。 如果是在网 络使用， 需要充分考虑网络的硬件条件， 服务器能 支持多少用户同时使用，能提供多大的吞吐量。对于后者，需要考虑用户的 软硬件支持，更重要的是需要考虑题库的安全性， 如果直接暴露在开放的未 知环境下， 任何人都可以 窃取题库中的题目， 所以 需要有相应的保护措施。 2 . 题量的要求 从理论上讲， 题库中的题目 越多越好， 但事实上往往受人力、 物力 和建库 时间的限制， 只能 适可而止。不同 的用途对题目 的 数量有不同 的要求， 题库 是属于试题库还是习题库， 还是试题、习 题二者综合的题库。 对于单 纯为了 练习的 题库， 基本要求是保证覆盖教学中 的各个知识点， 如果除了 练习功能 外， 还用于 达标测试， 那么题量的要求就比 较高， 考虑题目 是 否准备反复使 用， 对于 无法保密的试题库， 题库必须不断补充， 只有这 样才能 保证 题库的较 低曝光量。 使用计算机拼题， 条件越多， 互 相限制就越大， 需要的 题量也越多 7 。 3 . 正确的建库步骤 一个练习系统的建立离不开 题库的支持， 题库是进行测试的基础， 高 质 量的 题库应具有优质、量大、 等 值、动态可扩充等 特点。c a t 题库的建立有 以下 几个步骤:18 1 a . 选择模型，题目 的主要参数有两个:难度、区分 度，难度是指测试 a 四川师范大学硕士学位论文 试题的 难易程度; 区分度表示测试题目 对学生学业水平鉴别的程度。 题库中 每一道题的参数的准确估计是科学抽题的基础， 在不同的理论指导下，有不 同的 测量手段和参数计算方法， 同时， 不同的理论也决定了 不同的 抽题算 法。 b 题目的开发，开发应按题库命题的规格标准进行，应注重不同知识 内容与能力层次、 不同 难度和不同 题型的 结合， 对开发的试题应组织审查， 确保题目的质量。 。 . 题目 参数的 确定，主要 是对题目工 r t 各参数值的确定， 一般有两种 途径: 一是经试测后统计分析， 另一 种是由专家进行评估后， 再采用统计方 法确定参数。 d . 题库的动态维护，基于经典真分数模型的题库在建库完成后， 一般无 法再进行题库的扩充， 而基于项 目反应模型的题库却由于其理论具有参数不变 性等优点， 使得题库的扩充变的更为容易， 只需安排一些连接题目与新题 目 相 混合进行试测， 就 可以 将新题目 的参数值与旧 题目 的参数值统一到一张量表中 来。 1 . 2 国内外研究现状和发展趋势 适应性学习系统的 开发与研究， 国外正 处于 研究的 热潮之中， 美国国 家 标准与技术协会高技术研究 项目 n a t i o n a l i n s t i t u t e s t a n d a r d s a n d t e c h n o l o g y a d v a n c e d t e c h n o l o g y p r o g r a m ) 9 8 年资助研究的 主题就是 “ 适 应性学习系统”( a d a p t i v e l e a r n i n g s y s t e m ) , 共资 助t十 几个相关研究， 投入研究资金数千 万美元， 该项目 研究的主要目 标是: 加速部署以网 络为中 心， 基于w e b 的学习系统， 加快建设全国 性的学习 基础设施， 使得教育与 培 训既 能得以 最为广 泛的普 及， 又能精确地满足个别教育者与学习 者的需 求1 9 1 在我 们国内， 研究基于w e b 的教学系统的热潮正在兴起， 但多以专 题网 站的形式出 现， 有关自 适 应测验 ( 练习)的 计算机软件极为少见， 其中比较 成熟的是东软的凯思英语考试， 其每道试题都有3 方面的统计数字， 题目 的 难度、 识别度 ( 题目对个人能力的适合度)、偶然性 偶然答对的可能性)， 凯思英语考试最终题库中题目参数是在 2 0万人次的测试后确定的，主要运 用在高 校新生分班考试、 大学英语期末考试， 它 最大的 特点是可以 将在其考 试系统中测量得到的分数等值到其他考试中。 全国大学英语四、六级考试委 四川师范大学硕士学位论文 员 会一 直致力于项目 反应理论和 “ 机助自 适应测 验” 的 研究和开发。目 前项 目反应理论己成功的用于 c e t 分数等值处理过程中， 但自适应测验软件正在 研究建设过程中，目 前还没有成品的 软件模型问 世 i o n 。正 是基于 这些原因， 本论文从项目 反应理论原理出 发， 对计 算机化自 适应练习作了 深入的探讨， 并 在此基础上设计开发了 一个计算机自 适应练习的软件模型， 希望对这方面 的实现技术有所推动。 1 . 3 论文主要内容 本文首先分析了 适应性练习 的理论基础， 主要是教育学中 的经典测量理 论 ( c t t )和项目 反应理论 ( i r t )，由于c t t 不能运用在适应性测试中， 重 点在 i r t上。在 i r t 的基础上设计实现了一个支持多媒体数据的练习系统， 较其他的练习软件， 本系统的 特点是:1 . 改进抽取试题的 模型， 抛弃了 简单 的随机抽题， 将 i r t 的 试题信息理论运用到 抽题模型中; 2 . 除了练习功能外， 系统还可以为标准化题库的参数估计提供学生作答正误的反应矩阵， 为将来 的题目 参数修改提供分析数据; 3 . 支持多 媒体题目 ， 试题的类型不再局限于 文本类型的题目，同时提供多媒体 ( 声音)的支持。 四川师范大学硕士学位论文 z自适应练习的理论基础 自适应练习系统的流程是从估计学生的初始能力参数开始，在学生做了 一定的练习，满足测量要求后，开始测量学生的能力参数，接着根据学生的 能力参 数和题目 参数再次抽 取最适合该学生的 题目 让学生 进行练习， 如此不 断的 重复这两个步 骤， 直到达到要求 后退出 练习。 其流程如图z . 1 所示 f i l l . 测试开始 估计初始能力参数 根据能力参数抽取试题 学生答题 修正能力参数 参数是否达到要a 退 出 图 2 1 四川师范大学硕士学位论文 自 适应练习系统的核心是正确测量学生的能 力参数。 不同的 理论下测量 到的题 目参数和学生能力值以及量纲都是不同的， 选择适当的测量理论是自 适应练习系统的关键。 当今测量学界最有影响的三大理论是经典测量理论 ( c l a s s i c a l t e s t t h e o r y , c t t ) , 概化理论( g e n e r a l i z a b i l i t y t h e o r y , g t ) 和项目 反应理论 ( i t e m r e s p o n s e t h e o r y , i r t ) ， 其中 ， 经典 测 量 理 论 和概 化 理 论同 属 随 机 抽样理论， 概化理论是 对经典 测量理 论的 扩展 和改 进， 理论基础仍然和经典 测量理论一致， 目 前国际上 有些 学者 把概化理论定义为“ 多元随机效 应模型” 1 2 1 ， 而项目 反应理论则是从另外一个角度来分析每一个项目的 项目 特征曲线 ( i t e m c h a r a c t e r i s t i c c u r v e , i c c )和项 目 信息函数 ( i t e m i n f o r m a t i o n f u n c t i o n , i f f )。 系统所采用的 就是项目 反应理论。 1 . 1 c t 下 理论概述 1 . 1 . 1 c t t白 勺 假设和模型 经典测量理论产生于 1 9 世纪末，经过几十年的探讨与摸索，在 2 0世纪 5 0 年代便形成了 一套相当完 整的 理论体系， 对测验的编制提出了 一系列 具体 实用的统计分析方法， 这些方 法在实际 测量工作中 产生了巨大影响， 至今仍 然在使用， 但传统的c t t 对误差的分析是粗糙的、笼统的，c t t 的 真分 数的 线性模型为x = t + e观察分数x 等于 真分 数t 与误差e 之和) ，同时x = t + e ，( x 和 x 为平行测验， 平行测验指内 容相似， 平均分、 标准差及误差 均相 同的测验) ，该模型最突出的弱点 就是 把所有的误差都归为一类，而没能区 分测验情景中的 各类误差， 在误差e 中包括了类似评定者、 测题、 测验环境 等影响测量目 标的各种因素，也没有说明这些测量误差究 竟来自 哪些误差 源，及各自 产生的 误差的大小; 另外， c t t 的测验信度是建立在严格平行测 验假设基础上的，即 两测验是以 相同 的程度测量同 一心理特质1 1 3 1 ， 2 参数的定义 1 .经典测量理论( c t t ) 题目 难度的 概念 经典测量理论是通过试题的得分率或答对率作 为难度定义的， 又称为题 目的正确作答率。在每次考试以后，为了了解考生对试题的作答情况，需要 四川师范大学硕士学位论文 进 行试题分析， 其中一项重要内 容就是统计本次考试中 每一道题有多少考生 做 对， 有多少考生做错， 或者说 平均得分 情况。 在这次考试中 平均得分高的 试题较易，平均得分低的试题较难。为了对各题难易程度进行比较，在题 目 分析中一般就用题 目的得分率或题 目的答对率作为比较题 目 难度的依据， 这 也就是经典测量理论中题 目 难度定义。可见，c t t中的题目的难度是因人而 异的，是相对的而不是绝对的。 经典测量理论 题目 难度是主客 观相互 作用的 结果。 主观主要体现为 考生 群体的 水平， 客观主要体现在试题考查内 容的深度、 广度以 及问 题解决 复杂 程度。当考生群体水平没有发生变化时， 试题间难度值的差异反映试题考查 内 容的 深度和 广度的 差异或不同; 考生群体水平发生变化时， 试题难度值反 映考生水平的 变化或差异。 正因为如此， 试题难度的预测必须建立在预测群 体水平与实考 群体 水平大体一 致的 前提下， 否则， 所估计的题目 难度意义不 大 11 4 1 2 .经典 测量理论( c t t ) 的 题目 区分 度的 概念 经典测量理论的 题 目 区度是某题得分与全卷分 数间的 相关系数。 对于 0 - 1记分的题 目 ( 例如选择题)，通常使用二列相关 ( r b i s )系数表示题 目 区分度。对于非 0 - 1 记分的 题目 ，可用题目 得分与全卷得分之间的积差相 关系数来表示。 一般认为， 题目 区 分度的r b i s 值应大于0 . 2 才能够在正式 考试中使用。 2 . 2 i r t 理论概述 2 . 2 . 1 真分数理论的优点和不足 c t t是体系上最成熟的， 以 其为基础的测 验在各 行各业得到了 成功的应 用， 可以 说， c t t 是其他测验理论赖以产生的 基石。 在新的 测验理论崛 起的 今 天， c t t 仍然占 据着不可替代的 地位。 之所以 如此 是因为c t t 有以 下的 优点: 1 .建立在较简单的数学模型之上，易于 被人理 解和接受，且计算简便， 容易推广; 2 .理论假设较弱，对实施条件要求不严格，适用性广; 3 .在多数情况下 c t t 是足够精确的，可以放心地应用。 但是经典测验理论以 随机抽样理论为基础， 建立了 简单的数学模型， 研 9 四川师范大学硕士学位论文 究表明，它 在理论 假设和实际应用方面存在如下缺点: 1 .真分数与观测分数间存在线性关系的假定不符合事实。 c t t 假定真分 数t、观测分数 x和测验 误差分数e 间的关系可以 用一个简单的线性函 数 x = t + e 表示。 但大量的研究表明， 真分数与观测分数间的 非线性关系更符合 事实; 2 .项目统计量( 难度和区分度) 严重依赖于被试样本。 c t t 的项目难度以 通过率表示，因 此被试样本能力高时项目 通过率就高， 反之则低; 区分度通 常以项目 与总分的相关或高 低能力组的通过率之差表示，两组能力差别大 时，区分度就高，反之则低; 3 .对被试能力的估计依赖于测验题目的难度。在 c t t中，被试能力与 测题难度是不相关的，参加不同难度的测验会得到不同的能力估计值，不 同测验结果间难以进行比较; 4 .测验信度建 立在平 行测验假设的 基础之上。但严格平行的测验是不 存在的。 即使同 一测验在不同时间施测， 测验分数也会产生较大变异; 5 .测验信度的 取值也依 赖于被试样本。当样 本能力水平的差 异大时， 测验分数的分布范围 就大， 计算出的信度值就高， 而反之信度值就低; 6 .误差与真分数独立的假设难以 满足。 c t t 假定误差与真分数独立， 即 误差e 的期望为零， 这是不符合事实的。 低能力的被试答题时一般会比 高能 力被试有更多的猜测， 所以 其测 验误差分的大小及方差必然要大于高能力的 被试: 7 .信度是针对被试全体的， 只代表平均测量精度。 信度不能 给出不同 能力水平的 准确测量精度，因而对如何提高不同能力水平的 测量 精度问 题 c t t 显得无能为力; 8 .对测验等值、适应性测验、标准参照性测验的编制等问题不能给以 满 意 的 解 决 p s 2 , 2 . 2项目反应理论的假设和模型 1 . 项目反应理论的假设 项目 反应理论是一种关于能力测量的理论。 它建立于一 套假定 之上。 其 中最主要的有能力的单维性， 考生对项目 反应的 局部独立性， 项目 特征曲 线 1 0 四川师范大学硕士学位论文 和答题时间的充分性。 能力的单维 性是该理论最根本的 假定， 它是指一个考试要测量的能 力变 量是单维的。可以放在一个一维量表中进行比较，也就是说一份试卷中各道 试 题所测试的能 力是同 质的。 例如一份语法试卷中 只能出现 测试 考生语法能 力的试 题， 测试阅读理解能力的 考题就不应该在该卷中出现。因 此，以 项目 反应理论为理论基础的一份试卷，只能测量单项能力，如语法能力，词汇能 力等. 局部 独立性 是指考生对一份试卷中 各项目 的反 应在统计上是 独立的。 他 对某个项目 的反 应不应影响他对别的 项目的 反应。 这个假定可以 这样理解: 即使一份试卷中试题之间在内容上相互联系， 但这种联系并不影响考生对各 道试题的反应。考生的能力决定着考生答题时是对还是错。例如，两道试题 同 考主谓搭配关 系， 但其难度不同。 考生答对了 其中 难度较小的一 题， 但是 并不一定能够答对另一题:同样，考生并不因为答错了其中的一题就一定会 答错另一 题。 有了这条假设， 我们就可以 对项目 反 应矩阵进行统计 分析。 不 同 难度的 试题对 不同 能力的 考生来说， 才会存在不同 的答对、 答错率 i s l 2 . 项目 反应 理论的 模型 工 r t作为一种以试题参数为前提条件的理论，它以被试个体潜能通过试 题作答反应的可测性， 被试个体潜能与其试题上可见反应函数关系的基本一 致性和试 题参数 线性变换下的 不变性为理论假设， 进而 建立了 种种以被 试个 体在既定 试题上的 作答反应参数来推断其潜在特性的数学模 型， 即以一定的 数学模型 来确定 被试个体试题反应概率与其潜在能 力之间的函数 关系， 这种 函数关系通常由一条试题特性曲线来反映。 被试 在项目 上正确作答反应的概率， 跟被 试水 平和项目 性能 ( 主要是 难 度， 区 分度) 的关 系并 不是简单的 线性关系， 美国的著 名测 量学家洛德对e t s 的大量实测资料作了深入的分析调查， 对被试的能力水平和被试的答对率进 行“ 项目 总 分 回 归 线” 17 1。 如 下图2 . 2 . 2 : 四川师范大学硕士学位论文 答 对 概 率 一 3一 念一 1 图 2 . 22 对该曲线进行回归分析得到不同的特征函数， 病值 其中以 l o g i s t i c函数最 为成熟. 根据参数的不同， 该特征函数 可分为 单参数、 双参数和三参数三种 模式 1 8 ， 公式如下: 三 参数 1 0 g i s t i 。 模式: p (b ) 。 。 一 (1 一 。 , . _ -d ale-bl 令c = 0 得双参数模式: _ _ 、1 f( u) - 1 +e - 。 一 ， 令 。 = 0 , a = 1 得 单 参 数 模 式 (r a sh 模 i ) . ，二落 1e -d (b-b) 其中: d= 1 . 7 0 2 b :受 测者能 力值 a :题目的区分度 b : 题目 的难度 c : 题目 的猜测系数 p ( b ) : 能 力 为口 的 人 答 对 此 题目 的 概 率 根据特征函数可画出题目 的 特征曲 线， 图2 . 2 . 2 为典型的三参数模式的 特征曲线，各参数的意义如下: 1 . a 参数， 题目 的区分度， 即特征曲线的 斜率， 它的值越大说明 题目 对 受测者的区分程度越高。 2 . b 参数，题 目的难度，即特征曲线在横坐标上的投影。 四川师范大学硕士学位论文 3 . c 参数，题 目的猜测系数，即特征曲线的截距。 他的值越大， 说明不 论受测者能力高低，都容易猜对本道题 目。 工 r t 理论下估计的项目 参数有以 下优点1 1 9 1 . 1 . 试题参数确定更为准确。 这一点己被许多研究和事实所证明，就三 参数模型而言，它还能从实际资料出发具体地估计出一个猜测参数值来，不 必假设人人随机猜测时，理论值可能为多大。 2 . 能全面地解决 测验等值问 题。 既能实 现考生测 验总分等值， 又能实现 试题参数等值。 而经典理论的等值方法实际上仅局限在考生测验总分等值这 一个方面。 3 . 既 适用于常模参照性测验又适用于标准参照性测验。经典理论的 难 度、区分 度等在考生 全部 通过或 不通过时 就会失 去意义， 所以无法处理这 类 问 题， 而项目 反应理论的难 度值却直 接用被试特质水平值来表达， 区分度是 特性曲 线拐点处的斜率， 这就从 根本上 解决了 经典理论所面临的困 难， 能 完 全运用于标准参照性测验。 4 . 由 于具有参数不变性等优点， 可编制出因人 施测的自 适应测 验等新 型 测验。 2 . 2 . 3 能力 参数的 估计 正确估计受测者的 能力是c a t 顺利进行的前提，最常 用的方法是极大 似 然 估 计 法( m a x im u m l ik e l ih o o d e st im a t io n ) 。 若以l (u , 1 0 ) 表 示 能 力 为8 的 受 测 者 对 题目 j 的 反 应 为u i ( 若 答 对， “ ， 二 1 ; 答 错 ，a , = 0 ) 的 概率 12 0 1由 于假定1 . 各个被试的 作答模式是相互独立的; 2 . 同一 被试对各个项目 的作 答 是相互独立的， 则能力似然函 数为: l ( u : u 2 ， . . u , ) 一 np w 必 其中: n :题 目数 : 受测者答对第 i 题的概率 : 受测者答错第 i 题的概率 对必 我们要 对每一个反应向 量 ( u , , u 2 , . . . . . . u . ) 求出 相应的e 值， 使似然函数 四川师范大学硕士学位论文 的值为最大。 通常实用 计值b 。 b, = b ; - h , 其 中: 氏 1 忍为 第t + l , n e w t o n - r a p h s o n 法逐次迭代， 求出能力的极大似然估 t 次迭代的能力估计值。 h ; =f l ( e ) f ( e )f ( b ) 二d 艺a , ( u ;c ， 一 p ; ) (p ， 一 c ; ) q p ; ( 1 一 c , ) f ( 0 ) d 2 艺a , ( u ,c ， 一 p ? ) ( p : 一 c ; ) q ; =归1 p ; ( 1 一 。 ， ) ， d: 1 . 7 0 2 1 :题目 编号 u ; : 第i 题的 区 分 度、 难 度、 猜 测系 数 只: 受 测者 答 对 第i 题的 概 率 q : : 受 测者 答 错 第i 题的 概 率 u ; : 受 测 者的 反 应 答 对为1 ， 答 错 为的 重 复 上 述的 迭代 过 程， 直 到 9 ,. , - b ; l 6 ， 其 中e 是 事 先 确 定 的 精 度 值 ( 这 种 方法有其局限性， 不能 对全 对或全错的受测者进行估计)， 可得到b 的 极大 似然估计值b 。 在大样本条 件下， 极大 似然估计值b 有如下特征: 1 . 极 大 似 然 估 计 法 估 计的 能 力 值e 是 其能 力 真 值夕 的 一 致 性 估计 ， 也 就 是说随着试题数量的增加， 能力估计值就会向 它的真值收敛。 2 .能 力 估 计 值e 近 视 于 真 值 e 。 在充分统计量( 充分