（教育技术学专业论文）基于知识处理的自适应测试导学系统的分析与设计.pdf

硕士学位论文 摘要 测试是检验教学效果和巩固学习内容的重要手段。以项目反应理论( i r t ) 为基 础的自适应测试成为目前测验理论研究的热点，这种方式虽然满足了个性化测试 的要求，但对受测者的知识结构不够重视，不能让受测者清楚地了解各自的知识 水平和知识断点。因此，运用知识空间理论的自适应测试系统结合二者长处，既 能以受测者的真实能力进行测试，又能指导受测者去学习还未掌握的、且与已掌 握的知识结构联系最紧密的学习内容。 本文分析项目反应理论的特点，阐述了要选择基于项目反应理论( i l 订) 理论进 行自适应测试的理由。然后针对知识的特点和表达方法，引入知识空间理论，分 析了六道前提题目约束下的知识空间h a s s e 图、知识空间基底、边界的计算等。 本文运用系统设计的方法，结合数据库设计了系统模块和各自功能。着重分 析了测试过程当中的课程知识层次结构、与知识空间理论结合而形成的出题策略、 评价指标因子、规则和库所计算关系对应图，并且列举简单的静电场实例说明系 统是如何把自适应知识结构联系起来的。 关键词：自适应测试；知识空间理论；导学；评价 ， a b s t r a c t t e s t sa r ei m p o r t a n tm e a n so fe x a m i n i n gt e a c h i n ge f f e c t s a n dr e i n f o r c et h e l e a r n i n gc o n t e n t s c o m p u t e r i z e da d a p t i v et e s t i n g , ah o tr e s e a r c ht o p i co f t e s tt h e o r y , m e e t st h ep e r s o n a l i z e dr e q u i r e m e n t so ft h et e s t e et h a tt a i l o r i n gt h ed i f f i c u l t yo ft e s t i n g t ot e s t e e sa b i l i t yl e v e l ，b u tl e s sa t t e n t i o no fk n o w l e d g es t r u c t u r ea r ef o c u s e d o n t e s t i n gp r o c e s ss oa st ow e a kp a r t so fk n o w l e d g e f i e l dw e r e n tr e a l i z e db yt e s t e e t h i s d e f e c ti ss o l v e di nt h ea d a p t i v et u t o r i n gt e s ts y s t e mb a s e do nk n o w l e d g es p a c et h e o r y d i s c u s s e di nt h i sp a p e r , w h i c hn o to n l ys u c c e s s i v e l ys e l e c t sq u e s t t o n st om a x i m i z e t h e p r e c i s i o no ft h et e s tb a s e do nt e s t e e sk n o w l e d g e ，b u ta l s oi n s t r u c t st h et e s t e e t ol e a r n t h ec o n t e n tc l o s et oa c q u i r e dk n o w l e d g es t r u c t u r e a f t e ri n t r o d u c t i o na n da n a l y s i so fi t e mm s p o n s et h e o r y , t h er e a s o no fc h o o s i n g 肝b a s e da d a p t i v et e s tw a sp r e s e n t e d k n o w l e d g es p a c et h e o r y ( k s t ) w a si n t r o d u c e d a c c o r d i n gt ot h ec h a r a c t e r i s t i c sa n de x p r e s s i o no fk n o w l e d g e ，i n w h i c hs i xq u e s t i o n s a sp r e c o n d i t i o n sr e s t r i c t e d ，i t sh a s s em a p ，k n o w le d g es p a t i a l b a s e a n dk n o w l e d g e b o u n d a r yw e r ed is c u s s e d c o m b i n e dd a t a b a s ea n dt e a c h i n gd e s i g n ，t h es y s t e mm o d u l e s a n dt h e i rf u n c t i o n s w e r ea n a l y z e da n dd e s i g n e d s o m ep a r t sw e r em a i n l ye m p h a s i z e d ，s u c h a sk n o w l e d g e s t r u c t u r eo fu n i v e r s i t yp h y s i c s ，s t r a t e g i e so fq u e s t i o np r e s e n t e d ，e v a l u a t i o nf a c t o r s a n dr u l e sa sw e l la sp l a c e sm a p sf o rc a l c u l a t i o n m o r e o v e r , at e s te x a m p l eo ns t a t i c e l e c t r i cf i e l dw a sd e m o n s t r a t e dt h a th o w t oi n t e g r a t ea d a p t i v et e s t i n ga n dk s ti nt h is s y s t e m k e yw o r d s ：a d a p t i v et e s t i n g ；k n o w l e d g es p a c et h e o r y ；t u t o r i n g ；e v a l u a t i o n h i 硕士学位论文 1 1 课题研究的背景 第l 章绪论 随着计算机和网络为主的信息技术的快速发展和普及应用，人们的生活工作 方式、学习方式和思维方式也发生了日新月异的变化。对于教育来说，由此带来 学习环境和方式的重大变化，从传统教育的课堂面授扩展到现代远程教育的网络 学习1 。伴随信息技术的发展与网络化环境的改善，教育领域受益非浅，迄今为 止，仍有一些问题有待解决。 1 素质教育与分数论改革 中央、国务院关于深化教育改革和全面推进素质教育的决定提出，素质 教育“以培养学生的创新精神和实践能力为重点 、“激发学生独立思考和创新的 意识、“培养学生的科学精神和创新思维习惯 。眩1 在实施素质教育时，大量实践 证明，对学生能力水平的最终评价仍然离不开分数。人的能力素质本身就带有不 确定性和模糊性，用数值对其进行量化必然会导致误差，但一个完全没有定量分 析的评估体系是不可想象的。在大量的学生中进行人才选拔，只有通过量化了的 指标进行比较才现实可行，不可能仅仅依靠评语、推荐等，否则无法保证其运行 效率和公平性。另一方面，对学生而言，学到知识、提高能力是学习的最终目的， 通过考试进行检验仍具有很大的现实意义。所以，要不断提高考试的科学性，使 考试能够充分地反映出学生的实际知识水平和学习能力，将取得高分和提高能力 有机地统一起来，才能真正走向素质教育。我们认为，智能考试理论紧密结合素 质教育理论，是对智能考试的一次有益探索。旧1 2 网络化环境与自主学习衔接 网络的应用和信息技术的发展使教学模式从传统的“以教师为中心 扩展到 “以学习者为中心 。有调查表明，学习者在网络学习时有很多困难，主要是： 网络课程堆砌化。大多数网络课程只是简单的把课本内容网页化，生硬的堆砌 到网络上，使学习者对网络学习产生厌恶感；学习资源混杂化。网络中的资源 如文本、图片( 图像) 缺乏有效地组织管理，杂乱地呈现给学习者，使学习者感到 盲目，不知道如何有效利用1 ；缺少敏感的响应和反馈系统。对学习者在学习 中的出现的疑问和问题，不能及时的响应和反馈信息，使学习者感到失落和孤独 5 - 6 ；系统的智能性较低。不能根据学习者的水平和学习情况提供合适的、个性 化的学习环境，不能根据学习者个性提供相应的指导，实现个性化教学。所谓智 能只是对专家知识有限的、显性的反应，多是比较单纯的“推理智慧”，很大程度 基于知识处理的自适应测试导学系统的分析与设计 上依赖推理机的设计与知识的表示，不能根据实际应用情况不断的修改和丰富知 识引。 3 多种教育形式的出现与评价反馈的缺失 远程开放教育作为教育形式的一种，由于学生在年龄、知识水平、专业背景、 地理位置、学习环境、学习动机等方面都比传统课堂教学中的学习者要复杂，所 以做好远程教育的学生学习支助服务尤为重要。人际交互和基于技术媒体的双向 通信交流是学生学习支助服务的核心成分，对整个远程教育具有重大意义。”学 生支持服务能有效促进学生学习，也是连接学生与学习活动、学习资源的桥梁， 是学生在线学习的保障哺1 。 在远程教育中，师生交流主要是通过非连续通信手段( 包括函件、电话和计 算机网络在内的电子通信手段) 实现的。在远程教育中，教学信息仅由院校和教 师向学生的单向发布是远远不够的。在一定意义上，学生信息反馈的畅通与及时 处理答复是检验远程教育院校的学生学习支助服务系统的有效性和效率的基本标 志。订对学生评价的目的不仅是为了检查学生已掌握的知识，更是为了激励和促 进学生的发展。因此，要全面评价学生，不是单一结果的评价，而要把学生的学 习表现也参与评价。学习过程中的信息反馈往往因人而异，具有个性化的特征。 1 2 研究课题的提出及意义 鉴于以上问题，如何使网络环境真正发挥其优势实现个性化学习，并能在学 生学习过程中模拟教师的实时指导、对学习者实施个性化教学成为研究的热点和 难点。在网络学习系统中学者们研究、设计了一种智能学习系统( i n t e l l i g e n t t u t o r i n gs y s t e m ，简称为i t s ) 来解决这一问题吟。智能学习系统是一项涉及人 工智能、认知科学、教育学、心理学和计算机科学的综合性研究课题，其研究目 的是让学习系统在某种程度上能够模拟教师的角色，帮助不同的学习者实现其个 性特征的最佳学习。智能学习系统掌握相关领域的知识、授导策略和方法，能模 拟学习者的知识状况。是以学习者为中心，计算机为媒介，利用计算机模拟教学 专家的思维过程，形成的开放式人机交互系统2 1 引。 自适应测试导学系统符合测试者的心理特征、接受水平和发展规律，在因材 施教、纠正错误、指导后续学习的功能上有重要的意义，它实质上蕴含了丰富的 教育理论和教学思想。 1 因材施教一一个别化教学 孔子是古代教育中启发式教育的鼻祖。他主张“开而弗迎”，对学生要因材实 教。论语颜渊篇中记载，四个弟子曾向孔子问仁，孔子做出了四种不同的回 答。樊迟的资质较鲁钝，孔子对他只讲“仁 的最基本概念“爱人 ；司马牛“多 言而躁 ，孔子就告诫他：做一个仁人要说话谨慎，不要急于表态；仲弓不能体谅 硕士学位论文 别人，孔子就教他忠恕之道，要能将心比心推己及人；颜渊德行很高，孔子就用 仁的最高标准来要求他，视、听、言、行，一举一动都要合乎礼的规范。h 副孔子 根据每个学生基础和造诣的不同，对同一问题做出了四种深浅不同的回答，根据 不同对象的个性等方面的不同实行因材施教。 老师应对学生有意识地分别进行引导，指导学习。著名教育家蔡元培也认为， 教育应激发学生的学习兴趣和引导学生独立探究和自学，而不能“硬以自己的意 思压到学生身上一，像注水瓶一样注满了就算完事n 们。 2 布鲁纳( b r u n e r ) 的认知主义学习理论 布鲁纳认为，学习实质上是将相关的事件联系起来，赋予特定的意义，并组 织成一定结构的过程，简单地说，就是认知结构不断扩充和重构的过程n 7 1 。 对于具体学科知识的学习，就是学生在其大脑中形成关于本学科的知识结构。 这种结构是以学科的基本概念、基本原理、公理以及基本思想为构成单位的。知 识结构的形式，体现为以逻辑关系或者层次结构的认知谱系，及形成包含着新知 识的获得、知识的发行以及校难获得的新知识和对旧知识改造时是否与认知结构 恰适这三个几乎同时发生的过程。在课堂进行假设式教学，学习者有效参与到推 理系统之中，而且能够进行推理和评价这种假设式教学方式比讲解教学方式，更 能有效地培养学生者的“良好训练的头脑”n 7 1 。 3 规则学习 本质上，规则是指人脑对事物间关系或规律的反映。在知识学习与教学中， 学习解决问题的法则、原理、定律、定理以及公式都是规则的学习。 规则学习的意义是： 。 一是对原理的学习，可以简化和系统化。比如学到与压强等于压力除以受力 面积的公式后，就能解释载重汽车的轮子为什么要比小汽车的多而且宽。 二是掌握规则，可以用来指导行为并解决新遇到的问题。学了物理学，了解 支点、力点和重点的关系，在遇到一些用体力带动重物的情况时，可动脑筋减轻 带动强度等。 教育心理学认为，规则是有层次性的，在初级规则的基础上，经过对新规则 的学习就能形成高级规则。二者的区分决定于学生原有的知识基础。学生通过从 简单规则到高级规则的学习，在认知结构中就构成了一个规则体系，其实，学生 学的每门课程都包含着特定的规则体系，学生只有把握了这个体系，才能懂得这 门课程的知识，创造性地解决问题。引 4 适应性学习理论 适应性学习( a d a p t i v el e a r n i n g ) 是一种学生通过自身原有的知识经验与适应 性学习系统进行交互活动来获取知识、获得能力的学习方法。它具有以下特征训： 强调学习方法的掌握。学生通过在适应性学习环境中的交互和探索来建构自 基于知识处理的自适应测试导学系统的分析与设计 己的知识，更重要的是要掌握学习方法，也就是要进行元认知技能的训练。 个别化、人性化。学生是一个具有自己独特个性的个体，在学习过程中，学 生对学习环境中的提示和反馈进行自主评价和选择，而不是由学习环境控制。 交互性。学生之间的交流与讨论必不可少，交互可以让学生从不同角度去认 识所学的知识，丰富自己的认知结构，而且相互之间的协作，对情感、态度等也 有良好的促进作用。 快速反馈。适应性学习是一种自主的、个性化的学习，但并不是一种孤立的 学习，它需要学习环境中组织良好的反馈系统，以帮助学生作出自主决策。 5 多元智能理论 多元智能理论由美国哈佛大学心理学教授、教育学教授霍华德加德纳 ( h o w a r dg a r d n e r ) 于l9 8 3 年首次提出。加德纳认为，人的智力并非传统测验测量 出来的单一的认知能力。智力应是每个人不同程度地表现在生活各个方面的能力。 就其结构来说，人类的智能是多元的，是一组能力。 他说：“在建构主义者的课堂中，学生不断地找到新的想法和做法，看在哪些 地方这些想法和做法是起作用的，哪些地方还不足以起作用，理解还是不理解， 关键取决于每个学生在自己头脑中建构的模型眩们。 因此，多元智能理论在教学 中特别关注学习者个体智能的差异对教学的意义。那么，“如果我们忽略这些差异， 坚持要所有的学生都用同样的方法学习相同的内容，就破坏了多元智能理论的全 部基础 。眩 1 3 国内外研究现状 教育测量有着选拔人才、指导教学等功能，它作为教育过程的重要一环，对 学生的知识积累、兴趣爱好、能力发展等问题按一定法则进行数量化测定。它是 测量和评定人的知识和能力水平的一种重要方法，各个国家、院校及考试机构都 为如何能正确评价考生的实际水平而对测试系统进行了持久而深入的研究。 公元6 0 6 年隋朝举办的科举考试制度被认为是教育测量和评价的萌芽。尽管 普通的在线考试系统可以检测测试者的学习，但不能根据学习者的知识水平和学 习情况提供个性化的考试和学习环境，以调动学习者的学习兴趣。人工智能技术可 以提高考试系统的适应性和灵活性，以更符合认知的方式进行知识的传授与指导。 美国最先将自适应测试( c o m p u t e r a d a p t i v et e s t ，c a t ) 引入测试中，且在多个 领域中已有成功应用的例子，如g m a t ( g r a d u a t em a n a g e m e n ta d m i s s i o nt e s t ) 、 g r e ( g r a d u a t er e c o r de x a m i n a t i o n ) 等都采用自适应测试的方式。日本的凯思国际 职业英语计算机测评系统广泛应用于企业、学校和政府，成为日本职业英语能力 评估的标准。 在国内自适应测试的应用主要还是由国外的测试机构在进行，如e t s ( 美国教 硕士学位论文 育考试中心) 的g r e 、s u n 公司的j a v a 认证考试及m i c r o s o f t 公司的m s c e 、m c d b a 、m c s d 等认证考试等。全国大学英语四六级考试委员会在9 0 年代中期开始 致力于自适应的开发与研究，目前，i r t 已成功地用于c e t ( c o l l e g ee n g l i s ht e s t ) 分数等值处理过程中，c a t 题库也在建设和完善过程中，考试委员会将在不久后 推出四六级的c a t 系统。此外，江西师范大学心理学系也在研究i r t 题库的建设以 及c a t 系统的开发。u 弘1 3 1 。 1 3 1 国内研究情况 我国智能辅助教学系统的研究集中在大学和研究机构中进行。 ( 1 ) 上海交大网上答疑系统，它采用智能匹配和模糊模式识别技术，对学生 所提出的问题进行搜索并解答。如没有合适解答，系统将自动把问题反馈给相应 的教师，由教师亲自为同学答疑解惑。系统还能对学生在网上的学习行为进行统 计、监控与分析，并据此提供合理化的学习建议，力求做到真正的个性化学习。 ( 2 ) 首都师范大学计算机系的王陆教授，探讨了基于教学过程的i t s 系统模 型，提出了一个基于教学过程的i t s 的模型眩引。使用关系模型讨论建立学科知识 库的方法，知识点属性库描述知识点的特性和与多媒体教学材料库的连接关系； 知识点链接库反映知识点间的关系，便于推理眩引。使用模糊关系数据模型讨论用 隶属度函数及模糊中心数等方法描述知识点属性以知识点的模糊关系建立知识 库，并给出了两个关键性的算法坦钔。 另外，首都师范大学建立了基于网络的智能教学系统的虚拟学习社区。它可 以实现由虚拟教师来指导学习者的学习，同时还可以主动推理学习者的学习状态， 推荐适合学习者学习特征的学习材料，以及帮助教师了解学生的学习成绩、学生 的认知过程和学习难点等，帮助每一位学生进行自主学习。 ( 3 ) 上海交通大学计算机科学与工程系的申瑞民教授，在远程教育系统中引 入自适应机制，对用户的已有数据进行数据挖掘，分析出用户的知识架构，根据 已有的全局知识空间，与用户知识架构作补充操作，向用户提供其应学习的资源 2 们。采用w e b 与c o r b a 互操作模式，设计开发了一种智能化的远程教学模型， 此模型能够实现基于w e b 的远程教学系统的智能性和自适应性眩引。研究了基于概 念图( c o n c e p tm a p ) 的教学内容智能调整模型及算法实现，采用概念图理论，对个 性化分析结果作了进一步的探讨，同时借鉴最小生成树算法，构建了教学内容智 能调整模型并给出了相应算法实现眩引。研究了基于支持向量机算法的智能学习推 荐器的设计及实现，在分析学生学习行为的基础上，提出了支持向量机算法的智 能学习推荐器的方案b 引。 ( 4 ) 台湾黄国祯研制了一个基于网络智能学习与测验评估系统( i t e s ) ，其 主要功能有：允许群体测验或学生自我测验，辅助教师配置试题，教师可以选择 基于知识处理的自适应测试导学系统的分析与设计 测验的内容，确定试题的难度、区分度，考试时间等组卷参数，通过网络自动组 成测验试卷；提供学生有关测验的评估与建议。系统不仅能提供正确答案以供参 考，而且能对测验结果进行分析，并有针对性地提出学习建议：提供相互讨论的 支持工具。因为它侧重于测试，对学习支持考虑过少。 ( 5 ) 其他研究者，如：中国科学院计算机语言信息工程研究中心的黄河燕教 授研究了i t s 系统中自然语言人机接口的设计与实现和知识树增长模型旧卜3 引；西 南师范大学计算机与信息学院的邓晖教授设计了网络环境下的学生特征分析系 统，通过分析学习者在学习过程中的动态和静态信息，提出了学习者特征分析系 统设计的理论模块3 3 3 钔。 1 3 2 国外研究情况 加拿大、日本等国家也投入人力、物力从事智能型网络教学的研究。美国一 些知名的大学诸如s t a n f o r d 、m i t 、m e m p h i s 、c a r n e g i e m e l l o n 、j o h n s h o p k i n s 、 c a l i f o r n i a 等都在进行这方面的研究工作。m e m p h i s 大学历时1 5 年开发完成的t u t o r 系统，借助于a i 、认知科学等，能够实现不同学科的教学。 ( 1 ) 基于知识空问的超链接适应性超媒体系统 美国的b r u s i l o v s k y 于1 9 4 9 年提出了一种适应性超媒体系统。这个系统将能自 动适应用户的导航要求，根据用户逐步增加的认知能力而适应性的扩大用户所浏 览的范围。b r u s i l o v s k y 将它应用于医院的教学系统中，它将针对特定任务的领域 知识通过超文本链接、目标与主题链接、目标与层次链接组织成网状的超媒体结 构。通过跟踪并分析用户所执行的任务来更新用户的认知模型，并以此为据提供 适应性的导航浏览。 ( 2 ) 基于用户模板适应性超媒体系统 瑞典计算机科学研究所和斯德哥尔摩大学( k a r l g r e n 等，1 9 4 9 ) 研究了适应性 超媒体的应用项目。该项目的核心采用基于用户模板的适应性搜索和过滤技术。 系统可以适应性地将不同用户归结到不同的知识模板中，提供给用户最合适其特 征的知识。知识模板通过观察典型的用户群体和对用户进行调查等方式获得。采 用知识模板简化复杂知识空间的构建，但也削弱了其适应的强度。因此，它只能 提供一些初级的适应性。 ( 3 ) 以学生为中心的适应性超媒体学习系统 m a l h e 和c h e n l 9 9 4 年研制了一个以学生为中心的适应性超媒体学习系统，其 适应过程的主要依据是学生在学习过程中所提供的适应信息。系统通过对话框要 求学生指明他所感兴趣的学习主题。并以此为依据，为学生的个人配置文件提供 不同的适应性。对系统将根据学生的喜好做出选择，适应性地提出探索知识空间 的建议。此系统不采用知识模板的方式，而采用超文本的知识空间结构。 硕士学位论文 1 4 本文研究工作和组织结构 本文通过对国内外的研究，分析了测评系统和导学系统在国内外的发展情况。 针对目前网络化环境下的学习问题和现有测试系统中存在的不足，本文设计了基 于知识处理的自适应测试导学系统，首先分析测试者的认知风格、个性特征和已 有历史记录，在测试过程中根据测试者答题的情况从题库中动态抽取难度相当的 试题，逐步逼近考生的真实知识水平，直到进入可以接受的误差范围为止。对未 掌握的知识点根据知识组织关系进行推理，梳理测试者知识结构，找出知识薄弱 环节，最后在系统中采用综合评价模型，对测试者的测试过程的各类表现进行综 合评判，给出详细的评价和学习建议，并记入测试者个人信息库，为后续学习和 测试做出指导。 本文共分为五章：第l 章绪论，分析了论文的研究背景、国内外研究现状和研 究的意义等；第2 章项目反应理论的介绍，论述了项目反应理论的内容和自适应测 试的特点；第3 章知识在本系统中的处理与分析，论述了知识的分类、知识空间理 论对知识的界定和处理；第4 章大学物理课程特征及系统需求分析，论述了大学物 理课程的课程要求、学习者特征、此课程背景下的有关需求，第5 章系统结构与测 评设计，设计了系统的结构、功能模块及综合评价模型的设计，评价指标的设计 等；第6 章是系统开发与实例举例；最后总结本文内容，指出存在的不足和有待解 决的问题，展望未来的发展。 基于知识处理的白适应测试导学系统的分析与设计 第2 章项目反应理论与自适应测试 测试理论是一种解释测试资料实证关系的系统的理论学说。当前的考试理论 以真分数理论为代表的经典测试理论( c l a s s i c a lt e s tt h e o r y ) 和以非线性的概率模型 为代表的项目反应理论( i t e mr e s p o n s et h e o r y ，i i 江) 为主。随着计算机技术的发展， 基于项目反应理论的自适应测试( c o m p u t e r i z e da d a p t i v et e s t i n g ，c a t ) 越来越受到 重视。 2 1 项目反应理论 项目反应理论( i r t ) 建立了综合反映考生作答反应与题目质量及能力水平间 关系的非线性模型，估计出的能力水平不依赖于特定的施测题目样本，且能明确 算出信息量即测量精度。 i r t 是建立在以下强假设基础上的： ( 1 ) 能力的单维性假设。潜在特质空间维度，又称能力维度，是指被测量的测 验成绩是由若干种能力曰l 、p 2 巩决定的，这一力维空间称为潜在空间。假设潜在 空间是一样的，就是说被测量的测验结果只取决于一种能力，其它可以忽略，这 就是所谓的能力单维性。 ( 2 ) 局部独立性假设。即某个受测者对测试的题目的反应在统计上是独立的， 对一个题目的回答不影响对另一个题目的回答。 i r t 假设应试者在某一题目上的答对概率独立于其它题目的答对概率，也就 是应试者对多个试题的反应是互无影响的，在全部题目上的联合答对概率就是各 个试题答对概率之积。 假设应试者对力个试题的反应模式是明( 卢l ，2 ，船) ，若答对，u = l ；答错， = o 。p ，表示应试者对试题f 的答对概率，则答错概率o 严1 p ，由局部独立假设可 以推得：p r o b u l = u l ，u 2 = u 2 ，玑= 甜甩i 卅= 兀p i ( o ) u i q i ( o ) ( 1 一u j ) 。 ( 3 ) 试题特征曲线假设。假设考生对某试题的正确反应概率与其能力之间的关 系可以用一个单调上升的函数表示，常用的有正态卵形模型和l o g i s t i c 模型两类， 目前在二值评分方面常用的是单参数、两参数和三参数的l o g i s t i c 模型。 单参数：p ( 口) = f 南 ( 2 1 ) 双参数：p ( p ) = 南 ( 2 2 ) 硕士学位论文 三参数：p ( p ) = c + ( 1 一c ) i 石石1 万万 ( 2 3 ) 其中d 表示受测者能力值，a 、b 、c 分别表示题目的区分度、难度和猜测系数， 尸( p ) 表示正确反应概率。即能力为0 的人答对此题目的概率。 ( 4 ) 速度无关性假设。i r t 模型都有一个隐含假设，那就是应试者在进行测验 时没有时间上的限制条件。答错试题是因为能力不够，而不是因为时间不足。 2 2 基于项目反应理论的c a t 主要内容 从三种参数的公式中可以看出，单参数模式不涉及题目区分度a 与猜测系数c ， 双参数模式不涉及猜测系数c 。如果题库是选择题，这两个公式都不适合。如果题 目有四个选项，那么猜测系数应该是2 5 。 1 l o g i s t i c 模型基本理论 由于l o g i s t i c 模型相对比较简单，准确性较高，因此在建立自适应考试系统时， 常采用l o g i s t i c 模型。由于参数的不同，分为单参数、双参数、三参数及四参数 l o g i s t i c 模型，其中又以三参数的l o g i s t i c 模型最为常用，四参数模型目前主要还 是理论研究阶段。 三参数l o g i s t i c 函数形式： 1 尸 ) = 针( 1 - cl 十e 而1 ( 2 4 ) 其中，d ：常数因子，通常取1 7 0 4 ；日：受测者能力值；口：题目的区分度；6 ： 题目的难度；c ：猜测系数：尸( 口) ：能力为口的人答对此题目的概率。 从上可推测，对于任意给定的试题，能力值低的考生的正确反应概率低( 接近 猜测值c ) ，能力值高的考生的正确反应概率高( 接近确定值1 ) 。当o = b 时， 尸( p ) = ( 1 + c ) 1 2 ：当o ( 1 + c ) 2 ， 口一+ 时，尸( 0 ) _ l 。 有不少试题，即使是高水平被试，也难以绝对完善地作答。反应在项目特性 曲线上就是曲线尾部并不以1 0 0 为极限，而是略低于1 0 0 。因此，有人提出四参 数逻辑斯蒂模型，其表达式为 1 尸( g ) = c + ( ，一c 瓦喜而 ( 2 5 ) 2 特征曲线 一般测验项目的质量，用项目难度、项目区分度和猜测参数来描述，据特征 函数可画出题目的特征曲线( i t e mc h a r a c t e r i s t i cc u r v e ，i c c ) ，见图2 1 。 基于知识处理的自适应测试导学系统的分析与设计 图2 1 三参数模型i c c 从图2 1 中可以看出，曲线下部的渐近线离坐标轴的零点有一定的距离，这表 明由于存在猜测因素c ，能力水平低的被试者仍有可能答对该项目的猜测参数值， 特征曲线的截距的值越大，说明不论受测者能力高低，都容易猜对本道题目。图 中拐点在纵轴上的投影正好落在c 与l 的中点上，即拐点的纵坐标为( 1 + c ) 2 。这表 明难度为b ( 拐点在横轴上的投影) 时被试者答对该项目的概率，排除猜测因素耐，恰 好彼此相等。项目特征曲线拐点处的斜率表明曲线的陡峭程度，曲线越陡峭，答 对概率尸( 曰) 对物质水平口的变化就越敏感，即项目区分被试者水平的能力就越强。 因此，曲线拐点处的斜率被称为项目的区分度参数，一般用口来表示，a 值越大说 明题目对测试者的区分度越高。 3 能力参数和项目参数的估计 每个项目的选取是根据测试者先前的答题情况采用某种选择策略而进行的。 具体步骤是根据对测试者的能力进行估计，再挑选当能力值为口时，具有最大信息 值的项目m a x ，( 口) 。测验中估计能力参数0 的方法，普遍使用最大似然估计法( m a x i m u ml i k e l i h o o de s t i m a t e ) 。3 引。 在项目参数为已知的情况下，能力参数0 的最大似然估计是通过被测试者的似 然函数区最大值来求0 的估计方法： l ( x t ，x 2 ，x 3 ，x n p ) = 兀e j ( o ) q ( 臼) 卜。 j = l ji nl ( x i ，z ：，b ，x 。 9 ) = 芝i x ji ne a o ) + ( 卜x ，i n q j ( p ) ) 】 ( 2 6 ) j = i l n p 。) = m a x ( i n 0 ) ( 2 7 ) 其中l 表示概率，0 为能力估计值，x ，为第，题的项目反应，如果回答正确则为 l ，否则为0 ；刀为估计项目的数目。然后分别对参数a ，6 ，c ，p 求偏导并采用n e w t o n - r a p s o n 法。a ，b ，c 参数值在建立题库时已确定，因此在用迭代法处理时， 先以a ，b ，c 的初始值当成已知，代入方程式估计能力参数口，再将口当成己知去估 计项目参数，直到迭代程序完成。 竺2 c o p l 硕士学位论文 对于任意给定的能力参数，当考察测试项目对能力参数的分辨能力时，往往 使用测试项目信息函数。项目信息函数乃( 口) 表示项目，对能力参数日的辨别能力。 五( 0 ) 越大，说明考试题目，对能力参数口的考生有较大的区分度。因此在考试过程 中，应当适当的选择厶( 口) 大的考题提供给考生。 广a12， i j ( 9 ) = i 嘉己( l 肛( 臼) q ( 臼) = d2 口；( 1 一f ) 产+ e d q ( o - b f ) 【l + p 柚_ 】2 ( 2 8 ) l v vj， 6 ( 0 ) 为项目的信息函数，毋( p ) 为考生在项目的正答概率，q j ( o ) = i 一乃( 0 ) ， 表示考生在项目，的误答概率。 4 c a t 基本思想 计算机自适应测试( c a t ) 指呈现给被试的下一个测试项目是根据他对上一个 项目的反应而决定的，自适应测试中常用三参数逻辑斯蒂模型。 c a t 所依据的基本思想是：只有当项目难度跟被试能力相适应时，项目所提 供的信息函数量才最大，测试误差最小，测试者的积极性最高，测试效果也就最 好。实施项目难度跟被试能力的匹配就是要运用选题策略从一组项目或题库中找 出符合被试能力水准的项目来反应他们的能力或特质。测试过程中通常要经过好 几个项目的测试才能逐渐找到与某能力相匹配的题目。为了确定某题是否匹配被 试能力水准，必须每答完一题就要重新估计测试者的能力。对测试者步步更新的 能力估计是c a t 测试中的重要工作。测试时先要获取该测试者的能力初值。一般 以随机抽取中等难度的题目开始，若回答正确，则呈现更难的题目；若回答错误， 则呈现较易的题目，测试者既有答对题目又有答错题目时，就可初步估出其能力 值。若此测试者已有测试记录，能力初值更容易确定。第二步是逐渐对测试者能 力的修正，针对初步估计能力值继续从题库中挑出难度最适当、信息量最大的项 目施测，并不断地估计测试者能力，向其能力真值逼近，直到满足测量精度要求 为止，从而对测试者的真实能力作出准确的评价。 以上基本思想总结如下：选择合适的初始项目；根据测试者对初始项目 的反应对其能力水平作初步估计，选择下一合适项目；根据测试者对上一测试 项目的反应对其能力水平再次估算；判断是否满足测试者能力真值，没有则回 到步骤三，反之则结束。b 副 2 3 项目反应理论的特点 项目反应理论具有以下一些特点旧副： ( 1 ) 项目反应理论所采用的试题参数( 如难度、区分度、猜测度) ，都不受 样本影响，即这些参数的获得不会因为受试者样本的不同而不同。 ( 2 ) 项目反应理论采用非线性模型，建立了被试对项目的反应与其潜在特质 之间的非线性关系通过测量估计出受试者个人的能力，不受测试的影响，并且 基于知识处理的自适应测试导学系统的分析与设计 对于不同受试者间的分数，也可以进行有意义的比较。 ( 3 ) 项目反应理论提出以试题信息量及试卷信息量来选择对能力估计精度最 有增益的项目，评定某个试题或整份试卷的测量准确性，可取代经典测试理论的 信度，作为评定试卷内部一致性的指针口刀。 ( 4 ) 项目反应理论同时考虑受试者的反应组型与试题参数等特性，因此在估 计个人能力时，不仅能够提供较精确的估计值，还能对原始得分相同的测试者给 予不同的能力估计值。 ( 5 ) 在题库建设方面，运用项目反应理论，可以根据各项目在临界分数附近 的信息量，选择能够提供最大信息量的项目，这种方法以最少测试项目达到所需 的测量精确度。 硕士学位论文 第3 章知识与知识空间理论 3 1 知识空间的引入 基于项目反应理论的自适应测试采用灵活分枝的办法，根据题目的难度等采 用极大似然估计或最大信息量的方法选择与测试者能力水平的估计值相适应的题 目，从答题过程中推测他们的能力。 但是，一个良好的测试系统不仅要对学生的能力水平进行测量，还要考察学 生的知识结构和认知缺陷。基于项目反应原理的测试主要考虑的是题目的信息函 数，其目的是尽可能的将不同水平的学生区分开来。而各个题目都代表了相应的 知识，这些知识之间的关系反映了一定的知识结构，项目反应原理对于这种知识 结构重视不够，因此导致对于学生所掌握的知识结构的考察就显得无能为力b 引。 知识空间理论提供了一种表达知识结构的方法，是一种测试学生知识水平、 知识结构的心理学理论。知识空间理论在人工智能领域得到应用，研究人类学习 思维的特征和过程，寻求学习认知的模式，网络环境的考试中运用知识空间理论， 能够对学生的知识结构进行较确切的描述，有较高的内容效度。 3 1 1 知识的特点 知识是人类积累的关于自然和社会的认识及经验的总和。心理学家皮连生认 为知识，是个体通过与其环境相互作用后获得的一切信息及其组织。b 9 1 知识具有 以下特征： 知识具有“有 或“无力的性质，即学习者要么有某种知识，要么没有这类 知识；要么贮存了关于某认知对象的信息，要么没有贮存这类信息： 一个学习者的知识很少只是单一种类的知识，往往是多种类型知识的结合， 比如物理知识中就包含了数学知识等； 知识相互联系。某种知识可能是多个知识的综合，也可能是其它某个知识的 组成，某知识的习得可能需要其它知识支撑，它也可能是其它知识的必要条件； 知识可以通过具体经验获得，也可以通过间接经验获得，学生可以在课堂获 取知识，也可以通过自学获取； 知识可以组合和分解。同类的或异类的多种知识和结合在一起，形成新的知 识，知识也可以拆分。因此知识是动态的，可以生长和变化。 3 1 2 知识的表示方式 所谓知识表示( k n o w l e d g er e p r e s e n t a t i o n ) 即知识表达或知识描述，是为描述 基于知识处理的自适应测试导学系统的分析与设计 世界所作的一组约定，是知识的符号化过程m 1 。从远古的刻石结绳到今天的数字 化方式，知识表示的方式在不断发展，知识表示的方法，常分为基于符号的表示 方法与基于连接机制的表示方法，主要有下列几种1 ： 自然语言表示法：是现实所有表达方式中最常用方式。但自然语言缺乏通用 性，句子结构也不具有一致性，此外有时具有二义性，运用时需要考察语言环境。 谓词逻辑表示法：采用合适公式和归结原理把要解决的问题变为一个有待证 明的问题，再证明一个新语句是从己知的正确语句导出的，从而证明这个新语句 也是正确的。这种推理方法严格、完备，缺点是不易实现非单调和不精确推理。 产生式表示法：用于表示具有因果关系的知识，在语义上，它表示“i f at h e n b 的因果或推理关系。它注重联系和知识的应用范围，但很多知识的关系不仅 是因果关系，它对结构性知识尤其是复杂关系的知识的表达能力低下。 框架表示法：框架通常由描述知识的各个方面的槽组成，每个槽拥有若干个 侧面，每个侧面又可以拥有若干个值。利用框架表示法能由浅入深地对事物的细 节作描述，可进行矛盾检测，实现高效的推理等优点，但它没有统一的形式。 语义网络表示法：语义网络由节点和弧线或链线组成，能够直接而明确地表 达概念之间的语义关系。但语义网络结构的语义解释依赖于该结构的推理过程， 不能保证推论的有效性和严格性，不便于表达判断性知识与深层知识。 状态空间表示法：一种基于解答空间的问题表示和求解方法，以状态和操作 符为基础。使用状态空间图表示时，从某个初始状态开始，每次加一个操作符， 递增地建立起操作符的试验序列，形成一定的有序集合。 知识表示的方法还有脚本表示、过程表示、问题归约表示法、面向对象表示、 p e t r i 网表示法等。不同的知识表示法，需要能正确地描述知识，具备良好的模块 化结构，有效地利用知识库中的知识完成推理或证明，及时对知识库更新维护。 3 1 3 知识空间与测试的联系 一个人掌握知识的内容，可以通过测量评价得出。如何在测试与评价中利用 有效的表示方式将知识及其状态表示出来，可从以下几方面考虑t 1 知识空间在测试中的运用 知识在知识空间中以知识点及其关系组成，并可以用状态空间表示出来，形 成知识空间，知识空间形成后，可以提取、扩展和更新。在测试过程中，学生答 题的思路大致如下： 阅读和分析试题。测试者针对具体问题，从已有的初始知识空间和解决题目 所需的目标状态空间进行比较，寻找其间需要的知识点和路径，形成一个表示该 问题的全部可能状态及其关系的空间； 回忆和提取知识。回忆已习得的知识源中可选择用来解决问题的知识点或知 硕士学位论文 识原子，即初始知识空间到目的状态空间的间隔，间隔可能不止一个； 解决问题，建构新知识。建立正确可行的路径，用提取的知识点或知识原子 将初试知识和目标状态连接起来，并验证其可能性和正确性； 更新知识空间。解决问题就是使用旧知识或对各类旧知识的融会贯通后及时 总结以创造新知识的过程，这种“创造 的过程就是可对初始知识空间进行更新。 2 知识空间在测试评价中的特点 知识空间在测试过程中是动态的，不断更新的，知识空间中某个状态的知识 可以通过其它状态连接而来，具有如下特点： 知识空间是层次的结合体。在构成知识空间的时候，需要用到多个领域的知 识，如大学物理是热学、力学等知识域构成的，而这些领域又由许多知识单元构 成，需要把这些知识有机结合起来，形成系统化。例如，在求解有关加速度的题 时，就需要数学求导计算的知识。 知识点是关联的。知识空间是由各个知识状态组成的，知识点是构成知识状 态的单位，知识点在知识空间中并不孤立，可以根据需要形成一定的路径联系。 例如，知识点a 和b 关联，或许是直接路径，或许是经过其它知识点的链接而关联。 知识空间是有差异的。每个人的知识不同，知识空间也就不同。例如，在提 取已有