（教育技术学专业论文）基于网络的大学英语诊断性练习与测试系统设计与实现.pdf

摘要 摘要 从8 0 年代末开始的大学英语四、六级考试发展至今，已经得到广泛的推广 与社会普遍认可，而如何有效备考四、六级考试以及了解学习者对知识点的掌 握程度是广大英语教学者一直关心与研究的课题。本文运用相关的教育理论、 教育测量理论，尝试对大学英语知识点进行分类，建立相应的题库试题指标体 系，设计可扩展的题型与试题存储格式，对学习者能力进行评估、智能组卷， 最终完成在线诊断性练习与测试系统的设计与相关模块的实现。 本文首先介绍该系统教育测量相关的理论基础以及在系统中的应用，主要 有布鲁姆教育目标分类、测试理论中的经典测试理论、项目反应理论与认知诊 断理论等。其次，对国内现有的四、六级相关系统以及国外相关的在线练习与 测试系统进行了调研与分析：再次，通过问卷调查以及专家访谈、技术方案比 较等，并结合实际应用，形成可行性系统分析与功能需求分析。然后，根据系 统需求提出了数据库设计与系统设计框架结构；接着，依次按照系统模块分别 做了具体介绍，并给出相应的解决方案与实现。最后，对本文系统的工作的总 结并提出了进一步的研究方向和系统改进的想法。 本文基本完成系统可行性分析和系统设计以及部分模块的完整实现，初步 建立了大学英语四、六级知识和能力三级分类体系，设计通用的题型x m l 格式， 以及实现题库试题指标体系定义与题库建设。本文系统是基于大学英语四、六 级考试所做的有益尝试与实践，以期让广大英语学习者及时了解自身知识点结 构，在过程中改进学习策略，提高学习效率，提升学习能力与英语水平，具有 广泛的应用前景与实际意义。 关键词：英语四、六级练习诊断测试 a b s t r a c t a b s t r a c t c o l l e g ee n g l i s ht e s tb a n d4 & b a n d6h a v eb e e nw i d e l ya c c e p t e di ns o c i e t y s i n c et h el a t e19 8 0 s ，w h i l eh o wt op r e p a r ef o rt h et e s ta n dt om e a s u r et h ed e p t ho f e n g l i s hk n o w l e d g ep o i n t si st ob ec o n c e r n e da n dr e s e a r c h e d a l sah o tt o p i cf o r e n g l i s ht e a c h i n ge x p e r t s t h i st h e s i sa t t e m p t st oc l a s s i f yc o l l e g ee n g l i s hk n o w l e d g e p o i n t s ，s e t su pc o r r e s p o n d i n gi t e mp a r a m e t e r ss y s t e mf o ri t e mb a n k ，d e s i g n sf l e x i b l e i t e mt y p ea n di t e ms t o r ef o r m a t ，a s s e s s e sl e a r n e r s a b i l i t yl e v e la n dm a k i n gt e s tp a p e r a d a p t i v e l y , a n df i n a l l yd e s i g n sw e b - b a s e dd i a g n o s t i cp r a c t i c ea n dt e s ts y s t e ma n d i m p l e m e n t st h er e l e v a n tm o d u l e s ，o nt h eb a s i so fe d u c a t i o n a lt h e o r y , a n dr e l a t e d e d u c a t i o n a lm e a s u r e m e n tt h e o r y t h et h e s i ss t a r t s 谢t 1 1r e l a t e dt h e o r i e sa n dt h e i ra p p l i c a t i o n si no b rs y s t e m ， i n c l u d i n gb s b l o o m sc l a s s i f i c a t i o no fe d u c a t i o n a lg o a l s ，m e a s u r e m e n tt h e o r y w h i c hi n v o l v e sc l a s s i c a lt e s tt h e o r y , i t e mr e s p o n s et h e o r y , a n dt e s tt h e o r yf o raf l e w g e n e r a t i o no ft e s t se t c b yi n v e s t i g a t i n ga n da n a l y z i n gt h ee x i s t i n gd o m e s t i cb a n d4 & b a n d6s y s t e m sa n do n l i n ep r a c t i c ea n dt e s ts y s t e m sa th o m ea n da b r o a d a f t e r t h a t ，t h ea u t h o ri st of i n i s hf e a s i b i l i t ya n a l y s i sa n df u n c t i o n a ln e e d sa n a l y s i sw i t h s u r v e yf e e d b a c k s ，e x p e r ti n t e r v i e w s ，t e c h n i c a lo p t i o n sa n dp r a c t i c a lr e q u i r e m e n t s a r e r w a r d s ，t h ed a t a b a s ed e t a i l e dd e s i g na n ds y s t e mf r a m e w o r kd e s i g na r ep r o p o s e d f o l l o w i n gt h a t ，d e t a i l e di m p l e m e n t a t i o na n da c h i e v e m e n t sa r ei n t r o d u c e df o rr e l a t e d m o d u l e s f i n a l l y , t h ei n s u f f i c i e n c i e so ft h es y s t e ma r es u m m a r i z e da n dt h ea s p e c t s f o rt h ei m p r o v e m e n to ft h es y s t e ma r ep r o p o s e df o rf u r t h e rr e s e a r c h t h et h e s i sh a sa c c o m p l i s h e dt h ef e a s i b i l i t ya n a l y s e sa n dd e s i g nf o rt h es y s t e m a saw h o l e ，a n dt h ec o m p l e t ei m p l e m e n t a t i o nf o rr e l e v a n tm o d u l e s b e s i d e s ，t h e a u t h o rp r e l i m i n a r i l ys e t su pt h r e el e v e l sf o rk n o w l e d g ea n da b i l i t yo fc o l l e g e e n g l i s ht e s tb a n d4 & b a n d6 ，d e s i g n sc o m n l o t li t e mt y p ex m lf o r m a t ，a n d a c h i e v e si t e mp a r a m e t e r sd e f i n i t i o na n di t e mb a n kb u i l d i n g t h es y s t e mi sa n a t t e m p ta n dp r a c t i c eb a s e do nc o l l e g ee n g l i s ht e s tb a n d4 & b a n d6 i tw i l le n a b l e l e a r n e r st or e a l i z et h e i ro w ns t r u c t u r e sf o rk n o w l e d g ep o i n t s ，i m p r o v el e a r n i n g s t r a t e g i e s ，e n h a n c el e a r n i n ge f f i c i e n c y , s t r e n g t h e nl e a r n i n ga b i l i t ya n de n g l i s hl e v e l s ， t h u si th a saw i d er a n g eo f a p p l i c a t i o n sa n dp r a c t i c a ls i g n i f i c a n c e k e yw o r d ：e n g l i s h ，t e s tb a n d4 & b a n d6 ，p r a c t i c e ，d i a g n o s e ，t e s t 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：兰冬! 生i 釜签字日期：塑竺2 ：量：1 2 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 日公开口保密( 年) 作者签名：兰垡垒i 查导师签姜酗 签字日期：鲨望：! ：12签字日期：墨i ! ! 鱼! ! 企 第1 章绪论 1 1 背景与选题 第1 章绪论 传统的大学英语四、六级考试( 以下简称：“四六级 或“c e t 一4 、6 ”) 备考练习与测试，不具备真正的以学习者为中心的自我反馈、诊断反馈等功能， 不能对学习者学习活动进行较客观的评价，学习过程缺少适当的交互和及时的反 馈，使得当前四、六级复习与应考出现了占据大学生众多的学习时间，学习效率 的低下以及无法正确评估自身的学习效果与知识点的掌握等问题。相对应的是随 着当前网上学习资源的日益增多，使学习者能够正确评估自己的学习能力并在浩 如烟海的学习资源中迅速找到适应自己学习能力和学习风格的内容，并使学习者 在学习的过程中得到及时快速准确的反馈和评价，并根据反馈和评价及时调整自 己的学习步调。这已经成为一个优秀的网络学习资源应该达到的要求。 本文的诊断性自适应学习源于布鲁姆的诊断性学习评价，在此具体定义 为一种主动学习，学习者可以自主监控自己的学习过程，根据自己的实际需求， 针对薄弱环节，自主选择最适合自己的学习内容和学习策略。在自适应学习条件 下，学习不是一个被动的接受知识的过程，而是主动发现知识的过程。基于网络 的诊断性自适应学习就是在没有导学者的辅导和帮助下，使学习者自己在基于网 络的自适应学习系统中自主地通过与拥有智能组卷，自定义学习内容、学习策略、 学习评估等内容的学习系统各子系统的交互，不断的获取并分析反馈信息，了解 自己知识与能力点掌握情况，选择最适合自己的学习要素和学习风格，及时地控 制和调整自己的学习过程，以达到适应自己的最优化的学习目标。 大学英语四、六级考试作为对国内英语能力的一种权威评测考试，已经得到 人们越来越多的重视。基于网络的英语自适应学习系统可以很好的考虑到学习者 的个性差异，提供具有针对性的学习策略以及学习内容，能及时的诊断学习者的 能力级别和知识点掌握情况，分析原因并采取纠正措施，并评价学习者的学习行 为。相信这一应用能使得广大英语学习者更为有效的利用有限的时间来学习英 语，取得事半功倍的效果。 此外，本项目作为2 0 0 8 年安徽省高等学校省级教学研究项目课题“基于 网络的大学英语诊断性练习与测试系统的研发 的一个重要组成部分，该项目主 要研究内容为通过对大学英语知识点和能力点的分类研究、设计支持多媒体现有 各题型并具有一定扩展性的试题库数据结构、建立试题库试题指标体系和探索应 用项目反应等理论处理和分析学生学习记录等的研究工作的基础上，研发基于网 第1 章绪论 络的大学英语诊断性练习与测试系统，并计划在应用于我校大学英语自主学习过 程中，通过跟踪和调查系统的应用反馈信息，进一步修改和完善该系统，最终完 成具有一定诊断性的大学英语自主练习和测试系统。 本系统主要研究内容如下： 1 ) 根据布鲁姆的教育目标分类等理论，尝试对大学英语课程要求学生掌握 的知识点和能力点进行分类研究，并提炼出四、六级英语考试知识点分类。 2 ) 以经典测试理论为基础，结合相关学习理论，建立试题库试题指标体系； 3 ) 提出覆盖当前四、六级题型的通用题型模式，并具有很好的试题扩展性 x l d l 结构。 4 ) 根据试题涵盖的知识点、难度、题型等试题指标参数，提出自主选题、 自动组卷与练习的自适应的组卷算法，并加以实现。 5 ) 依据项目反应理论及认知诊断等理论，研究并提出根据学生的练习和测 试记录，分析学生英语能力级别和知识点掌握情况。 6 ) 以学习者所用试题为基础，对题库中试题进行统计分析，通过对试题的 改进与优化，保证试题合理分布与优化试题库建设。 本文系统采用b s 模式三层体系结构，应用n e t 2 0 0 5 框架，s q l 2 0 0 5 ，a d o 以及x m l 等计算机相关技术实现以学校校园网为基础的诊断性练习与测试、机 器阅卷及成绩统计分析等功能，作者主要负责1 、2 、3 、6 问题的研究，并参与系 统框架的设计与开发以及其中的部分模块的实现。 本项目的研究具有一定的理论和实践意义。首先，直接面向广大备考四、 六级的学生以及检查英语学习掌握程度的各类人群，使得本系统有很好的实用 性：其次，由于当前呼吁英语考试改革日益高涨，并且由于传统四、六级考试 的组织及实施上有诸多不便，使得本系统为以后四、六级在线考试做好准备； 再次，本系统覆盖当前所有的四、六级题型，并有良好的扩展性，以兼容各种 新题型；此外，在线练习与测试相结合，让学习者可以根据自己的个体差异( 如 知识水平或能力水平差异选择最适合自己的学习目标、学习风格、学习内容、 学习方式等) ，而且可以根据来自多方面的及时准确的反馈信息对自己的学习 状况做出比较准确的评估，并据此随时控制和调整自己的学习过程，最终达到 最适合自己个性的个性化学习。最后，在线诊断功能让受测者准确把握自身知 识点的掌握程度以及能力水平的认知，从而更好的评估学习效果。 1 。2 研究方法 本文主要采用了文献调研法、f 1 卷调查法、专家讨论、系统实践法等方法 2 第1 章绪论 来进行可行性分析与系统设计开发。 第一，文献调研法，对现有的各种英语在线练习与测试系统以及相关的理 论与实现进行调研研究，并予以比较。 第二，问卷调查法，由于对本系统的最后实施是针对广大四、六级考生与 英语学习者，所以对其进行问卷调查，以探讨本系统的可行性，也可以作为控 制组前测数据以备后用。 第三，专家讨论法，由于本系统设计到英语知识分类，以及试题诱导答案 及诊断、系统架构等相关问题，为此请教英语教学专家与系统设计相关人员， 其对本系统的设计完成起到了重要的作用。 第四，系统实践法，从可行性分析到系统设计，最终到实现，以及后续的 系统反馈与跟踪调查，都将体现理论的实际应用，并促进完善与优化本系统。 1 3 国内外的研究现状综述 随着计算机技术的不断提高与网络的普及使用，在线考试与练习系统的分类 有很多种。目前的考试系统基本上都是采用基于题库的系统，所采用的测量理论 为经典测量理论和项目反应理论，按照考试模式分为简单的自动组卷考试和自适 应( c a t ) 考试。国外如美国的思而文学习系统有限公司( s y l v a nl e a r n i n gs y s t e m i n c ) ，美国医护人员专业考试，美国飞机驾驶员( f a a ) 的考试等。此外，美国 教育考试服务中心( e t s ) 实行过的研究生入学考试( g r e ) ，以及信息行业中 的n o v e l l ，m i c r o s o f t 的能力测试。 国内的题库考试也在教育评估体系中发挥重要作用，并得到了长足的发展， 例如，高等教育基础学科系列题库、国家医学水平考试题库等，特别是自上世纪 九十年代初期开始，全国大学英语四、六级考试委员会一直致力于项目反应理论 年“计算机自适应测验 的研究和开发2 1 。练习系统根据运行环境不同可以分 为单机、局域网c s 与基于w e b 的b s 模式，而通过对国内外相关文献的调研及一 些典型系统的试用，发现当前介绍的在线练习与考试系统主要不足有下面几点： 1 ) 无认知诊断与反馈，即不能有效的针对薄弱环节进行自适应练习与自主 学习等。 2 ) 主要应用与在线考试，在线练习的系统不多； 3 ) 题型比较单一，大多只支持填空、选择与判断题型： 4 ) 目前尚无很好的四、六级在线练习与自测系统的开发与使用，当前使用 较多的是历年真题的自测； 5 ) 题库建设的不足，其中包含试题指标体系的建立以及试题库中的可用题 第1 章绪论 目数量。 1 4 研究目标与全文安排 大学英语四、六级在线诊断性练习与测试系统是基于当前的大学英语四、六 级考试，以校园网为基础的b s 架构，提供给学习者的在线诊断练习与自测，利 用当前流行的计算机相关技术、网络技术、数据库技术等，通过计算机进行身份 认证、智能组卷、在线练习与测试以及阅卷，评估学习效果等。学生的全部过程 都在计算机上进行，用于学生的网上练习及知识点自我检测，真正实现学习自主 化。教师可以通过阅卷点评与指导学生，更好的进行教学交互，由计算机自动或 在人工手工参与下完成试题的评阅，并能自动对试卷进行分析、数据统计，还可 以根据学生的薄弱环节对单项或者整个试卷进行智能化练习或自测。此外，该系 统可以提供给英语教师对题库进行管理与维护，通过试题管理，知识点管理、题 型扩展、统计分析等功能，可以有效的改进与完善系统题库建设，并更好的参与 学生的学习过程。 本文主要研究目标为： 1 ) 实现大学英语四、六级知识点分类，初步形成三级指标体系； 2 ) 建立题库试题指标体系，并对题库进行维护与管理； 3 ) 设计可扩展的试题x m l 与题型存储格式，满足题型扩展需求： 4 ) 系统可行性分析与设计； 5 ) 系统部分模块的具体设计与实现； 本论文总共分为绪论、在线诊断性练习与测试的理论基础、系统分析与设计、 系统模块设计与实现、以及课题的工作总结等共五章内容，具体各章内容简述如 下： 第一章讨论了课题研究的背景与现实意义、研究方法、国内外研究现状、研 究内容与以及目标等； 第二章主要对本系统所涉及的理论基础进行介绍，主要有布鲁姆教育目标、 心理与教育测量理论等，并阐述了与本文系统的联系与应用； 第三章对系统总体设计作相关介绍，主要包括用户需求分析、系统设计、系 统开发与相关技术以及用户用例及架构实现等。 第四章按照模块划分对本系统做进一步的介绍，主要模块有用户登陆、题库 管理、组卷与练习、评阅与反馈、统计分析以及系统管理等。 第五章本课题的工作总结，以及提出了进一步的研究方向与改进方案； 4 第2 章在线诊断性练习与测试系统的理论基础 第2 章在线诊断性练习与测试的理论基础 本章是全文系统教育测量相关的理论基础，首先，介绍布鲁姆的认知学习、 情感学习以及动作技能学习三个方面教育目标分类，然后根据认知学习分类为 基础具体介绍对大学英语四、六级考试知识点进行三级分类，这也是本文系统 的一个创新。再次，介绍了教育测量理论与试题指标体系的建立以及在线诊断 的实现，最后还介绍了项目反应理论与本文系统的学习者能力评估之间的关系。 2 1 布鲁姆的教育目标分类与大学英语四、六级的知识和能力分类 2 1 1 布鲁姆教育目标分类 布卢姆( b s b l o o m ) 等将教育目标分为认知学习领域、动作技能学习领域 和情感领域三个方面。每一领域由多个亚类别组成，子类间具有层次性。学习过 程由下层向高层发展，下层目标是上层目标的支撑m 1 。 认知领域的目标是指知识的结果，包括知识、领会、运用、分析、综合和评 价。布鲁姆等人于1 9 5 6 年完成的认知领域的教育目标分类学，从结构上分为知识 水平和高层次智能、技能水平两类。第一类基本上是指记忆而言的“知识”，第 二类则是与处理素材或问题的组织化的操作方法和一般化的技巧相联系的高层 次的“理智技能”和“理智能力 。认知学习领域的教育目标分类可具体概括为 图2 一l 所示： 六、评估6 2 依据外在标准评估 ( e v a l u a t i o n )6 1 依据内在标准评估 五、综合 5 3 推导抽象关系 理 ( s ) n a t h e s i s ) 5 2 制定计划与操作步骤 智 5 1 进行独特交流 能 四、分析4 3 组织原理分折 力 ( a 凹l 坤) 4 2 关系分析 与 4 1 要素分析 理 三、运用 ( 将抽象概念应用于特定的具俺情境中) 智 ( a p p l i c 羽d o u ) 技 二、领会2 3 推断( 预测趋势或顿向) 能 ( c o m l 删o n ) 2 2 解释( 说明或概括资科 2 1 转化( 复述和翻译) = ，知识 1 3 普遍原理与抽象概念的认识( 原理与概括，理论与结构) ( k n o w l e d g e )1 2 处理具体事物方式方法的知识( 惯例、趋势和顺序、分类和类别、准则、 知 方法论) 识 1 1 具体的知识( 术语的、具体事买的) 图2 1 布鲁姆认知学习领域的教育目标分类结构( 引自教育评估理论州) 第2 章在线诊断性练习与测试系统的理论基础 克拉斯沃尔( k r a t h w a l hd r ) 、布鲁姆等人又于1 9 6 4 年提出了情意领域的教 育目标分类学。它以解决一定的态度、价值观是遵循怎样的程序实现内化的为出 发点，通过分析从对某事物的注意、重视到确定它在自身态度、价值观中位置的 整个过程，系统地设定出该过程的检测评估点。情感学习领域的教育目标分类可 概括为图2 2 所示： 五、由价值或价值复台体形成的性格化 5 3 性格化 ( o u r a c t e r i z a t i o n b yav a l u eo f i l l l c5 - 2 品格形式 c o m p l e x )5 1 泛化心向( 般化态度) 四、组织4 2 价值俸系的组织 ( o r g a n i z a t i o n ) 4 1 价值概念化( 价值体系的建立) 三、价值评估3 3 信奉( 稳固的信仰) ( v a l u i n g ) 3 - 2 对某一价值的偏好 3 1 价值的接受 二、反应 2 3 乐蒽或两蒽日9 反理 ( g e s p o a d m g ) 2 2 愿意的反应 2 1 默 认的反砬 一、接受( ；! 主意)1 3 有控制或选择的注意 g e c e i v m g ( a n e n d i n g )1 2 愿意接受 1 1 觉察 图2 2 布鲁姆情感学 - - - j 领域的教育目标分类结构( 引自教育评估理论m ) 美国的安妮塔哈罗( a n i t aj h a r r o w ) 、伊丽莎白辛普森( e 1 i z a b e t h j s i m p s o n ) 从不同的角度来陈述动作技能领域的教育目标分类学的。哈罗女 士是以学龄前教育为“射角”，辛普森女士则以职业技术教育为“视点 。实际 上，相对于普通中小学来说，学前教育和职业技术教育则更多地关注受教育者 的动作技能的发展。下面以哈罗的学前教育视点来概括动作技能学习领域的教 育目标分类，如图2 - 3 所示： 六、有意沟通( 1 a t e a t i o n a lc o m m u n i c a t i o n )6 2 解释动作 6 1 表情动作 五、技巧动作( s k i l l e da c t )5 ，3 复杂适应技能 5 2 复合适应技能 5 i 简单适应技能 四、体能( p h y s i c a la t t r i b u t e ) f 而寸力 三、知觉动作( p e r c e p t i v ea c t ) 3 3 听觉辨别 3 2 视觉辨别 3 i 动觉辨别 二、基本一一基础动作2 3 操作动作 ( b a s i c b a s a la c o 2 2 非移位动作 2 1 移位动作 一、反射动作1 3 节上反射 ( r d i 删a c t ) 1 2 节间反射 i 1 分节反射 图2 3 哈罗学前教育目标分类结构( 引自教育评估理论m ) 6 第2 章在线诊断性练习与测试系统的理论基础 2 1 2 大学英语四、六级知识与能力分类 本系统采用了布鲁姆的认知学习领域的教育目标分类，将对知识能力认知层 次从低级到高级依次分为：了解、熟悉、掌握、运用、综合与评估等，并结合全 国大学英语四、六级考试大纲n 。8 1 ，将初步建立大学英语四、六级知识和能力分 类体系，该体系具体分为三级：知识能力类、知识能力面以及知识能力点。其中 第一级知识能力类包括：听力、阅读能力、词汇能力、语法能力、写作能力、翻 译能力和交际能力等，而从一级指标中再针对不同知识和能力相对应的题型又进 行二级指标划分，知识能力面具体为：听力能力下可分为理解中心思想与重要细 节、理解隐含的意思、借助语言特征理解材料；阅读能力下可分为理解中心思想 与重要细节、运用语言技能理解文章、运用阅读技能；词汇能力下可分为词类、 固定搭配、谚语、习语；语法能力下可分为时态、句子种类、其他等；写作能力 下可分为思想表达、篇章组织、语言应用、写作形式：翻译能力下可分为运用正 确的词汇和语法结构并按汉语、英语的习惯表达思想；而对于交际能力，是考察 学习者的口语交际能力，该项能力具体在口语测试中体现，在本文系统中不涉及。 最后，知识能力点三级分类是根据二级知识能力面的详细划分，具体介绍请参见 附录a 大学英语四、六级知识和能力分类体系。 由于该分类是本文系统题库试题的重要属性，也是实现智能组卷以及诊断学 习者知识与能力掌握的重要参数，但由于知识点分类涉及到英语教学领域与教育 目标评价等，并且有不少英语专家也在对尝试分类并进行效度与信度的研究1 ， 在这里不涉及此，这也是以后进一步完善本文系统的研究方向之一。 2 2 相关的心理与教育测量理论 当前，考试的指导理论主要有以下几种：以真分数( t r u es c o r e ) 理论为代表 的经典测试理论( c l a s s i c a lt e s tt h e o r y ，简称c t t ) 和以非线性的概率模型为代 表的项目反应理论( i t e mr e s p o n s et h e o r y ，简称i r t ) ，概化理论( g e n e r a l i z a b i l i t y t h e o r y ，简称g t ) 以及认知诊断理论( 又称为新一代测量理论t e s tt h e o r yf o ra n e wg e n e r a t i o no f t e s t s ) 。本文的试题指标体系主要还是沿袭了传统的教育测试 理论c t t ，对学习者能力值估算的则借鉴了项目反应理论，还有在线诊断使用 的认知诊断理论。 7 第2 章在线诊断性练习与测试系统的理论基础 2 2 1 经典测试理论( c t t ) 与题库试题指标体系 经典测试理论出现在2 0 世纪前半叶，并在2 0 世纪前期与中期处于主导地位， 主要特点是以真值理论为基础，以信度、效度、难度和区分度为指标。其基本假 设是考生的分数并非一个绝对的值，而是其真实能力或技能的反应与测量误差的 和，所以又称为真值理论n 0 1 。其数学模型包含三个基本假设：( 1 ) 在所讨论的范 围内真分数不变。个体具有恒定的特质，其量值确定。( 2 ) 误差是完全随机的。 3 ) 观察分数是真分数和误差分数的和。在这个假设的基础上延伸出来了信度、效 度、难度和区分度这些概念。另外在这个阶段，人们逐步建立并完善了测验发展 的标准化程序，通过标准化的程序提高所编制测验的信度和效度。由于经典测试 理论建立在较简单的数学模型之上，体系也最为成熟，概念直观、计算简便易被 人理解和接受，对于考试实践曾经起过非常大的指导作用，至今仍在很有领域有 其应用。 c t t 有以下的优点：建立在较简单的数学模型之上，易于被人理解和接受， 且计算简便，容易推广；理论假设较弱，对实施条件要求不严格，适用性广；在多 数情况下c t t 是足够精确的，可以放心地应用“。 大学英语考试作为一种教学考试创建于八十年代中后期，其目的是推动大 学英语教学大纲的目前大学英语四、六级考试主要还是依据经典测试理论，并 考核修完大学英语教学课程的学生英语语言水平。目前大学英语四、六级考试的 题库建设采用经典测验理论( c ，r r ) 数学模型，对题库中试题也有规范化要求， 以确保考试中公平、公正、保密等要求，今后将逐步过渡到试题反应理论( i i ) 数学模型，并在此基础上开发大学英语四、六级考试自适应计算机考试系统。本 文系统在题库中也基于经典测试理论来确定试题参数，建立试题指标体系，以适 应与满足当前四、六级考试需要，具体参数主要设置有：试题库归属( b a n k i d ) 、 答题时间( e s t i m a t e d t i m e ) 、分数( p o i n t ) 、级别( l e v e l ) 、题型( i t e m t y p e l d ) 、 区分度( d i s c r i m i n a t i o n ) 等。 2 2 2 项目反应理论( i r t ) 与学习者能力值估计 多年来，学校测试学生知识水平主要以c t t 为依据。它要求所有学生回答同 样数量和难度的题目，然后据此来比较和评判不同学生的分数高低和水平优劣。 但此种理论测试方法己不能完全满足使用者的某些需求，比如当学生遇到比自己 实际掌握知识能力高的题目时，他们只能靠猜测来答题甚至放弃：而水平能力较 高的学生遇到难度低的题目时，又不能真实测试出其实际能力，既浪费时间精力， 又可能因疏忽答错而出现分数误差这说明以经典测试理论为依据的知识能力测 第2 章在线诊断性练习与测试系统的理论基础 试，还不能真实反映出学生实际的能力和水平。从而自2 0 世纪6 0 年代开始，围绕 古典测量理论的一些问题展开的讨论促进了测量理论的新发展，最终导致了新的 测量理论的产生，即现在流行的项目反应理论。它不再以整个测验为考察对象， 而以项目( 试题) 为考察对象，并在此基础上去分析作为测验基础的项目与由它所 构成的整个测验的关系。项目反应理论的基本思路是确定考生的心理特质值和他 们对于项目的答对或答错反应之间的关系，这种关系的数学形式就是“项目反应 模型 m 郴1 。 项目反应理论( i r t ) 最大优越性在于测试系统可以主动适应受测者状况的 “因人施测 问题。试题参数的估计独立于被试样本，而能力参数的估计又独立 于试题样本。也就是说，项目反应理论中的这些参数具有不变性，它们不随被试 的样本而变化，从而提高了测试效率和测试效度，以及避免了测试过程中被测能 力与题目难度的密切关系。理论中最常用的是拉希模型、双参数和三参数逻辑斯 蒂( l o g i s t i c s ) 模型，运用极大似然法或贝叶斯方法来估计项目的参数难度一区 分度和伪随机参数。 此后随着计算机技术的不断进步与发展，计算机测试系统也层出不穷。其 中的计算机化自适应测试是建构在项目反应理论( i i 玎) 基础上的，从题库的建 设、参数的估计到试题的选择再到最后的评分，都是以此为指导进行的。由于 理论分析和实践经验都证明，只有当题目难度跟受测者水平相适应时，题目所 提供的信息量才最大，受测者的积极性最高，误差最小，测试效度才会最高。 c a t 的核心思想是：系统会根据答题情况不断计算受测者的能力值及信息量， 并实时地根据这些参数调整出题策略，选取与受测者能力相对应的试题，最终 给受测者的能力与特质一个恰当的评价。 本文系统目前没有采用该方法进行练习与测试，以保证与当前的英语考试相 适应，但是由于当前呼吁的英语教学与考试改革，我们相信不久的将来英语考试 也朝计算机自适应考试的方向进行。由于自适应考试要求在答一题后立即呈现下 一题，对系统性能与效率、题库试题参数要求都比较高，当前还不足以满足完全 自适应化练习与自测。但是我们构想拟用该方法评估学习者初始化能力值，即在 学习者首次使用本系统时，会有三种方式为学习者提供练习与自测，即自定义能 力级、根据最近的历史学习记录定能力级、以及自适应测试定能力值，系统会随 机抽取一组题目测试，根据受测者的答题结果利用极大似然法初步估计其能力水 平，由于复杂度及信度等因素，本文系统拟采用二参数逻辑斯蒂( l o g i s t i c s ) 模 型。 在实际中i r t 也有一些不足与缺点也制约影响了其使用与推广，譬如目前 的大多研究都是一维模型，而实际测试中多维模型较为普遍，其数学模型较为 9 第2 章在线诊断性练习与测试系统的理论基础 复杂，假设条件也较为严格，以及对题库的要求比较高等。 2 2 3 认知诊断理论与在线诊断 经典测验理论、项目反应理论、概化理论是当前心理和教育测量领域的三大 测量理论，它们的共同特征是把心理量或“潜在特质”视为单纯的“统计结构， 而不具有实质心理学的内容，这显然不能与时俱进。测量学要跟实质心理理论、 计量模型要跟认知模型相结合，创建出新一代测量理论，即认知诊断理论n 们。 当今人们已不满足于给学生一个简单的测验分数或能力，他们更希望测验能 够提供诊断信息，能够报告学生的认知结构( 即学生掌握了哪些知识点，哪些知 识点未掌握而需要补救) ，这就是认知诊断。认知诊断的目的在于根据考生对考 试题目的反映模式，将传统的单一考试分数转化为考生对试题中所涉及的认知过 程与技能的掌握概率该理论关注的主要问题是：被试在特定考试中所采用的认知 过程( c o g n i t i v ep r o c e s s ) 和知识结构( s t r u c t u r eo f k n o w l e d g e ) 是什么：这些认知过 程与知识结构在考试中是如何被运用的：高能力被试与低能力被试在考试中有何 不同。广义的认知诊断指建立起观察分数和被试的内部认知特征之间的关系。这 种认知诊断既包括在心理学理论建构中的应用，也包括在教育教学领域中的应 用。在心理学理论建构中，认知诊断是作为一种研究方法出现。狭义的认知诊断 即教育领域中用到的认知诊断的内涵。把认知与测量结合起来，不仅对学生的整 体水平做出评估，同时对学生的认知结构模式化，利用合适的计量模型进行诊断， 定量地考察学生的认知结构和个体差异。这种对认知结构有诊断功能的计量模型 被称为认知诊断模型。就己开发应用的这些模型看，认知诊断的测量学模型有两 个基础性的模型n ，一个是f i s h e r ，提出的线性逻辑斯谛克特质模型( l i n e a r l o g i s t i ct r a i tm o d e l ) ，另一个是t a m u o k a 等提出的规则空间模型( r u l es p a c e m e t h o d o l o g y ) 以及在此基础上的m i s l e v y 以概率为基础的推论( t h ep r o b a b i l i t y b a s e di n f e r e n c e ) ，c o r b e t t 和a n d e r s o n 等人的学生思维模拟( s t u d e n tm o d e l i n g ) 以及 b r i t t o n 和t i d w e l l 的认知结构诊断( c o g n i t i v es t r u c t u r et e s t i n g ) 等。不同的模型 是针对于不同的测验分析实践开发的，有了模型之后，就可以在相应的应用对象 上进行测验分析了。如t a t s u o k a 等将规则空间模型用于小学数学测验的认知诊断 分析中。 考试更重要的价值在于诊断，因为考生对试卷的反应中包含着丰富的信息， 充分挖掘这些信息对学生学习和教师进行有针对性的指导至关重要。认知诊断是 认知心理学和心理测量理论的结合，它广泛结合了当前认知心理学与教学心理学 的研究成果。对学业成绩的评价，超越了单独的分数评定或能力指标，能够挖掘 深层信息，对学科能力做出具体解释。认知诊断模型的研究可以为教师的教学实 l o 第2 章在线诊断性练习与测试系统的理论基础 践提供指导依据，帮助教师识别学生特质，为教师提出补救措施提供依据，有利 于开展有针对性的教学与辅导。因此，认知诊断可以为新课程改革所强调的素质 教育提供有力的评价和诊断工具，具有极大的应用价值与前景。 本文系统设计的出发点就是可以针对学生以前的练习与自测记录，反馈给学 习者在某个能力级别上的知识点掌握程度与不足，从而有效的避免了盲目学习与 过度学习的弊端，改进学习策略，提高学习效率。由于本文题库已在试题与知识 点建立对应关系，可以保证学习者在练习与自测后不仅可以得到成绩，还可以得 出相关的知识点反馈。但由于目前主观题还是采用人工阅卷，教师可以对该学习 者的知识点掌握范围与程度进行解析，并反馈给学习者。就目前的研究现状来说， 认知诊断至今并没有得到很普遍的应用，主要原因有认知心理学的研究在测试领 域的可操作性不强，很难开发出实用有效的认知诊断模型，心理学与测量学的沟 通与结合等钉。 2 3 本章小结 本章首先介绍布鲁姆的教育目标分类，然后基于该理论尝试对大学英语知识 和能力进行分类，建立了大学英语四、六级知识和能力三级分类体系，该分类是 题库试题的重要属性，也是系统中只能组卷与诊断反馈的重要参数；其次介绍了 心理与教育测量相关理论，主要有经典测试理论、项目反应理论以及认知诊断理 论等，并具体介绍了这些理论之间的联系及在本文系统中的具体应用，即通过经 典测试理论建立试题指标体系，项目反应理论评估学习者能力级别以及认知诊断 在诊断反馈中的使用。 第3 章系统分析与设计 第3 章系统分析与设计 本章首先在应用上述的测试相关理论基础上综合文献调研、问卷访谈、专 家讨论以及技术方案等方式进行系统可行性分析，并提出系统功能需求分析及 系统性能要求，然后介绍了设计本系统的相关技术，并最终完成了系统设计， 以及相应系统用例。 3 1 系统需求分析 在本系统的可行性分析上，我们综合了文献调研、问卷访谈、专家讨论以及 技术方案等方面的要素，在结合实用性与可行性等方面而提出设计了本系统，其 主要应用对象是广大备考四、六级的考生，目的是减轻当前四、六级考生普遍面 临的耗费时间长、复习量大，并解决提高复习效果、改进自主化学习过程和增强 实时反馈等问题。具体实现为基于b s 模式，用户登陆经身份验证后进入相应的 功能模块，学生可以在计算机上进行练习或者自测的全部过程，并由计算机自动 或人工干预下完成试题的评阅，并可反馈给学生知识点的掌握程度与数据的统计 分析等，并让学生可以更灵活方便、易管理、且安全高效的进行自我练习与检测。 文献调研在1 3 节己分析，其次，系统可行性问卷的设计格式与内容如附录b 所示，此次问卷主要是现场访谈、问卷两种方式，参与人数共有3 7 人，其中l o 人未参与四、六级考试，而2 7 人参与了四、六级考试，并且其中的1 7 人通过了六 级，经过对问卷作答的归纳与汇总，可以得到其与传统的四、六级备考复习方法 有如下的比较分析结论，具体如下表3 1 所示： 表3 - 1 问卷作答结果比较分析 卦； ”t 啊滞二f 翮： o：鼍托7 斗，毒呼警j ，7 ，噼j ：哥，鼍：窖。1 一。，鼍4 ：f j r 、iv 。? _ 渤 莠比较参数i ，传统复习方法- _ j 在线诊断性练习与自测_ 0 ，_ 聃“甜o ，建。- 7 _ 盎x o ；谊j ；三l 搿；，缸毋张 r i f 知卜：，、，：tr ，i 7 毒叠 = _一中o 效率性较低 较高 实用性 一般较好 方便性 方便 不太方便 交互性 无 很好 目的性 语感、模拟 提高水平 第3 章系统分析与设计 再次，通过与有关英语教学专家讨论，有以下结论： 系统设计比较新颖； 如果可以实现四、六级所有题型则很实用： 可以尝试部分主观题自动阅卷； 最后，关于技术方案在3 2 节具体分析。 3 1 1 功能需求分析 在经过可行性分析后，将本系统主要功能性需求列出如下： 1 、户管理和权限控制： 2 、大学英语四、六级知识点指标体系的管理与可扩展性； 3 、系统