（计算机应用技术专业论文）测试互操作标准及其一致性研究.pdf

硕士学位论文 摘要 测评在学习过程中起重要的评测反馈作用，是e l e a r n i n g 中的关键部分。然 而现有测评系统中试题资源缺乏统一的格式，各系统具有各异的体系结构，严重 阻碍了学习对象的重用和系统的互操作，解决这些问题的根本出路是制定相应“测 试互操作标准”( 简称为c e l t s 1 0 ) 。我对c e l t s 1 0 做了大量的研究和制定工作， 本文即是对此工作的总结。 在i e e e 等工作的基础上，本文深入研究教育信息化技术标准体系，通过分类 给出体系中所包含的子标准及其内在联系；通过重定义维护阶段，改进标准演变 模型，使之能够容纳新技术的变化：为使标准制定具有可预见性，提出信息化技 术标准制定步骤和方法，严格地规范了标准开发过程，为c e l t s 1 0 标准提供了重 要的质量保障。 本文利用e t s 提供的测试系统框架模型，基于试题重用和系统互操作的终极 目标，充分考虑标准的功能性，采用面向对象和形式化技术，将组成试题的素材 封装成有机联系的数据对象，提出c e l t s 1 0 的抽象概念模型试题对象模型。 在概念模型的基础上，应用x m l 技术将其映射为可互换的层次嵌套结构，提出 c e l t s 1 0 的语义a s i 互换数据模型，并给出互换模型的x m l 编码绑定。综合 上述工作内容，编制完成c e l t s 1 0 标准，从而增强试题资源的互操作性、重用性、 长期性、可获得性和可靠性。 为印证c e l t s 1 0 标准的合理性和可行性，本文结合具体范例说明制作遵循 c e l t s 1 0 标准试题的x m l 绑定方法，并开发标准实证系统a s i 生成器，该系 统不仅增加了本文对标准本身的理解，为编写标准的实践指南提供了一定的依据， 而且也为标准的推广和修订提供了实践的素材。 本文最后提出针对c e l t s 标准的一致性测试框架结构、业务流程和技术方法， 并开发c e l t s 1 0 一致性测试系统和测试平台，以验证标准实现同标准要求的符合 程度，从而避免用户对采用自然语言描述的标准存在理解上的偏差。它是用来保 证标准实现的正确性和有效性的重要手段。 关键词：e l e a r n i n g ； 标准：互操作； 试题；评估；一致性测试 测试互操作标准及其一致性研究 a b s t r a c t a s s e s s m e n t s p e r f o r ma ni m p o r t a n tt e s t i n ga n df e e d b a c ke f f e c t si nl e a r n i n g ，a n di t i st h ei n d i s p e n s a b l ym o d u l eo fe - l e a r n i n gs y s t e m s b u tn o wt h el e a r n i n gr e s o u r c e s c a n tb es h a r e dc o n v e n i e n t l ya n dt h el e a r n i n gs y s t e m sc a nn o ti n t e r o p e r a t ew i t he a c h o t h e re f f i c i e n t l yd u et ot h el a c ko fu n i f o r mf o r m a ta n dt h ed i f f e r e n c eo ft h es y s t e m s s t r u c t u r e s t a n d a r d i z a t i o ni st h eb a s i cs o l u t i o nt oa d d r e s st h ea b o v e p r o b l e m s i nw h i c h ih a v et a k e ng r e a te f f o r t st ob r i f i gf o r w a r d “q u e s t i o n t e s ti n t e r o p e r a b i l i t ys t a n d a r d ”， t h i sp a p e ri n t e n d st os u mu pm y p r e v i o u sr e s e a r c h e so nc e l t s 1 0 o nt h eg r o u n d so fe f f o r t st a k e nb yi e e ea n do t h e re n t i t i e s ，t h i s p a p e rs t u d i e s d e e p l ye - l e a r n i n gt e c h n o l o g ys p e c i f i c a t i o n sa r c h i t e c t u r e ，a n di m p r o v et h es t a n d a r d s l i f ec y c l em o d e lb yr e d e f i n i n gi t sm a i n t e n a n c ep h a s e w h i c hm a k et h es p e c i f i c a t i o n s k e e pp a c e 、v i 也n e wt e c h n o l o g y t h i sp a p e rp r o v i d e st h es t e p so fb u i l d i n gs u c c e s s f u l s p e c i f i c a t i o n s ，w h i c hs t r i c t l ys p e c i f yt h e s t a n d a r d s d e v e l o p i n gw o r k f l o w s ，s ot h a t r e s o u r c e sa r eb e s tu t i l i z e da n ds c h e d u l i n go fs t a n d a r d sd e v e l o p m e n tc a l lb em o r e p r e d i c t a b l e t h eg o a li st og u a r a n t e e t h es t a n d a r d s q u a l i t y b a s e do nt h ee s s e n t i a lm o t i v eo fr e u s ea n di n t e r o p e r a b i l i t y , t a k i n gw e l li n t o a c c o u n tf u n c t i o n a l i t y , t h i s p a p e ra p p l yo b j e c to r i e n t e da n df o r m a lt e c h n o l o g yt o c o m p o s em a t e r i a l s i n t od i f f e r e n t o r g a n i c d a t ao b j e c t so nu s i n gt h ef o u rp r o c e s s f r a m e w o r k p r o p o s e db y e d u c a t i o n t e s t i n g s e r v i c e t h i s p a p e r t h e n p r o p o s e s c e l t s 1o sa b s t r a c tc o n c e p t u a lm o d e lw h i c hi sc a l l e dt e s to b j e c tm o d e l a n dt h e s e m a n t i c so fc e 【j s 1 0b ym a p p i n gt h ec o n c e p t u a lm o d e li n t oe x c h a n g e a b l ex m l s c h e m aw h i c hi sn o m i n a t e da s il o g i c a ld a t as t r u c t u r e ，a sw e l lp r o v i d et h ex m l b i n d i n gm e t h o do f a s is c h e m aa n dt h eb i n d i n gi n s t a n c e s ic o l l i g a t ea b o v ew o r kt o c o m p i l et h e q u e s t i o n t e s ti n t e r o p e r a b i l i t y s t a n d a r d ”w h i c h n o w p r o v i d e a m e c h a n i s mf o rt h ea p p r o p r i a t ev e n d o ra n dc o n t e n ts u p p l i e rs y s t e m st oe x c h a n g e q u e s t i o na n dt e s tm a t e r i a i s n l ec e l t s 1 0d e s c r i b et h ed a t as t r u c t u r e st h a tu s e dt o p r o v i d ei n t e r o p e r a b i l i t yb e t w e e nq u e s t i o n a n dt e s ts y s t e m t l l i sp a p e r p o i n t so u t t h ea p p r o a c ht oa u t h o rt e s tc o n f o r m i n gw i t hc e l t s 1 0b ya t y p i c a le x a m p l e ，a n dc o m p l e t e s t h ep r o o f s y s t e mn a m e d a sa s c r e a t o rf o rt h es a k eo f v a l i d a t i n g t h eu s e f u l n e s sa n dr e a s o n a b l e n e s so fc e l s t 107 s t a n d a r da n dp r o v i d i n g s e v e r a ls p e c i f i ce x a m p l e si nt h ep r o m o t i o np r o c e s s ，w h i c hi sh e l p f u lt oc o m p i l et h e “p r a c t i c eg u i d eo fc e l t s 1 0s p e c i f i c a t i o n ”a n dg i v et h eu s e r sg u i d a n c ef o rt h e a d o p t i o na n di m p l e m e n t a t i o n o f t h i ss p e c i f i c a t i o n w i t ht h em o t i v a t i o no fp r e v e n t i n gu s e rf r o md i f f e r e n tu n d e r s t a n d i n go nt h e n 硕士学位论文 s t a n d a r dw r i t t e n i nn a t u r a l l a n g u a g e ，t h i sp a p e rp r o v i d e s c o l 幅o r m a r l c e t e s t i n g f r a m e w o r k ，e v e n tf l o w sa n dt e c h n o l o g i c a lm e t h o d o l o g y ic o m p l e t ec e l t s 1 0 c o n f o r m a n c et e s t i n gs u i t e sa n dt e s t i n gp l a t f o r m ，w h i c hv e r i f yi m p l e m e n t a t i o n so fa s t a n d a r dt od e t e r m i n ew h e t h e ro rn o td e v i a t i o n sf r o mt h es t a n d a r d i ti n c r e a s e s p r o b a b i l i t yt h a tp r o d u c t sa r ei m p l e m e n t e dc o r r e c t l ya n dl i k e l i h o o do fp o r t a b i l i t ya n d i n t e r o p e r a b i l i t y k e yw o r d s ：e l e a r n i n g ；s t a n d a r d ；i n t e r o p e m b i l i t y ；t e s t ；a s s e s s m e n t ； c o n f o r m a n c et e s t i n g i i i 湖南大学 学位论文原创性声明 本人郑重声明：所卫交的论文是本人在导师的指岢| 、独立进行研究所取榴 的研究成果。除了文中特矧j d r l 以标注引用的内容外，本文不包含, f - r f , , 7 其他个人 或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：尹句勇 日期：2 口衫年厂月三角 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密回。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 钩谚 弗料 日期：加乒年j - - ：习狮 日期：砌鲈年厂月柏 硕士学位论文 = = = = ! = = = = = ! g ! = ! = ! = = = = ! = = = = = = e = = = ! = ! = = = = = e ! = = = = = ! ! = = = ! = ! ! 第1 章绪论 本文的主要研究对象是“测试互操作标准”。标准化是学习资源共享和系统互操 作的根本保障l l 叫。本文首先介绍了包括“测试互操作标准”在内的教育信息化技术 标准体系，指出“测试互操作标准”的范围、目的以及同其他标准之间的关系等。然 后本文从研制、开发试题标准的角度出发，沿其研制过程提出标准研制的方法和步 骤，并在这些方法和步骤的指导下，分析了试题互用和题库系统互操作的关键数据因 素，采用面向对象和形式化技术，将这些数据有机地组合成相互联系的不同数据对象， 形成“测试互操作标准”的概念模型；在概念模型的基础上，利用x m l 技术映射为x m l 层次结构，提出“测试互操作标准”的语义模型，并进行了该语义模型的编码绑定。 同时。设计实现了两大支持系统：“标准实证系统”和“一致性测试系统”，一方面用 于验证标准的正确性和通用性，另一方面有利于标准的推广与应用，保证系统间的互 操作。 1 1 课题的项目背景 1 1 1 项目来源 本文得到“练习n 试互操作、终生学习质量描述、任务模型、用户界面等标准 研究”项目的支持。该项目是“面向2 1 世纪教育振兴行动计划中央财政专项，现 代远程教育工程，标准化研究制订与标准化网站建设( 教技司 2 0 0 1 6 4 号) ”的子项 目。本文的研究是在湖南大学网络教育技术工程中心与清华大学、北京大学、华中科 技大学等全国重点高校共同承担的国家教育部网络教育标准软课题研究的背景下进 行的。该课题的研究目标是建立在全国范围内的网络教育资源规范标准，主要是参照 了i e e e1 4 8 4 规范、i m s 规范和i s 0a l i c 规范等。 作为全国教育信息化技术标准委员会成员中八所重点大学之一，湖南大学负责制 定了四项重要标准，其中经过近4 年开发的“测试互操作标准”于2 0 0 3 年1 月2f 1 正式成为2 0 0 3 年度国家标准计划项目，进入国家标准审定程序，标准任务号为 “2 0 0 2 2 0 1 2 一t 一3 6 0 ”，2 0 0 4 年3 月2 3 日顺利通过标准评审，报请国家标准化管理委员 会备案后即将成为国家标准( g b ) ，已经加入国家标准的行列。 1 1 2 研究背景和发展现状 随着计算机羊网络的技术广泛应川，e 一【e a r n i n g 打破了传统教学时问和空m 限 制，以丰富的教学资源、灵活多变的教。学形式和先进的教：学理念为人们提供了另种 测试互操作标准及其一致性研究 受教育的方式，e l e a r n i n g 是当今国际国内教育发展新的生长点，也是现代教育技术 的主流发展方向1 2 】。由于e l e a r n i n g ，特别是基于i n t e r n e t 的远程教育，具有地域 广泛性、技术复杂性、文化多样性等特点，使得大量的网上学习资源难以实现共享， 不同的学习系统也难以互相沟通。虽然现行的网络技术已为学习资源在低水平上的自 治与共享( 例如通过h t t p 和h t m l ) 、学习活动的合作( 例如通过各种网上通信工具) 提供了基本技术条件，但是允许学习资源在课程知识和教学管理水平进行交换的标准 却没有很好地认定，妨碍了网上资源的大范围共享与交流。 计算机辅助测试在知识、技能和能力的培养周期中具有重要的反馈功能，为 e l e a r n i n g 学习环境中的学习成效的评测提供保证【】。然而作为网上测评系统基础 的现有题库系统存在很多缺陷：首先，没有统一的标准格式，严重依赖于特定的学习 支持环境和教学平台，各系统间不能实现有效的资源共享，导致低水平重复开发和系 统的封闭运行，题库的修订和校正缺乏数据基础，难以提高整个题库的数据质量；其 次，同一试题资源只能用于一种教学目的，如应用于高考的选拔性试题就不能应用于 需要提供多种反馈和提示的技能培训中，这种单一、特定的教学用途，妨碍了试题的 互用、重用等特性；再次，试题内容难于修改，难以应用于不同的学习场景，如需重 新排列选择题各选项的顺序，则必须构造新的试题，造成工作的重复和浪费：第四， 描述试题属性的信息元素不一致、不统一，不支持可扩展性，不利于试题的互操作， 造成资源浪费。 解决这些问题的根本出路是制定教育信息化技术标准，用标准化办法保障网上学 习资源共享和系统互操作【2 】。标准化是信息化的前提和保证，通过开展信息技术标准 化，可以将信息技术中复杂、多样、无序的事物或概念转变为简单、少数、有序的事 物或概念，在一定范围内达成某种共识，满足社会经济发展的需要，实现资源共享。 开展信息技术标准化，可减少教育资源浪费与制作成本，避免低水平重复开发，增强 资源的互操作性、重用性、长期性和可获得性，有助于改进产品的安全性、通用性和 可靠性，从而获得巨大的社会效益和经济效益。 重用( r e u s e d ) 是指一个学习对象可被多个学习系统利用，也指一个学习对象 可被一个学习系统多次利用：互操作( i n t e r o p e r a b i l i t y ) 是指多个系统及组件之间能 够交换、使用彼此的信息，互操作是重用的特殊形式【2 吲。世界各国在发展教育信息 化时深刻认识到，学习资源的可重用性和互操作对于学习系统的实用性、适用性和经 济性都具有决定性意义，因此国际上有很多企业机构和学术团体致力于教育信息化技 术标准的研究与丌发，并且已经产生了一大批标准化成果。 国际电t 和电子工程师协会( i e e e ) 成立学习技术委员会( l t s c ) 专门从事与学 习技术相关标准的制订j 作，并初步形成了p l ，1 8 4 x 系列厩范 ：美国航空工业辅助 训练委员会( a i c c ) 从侵辟| 者角度提出c m i 土见范，希望依此舰范所歼发的软件，能不 因汁算机软硬件环境改变而失效，并能在不同的学习系统巾使刚l io l ；荚国国防部为提 2 硕士学位论文 高士兵的素质启动了高级分布式学习计划( a d l ) ，通过整合已有学习技术规范，提出 可共享学习内容模型( s c o r m ) ，促成学习对象的模块化、可再用性、可互通性与耐久 性【；全球学习联合公司( i m s ) 【旺疑出了一系列的学习系统技术规范，包括学习资 源元数据规范f 1 3 】、内容包装规范【1 4 1 、企业规范、学习者信息规范【1 6 1 和问题测试规 范等；国际标准化组织( i s o ) 于1 9 9 9 年成立了一个j t c l s c 3 6 委员会【1 7 l ，专门 从事学习、教育、培训技术标准的征集、修订和批准工作，t e e el t s c 的i e e e l 4 8 4 标 准将提交给i s o j t c i s c 3 6 ，使之成为国际标准；微软开发了基于s c o r m 的学习对象 互换系统l r n 剐等。 我国在教育部的直接倡导下，于2 0 0 1 年成立现代远程教育标准技术化委员会 ( d l t s c ) ，负责我国学习技术领域标准的起草、制定工作。通过跟踪国际相关研究， 结合我国教育实际，在湖大、清华、北大、北师大等的共同努力下，以国际国内现代 远程教育的大发展与大竞争为背景，以促进和保护我国现代远程教育的发展为出发 点，以实现资源共享、支持系统互操作、保障远程教育的服务质量为目标，根据我国 教育实际情况，经过两年多的不断勘正和修订，相继推出了不同标准的讨论稿、征询 意见稿、送审稿、报批稿等不同版本，最终形成具有我国特色的c e l t s x 系列标准， 对我国网络教育的良好发展提供了良好的技术保证，由于工作出色，经国家标准化管 理委员会批准，本委员会正式成为全国信息技术标准化技术委员会( 见国家标委办 【2 0 0 2 】5 9 号文) 之教育技术分委员会( c e l t s c ：c h i n ae l e a r n i n gt e c h n o l o g y s t a n d a r d i z a t i o nc o m m i t t e e ) ，委员会的工作范围是教育领域信息技术的标准化及远 程教育应用技术的标准化，今后凡涉及与我国教育信息化相关标准( 不包括教学设备 仪器) 的制定与应用推广工作将统一由本标委会负责【l9 】。本文提出的“测试互操作标 准( c e l t s 1 0 ) ”就是为满足学习系统中试题的互用目的而提出的一项教育信息化技 术标准。 然而，标准文档本身并不能满足互操作性的要求，因为标准文档基本上是使用自 然语言描述的，存在着很大的二义性和模糊性，表现为标准要求的叙述过于简单或过 于复杂而难以理解、例外处理没有定义等，用户对于标准的不同理解会导致不同的标 准实现，其产品的某些性能要么偏离标准，要么是标准的一个子集，甚至有时会是错 误的实现。这些与标准要求的不同程度的不一致，使得不同产品问的通信不能正常工 作，因而产品在推向市场之前未经对其呈现于外部的性能进行一致性测试，其互操作 可行性是很低的。一致性测试就是运用测试套件来验证标准的某一实现实体，以决定 该产品是否与标准内在需求相一致的过程1 2 0 l 。一致性测试是确保基于标准的产品能正 确实现的一个途径，他可以提高产品的性能、互操作性和市场竞争力。本文实现了基 于形式化标准语言的一致性测试系统，为用户提供了公正地比较不同评估系统、工具 和内容等的机制和途径。教育信息化技术标准的制定工作才刚刚起步，c e l t s 1 0 是我 国第一批报请国家标准的技术规范，大部分标准还处于研制阶段，本文对教育信息化 测试互操作标准及其一致性研究 = 。! = s = ! ! = = ! ! = = = = = = = = j g = 2 = 。= = = = ：! ! = = = ：! ! = ：= ：! ! 技术标准的一致性测试工作做了首次的探索、研究。本文指出了一致性测试的组织、 流程和方法技术，设计实现测试互操作标准一致性测试系统。 1 2 研究目标和范围 本文围绕“测试互操作标准”的研制过程，阐述开发不同阶段产生的成果，以此 介绍本文在该方面工作所做的贡献。 1 2 1 测试互操作标准简介 由于目前试题表示结构的多样性、试题的元数据描述缺乏可扩展性、支持的题型 范围各异等原因，计算机辅助测评系统( c a a ：c o m p u t e r a s s i s t e d a s s e s s m e n t ) 面i i 缶试 题资源的独享性和系统的封闭运行性等问题，形成一系列的信息孤岛，一方面不利于 高质量试题的重用，另一方面也阻碍了产业化、市场化前进的脚步。基于此，本文研 制了c e l t s 1 0 标准。该标准的核心目标是为用于远程学习的不同系统提供具有互操 作性的测试数据块【2 1 。 c e l t s 1 0 不是用于指导如何构建一个软件产品，它主要是定义一个支持内容开发 者和服务提供者协同合作、相互通信( 即：互操作) 的数据模型。因此在该标准中， 本文期望的结果是用户如果基于该数据模型开发了一个高质量的内容开发工具，该用 户就可以自由地选择其他用户基于同样标准开发的内容分发等相关工具，而所选择的 工具能同自己歼发的工具达到无缝连接，最终可以灵活方便地组装成满足用户应用需 求的系统。该标准解决了“怎样获得互操作性”的问题，如图1 1 所示。 图1 1c e l t s 1 0 标准互操作示意图 有上图可知，各种散乱、不规则的数字信息按照c e l t s 1 0 标准提出的参考模型 组织成标准学习对象模块，以使得开发系统、测评系统等应用系统可以直接重用、互 用不同来源的数字信息，不同用户问或不同系统间就可以互用试题数据。 c e lr s 1 0 定义了能在不同测评系统间互操作的试题数拼j 模型，其核心数据结构就 是评估( a s s e s s m e n t ) 、节( s e c t i o n ) 和题项( i e m ) ，取各结构块的茸字母也称为 s i 信慰、模型，浚模型具有广泛支持这种题型的能力同时允许扩展以支持未来适当 的特性。山于c e l t s 1 0 标准 i 备可扩展性和广泛的适用性，能引导埘其感兴趣的备 方人员一】：动f r 献时间与业知u l f 标准的制定一h 从i 砸逐步完善了测试互操作标准。 4 硕士学位论文 本标准不对产品设计需具备的特定用户界面、应用范例或任何创新的设计方针等方面 进行限制。标准工作小组在制定标准时，已经将目标放在能成为国际共通标准，目标 市场包括基础教育，中学教育、大学教育、军事训练、技能培训等领域，因此标准的 通用性、扩展性、灵活性相当重要。 1 2 2 测试互操作标准主要特性 为便于清晰、正确地认识测试互操作标准，现列举标准的主要相关特性如下： 1 ) c e l t s i 0 支持互操作，支持交叉检索、发现和重用，描述系统间“如何交互”， 而不定义系统“如何实现”。不是用于指导或约束测评系统、题库系统等的下部构 造的具体设计开发，也不是测评系统等具体应用的标准化，更不是试题库资源建 设的标准，本标准不定义测评系统的内部结构、功能、性能、数据库等技术实现 细节，不涉及试题的存储、处理等问题。本标准定义了一个保证系统间互操作性 的概念模型，提供了标准实现实体相互通信的机制，允许系统以他们自己的方式 存储数据，但是以能够导入导出c e l t s i 0 格式定义的试题为前提。 2 ) c e l t s i 0 是技术标准，具有教育学无关性。标准关注提供系统互操作的技术，而 对试题的教学目标、涵盖的知识点、试题的难度、测试的区分度等教育学内容不 感兴趣。测试互操作标准是使用信息技术提供的手段解决教育信息化面临的问题。 3 ) c e l t s 1 0 概念模型和绑定相分离，也就是说，数据模型是一个语义层的概念模型， 没有涉及任何与编码、a p i 等实现相关的问题。通用语义模型的确立，保证了学 习对象的不同绑定之间有较好的语义互操作性。模型没有对绑定问题做出规定， 也就是在实现阶段给了用户更多的自由； 4 ) c e l t s 1 0 支持试题的快速开发，提供一种交换试题信息简单灵活的基本格式，易 于使用；通过试题重用，可以高效、高质制作试题； 5 ) c e l t s i 0 是开放的，开放的) ( m l 文件格式易于脚本及数据库工具的访问。标准的 开放性意味着更多支持该标准的工具将被开发。 1 3 论文的主要工作 本文将阐述为支持测试数据的互换、支持各类题型、支持可扩展性、支持用于标 准一致性测试的工具、支持低费用开发、支持高性能的学习系统等方面所做的工作， 主要对以下问题作了研究与探讨： 一、教育信息化技术标准体系及其标准开发方法的研究与实践 1 ) 给出教育信息化标准体系所涵盖的子标准项目及其相互之间的关系：由于标准是 一种成体系的技术文件，各有关标准之间有着广泛的内在联系，各标准之问只有 相互协调、相辅相成，才能充分发挥标准系统的功能，获得良好的系统效应。标 测试互操作标准及其一致性研究 准体系也使开发者能全面理解c e l t s 1 0 标准与其他标准的关系。 2 ) 提出学习技术领域研制互操作性标准的开发方法：本文对教育信息化技术标准研 制的方法论进行深入研究，定义通用、有效的互操作过程框架模型，并以此模型 所提供的方法、构件和过程指导测试互操作标准的开发，规范、科学的工程方法 是c e l t s 1 0 开发的科学性、正确性和稳定性的保证。本文通过技术和组织两方 面保障了标准的质量。 二、“测试互操作标准”的定义、研制与应用 3 ) 提出用u m l 表示的试题对象模型：遵循标准开发工作流过程，在充分分析标准需 求的基础上，引入测评系统抽象模型，对该抽象模型进行数据分析，抽取评估系 统中可互用的测试数据需要支持的信息元素，并确定信息元素之间的语义关系， 最后将分析结果整合到试题的对象结构中，通过采用咖l 描述进一步抽象形成本 文定义的对象数据模型：该模型是测试互操作标准的概念模型。 4 ) 提出可互换的“a s i 信息模型”：将所得到的试题对象模型映射到x m ld t d 中，并 充分考虑题型支持能力和可扩展性等需要，从属性、值域、多重性、约束性、解 释和数据类型等方面以形式化的方式对每个数据元素进行标准化的定义，提出可 互换a s i 核心数据结构，得出测试互操作标准的主要内容。该模型是测试互操作 标准的语义模型。 5 ) 提出“a s i 信息模型”的x m l 绑定：定义了“a s i 信息模型”的x m l 绑定d t d ，并 通过大量的实例指出了不同类型的试题、节和评估等使用c e l t s 1 0 实现的方法， 指导开发者利用c e l t s 1 0 进行实际开发。本文将介绍一个典型的标准化应用实例， 通过具体问题，阐述遵循c e l t s 1 0 标准制作满足互换要求试题的x m l 绑定方法。 6 ) 提出题项的分类体系：题项是为清晰定义计算机系统中的试题而由本文提出的一 个基本概念，该概念的提出主要是将教育领域视角转换成计算机领域视角，关注 信息技术和数据处理范畴的解释，将需要系统进行处理的用户应答类型作为题项 的分类标准，该分类体系使用户行为能精确表达，以反映系统所需的数据流，并 在不改变分类的情况下便于增加新的题型。该部分工作的结果是测试互操作标准 能够支持所有题型。 7 ) 编制“测试互操作标准”技术文件：将上述研究成果有机结合起来，并用谁式、 规范的语言与格式分别编制“测试互操作标准信息模型”、“测试互操作标准一 x m l 绑定”、“测试互操作标准实践指南”三部分技术文档。 三、完成“测试互操作标准”两大支持系统 8 ) 丌发“标准实证系统”：实证系统完全基于“测试互操作标准”，支持a s i 模型的 所f i 特征。其艮的一是验证标准的可行性和合理性：二是给出标准应片】的， 例， 为标准提供实现卜的支持，为用户采纳“测试，i 操作标准”提供实践上的指导， 促进规范的推广。浚系统有3 0 0 0 余行代码。 6 硕士学位论文 9 ) 开发“一致性测试系统”：一致性测试就是验证标准的实现与相应标准要求的符 合程度。它是用来保证标准实现的正确性和有效性的重要手段，通过一致性测试 可以提高人们对产品符合相应标准的置信程度，提高相同标准不同实现之间实现 互操作的概率。本系统基于x m l 和j a v a 技术开发，根据标准划分测试点，采用 规则校验比对方法，得到测试结果；定义测试结果的信息模型，并可将j ( m l 绑定 的测试结果传输给测试平台。该系统共设计9 6 个类，代码量为8 0 0 0 余行。测试 平台已提交至中国软件质量评测中心，用于标准认证。 1 4 论文组织 本文共分为七章，论文结构如图1 2 。 图12 论文结构图 第1 章绪论，介绍标准化的重要性和意义，重点介绍“测试互操作标准”研究 的目的、范围。并给出本文的主要研究内容、所作的贡献和论文的组织 结构。 第2 章标准体系和方法论，详细介绍了教育信息化技术标准的完整体系，指出 “测试互操作标准”所处的地位和作用：重点介绍了指导信息化技术标 准开发的演变模型和过程模型，为本文开发“测试互操作标准”提供了 方法论指导。 第3 章试题对象模型，介绍了试题对象模型的设计原则、过程和主要内容，该 模型构成“测试互操作标准”的抽象概念模型。 第4 章a s i 信息模型及其绑定，重点介绍了a i s 互换数据模型，并采用层次模 型对该模型从标识符、中英文名称、定义、约束性、多重性、数据类型 和备注等方面进行形式化语义规格说明。提出了标准的x m l 编码绑定， 测试互操作标准及其一致性研究 给出了x m l 绑定的d t d 。另外，本章还构造了完善的题项分类体系， 使用户行为能精确表达，解决不同题型的支持能力问题。 第5 章测试互操作标准应用研究，标准化的意义就取决于标准的采纳与应用， 本章首先通过实例介绍了制作符合“测试互操作标准”试题的过程，给 出使用标准制作试题的方法，然后介绍了标准的实证系统a s i 生成 器。这不仅增加了对标准本身的理解，为编写规范的实践指南提供了一 定的依据；也为标准的推广和更新提供了实践的素材。所有这些都印证 了a s i 模型是合理可实现的。 第6 章一致性测试，首先概要介绍了一致性测试，包括一致性测试的流程、角 色、作用、方法和分类等；然后介绍了c e l t s 1 0 的测试集及其形式化表 示，一致性测试系统的框架结构；最后介绍了由本文开发，提交给中国 软件质量评测中心运营的用于标准认证的测试平台。 1 5 本章小结 本章阐述了现有题库系统存在的问题以及制定相应技术标准的重要性。在概要介 绍了国外网络教育技术标准发展情况的基础上，引入了我国“教育信息化技术标准委 员会( c e l t s c ) ”所提出的适应我国实际情况的技术标准体系，详细介绍了测试互操 作标准的研究方法、研制目的、应用范畴及其意义。作为该委员会的一个重要成员， 本文著者在标准体系和“测试互操作标准”研制中作了大量的工作。本文的主要目的 就是阐述本文在标准研究和制定方面所作的主要工作。本章最后重点介绍了本文的主 要研究内容和所作的贡献，并给出了论文的组织结构。 硕士学位论文 ! e ! e e = = = = = = = = = i = ! ! ! ! = ! ! = = = 2 = = ! ! = 1 2 1 引言 第2 章标准体系和方法论 为理清教育信息化领域需研制各标准之间的关系，通过分析比较国际上关于教育 信息化技术标准的研究线索，特别是参照了匝e ep 1 4 8 4 标准框架，对需研制的各子 标准项进行了分类，c e l t s c 提出了一个适合我国国情的完整的教育信息化技术标准 体系。 在对标准体系作了充分理解的基础上，完善了对标准生存期过程的描述，并提出 标准开发的演变模型、关键步骤和方法，这是本章的重点所在。 2 2 教育信息化技术标准体系框架 参照了i e e ep 1 4 8 4 标准框架 9 1 ，本文认为作为一个比较完整的网络教育标准体系 框架至少包括总标准、学习者相关标准、学习资源相关标准、数据相关标准、学习系 统相关标准、教育服务质量相关标准、应用实现相关标准和跟踪研究项目等8 类系列 标准，从多个方面对网络教学进行标准化。如图2 1 所示。 该标准体系结构对各个 标准项进行了分类，从多个方 面对网络教学进行了标准化。 标准体系的目的是要达到教 学资源的共享和教学系统的 互操作，为中国规范化的教学 活动、教学质量的提高和终身 教学体系的形成提供基础。为 方便理解，此处给出该框架的 简要描述，分别介绍各类标准 系列的目的和所包含的子项 目并给出各子项的命名法。圈2 1 教育信息化技术标准体系结构 1 ) 标准体系框架可认为是标准开发的需求，确定需要开发的标准子项，根据这些需 求开展研究工作，是本文的核心任务。标准框架表现为不同类别的标准及其相互 之间的有机联系。 2 ) 总标准是对整个标准体系的概括和指导。各个子标准应该参考总标准来完成自身 的工作。总标准包括三个子标准，分别为：学习系统体系结构与参考模型规范、 9 测试互操作标准及其一致性研究 术语规范和标准本地化规范。 3 ) 数据相关标准不仅是学习系统的基础技术，也是整个标准体系的一个重要基础。 标准体系中很多标准都会参考引用这类标准。数据相关标准包括：语义与互换绑 定规范、平台与媒体族谱规范以及数据互换协议规范等。 4 )学习资源相关标准是以教育资源为中心的一系列标准。通过对学习对象的格式、 发布包装、逻辑顺序和序列化等进行标准化，提高学习资源的重用和互用能力。 该类标准包括测试互操作规范、内容包装规范和学习对象元数据规范等。 5 ) 学习者相关标准是以学习者为中心的一系列标准，其目的是规范学习者相关信息 的数据表示，增强学习者记录的通用性，为个性化学习，协作学习和自适应学习 提供基础。学习者楣关标准包括四个子标准，分别是：学习者模型规范、学习者 身份标识规范、学力认定规范和终身学习质量描述规范等。 6 )学习系统相关标准是和教学环境有关的一系列标准，其目的是对教学环境进行规 范化，达到教学环境之问的互操作，包括教学系统之间，教学系统和非教学系统 之间的数据交换。教学环境相关标准包括三个子标准，分别为：协作学习规范、 学习管理系统规范、用户界面规范等。 7 )教育服务质量相关标准是一系列的质量评价标准，其目的在于规范教学活动的质 量，包括教学资源、教学系统、教学服务等。通过这些规范。希望能进一步提高 中国教学的质量。教学服务质量相关标准包括四个子标准，分别为：教学资源评 价规范、教学服务质量管理、教学环境评价规范和终身学习质量保证规范等。 8 ) 跟踪研究课题，是指尚未成熟，还需进一步进行研究和国际国内跟踪的课题。这 些课题的研究范围和目的至今都还没有完全确定，将来也可能会有很大的改动。 包括虚拟实验规范、内容分级规范、教育管理信息规范等。跟踪研究子项如果条 件成熟，可申请经标委会同意后，转化为上述相应类别的需求规范，以正式研制 开发；而原计划开发的标准项目也可能由于其目的和范围不明确等原因降格为跟 踪研究课题。 9 ) 标准信息中心是负责信息服务的标准化开发支撑系统，主要用于提供最新的标准 研究状况，发布会议信息，标准的解读和认证咨询服务，并作为标准研发的论坛， 提供标准相关的信息服务。 1 0 ) 应用实现相关标准是直接指导用户设计开发的系列标准：主要包括资源建设规范 和s i f 标准等。 1 1 ) 标准体系中的子标准采用“c e l t s x x ”命名。其中“c e l t s ”是“全国信息技术 标准化技术委员会教育技术分技术委员会”的英文酋字母缩写，“x x ”表小标 准在体系中的数字代号如“测试互擞作书j 、准”在标委会也可直接称为 “c e l t s i 0 ”，“学习对象儿数据”称作“c e l t s 3 ”等。出于轫；准体系不断调 整，子标准也随着实断：情况刁i 断地合并或撤销，标准号并不是连续排列的。e 1 i 孙 硕士学位论文 在研标准有4 0 项，其中包括“c e l t s 1 0 ”在内的l o 个标准已通过标准评审，即将 成为国家标准。 2 3 标准开发过程与方法 标准制定程序的规范化是影响标准质量的重要因素之【3 】 2 2 】。规范、科学的标 准开发过程与技术是防止出现标准内容不完整、不连接，标准的逻辑和层次不清，任 意增加标准的内容，内容的科学性欠缺等问题的有效途径田吨5 1 。而方法论是带哲理性 和实践性的认知体系。提出一种方法论固然需要相当深入广泛的研究工作，而掌握一 种方法论也是需要一番深入学习和联系实际的研究工作。从多种方法论中选出一种或 综合成适合自己的方法论，还是需要把理论( 方法论) 和实践( 实际情况) 结合起来 的研究工作。 c e l t s 1 0 开发方法论是关于c e l t s 1 0 标准研制的模型、语言、方法等技术要素 以及由它门相互关联而组成的认知体系。“模型”是起指导作用的一组概念和规则， 只