（教育技术学专业论文）基于web的在线考试新型方案的设计与研究.pdf

中文摘要摘要在线考试系统可以帮助考试主管部门实现考试信息和考试流程的系统化、科学化和自动化管理，提高工作效率，减轻命题、组卷、阅卷、统计分析等繁重的工作量。本研究隶属于天津市十一五教育科学规划重点课题“网络环境下教师教育绩效管理模式及智能化支撑平台开发研究”，所做的工作是基于w e b 的在线考试新型方案的研究、设计与开发。论文共分七章。第一章介绍了本研究的课题背景及意义，通过分析国内外的研究现状，总结出目前在线考试系统普遍存在的问题；第二章对题库建设理论、教育测量理论以及相关的规范和标准做了研究和分析，作为本研究的重要理论依据；第三章介绍了系统实现的一些关键性技术及其在本研究中的应用；第四章论述了在线考试系统的总体设计与构想，在确定总体设计思想的基础上对系统总体特征进行了设计与分析，提出了在线考试系统的体系结构模型，并从功能模型、数据库、系统安全性三个方面描述了系统总体设计。第五章详细阐述了在线考试系统实现过程中的几个关键问题及解决方案的设计与实现；这两章是论文研究的核心内容；第六章介绍了在线考试系统的测试过程及调试步骤；最后总结了本研究的创新点，提出了今后的研究内容与方向。本研究所实现的在线考试系统提供了系统功能模块拆装组合功能，使得系统可以作为一个考试系统独立运行，也可以适用予网络课程生成系统：自动组卷、手工组卷、自测组卷三种试卷策略创建模式交相辉映，可满足不同用户的不同需求；利用c u t e e d i t o r 简便的实现了多媒体试题的制作，并引入“命题双向细目表”编制试卷蓝图，克服了命题的主观随意性；完备的试卷分析功能，使教师能够全面获取教与学的反馈信息，为新型教学提供依据；系统采用a j a x 新技术，减轻了服务器的负担，改善了用户体验。这是本研究的创新点。关键词：在线考试，测量理论，双向细目表，组卷荚文摘要a b s t r a c tt h eo n - l i n et e s ts y s t e mc 弛h e l pt h ee x a m i n a t i o ni n s t i t u t i o nm a n a g et e s ti n f o r m a t i o na n dt e s tp r o c e s si nas y s t e m a t i c ，s c i e n t i f i ca n da u t o m a t i cw a y , i m p o v et h ee f f i c i e n c ya n dl i g h t e nt h ew o r k l o a do fs e t t i n gp a p e r , g e n e r a t i n gp a p e r , m a r k i n gp a p e r ,s t a t i s t i c a la n a l y s i sc l c t h es t u d yi sap a r to f “s t u d yo fw e b - b a s e dt e a c h e re d u c a t i o np e r f o r m a n c em a n a g e m e n tm o d ea n dd e v e l o p m e n to fi n t e l l e c t u a l i z e ds u p p o r t i n gp l a t f o r m 。t i a n j i n11f i v e y e a re d u c a t i o n & s c i e n c ep r o g r a mp r o j e c t i ta i m st os t u d y ,d e s i g na n dd e v e l o pan e ws o l u t i o nt ot h eo n - l i n et e s ts y s t e mb a s e do nw e b t h ep a p e rc o n s i s t so fs e v e nc h a p t e r s c h a p t e r1c o n c e i q l $ t h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h es t u d y a f t e rm a k i n ga n a l y s i so ft h ec u r r e a ts i t u a t i o na th o m ea n da b r o a d ，c o m m o np r o b l e m si np r e s e n tt e s ts y s t e ma l es u m m a r i z e d c h a p t e r2i st h e o r e t i c a lf r a m e w o r ko ft h i ss t u d y , d i s c u s s i n gt h e o r i e so fi t e mb a n k ，m e a s u r et h e o r i e sa n dr e l e v a n tc r i t e r i o n s ，t h e n , i nt h e l l i dc h a p t e r , s o m ek e yt e c h n o l o g i e sa n dt h e i ra p p l i c a t i o ni nt h es t u d ya r ei n t r o d u c e d n e x tt w oc h a p t e r sa r et h ec o 他o ft h ep a p e r t h eg e n e r a ld e s i g na n dc o n c e p t i o no f t h es y s t e ma r ed i s c u s s e di nt h ef o r t hc h a p t e r b a s e do nt h eg e n e r a ld e s i g ni d e a , d e s i g n sa n da n a l y s e sa r em a d ea b o u tt h es y s t e mc h a r a c t e r s as y s t e ms t r u c t u r em o d e lo f t h eo n - l i n et e s ts y s t e mi sp r o p o s e da n dt h es y s t e r nd e s i g ni se x p l a i n e di nt h r e e 娜c t s ：f u n c t i o nm o d u l e s ，d a t a b a s ea n ds y s t e ms o c u r i t y s o m ec r u c i a lp r o b l e m sa n dm e i rs o l u t i o n sa r ei l l u s t r a t e di nt h ef i f t hc h a p t e r i nt h es i x t hc h a p t e r , t h es o f t w a r et e s tp r o c e s sa n dd e b u gs t e p so ft h es y s t e ma r ei n t r o d u c ：d t h ef i n a lc h a p t e rs u m m a r i z e st h eo r i g i n a l i t i e sa n dg i v e ss o m ei m p l i c a t i o nt of u t u r es t u d y t h eo n - l i n et e s ts y s t e mf u l f i l l st h ef u n c t i o no f m o d u l e so p t i o n t oo p e r a t ei n d e p e n t l ya n di tc a l la l s ob eu s e di nw e b - b a s e dc o u r s ed e v e l o p m e n ts y s t e m t h r e em o d e s ，a u t o m a t i c ，m a n u a la n ds e l f - t e s tm o d eo fg e n e r a t i n gp a p e r sc a r lm e a td i f f c 佗n tn e e d so fu s e r s c u t e e d i t o rm a k e st h em u l t i m e d i ai t e mc r e a t i o ne a s ya n du s i n g b i l a t e r a lt a b l eo fd e t a i l e dc a t a l o g u e t oe s t a b l i s ht h et e s tp a p e rb l u e p r i n tm i n i m i z e st h es u b j e c t i v i t yi ns e t t i n gp a p e r b yc o m p r e h e n s i v ef u n c t i o no ft e s tp a p e ra n a l y s i s ，t e a c h e r s渤o b t a i nt h ef e e d b a c ka b o u tt e a c h i n ga n dl e a r n i n g , w h i c hp r o v i d e sg u i d ef o rf u t u r et e a c h i n g t h el a t e s tt e c h n o l o g y , a j a x ，l e s s e n st h eb u r d e no f $ a r v e ra n di m p r o v e sl 玛e fi i l英文摘要e x p e f i 咖o c a l lt h ea b o v ea r et h eo r i g i n a l i t i e so f t h er e s e a r c h k e yw o r d s ：o n - l i n et e s t ，m e a s u r et h e o r y , b i l a t e r a lt a b l eo fd e t a i l e dc a t a l o g u e , g e n e r a t et e s tp a p e r第一章绪论1 1 课题背景及意义第一章绪论本研究隶属于天津市十一五教育科学规划重点课题“网络环境下教师教育绩效管理模式及智能化支撑平台开发研究”。作者作为此课题负责人王志军教授的学生有幸参加“智能化支撑平台网络课程生成系统”子课题组，并承担网络课程生成系统下的在线考试系统和离线作业系统的研发工作。网络课程的开发和设计是课程设计中的新领域、新概念，也是现代远程教育工程建设的核心和重点。所谓网络课程就是通过网络表现的某门学科的教学内容及实施的教学活动的综合，它包括两个组成部分：按一定的教学目标、教学策略组织起来的教学内容和网络教学支撑环境，其中网络教学支撑环境特指支持网络教学的软件工具、教学资源以及在网络教学平台上实施的教学活动l ”。显然，在线考试作为网络课程的一种重要组成子系统，对良好网络教育支持环境的搭建具有及其重要的意义。现阶段虽然远程教育已经蓬勃地发展起来，但学校与社会上的各种考试基本还是采用传统的考试方式，在这种方式下，通常组织一次考试至少需要经过五个步骡：人工出卷、考生考试、人工阅卷、成绩统计和试卷分析。随着各种考试类型的不断增加和考生数量的不断膨胀，传统考试方式暴露了许多弊端【2 j ：( 1 ) 出现不必要的重复劳动，造成人力、物力、财力的浪费；( 2 ) 人工出卷和阅卷错误率高，难以保证成绩的公平性；( 3 ) 存在着考前压题、漏题等不良现象；( 4 ) 考试时间难以控制；( 5 ) 试卷印刷容易出错，造成不必要的麻烦。显然，传统的考试方式已经不能适应现代远程教育和知识更新的需求，因此开发一套在线考试系统具有重要现实意义：1 在线考试突破了时空限制。在线考试系统突破了传统考试模式的时间、空同限制，有利于组织大规模异地实对考试，可以满足任何授权的考生在规定的时闻段内在任意时问和可用地点参加考试，大大提高了教学内容和考核方式的灵活性2 在线考试提高了工作效率。在线考试系统减轻了考试主管部门人员尤其是教师在命题、组卷、阅卷、统计分析等方面繁重的工作量，提高了工作效率。第一章绪论3 在线考试节省财政开支。在线考试真正实现了无纸化办公，节省了纸张、印刷等考核费用。4 在线考试更能体现了考核的客观公正性。在线考试采用试题库方式提供试卷来源，考前无任何成套试卷，考试时各考生试卷不完全相同，避免了互相参看导致的不公平成绩。自动阅卷等功能增加了考核的透明度，降低了错误出现的概率和教师主观因素的干扰，更能体现考核的客观公正性。5 在线考试为考生营造了一个个性化的学习环境。在线考试系统为考生提供了丰富的信息资源，除教师制定的试卷外，考生还可以进行自测练习，根据个人的特点和需求制定自测试卷，为提高自身综合素质打下坚实的基础。6 在线考试考核形式多种多样。在线考试中添加了传统纸质试卷中极少、甚至无法应用的图片、声音、动画等多媒体形式，能将文字难以描述的东西以多媒体的形式直观的表现出来，有利于考核的准确性和灵活性，减弱考生对考试的抵触情绪。积极适应信息网络化的发展趋势，利用先进的网络技术、数据库技术和人工智能技术，结合当前网络普及化的大好时机，开发一套基于b s 模式的在线考试系统具有深远的意义。1 - 2 国内外研究现状和存在的问题我国的一些考试机构和学校非常重视在线考试的建设。1 9 9 0 年由国家教委考试中心牵头，召开了国内第一次教育考试题库理论研讨会，探索建立符合我国教育考试实际情况的题库理论和方法【3 1 。目前，基于网络的考试主要是面向社会上的培p i i认证考试和远程教育的考试，开发主流为基于w e b 的考试系统。以下介绍几个典型的在线考试系统，以说明国内外的研究现状【4 嗣。北京师范大学研究开发的基于w e b 的通用题库系统的两大特点是：( 1 ) 集中管理，由统一权威机构进行维护和管理，任课教师没有自主修订权；( 2 ) 开放使用，通过网络征集试题和组织测试。全美测评软件系统( 北京) 有限公司( a t a ) 是一家提供考试技术和考试内容服务的专业公司，a t a 针对中小学信息技术课程定制的校园智能化测试平台一e 考通，支持广域网和局域网操作，考生可以进行网上的互动练习、课外作业和提问；2第一章绪论教师可以进行网上指导、网上批改作业忉鹏博士在线考试系统及题库录入系统是一套基于浏览器的易学易用的产品，该系统包括用户管理、试题管理、智能组卷、网上考试、成绩分析等功能，主要缺点是对试卷，试题的分析不够深入。对题库没有维护功能，不利于标准化考试。科教2 0 0 0 网络考试系统是成都北斗星信息技术发展有限公司推出的多功能辅助教学系统，是一个练习、测试自动化全面解决方案。具有教学题库管理、自动试卷生成、网上测验、网上练习、自动成绩统计等多项功能。但该系统虽对题库进行了扩充，但仍没有淘汰更新机制，也没有将考生从题海战术中解放出来，且分析统计功能较弱i s j 。一些高校及科研单位也开发了各类基于w e b 的在线考试系统投入实际应用。一些大规模高校的部分计算机学科，特别是计算机基础学科也在制作和试用在线考试系统进行无纸化考试，如华中科技大学、上海同济大学等嘲。除研究以上实例以外，作者还采用文献法对在线考试系统的功能设计信息进行调查研究。检索的具体方式是选择中国期刊网中的中国学术期刊全文数据库和中国优秀博硕士学位论文全文数据库，采用关键字“在线考试”共命中1 4 6 篇，其中期刊1 2 4 篇，学位论文2 2 篇；采用关键字“在线测评”共命中4 篇，其中期刊3 篇，学位论文l 篇；采用关键字“网络测评”共命中文章5 篇，其中期刊4 篇，学位论文l 篇。对文章逐一进行查看，共确定文章5 2 篇作为研究对比对象。通过分析案例和研究文献发现目前在线考试已经取得了较大发展，但是还存在着很多不完善的方面，使得在线考试在短时间内难以取代传统的考试方式。现有在线考试系统主要存在着以下问题：( 1 ) 题目类型固定，不具备可修改、可扩充性：( 2 ) 试题形式单一，缺乏音频、视频、动画等多媒体试题形式：( 3 ) 组卷方式形式单一，且科学依据不足； 4 ) 重视考生的考，而忽略考生对试卷的复习与分析；( 5 ) 试卷分析功能不足本研究针对上述问题，在借鉴其它系统优点的基础上并结合教学过程和教学管理中的一些实际情况，提出了基于w e b 的在线考试新型方案。1 3 作者所做的主要工作经过近两年的调研、设计、编程以及测试，课题组共同合作完成了整个网络课第一章绪论程生成系统的研制工作，作者也如期完成了预定目标一一实现了网络课程生成系统中在线考试和在线作业子系统的研发工作。在整个系统开发过程中，作者做的主要工作有：1 系统开发准备阶段：与课题组成员一起，通过专家访谈、教师用户访谈、网络和文献研究等形式调研国内外网络课程功能模块和网络课程开发现状，制定系统开发计划。2 系统分析阶段：深入研究考试系统相关的题库和教育测量理论，调查现有各种模式的考试系统，借鉴其优点，弥补其缺点，制定需求计划；然后根据需求计划分析考试系统需实现的功能模块和各种可能的制约因素，从而保证系统的完整性、先进性和可扩展性。3 系统设计阶段：确定系统的总体设计方案、划分各子系统功能模型，综合考虑各种制约因素，利用有效的技术手段和方法进行各种具体环节设计，包括系统体系结构设计、功能模块设计、界面导航设计、数据库设计、系统安全性设计以及系统关键问题及解决方案的设计等。其中充分考虑考试系统功能模块与网络课程生成系统以及其它子功能模块的数据共享与协调通信等问题。4 系统开发阶段：依据前面的设计，搭建程序开发运行环境，根据详细设计方案进行程序的编写和调试。5 系统测试、完善阶段：根据制定的测试计划，依次进行单元测试、集成测试和系统测试，在测试中发现问题，解决问题。同时聘请专家教师对系统进行评价，并根据评价意见与建议不断修改完善系统。4第二章在线考试系统理论依据分析第二章在线考试系统理论依据分析理论和实践是相辅相成、互相促进的，理论指导了人们的实践，而实践又推动了理论的完善与发展。考试系统是一项理论性强，实际意义重大的复杂工程，需要用更多、更实际的理论和方法来指导系统的设计。2 1 题库建设理论题库可以存储试题，又有辅助命题和记录分析考试结果的功能。随着题库规模的不断增大，对组卷的智能化、科学化要求越来越高，并需实时统计出考试结果分析数据，因此题库建设理论显得尤为重要，是在线考试诸多理论中的根本。2 1 1 题库的定义与特征题库是适应考试事业大规模发展，考试过程的科学化、标准化的需要发展起来的，国内外许多教育机构、软件公司都在倾心研究题库。题库( n 曰b a n k ) 是按照一定的教育测量理论，在计算机系统中实现的某个学科题目的集合，是在数学模型基础上建立起来的教育测量工具i 引。题库的任务是拼制不同测量目的的试卷，是考试系统的基础与根本，因此题库应该满足一定的要求【9 l 。1 题库中的试题技术参数应当齐备，试题质量要有保证。题库的基本组成单位是单个试题，试题的各项参考技术参数必须统一明确，试题质量要有保证，这样便于用户按照一定的科学程序，根据试题的技术参数挑选试题，优化组合成符合一定内容、性质、难度等不同要求的优质试卷，使试卷符合预定的各项质量指标，保证考试的可信性和有效性。2 题库中题目数量充足，比例结构合理。题量小就难以生成满足特定要求的试卷，也不能满足多次考试的需要。同时题目的比例结构要科学合理，主要指内容范围、能力层次、难易比例、题目类型等方面。否则，题库编制试卷的各种优越性就难以发挥。3 题库中试题必须按科学原则分类、存储，形成有机整体。试题存储的目的在于使用，只有按科学原则把试题系统的组织起来，才能准确、方便、灵活地检索和5第二章在线考试系统理论依据分析调用。为使信息使用时充分发挥在管理学上的优越性，还应使存储的试题有完备的信息，一般，除试题内容、参考答案、评分标准外，还应包括考核的知识点与目标层次，试题技术参数，使用记录等。4 题库必须是动态的。首先，各门学科都在不断地发展变化，因此各学科题库内容也应不断的更新，需及时添加、修改、删除试题。其次，考生水平也在不断提高，这样试题参数和考核能力层次也会有所变化。所以，题库的动态性不但表现在测试内容的更新上，而且还表现在试题统计特征的变化上。题库内容的动态性保证了它能及时灵活的去为社会需要服务，使考试机构不断积累和扩大命题研究成果。2 1 2 题库建设实践程序题库建设是一项相当复杂艰巨的系统工程，需要各学科专业人员消耗大量的人力物力协同努力才能完成，不经过充分的认证和缺乏理论指导就进行题库建设的行为是盲目的，势必会造成人力物力财力的浪费。题库建设不仅需要教育测量学理论的指导，还要用系统工程的观念去建设和管理，才能保证题库系统的质量。题库建设一般包括以下几个工作阶段【9 】【0 1 1 l l j 。1 试题的编制与汇集试题编制之前首先要有一个成熟稳定的考试大纲，这个大纲规定的考试性质、内容、目标能力层次、难度、题型、分量、权重、考试时问等内容要符合考试的对象和用途。考试大纲是命题的依据，题库中的题目必须根据考试大纲进行征集和编写，题目在学科知识方面无可挑剔。审题是保证试题质量的关键，因此一般要组织专人审查、专家组会审后才能入库。题目的编制和汇集是题库建设的关键，关系到整个题库的质量、试卷的质量以及统计评价的准确程度。此阶段应由学科教学人员和心理与教育测量人员共同协作完成，但主要责任应由学科教学人员负责，由组织人员进行协调。2 试题统计分析为保证试题的科学性和有效性，所有的试题在有可能的情况下都需经过测试。测试就是把写好的试题拿到与将来考生相一致的样本中试验以获取题目的技术参数，即对每一道试题都有技术分析，并取得统计参数。试题分析可以了解题目是否达到大纲的要求，作为试题筛选的依据。试题分析还可以确定试题难度、区分度等6第二章在线考试系统理论依据分析技术参数，这些参数在组卷、试题、试卷的统计评价中有重要的意义。试题的分析还要把试题参数进行等值处理，因为不同测验试卷的题目的各项技术参数是与考生团体有关的。同样的题目，在不同的考生团体中会求得不同的题目参数，即它们在不同的量表之中。题目参数的等值处理就是将所有的试题参数统一到同一个坐标系中，以确保试题参数的可比较性，这样十分有利于题库建设。此阶段应由学科教学人员、心理与教育测量人员以及计算机专业人员协作完成，心理与教育测量人员应居主导地位，由组织人员进行协调。3 存储建库一般题库的规模都比较大，这就需要采用紧凑、安全、高效的存储方式，设计一个灵活方便的题库生成以及检索修订程序，以便能方便的管理题库。题库中的试题存储时要有“序”，这个“序”既取决于学科体系结构本身又取决于考试性质目的对题库统计特征的要求。题库要采用恰当的标引语言，按照科学的原则与顺序，把试题和应有的信息资料有机地组织起来【1 2 1 。此阶段应f l j l - 算机专业人员承担，但仍需心理与教育测量人员的配合，组织人员的协调。4 动态维护题库具有动态性，应随着学科内容和考生水平的不断发展变化而变化，决不是一成不变的。动态的维护，就是要经常检查试题的思想性、科学性，根据学科内容和考生水平的发展不断的对题库中的试题做相应的补充、修改和删除工作，及时修正试题的各项技术参数。题库的修订要精心规划，严格执行，考试系统在设计题库的结构时就要考虑到以后的修改和扩充需求，使系统在整体框架不变、能保持系统相对稳定的前提下，具有一定的扩展能力。此阶段更需依赖管理人员的组织协调，并在学科教学人员和心理、教育测量人员、计算机专业人员和管理人员这四种人员的共同努力协作下完成。2 1 3 题库建设理论对本研究的指导题库建设是个艰巨的系统工程，整个工作过程必须要有坚实、科学的理论基础。从题库的功能和题库建设的理论依据来看，建立题库不仅涉及教育测量理论，还涉及到多方面的教育教学理论 9 1 1 2 】，对本研究有重要指导意义的理论有：1 学科体系与教育目标层次分类理论7第二章在线考试系统理论依据分析如何划分试题学科体系与目标层次以及如何描述题库中试题考核内容，即题库中的试题是用来测量什么，以及试题之闻是如何分类和分层的，是命题与征题规划的基本依据。本研究中，试题认知度技术参数采用布卢姆关于认知领域的教育目标分类，即分为知道、领会、运用、分析、综合和评价六个等级。2 题型功能与命题技术题型功能与命题技术理论提供了编制试题的原则和方法，也提供了评价题库结构的根本标准，是题库建设理论的个重要方面。本研究中，一张试卷是由多种题型搭配组成的，如何确定题型及各题型所占比例，如何有效的使用各种题型都是需要考虑的。由于考生解答选择、填空题所需的时间楣对较少，即使对于同一内容的试题，也可按照知识和能力的不同侧重点选编不同的试题，变化余地较大。因此本研究利用双向细目表规划试卷蓝图，在一定程度上克服了教师的主观随意性，同时本研究推荐，在试卷中增加客观试题的比重以增加知识和能力的考察面，避免阅卷教师主观因素所造成的评分标准不一致。3 题目统计分析技术题目分析技术是科学地修订、筛选和调取使用试题的重要理论基础。测验题目是否优良，必须有技术参数来说明，否则就不能科学地进行试题筛选、修订和调取使用工作。因此，本研究中各项技术参数均以列表形式呈现给用户，保证技术参数的全面性。同时根据试题的通过率及时调整试题参数，保证技术参数的科学有效性。4 测验等值测验等值化的目的是寻找不同测验形式之间的分数转换关系，把不同测验形式上的分数都转换到同一度量系统上。测验等值本身包括两个方面：考生测验分数的等值和试题参数的等值。前者解决考生在不同测验中总分的转换问题，后者解决不同测验上的试题的难度、区分度的对应关系问题。本研究中考生试卷分数采用原始分数和标准分数两种表示方式，使同一试卷内部分数可做相对和绝对评价分析，也使得不同试卷问的分数具有可比性。5 试题和试卷的拼合及质量评价本研究中，每次澳4 验后都会自动对测验后的分数进行统计分析，获得符合特定考核目的的统计数据如平均分、标准差、分数分布状态( 包括及格率等) ，以及测量标准误( 信度) 等。通过这些分析数据来了解考生对教材、教法的适应情况以及8第二章在线考试系统理论依据分析由此来诊断教学过程中存在的问题，以便调整教学策略。题库建设与教育理论的联系，还有其他一些方面，即题库建设是学科的综合性应用，当然仍以教育测量、教育统计理论作为主导。2 2 教育测量理论教育测量是根据教育目标的要求，按照一定的规则对教育活动的效果加以数量化测定的过程，主要用于对考生精神特征的测定。教育测量根据测验目标的不同可以分为学业成就测验、智力测验、能力倾向测验与人格测验。学业成就测验即考生学习效果的测验，是关于教学目标的考试【1 3 】。本研究把“考试”界定为学业成就测验，因此，测量理论完全适用于“考试”这一特殊教育形式。教育测量理论的发展大体经历了两个阶段，2 0 世纪5 0 年代以前是经典测量理论阶段；5 0 年代以后至今是多种理论并存阶段。除了经典测量理论外，概化理论和项目反应也被广泛接受并运用到测量的实践活动中。2 2 1 经典测量理论2 0 世纪2 0 年代开始以真分数理论( t r u es c o r et h e o r y ) 为代表的经典测量理论( c l a s s i c a lt e s tt h e o r y ，简称c t t ) 逐濒发展起来，并传入我国。2 0 世纪5 0 年代初期，格里克森出版的心理测验理论标志着经典的心理计量学理论的成熟，后来洛德与诺维克合编的心理测验分数的统计理论将经典测量理论推至顶峰。1 经典测量理论的基本内容【9 “l经典测量理论的特点之一就是各种测验的参数须从考生样本中求得，经典测量理论的基础是真分数模型。所谓的“真分数”其数学上的定义为：测量上被试的真分数是观测分数( 或说测量实得分数) 的期望值。可以用下式表示：t - - - - 占x( 2 一1 )其中：x 为被试在测验上的实得分数，占x 代表x 的数学期望，t 即被试的真分数。显然，在此意义上的真分数是不能直接测量得到的，因为据式( 2 一1 ) ，可将t解释为被试在无数多次独立重复测量上获得的平均观测分数。即：第二章在线考试系统理论依据分析t = l i m ( 2 - - 2 ) k从信息论观点出发，可对真分数作出定性的解释：任何一组信息都包含有真正的信息信号和无关的信息( 噪音) 。心理与教育测量的目的在于获得被试的真正信息，排除无关信息。测量上，真正的信息称为真分数，无关信息称为误差。因为误差，直接测量而得的观测分数便会在一定范围内波动。经典测量理论的真分数模型对此进行了简单而有效的描述，提出了一系列基本定义和推导。( 1 ) x = t + e( 2 3 )其中，x 是被试在测验上的观测分数，t 是被试的真分数，e 为测量误差。此式定义：观测分数是真分数与误差分数之和。( 2 ) t = x( 2 4 )此式定义：真分数与观测分数的各自平均数相等( 3 ) s e - - - - - 0( 2 5 )此式定义：误差分数的期望值为0 。( 4 ) p t e = 0( 2 6 )此式定义：真分数与误差分数的相关为0 。( 5 ) p e l e 2 = 0( 2 7 )此式定义：不同测验误差之间的相关为0 。依据上述的定义，所有有关经典测量理论及方法，所应用的各种公式及定义，均是依据真分数理论的模型推导而来。基本假设、信度和效度被称为经典测验理论的三大支柱，题目分析和标准化是它的方法体系。在上述理论的基础上，经典测量理论建立了一整套质量指标的计算公式，完善了测验的标准化程序，具有很大的使用价值。2 经典测量理论的优点与缺点经典测量理论的优点在于：( 1 ) 以弱假设为基础，这些弱假设条件容易被绝大多数测验数据资料所满足。( 2 ) 具有完善的测验理论以及简明的题目和测验统计分析方法，易于掌握和理解。第二章在线考试系统理论依据分析( 3 ) 我国的教育工作者在实践中加深了对经典测量理论的认识，形成和完善了一套适合我国国情的具体应用方法和应用原则。经典测量理论的不足主要表现在以下几个方面：( 1 ) 经典测量理论的题目参数( 如题目难度、区分度) 是通过该题的人数的平均得分率和题分与试卷分的相关计算求得的，所以会受到不同考生样本组能力水平的影响。( 2 ) 在经典测验理论的条件下，题目参数与考生得分是在不同的基础上分别求得的，所以考生能力的估计会由于测验的改变而改变。( 3 ) 经典测量理论中的严格平行测验假设和误差与真分数不相关，在现实中不可能实现。2 2 2 概化理论概化理论的基本观点形成于2 0 世纪6 0 年代来、7 0 年代初。以克龙巴赫( c r o n b a c h )等人的系列论文和论著的问世为标志，但正式提出这一理论的是c r o n b a c h 等人在1 9 7 2 年出版的行为测量的可靠性一书1 概化理论的基本内容0 1 习概化理论( g c n c r a l i z a b i l i t yt h e o r y ，简称g - r ) 是经典真分数理论与方差分析相结合的产物，它把因素试验设计、方差分量模型等统计工具应用到教育与心理学，对经典的信度理论进行推广，对于测验的编制、施测过程中的误差控制、测验的评价等提出了一套新的方法。概化理论结合测量的情境关系对经典测量理论中的误差进行分析，考察误差的不f 司来源，并在一定范围内变动测量的情境关系以分析变动弓陡；误差的相对变化，对误差进行控制，提高测验的信度。概化理论认为，任何测量都是在特定的测量情境下进行的，测量的根本目的并不是为了获得特定条件下的测量结果，而是要以此来推断更广泛的条件下可能得到的测量结果。为此，概化理论给出了几个基本概念：( 1 ) 测量目标，即测量所要描述和研究的那个心理特质；( 2 ) 测量侧面( f a c e t ) ，是指影响测量过程和测量结果的各种内外在因素，一个测量侧面就是某一方面的测量条件；( 3 ) 测量情境则是由测量目标和测量侧面构成的。我们研究测量问题，主要关心测什么和怎么测，测量目标解决“测什么”的问题，而测量侧面则涉及到“怎第二章在线考试系统理论依据分析么测”。显然测量侧面是测量误差的重要来源，它对测量的信度有重要的影响。用概化理论来研究测量问题时，通常分两步进行：g 研究( g e n e r a l i z a b i l i t y s t u d y ，即拓广研究) 和d 研究( d e c i s i o ns t u d y ，即决策研究) 。g 研究的目的是要估计与每个随机侧面相联系的误差的大小，而d 研究是在g 研究的基础上作出某种决策。具体来讲，g 研究只是根据所考查的测量目标和测量侧面确定测量的设计，根据收集到的原始数据借助方差分析对测量情境中的误差进行分析。d 研究则是在g 研究的基础上，计算概化系数和依存性指标，在最大化概化系数和最小化误差基础上，选择最优测量方案。2 概化理论的优点与缺点与经典测量理论相比，概化理论理论的优点有：( 1 ) 在理论假设上，概化理论扬弃了经典理论的“严格平行测验假设”，将平行测验推广为操作十分方便的随机平行测验，使分析问题的条件较容易得至口满足。( 2 ) 在具体方法上，概化理论利用方差分析技术，把测验交异分解成多个部分，每个部分对应于特定的误差来源，更便于测量误差的控制。( 3 ) 在测验设计上，概化理论注重测验的整体设计，不仅能够对各种测量条件下引起的信度变化分别予以考察，而且能够将多种测试条件共同引起的信度变化反映出来。概化理论的缺点有：( 1 ) 在基本思想上，概化理论在心理特质多维性测量的研究上觉得力不从心。( 2 ) 在计量方法上，由于数据结构的复杂性，方差分量估计有时还会出现负值。( 3 ) 在测量应用上，概化理论用于实测数据的事后分析是比较理想的，但用在事先指导时，就要逊色一些正是概化理论存在着以上一些局限性，所以其优点难以得到发挥，在测量实践中的应用也因此大大地受到限制。2 。2 3 项目反应理论项目反应理论( i t e mr e s p o n s et h e o r y ，简称t r t ) 是针对经典测量理论的局限性而提出的，自2 0 世纪7 0 年代以来，项目反应理论已成为测量理论研究重点，是第二章在线考试系统理论依据分析一种新兴的心理与教育测量理论。1 项目反应理论的基本内容项目反应理论是建立在潜在特质理论基础之上的。我们将不能直接观察的东西称为潜在特质，项目反应理论是以测试项目( 试题) 为考察对象，研究被试的潜在特质与其对测试项目反应之问关系的理论，它的核心是建立数学模型以及项目参数的估算。项目反应模型是表示考生能力和考生对考试项目( 试题) 正答概率之自j 关系的数学形式。主要有拉希模型，l o g i s t i 参数模型，探索使用的等级记分模型、分布评分模型等1 6 1 ，其中最常用的是l o g i s t i 参数模型。根据参数的不同，项目反应理论可以分为单参数、双参数和三参数三种模式，其具体函数表达式为：单参数：鼻( 口) = i i 而1( 2 8 )双参数：只( 口) 5 五南( 2 - - 9 )三参数：只( 奶名q + 格( 2 一l o )其中，口表示被试的能力水平，只( 研表示能力水平为0 的被试答对题目i 的概率，b i 表示题目i 的难度，e 表示自然对数的底，e = 2 7 1 8 2 8 ，d 表示量表因子，d= 1 7 ，a i 表示题目的区分度，c i 表示题目i 的猜测系数。图2 - - 1w s d 三参数模型特征曲线图2 1 是l o 垂s t i 三参数模型的题目特征曲线( i t e mc h a r a c t e r i s t i cc u r v e ，简称i c c ) ，是一个s 形点对称曲线l 。从图中可以看出，被试能力水平越高，答对题日i 的几率越大。b i 值越大表示题目越难，在曲线的拐点处答对题目i 的概率为( 1 + c i ) 2 。a i 与曲线在拐点处切线的斜率成正比如果a l 大，特征曲线在拐点处越陡，体现了第二章在线考试系统理论依据分析很强的区分作用，反之区分作用很弱。c i 是猜测系数，从图2 1 可以看出，题目特征曲线尾端渐近线的高度就是c l ，说明被试对题目i 答对概率的最低限为c i 。2 项目反应理论的优点与缺点1 9 】1 1 硇项目反应理论的优点有：( 1 ) 试题难易程度的估计不因样本的不同而不同。由于项目特征曲线是被试正确作答概率对能力水平的回归，即正确作答的概率只和被试的个人能力有关。题目参数估算时，只需各种能力水平的被试都有一定数量的参与测试者即可。可见，题目参数的估算是独立于样本的，题目具有参数不变性。( 2 ) 考生能力的估计不因测验的改变而改变。项目反应理论根据考生对于试题任何一部分反应估计出来的考生能力值都在同一能力量表上，使考生能力发展水平的估计独立于试题组，为对不同水平的考生实施题目不同的测验或设立自适应测验奠定了理论和方法基础。( 3 ) 测量误差的估计因考生程度的不同而不同利用计算得到的测验信息函数来估计测验标准误差，并以此来作区问估计因试题信息函数和测验信息函数与个人有关，测验标准误差就会因人而异，这就为准确地估计每个考生的能力水平提供了准确的信息。( 4 ) 为多种形式测验的实旋提供了更为完整的理论和方法。在题目分析和估计考生能力的同时，可以得到题目信息函数和测验信息函数这两个统计量。有了这两个统计量就为精确估计每个考生的能力水平，控制不同能力水平的考生的测量误差提供了标准。项目反应理论的缺点有：( 1 ) 对数学模型与实测数据的拟合要求较高。使用项目反应理论作题目分析时，需对拟合度作统计检验，当所作的拟合度检验表明题目反应模型与测验数据之间拟合良好时项目反应理论的各种优点才能发挥出来。( 2 ) 因测验编制者都希望提高测验分数的可解释性，所以项目反应理论是一维性假设，是对任何数学模型的共同假设。但到目前为止，还没有一种能验证一维性假设的方法。第二章在线考试系统理论依据分析2 2 4 经典测量理论在本研究中的应用现代测量理论大部分都是在经典测量理论研究基础上，针对它在某一方面的不足而发展来的。概化理论是对经典测量理论信度概念的拓展，项目反应理论则是在克服题库中题目参数指标的变异性基础上发展起来的。各种理论的合理性与局限性并存，企图用某一种理论完全代替所有理论是不可能的。本研究遵循经典测量理论的指导，主要是根据被试的实际作答表现来估计被试的内部特质水平，并在假定误差分数与真分数相互独立且严格平行测验的条件下，计算被试的通过率，定义难度、区分度，并低限估计信度。经典测量理论对考试的分析与评价分两方面进行：1 测验题目评估。题目评估的目的是对每道题目的初始难度与区分度进行合理的调整，以确保其科学有效性。( 1 ) 题目难度；指题目的难易程度，它是题目对学生知识和能力水平的适合程度的指标。( 2 ) 题目区分度；指题目对学业水平不同的考生的区分程度或鉴别能力。( 3 ) 综合题目分析；对题目进行综合的分析就是要考虑题目难度和区分度的关系，对两技术指标进行总体衡量。2 测验质量评估。对测验的质量评估需要考虑测验结果的稳定一致性，即信度问题，还要考虑考察结果的准确有效性，这是测验的效度问题。本研究中还为教师提供了其它试卷定量分析数据如试卷平均难度、平均区分度、平均分数、标准差、分数分布情况等。同时提供试卷题型得分分布数据和试卷知识点分数分布数据供教师进行试卷定性分析。经典测量理论的具体应用将在第五章继续讨论。2 3 在线考试系统的相关标准与规范2 3 1 国外资源建设标准代表一l 伽模型嘲目前，世界上很多标准化( 学术) 组织都正在致力于基于网络的教育资源标准化研究，并起草了一些相应的规范，其中i e e el t s c ( l e a r n i n gt e c h n o l o g ys t a n d a r d s第二章在线考试系统理论依据分析c o m m i t t e e ，学习技术标准委员会) 的l o m ( l e a r n i n go b j e c tm e t a d a t a ：学习对象元数据模型) 相对完备，它规定了在w e b 页面中呈现学习资源时应提供的一些基本元素，它主要规范了九个方面的数据信息：1 通用信息( g e n e r a l ) - 主要是关于资源的标识和分类、检索属性等信息，它与资源应用的上下文环境无关。2 生存周期( l i f e c y c l e ) ：主要是关于资源生存周期方面的信息，如版本号、状态、日期、创建信息等。3 数据描述信息( m e t a m e t a d a t a 关于数据的数据) ：描述关于数据格式方面的信息，定义数据类型，如标识符、角色、类别说明、语言等。4 技术信息( t e c h n i c a l ) ：教育资源技术方面的信息，如格式、大小、位置类型等。5 教育信息( e d u c a t i o n a l ) ：资源的教育等特性。如交互类型，交互级别、语义密度、难度、学习时问等。6 价值信息( c o s t ) ：有关资源的价值和价格方面的信息如版权及其它限制信息等。7 关联信息( r e l a t i o n ) ：主要描述资源与其它资源的关联信息，如类别、关联资源等。8 注释信息( a n n o t a t i o n ) ：主要是关联资源教育应用评论方面的信息，如评论人、注释、注释内容等9 归类信息( c l a s s i f i c a t i o n ) ：描述资源的归类信息，如关键词描述、语言等信息。2 3 2 现代远程教育资源建设技术规范御现代远程教育资源建设包括媒体素材库、题库、案例库、课件库和网络课程建设，以及适合多种教学模式的教学支撑系统和现代远程教育管理系统的研制开发。现代远程教育资源建设技术规范( 试行) 中对题库的定义、理论模型、试题组织、试题分布结构、试题质量要求、试题的参数标注、试题的抽样测试、网络题库基本功能、题库运行环境要求等进行了规定，下面是网络题库的基本