（教育技术学专业论文）基于bs的在线考试系统的设计与实现.pdf

硕士学位论文 m a s t e r st h e s i s 摘要。 随着i n t e r n e t 在生活中的应用日益普及，远程教育得到了迅速的发展。传统 考试过程繁琐而且效率低下，费时费力，而且还受限于时空的条件，又加上人为的因 素影响使得考试本身的保密性、安全性、公正性也受到质疑。显然传统的考试方式 无法满足当前远程教育发展的需要，这种情况下基于i n t e r n e t 的在线考试系统逐 步成为现代远程教育领域研究的技术热点，考试作为目前国内教育评价的主要形 式，是实现评价教学目标的重要手段。本课题的研究正是在这种背景下开始的。 本文首先介绍了本课题的研究背景及意义，对当前在线考试系统的国内外研究 及应用现状进行了比较分析。然后对在线考试系统开发的相关理论基础及技术背景 进行了介绍，并在此基础上，引入基于角色的访问控制机制，设计并实现了一个具 有良好通用性的在线考试系统。本项目文采用了总体规划、分步实施、软件技术与 网络技术相结合，管理模式研究和技术开发相结合，研究与应用相结合的技术路线。 首先通过分析在线考试的实际需求，设计考试的组织与管理模式；分析并设计用户 登录、考试科目、专业课程等多约束条件下与考试相关的其他信息的关系结构；继 而设计考试试卷的组成规则、题型和题量的分布及程序实现方法，分析计算机答卷 的技术要求和阅卷评分的准确性要求，并设计解决方案：设计考试系统的模式结构、 功能、安全性和网络适应性等在论文的最后部分，笔者结合本系统的设计与开发经 验，在相关研究成果的基础上，提出了几点自己有关在线考试系统研究的构想。 关键词：在线考试；基于角色的访问控制；身份验证；随机组卷 硕士学位论文 m a s t e r st h e s i s a b s t r a c t w i mt h eg r o w i n gp o p u l a r i t yo fi n t e m e ta p p l i c a t i o ni nt h el i f e ，n l ed i s t a n c e e d u c a t i o nh a sb e e nd e v e l o p e dr a p i d l y n l et r a d i t i o n a le x a m i n a t i o n ，w h i c hi sl i m i t e db y i t se f f i c i e n c ya n df a i r n e s s ，h a sn o ta b l et om e e tt h en e e d so ft h ed e v e l o p m e n to fd i s t a n c e e d u c a t i o n a n dn o w , t h eo n l i n ee x a m i n a t i o ns y s t e mb a s e do nt h ei n t e r n e th a sb e c o m ea h o tr e s e a r c ht o p i ci nt h em o d e me d u c a t i o n a lt e c h n o l o g yf i e l d ，t h er e s e a r c ho ft h i sp a p e r i sb e g i n n i n gw i t ht h i sb a c k g r o u n d 1 1 l i sp a p e rd e s c r i b e st h eb a c k g r o u n da n ds i g n i f i c a n c eo ft h er e s e a r c h ，a n a l y z e st h e c u r r e n ts t a t u so ft h eo n l i n ee x a m i n a t i o ns y s t e mb a s e do nt h er e v i e w i n go faw e a l t ho f t h ep e r t i n e n tl i t e r a t u r e a n dt h e n , a no n l i n ee x a m i n a t i o ns y s t e mw i mag o o dv e r s a t i l i t y b a s e do nt h i s ，i n t r o d u c i n gt h er o l e b a s e da c c e s sc o n t r o lm e c h a n i s m ，h a sb e e nd e s i g n e d a n dr e a l i z e d a tt h el a s ts e c t i o no ft h i sp a p e r , t h ea u t h o rp r o p o s e saf e wc o n c e p t i o n so n t h er e s e a r c ho fo n l i n ee x a m i n a t i o ns y s t e mb a s e do nt h ep e r t i n e n tr e s e a r c hr e s u l t s ， c o m b i n i n gw i t ht h ee x p e r i e n c eo f t h er e s e a r c ho ft h i ss y s t e m k e y w o r d s ：o n l i n ee x a m i n a t i o n ；r o l e b a s e da c c e s sc o n t r o l ；a u t h e n t i c a t i o n ； r a n d o mp a p e rc o n f i g u r a t i o n ； 硕士学位论文 m a s t e r st h e s i s 1 绪论 1 1 本项目的研究的背景环境及价值 随着现代信息技术的迅猛发展，i n t e r n e t 的应用已经渗入到社会生活的各个领 域，如金融、电信、新闻、商业、交通运输、医疗保健等，其对社会生活的影响也 不可避免地波及到教育领域，社会的高速信息化对当前的教育观念、教学内容、教 学方法乃至整个教育结构产生重大而深刻的影响：信息社会对教育提出了新的要 求，即教育的终身化、全球化、高效化。在这种趋势下针对基于i n t e r n e t 的远程 教育和数字化学习( e - l e a r n i n g ) 的研究成为了当前教育技术领域研究的热点。 考试作为目前教育和学习评价的基本形式，是实现教育目标的重要手段。传统 考试从试卷出题、印刷、准备考场、考生身份审核、监考，到阅卷、评分，往往持 续很长时间，消耗大量的人力、物力、财力，不仅工作效率低下，而且考试还受时 间和空间的限制，又加上人为的因素影响使得考试本身的保密性、安全性、公正性 也受到质疑。显然传统的考试方式无法满足当前远程教育发展的需要，在这种情况 下，作为远程教育平台的中重要一环的网上在线考试系统成为了研究的热点。 本课题的研究正是在这种大的趋势下开始的，笔者希望在国内外当前已有的相 关理论与技术成果的基础上，尝试设计并实现一个针对客观题的通用型在线考试系 统。 1 2 本项目相关国内外研究及应用现状 1 2 1 国内外在线考试系统的发展现状 目前世界上大多数国家都相继开展了远程教育。身处信息技术至高点的美国， 更是无论从理论的研究还是实践应用方面都走在世界的前列，其中最著名的远程教 育案例莫过于麻省理工学院( m i t ) 联合犹他州立大学等美国其他几所著名学府推 出的开放式课程计划，这给许多没有机会进入这些世界一流学府深造的莘莘学子带 来了巨大的福音；相信许多中国的i t 技术人员都要感谢m i c r o s o f tt e c h n e t w e b c a s t 网站上的w e b c a s t ，这也是远程教育在企业中应用的最典型的案例之一。 在利用i n t e r n e t 进行在线考试方面，国际上著名的“t o e f l ”、“g r e ”、剑桥信息技 术( c i t ) 证书考试、c i s c o 认证考试、微软认证考试、n o v e l l 认证考试、i b m 认证考 试等考试都是采用的网络在线考试。目前，网上在线考试已经发展成为一种产业， 创造了很大的利润。其中比较非常著名的有美国的p r o m e t r i c 有限公司，它是全球 硕士学位论文 m a s t e r st h e s l s 最大的计算机化认证考试服务公司，开创了计算机化考试技术和管理标准，能提供 六十多家世界知名i t 公司的认证考试，可为各种留学考试和职业考试提供标准化 服务。它在全球1 8 0 个国家和地区建立了4 0 0 多个p r o m e t r i c 技术中心( p t c ) ，可 用2 5 种语言提供近百个不同类型、一千多种考试。每年全球参加计算机化考试的 人数约上千万网，在线考试已经成为目前普遍采用的一种考试和认证方式。 在我国，自1 9 9 9 年1 月国务院批准教育部制定面向2 1 世纪教育振兴行动计 划，正式提出“实施现代远程教育工程”的发展目标以来，远程教育的发展令人 欣慰。许多的网校、远程培训、网络培训中心悄然兴起。清华、北大、中央电大等 许多知名高校也相继推出了自己的远程教育平台。其中中央电大作为我国远程教育 的先驱，建成了集合现代考试理论、方法和现代信息技术手段的在线考试系统 “中央电大考试平台”，可为学生个性化学习提供“灵活、方便、科学、公平”的 “个性化考试服务 ，学生可以随时随地的进行课程结业考试。目前市场上最畅销 的天柏在线考试系统，可以提供非常强大的后台设置功能，用户可以根据自己的需 求设定考试功能，几乎可以满足企业、政府机构、教育单位的所有需求，该系统已 经成功地应用于阿里巴巴、中国移动、上海公安局浦东分局等多个著名的企事业单 位。相信随着我国信息技术的逐步发展，网上在线考试将会在我国教育培训的各个 领域大展拳脚。 1 2 2 目前国内外在线考试系统的主要运行模式 目前国内外应用的在线考试系统主要基于两种运行模式：c s ( c l i e n t s e r v e r ) 模式和b s ( b r o w s e r s e r v e r ) 模式。 c s ( c l i e n t s e r v e r ，客户机服务器) 模式又称c s 结构，是2 0 世纪8 0 年 代末逐步成长起来的一种模式，是软件系统体系结构的一种。c s 结构的关键在于 功能的分布，一些功能放在前端机( 即客户机) 上执行，另一些功能放在后端机( 即 服务器) 上执行。功能的分布在于减少计算机系统的各种瓶颈问题。c s 模式简单 地讲就是基于企业内部网络的应用系统。与b s ( b r o w s e r s e r v e r ，浏览器服务器) 模式相比，c s 模式的应用系统最大的好处是不依赖企业外网环境，即无论企业是 否能够上网，都不影响应用。服务器通常采用高性能的p c 、工作站或小型机，并 采用大型数据库系统，如o r a c l e 、s y b a s e 、i n f o r m i x 或s q ls e r v e r 。客户端需要 安装专用的客户端软件。传统的c s 体系结构虽然采用的是开放模式，但这只是 系统开发一级的开放性，在特定的应用中无论是c 1i e n t 端还是s e r v e r 端都还需要 特定的软件支持。由于没能提供用户真正期望的开放环境，c s 结构的软件需要针 对不同的操作系统系统开发不同版本的软件，加之产品的更新换代十分快，已经 2 硕士学位论文 m a s t e r st h e s i s 很难适应百台电脑以上局域网用户同时使用。而且代价高，效率低。因此，基于 c s ( c l i e n t s e r v e r ) 模式的在线考试系统，利用计算机局域网络，每台计算机( 客 户端) 通过安装必要的软件才能与服务器端进行通信。因此在每次进行不同的考试 之前都必须将相关的应用程序安装在考试客户端上，这样不仅造成了考务工作的繁 琐，而且系统的性能也会受到一定影响，再者，维护和升级也显得十分麻烦。 而b s 结构模式的用户工作界面是通过w 唧浏览器来实现，极少部分事务逻辑 在前端( b r o w s 醯) 实现，但是主要事务逻辑在服务器端( s e r v e r ) 实现，形成所 谓三层3 - t i e r 结构。相对于c s 结构属于“胖”客户端，需要在使用者电脑上安 装相应的操作软件来说，b i s 结构是属于一种“瘦”客户端，大多数或主要的业务 逻辑都存在在服务器端，因此，b s 结构的系统不需要安装客户端软件，它运行在 客户端的浏览器之上，系统升级或维护时只需更新服务器端软件即可，这样就大大 简化了客户端电脑载荷，减轻了系统维护与升级的成本和工作量，降低了用户的总 体成本( t c o ) 。b s 结构系统的产生为系统面对无限未知用户提供了可能。以目前 的技术看，局域网建立b s 结构的网络应用，并通过i n t e r n e t i n t r a n e t 模式下数 据库应用，相对易于把握、成本也是较低的。它是一次性到位的开发，能实现不同 的人员，从不同的地点，以不同的接入方式( 比如l a n ，w a n ，i n t e r n e t i n t r a n e t 等) 访问和操作共同的数据库；它能有效地保护数据平台和管理访问权限，服务器数据 库也很安全。特别是在j a v a 这样的跨平台语言出现之后，b s 架构管理软件更是方 便、快捷、高效。因此，相比而言，基于b s ( b r o w s e r s e r v e r ) 模式的在线考试系 统，应用程序和考试信息都存储在服务器端，客户端只需要能联网，并且安装有标 准的w e b 浏览器即可。通常在线考试系统建成后，随着其应用，其数据库中的数据 会不断变化，而且系统本身也需要不断地更新、升级以适应新的用户需求。为了达 到这种目的，本系统使用的是基于b s ( b r o w s e r s e r v e r ) 模式的设计，这样更易于 升级和维护，因为有关系统升级和维护的工作将与客户端完全无关，所有的操作都 在服务器端进行。b s 的三层体系结构如图1 1 所示： 、 厂、 w 曲服务l 一一 器，应用服 敦据库 ( 鬻善? 伊 ， 务嚣 ， ， 、 业务逻辑，数据访向层数据存储层 图1 lb s 三层结构体系w e b 应用系统 硕士学位论文 m a s t e r st h e s i s 1 2 3 现今基于b s 的在线考试系统存在的主要弊端 当前，在线考试系统的发展势头，的确令人可喜，但是大多数考试系统都存在 普遍的弊病，这些问题如果不解决好将成为其普及道路上不可逾越的障碍。如今， 基于b s 的在线考试系统主要存在以下问题和弊端： ( 1 ) 通用性不强。不能特定行业特定群体特定学科展开具有个性的开发和设 计。 ( 2 ) 界面不友好。非计算机相关专业的考试是目前用户需求最大的，而现存 在线考试系统大多只注重其功能，而忽视了界面的简单友好，对于未接受过计算机 操作培训的用户来说，使用起来还存在一定的困难。 ( 3 ) 安全性差。系统用户权限不清晰，系统很容易因用户的误操作而不稳定。 此外，在考试相关信息的安全性上还缺乏可靠的保障措施。 因此，本课题的目的就是设计并实现一个适用于多种学科、可扩展性、迁移性、 安全性、可维护性良好的通用型在线考试系统。 l - 2 4 本论文主题的研究概述 现今社会对劳动者和技术人员的知识和能力的要求越来越高。考试作为衡量人 们能力的重要手段，并已深入到社会的各个方面。但是目前学校与社会上的各种考 试大都采用传统的考试方式，在此方式下，组织一次完整的考试至少要经历教师出 卷、试卷印刷、学生考试、教师改卷、成绩统计等5 个步骤。 传统纸质考试方法是：任课教师在课程结束前两周，按照考核大纲提交两套试 卷( a 、b 卷) 交给系教务员，课程负责人选择印刷的试卷( a 卷或b 卷) 、教务员安 排考试时间和地点、学生考试、任课教师领取试卷评分、统分、再将成绩上传到网 上的教务系统、学生查询成绩。此种方法存在以下几方面的弊端： ( 1 ) 试题单一，容易泄题。 ( 2 ) 试卷一样，易作弊。 ( 3 ) 误判、漏判、统错分。 ( 4 ) 成绩上网，不易操作。 ( 5 ) 纸质考试成本高，也不方便管理。 目前随着考试类型的不断增加和考试要求的不断提高，组织考试的工作量越来 越大；管理人员和教师在组织考试的过程中需要花费较多的时间和精力，人为错误 率也较高；另外，当考生数量比较大时，对学生成绩统计及分析十分烦琐且容易出 错；而且，成绩公布之前学生为查看成绩给教师和教务部门带来的麻烦也不少，考 4 硕士学位论文 m a s t e r st h e s l s 试管理工作效率逐渐降低。可以说，传统的考试方式已经不能适应目前考试的需要。 i n t e m e t 技术的发展使得考试的手段和媒介发生着变化。从传统的笔试到计算机 辅助考试，并发展到基于各种技术的在线考试。 相比传统的考试方式，在线考试系统的好处主要表现在以下几个方面： ( 1 ) 题库抽题，随机组卷。可以动态地管理各种考试信息，只要准备好足够大 的题库，就可以按照要求自动生成各种试卷。从题库中抽题随机组卷，所有人都不 知道试卷的内容，只有考试的时候才知道，这样能有效防止教师在复习的时候“勾 重点”，真正的实现教考分离，学生必须全面掌握知识，才能通过考试。 ( 2 ) 考试时间和地点灵活，考生可以在规定时间段内的任意时间参加考试；并 且基于w e b 技术的在线考试系统可以借助于遍布全球的i n t e m e t 进行，因此考试既 可以在本地进行，也可以在异地进行，大大拓展了考试的灵活性。 ( 3 ) 在线考试有利于激发考生的学习兴趣，有效地减轻教师和考核部门的工作 负担，提高各部门的工作效率。在线考试的最大特点是阅卷快，系统可以在考试结 束时当场给出考试结果。计算机判卷，避免人为错误，又节约了成本。考试完成后 学生马上可以查看成绩和试卷详细情况，及时知道错在什么地方，了解自己不足之 处。这一切都是由电脑完成，减轻了教师的工作量，也有效的避免了人为因素，体 现了考试的公平性。 ( 4 ) 提高教学质量。任课教师要查看学生考试情况，可通过成绩分布图，每个 成绩段有多少学生，最高分，最低分，平均分，以及学生在每个题型的平均分，都 可直观的反应出来，这样老师就能很好地掌握学生对本门课程的学习情况，以便在 以后的教学中注意加强相应部分的辅导。而这一切都是由考试系统完成。 ( 5 ) 能考场监督与容错能力。学生在考试过程中，若考试机出现故障，可以马 上启用考场备用机，而前面己做的试题保存在服务器上，在备用机上接着做。 和传统的纸质考试相比，利用网络资源开发在线考试系统具有明显的优越性， 是对传统的考试方式的重要改革，是值得进一步完善后大力推广。 信息技术的发展对教育的影响是巨大的，随着信息技术和网络技术的迅速发 展，教育信息化和网络化也将成为必然的趋势。作为教育评价和衡量学生能力的考 试也正经历着无纸化和网络化的飞跃。网络的开放性和分布性的特点以及基于互联 网的巨大计算能力使得考试突破了时间和空间的限制。基于网络技术的考试系统正 成为人们的研究热点之一，其中，基于w e b 技术的考试系统已成为互联网的重要应 用之一。 目前教师采用在线考试系统的还不多见，因为教师个体精力确实有限。但随着 硕士学位论文 m a s t e r st h e s i s 教研组制度的完善和教学交流活动的增加。对题库的创建将提上议事的日程，在线 考试系统将大有用武之地，且能确保考风考纪的根本好转。在线考试具有动态出题、 自动阅卷、成绩分析等优点，不仅大大减轻了教师人工组卷繁琐的的工作量，提高 资源利用率，其运行过程中，组卷速度较快，较少出现重复的现象，而且有利于教 考分离的实施，符合目前教学改革的目标。更节省纸张资源，增强环保意识。因此， 在线考试系统具有潜在的巨大商机和研究价值，是未来数字化校园系统研究的热点 内容。我们设计的在线考试系统是一个基于w e b 的实时在线考试系统，系统的目标 是实现一个基于i n t e m e t 的智能化远程考试系统，采用开放、动态的系统架构，将 传统的考试模式与先进的网络应用相结合。 1 3 本项目的主要研究内容及研究方法 本项目文采用了总体规划、分步实施、软件技术与网络技术相结合，管理模式 研究和技术开发相结合，研究与应用相结合的技术路线。首先通过分析在线考试的 实际需求，设计考试的组织与管理模式；分析并设计用户登录、考试科目、专业课 程等多约束条件下与考试相关的其他信息的关系结构；继而设计考试试卷的组成规 则、题型和题量的分布及程序实现方法，分析计算机答卷的技术要求和阅卷评分的 准确性要求，并设计解决方案：设计考试系统的模式结构、功能、安全性和网络适 应性等；最后，制定系统应用规范。 ( 1 ) 题型和题量的设计 在基于w e b 的在线考试系统中，题库中的题型设计是一个重要因素，决定了考 试是否能够产生科学、合理的测试效果。本系统处理的题型有：单项选择题、多项 选择题、判断题、填空题和简答题等，并设置有标准答案、试题分值、试题归类、 难度级别，满足考试抽题及自动阅卷的参数要求。同时，通过录入充足的题量，以 满足考试抽题的随机选择空间。 ( 2 ) 计算机答卷的技术要求 考生试卷中所有试题均为单项选择题、多项选择题、判断题、填空题或者简答 题等。考生答题时，使用鼠标选择各题目中认为正确的选项，单项选择题和判断题 仅能够选择选中一个答案，多项选择题能够选择两个以上答案，填空题和简答题将 答案填入相应的框中。对考生而言，只需要掌握鼠标的使用方法和键盘输入方法即 可。很显然，这样的操作技能，针对社会中具有中、高级文化程度的人员来说，不 存在任何障碍。因此考生利用计算机进行考试答卷是完全可行的。 ( 3 ) 阅卷评分的准确性保障 6 硕士学位论文 m a s t e r st h e s i s 在在线考试系统中，对于客观题型的阅卷通过将考生答案与试题标准答案进行 字符串比较的方式来判别，保证了阅卷的准确性，对于主观题型的阅卷通过教师的 人工阅卷评分，评分可通过累计正确答题的试题分值来获得，算法简单、快速、准 确，程序编制容易。 ( 4 ) 系统开发及应用模式 基于w e b 的在线考试，充分利用i n t e r a c t ，采用b s 模式的数据库体系，客户 端软件仅需浏览器支持，维护简单。系统开发周期短，应用程序页面简单、轻量， 具有很强的伸缩性，对客户端硬件配置要对蕙极低，易于达到要求，可以选择不同厂 家的设备和服务。系统资源的冗余度小，部署方便，容易维护且可扩充性良好。 ( 5 ) 选择合适的开发工具 开发工具的选择对一个系统来说很重要，既决定了开发人员的开发效率，也对 页面的美观和操控性起着重要作用，同时也对系统的易维护性和扩充性有着重要影 响。 ( 6 ) 建立多客户环境下数据库应用模式 以w e b 技术为基础的b s 模式正日益显现其先进性，当今很多基于大型数据库 的应用系统正在采用这种全新的技术模式。 b s 模式由浏览器、w e b 服务器、数据库服务器三个层次组成。在这种模式下， 客户端使用一个通用的浏览器，代替了形形色色的各种应用软件，用户的所有操作 都是通过浏览器进行的。该结构的核心部分是w e b 服务器，它负责接受远程( 或本 地) 的h t t p 查询请求，然后根据查询的条件到数据库服务器获取相关数据，再将 结果翻译成h 1 四和各种页面描述语言，传送回提出查询请求的浏览器，由后者与 数据库联系完成这些工作。 具体而言，本项目的主要研究方法如下： ( 1 ) 文献研究法。 查阅中外关于基于s s 的考试系统的相关资料，学考试系统的结构、功能、特 点和开发方法等。在此基础上，结合其特点，设计出一个基于b s 的在线考试系统 的基本模块。 ( 2 ) 软件建模与实现的方法 本系统是一个向用户提供在线考试服务的w e b 数据库应用系统，在研究和实现 上必须从软件工程学的角度出发，严格按照需求分析、系统分析与设计、功能的程 序设计实现、测试等一般过程。 7 硕士学位论文 m a s t e r st h e s i s 2 基于w e b 的在线考试系统的研究与开发基础 2 1 在线考试系统的概念 “在线考试系统 是一种远程教育( 数字化学习) 发展趋势下应运而生的学习 评价辅助软件，它以一定的考试理论为指导，基于互联网技术而设计，利用计算机 网络和w e b 数据库技术，让考试真正达到自动化、智能化、网络化。让系统可以跨 越时空，向用户提供数据库自动出卷、在线考试、自动评分、考试相关信息管理等 功能。 2 2 在线考试系统的优点 在线考试系统利用网络技术组织考试，与传统纸质考试相比，有着无可比拟的 有点： ( 1 ) 高效节约 相比传统考试的人工出题、印刷试卷、监考、阅卷、评分需要耗费大量的人力 物力资源，利用在线考试系统组织考试，只需将考试有关的信息输入到数据库中， 并建立一个庞大的题库，就可以多次利用，出卷、评分等工作均由系统自动完成， 效率高，低成本。 ( 2 ) 准确公正 系统随机生成标准化试题，考生在完成相关考题以后，系统会迅速准确地自动 进行评分，这样能在一定程度上避免考试中的人为因素的影响( 如人为误差、人情 分等) ，从而保证了考试的准确公正。 ( 3 ) 安全保密性强，客观公正性突出 系统试题库由专人来管理，考试时系统自动随机出卷，考前无任何成套试题， 试题覆盖范围大，不同考生的试卷很可能不同，能有效避免传统考试中因人为因素 导致泄题的情况，防止考前猜题、押题、划范围以及考试作弊等不良现象，从而使 考试的安全保密性得到保证，客观公正性得以充分体现。 ( 4 ) 打破时空，完全可以实现实时异地同步考试 i n t e r n e t 使我们的生活无处不在，在线考试系统就充分地利用了这一优势，考 生可在任意时间任意地点的联网计算机上进行考试，这也给利用互联网组织大规模 实时异地考试创造了可能，将传统考试的考场直接由教室延伸到任何你想得到的位 置。 8 硕士学位论文 m a s t e r st h e s i s 当然，在线考试系统除了上述优势之外还有许多优点，这里就不再一一列出， 但是我们依然可以得出这样的结论：o n l i n e 的考试系统，必将成为以后e l e a r n i n g 环境下最优秀的评价方法。 2 3 关于在线考试系统的理论基础一经典测试理论与项目反应理论 2 3 1 经典测试理论( c t t ) 的基本观点及对考试系统的影响 一般将测试量理论分为经典测量理论、概化理论和项目反应理论三大类，或称 三种理论模型。人们将以真分数理论( t r u es c o r et h e o r y ) 为核心理论假设的测量理 论及其方法体系，统称为经典测验理论( c l a s s i c a lt e at h e o r y ，c t t ) ，也称真分数理 论。经典测验理论以随机抽样理论为基础，建立了简单的数学模型，研究表明，它在 理论假设和实际应用方面存在如下缺点： ( 1 ) 真分数与观测分数问存在线性关系的假定不符合事实c t t 假定真分数t 、 观测分数x 和测验误差分数e 间的关系可以用一个简单的线性函数x = t + e 表示但 大量的研究表明，真分数与观测分数间的非线性关系更符合事实。 ( 2 ) 项目统计量( 难度和区分度) 严重依赖于被试样本c t t 的项目难度以通过 率表示，因此被试样本能力高时项目通过率就高，反之则低：区分度通常以项目与总 分的相关或高低能力组的通过率之差表示，两组能力差别大时，区分度就高，反之则 低。 ( 3 ) 对被试能力的估计依赖于测验题目的难度在c t t 中，被试能力与测题难 度是相关的，参加不同难度的测验会得到不同的能力估计值，不同测验结果问难以 进行比较。 ( 4 ) 测验信度建立在平行测验假设的基础之上平行测验指内容相似，平均分、 标准差及误差均相同的测验但严格平行的测验是不存在的即使同一测验在不同 时间施测，测验分数也会产生较大变异。 ( 5 ) 测验信度的取值也依赖于被试样本当样本能力水平的差异大时，测验分 数的分布范围就大，计算出的信度值就高，而反之信度值就低。 ( 6 ) 误差与真分数独立的假设难以满足c t t 假定误差与真分数独立，即r t e = 0 ， 这是不符合事实的低能力的被试答题时一般会比高能力被试有更多的猜测，所以 其测验误差分的大小及方差必然要大于高能力的被试。 ( 7 ) 信度是针对被试全体的，只代表平均测量精度信度不能给出不同能力水 平的准确测量精度，因而对如何提高不同能力水平的测量精度问题c t t 显得无能为 力。 9 硕士学位论文 m a s t e r st h e s i s ( 8 ) 对测验等值、适应性测验、标准参照性测验的编制等问题不能给以满意 的解决 虽然c t t 理论存在诸多的问题，但c t t 依然是体系上最成熟的，以其为基础的 测验在各行各业得到了成功的应用，可以说，c t t 是其他测验理论赖以产生的基石 在新的测验理论崛起的今天，c t t 仍然占据着不可替代的地位之所以如此，是因为 c t t 有以下的优点： ( 1 ) 建立在较简单的数学模型之上，易于被人理解和接受，且计算简便，容易推 广。 ( 2 ) 理论假设较弱，对实施条件要求不严格，适用性广。 ( 3 ) 在多数情况下c t t 是足够精确的，可以放心地应用。 就目前而言，在线考试系统基本上都是基于c l a s s i c a lt e s tt h e o r y ，即c t t 。 该理论以现有的确定性模型为依据，通过项目分析和整体分析来的方法来评价考试 的质量以及有效性和稳定性。这一理论对现行考试提出异议，指出考试以后所得到 的分值并不能完全反映出学生的水平，还会受制于其他因素。只有最大可能的降低 其他因素的影响，结果和水平才可能保持一致性。经典测试理论要求在线考试系统 的设计必须具备良好的安全性、稳定性，避免因信息安全、系统不稳定而影响考试 结果，而且要求试卷覆盖面广，这样才能体现出考生的真实学习情况和相应的水准。 2 _ 3 1 项目反应理论( r o t ) 的基本观点及其对考试系统的影响 项目反应理论的基本思想起源于上世纪3 0 年代末至4 0 年代初，在1 9 4 6 年， 塔克( t u k e r ) 正式提出了“项目特征曲线”概念，把表征被测试者的能力或特质水 平与其对一个测验项目的正确反应概率之间的关系描述为二维的曲线图。1 9 5 2 年， 美国心理和教育测量学家洛德( l o r d ) 提出了著名的正态卵形模型以及该模型的参 数估计方法，并成功地将他的模型应用于实际测验。随后，在1 9 5 7 年，伯恩鲍姆 ( b i r n b a u m ) 提出了易于处理的逻辑斯蒂( l o g i s t i c ) 模型以及相应的统计处理方法， 取代了洛德的正态卵形模型，即一步推动了项目反应理论的发展。 自上个世纪7 0 年代以来，项目反应理论在其各个主要领域，如测验设计、能 力估计、测验等同化、自适应测验等方面，都取得了相当大的进展。目前人们对项 目反应理论的研究工作，在理论方面集中在连续变量测验资料和多维情况下的数学 模型探索上：而在应用方面，则集中在模型一资料拟合良度检验方法和参数估计方 法的改进，以及项目反应理论在测验编制、题库建设、测验参数等值等实际问题中 的应用上。 目前应用最广的项目反应模型二级评分的单维非线性模型，以伯恩鲍姆提出的 l o 硕士学位论文 m a s t e r st h e s i s 逻辑斯蒂模型为代表。连续性模型与多维模型比较复杂，都还处于研究阶段。下面 重点介绍两种二级评分项目反应模型：最优量表模型和逻辑斯蒂模型。 ( 1 ) 最优量表模型 最优量表模型是古特曼提出的，所以又称为古特曼模型。古特曼认为，对于一 。 d 个测验项目，如果被试者的相应能力或特质u 达到或超过了难度水平b ：那么被试 者就能对此项目作出正确反应，反之则不能。如图2 1 所示，古特曼模型的相关被 试曲线是一条阶梯曲线，图中的b 通常被称为项目难度。 答对概率p 特质水平9 图2 1 古特曼模型 在实际测量中，大量的分析和统计结果表明，大多数情况下，即使被试者的能 力或特质水平o 达到或超过了某个水平b ，被试者也不一定能对难度为b 的项目 作出正确的反应：反之亦然。因此，古特曼模型存在很大的局限性，在实际中很少 应用 ( 2 ) 逻辑斯蒂模型 逻辑斯蒂模型是伯恩鲍姆于1 9 5 7 年提出的。他假定的项目特性曲线如图2 2 所示。 p ( e ) 1 0 0 ( 1 + c ) 2 o 0 0 图2 2 逻辑斯蒂模型 b 0 硕士学位论文 m a s t e r st h e s i s 项目特性曲线描述的是各种特质水平的被试者( 一般用v 表示) ，对某一测试 项目的正确反应概率( 一般用p ( 9 ) 表示) 。一定能力或特质水平的被试者对某一 项目的正确反应概率只与该项目的质量有关。 一般来说，被试者的特质水平可视为连续变化的，因此，反映各特质水平上被 试者的答对概率的连线就一定是一条平滑的曲线。由于特质越高的被试者答对概率 越大，所以这条曲线应该是单调递函数曲线。经研究，被试者的答对概率与其特质 。 水平之间的关系是非线性的，即当特质水平v 大或小到一定程度以后，答对概率 p ( e ) 随之变化的速度显著变小。研究表明，这种曲线的形状，是一条以其拐点 为中心的s 型曲线。 一般地，对某一测验项目的质量，我们可采用项目难度、项目区分度和猜测参 数三个指标来描述。从图中可以看到，项目特性曲线下部的渐近线离坐标轴的零点 有一定距离，这表明由于存在猜测因素，能力或特质水平很低的被试者仍有可能答 对。该项目的猜测参数，一般用c 来表示，它是凭猜测答对该题的概率。前面己经 提到，项目特性曲线是一条以拐点为中心的曲线，因而其拐点在纵轴上的投影正好 落在c 与1 的中心上，即拐点的纵坐标为( 1 + c ) 2 。这表明特质水平为b ( 拐点在横 轴上的投影) 的被试者与答对、答错该项目的概率，排除猜测因素不计，恰好彼此 相等。所以b 通常被定义为项目的难度参数。项目特性曲线拐点处的斜率刻划了曲 线的陡峭程度，这与项目划分被试者特质水平的能力有关。很显然，曲线越陡，答 对概率p ( b 对特质水平的变化就越敏感，即项目区分被试者水平的能力越强。 因此，曲线拐点处的斜率被称为项目的区分度参数，一般用a 来表示。 用来描述项目反应模型的数学函数称为项目反应函数。从以上的分析可以看 出，项目反应函数实际上是描述被试者答对概率p ( e ) 与项目的参数a b ，c 和 被试者的特质水平口在数值上的关系。伯恩鲍姆选择用来描述项目反应模型的数 学函数是逻辑斯蒂拱形函数族，逻辑斯蒂模型正式由此得名。常用的是三参数的逻 辑斯蒂模型，它的数学表达式为： 即一+ 品蒜 。2 州 去处猜测因素，令猜测参数c ：0 ，就z 。，1 0 双参数逻辑斯蒂模型的数学表达式 1 2 硕士学位论文 m a s t e r st h e s i s 尸( 秒) = 1 + e - 二i t a ( 8 一- b ) ( 2 2 ) 如果令c = o ，同时假定各题目的区分度相同，比如a = l ，这时项目只在难度 上有变化，对应的逻辑斯蒂模型成为单参数逻辑斯蒂模型，其项目反应函数为 删= 爵丽1 ( 2 3 ) 另外，有不少题目即使高水平的被试者，也难以绝对完善地作答，反映在 项目特性曲线上就是曲线的尾部并不以1 0 0 为极限，而是略低于1 0 0 。因此， 有人又提出了第四个参数r ，这就得到了四参数逻辑斯蒂模型。其表达式为 即) = c + 矗南 ( 2 叫) 洛德提出的项目反应函数是正态卵形函数，其表达式为 p ( 伽c + ( 1 一c ) r 击中破 ( 2 5 ) 实际上，洛德提出的正态卵形函数与逻辑斯蒂函数相比，在计算结果上并无大 的区别，所绘制的曲线也大体相同。然而，在实际中大多采用后者，其中主要有以 下两个方面原因：首先是它在形式上简洁，更具有数学模型的特点：其次是它便于用 对数关系作处理，因而模型的项目质量参数和能力参数估计起来更方便。 随着计算机技术的发展，i r t 得以迅速推广应用目前一些大型的考试t o e e l 、 g r e 等，都相继采用了以i r t 为基础的计算机化适应性测验( c a t ) ，一些传统的智力测 验如比奈测验、韦氏智力测验、瑞文测验等也使用i r t 作为分析的理论依据i r t 的 前景是无可争议的i r t 在理论和方法上有以下优点： ( 1 ) 采用非线性模型，建立了被试对项目的反应( 观察变量) 与其潜在特质( 潜 变量) 之间的非线性关系，这一点更符合事实。 ( 2 ) 对被试能力的估计不依赖于特定的测验题目i r t 将被试能力和测题难度 放在同一量尺上进行估计，无论测验的难易，被试能力估计值不变，不同的测验结果 可直接比较。 硕士学位论文 m a s t e r st h e s i s ( 3 ) 难度和区分度的估计值与被试能力无关同一个测验项目，高能力和低能 力被试的反应拟合同一条项目特征函数曲线( i c e ) ，同一条i c e 所对应的项目参数是 唯一的。 ( 4 ) 测验信息函数的概念代替了信度理论，用测验对能力估计所提供的信息量 的多少来表示测量的精度这避免了平行测验的假定，并能给出不同能力被试的测 量精度。 ( 5 ) 根据项目信息量的大小来选择对能力估计精度最有增益的项目，使测验 达到预先规定的满意的精度对不同能力的被试实施不同测题，既提高了测量精度 又缩短了测验长度。 ( 6 ) 对测验等值、适应性测验、标准参照性测验的编制等问题给出了满意的 解决办法 笔者认为，i r t 的理论体系构建于更复杂的数学模型之上，其概念和理论推导更 加严谨，但应该看到，i r t 也并不是完美的，其不足之处表现在以下几方面： ( 1 ) 单维性假定难以满足这是i r t 受到攻击的最主要原因单维性是指测验 测量的是单一潜在特质，但严格的单维性是难以满足的目前的现实问题是，单维性 需达到什么程度才能应用i r t ，但这一标准的确定尚缺乏充分的理论依据。 ( 2 ) 目前i r t 的应用仍以两级记分模型为主，且局限于单维反应模型，更高级 的i r t 模型尚处于理论上的探索阶段。 ( 3 ) i r t 建立在更复杂的数学模型之上，依赖更强的假设，计算复杂，不易被人 掌握。 ( 4 ) i r t 对测验条件要求较严格，样本容量要大，被试的能力分布范围要广，测 题数量要多，这些条件不满足就会影响其精确性。 ( 5 ) 对c t t 的一些研究领域，如测验效度问题等，i r t 并没有提出独到的见解。 在国内，研究基于w e b 的教学系统的热潮正在兴起，但多以专题网站的形式 出现，有关白适应测验( 练习) 的计算机软件极为少见，其中比较成熟的是东软的凯 思英语考试，其每道试题都有3 方面的统计数字，题目的难度、识别度( 题目对个 人能力的适合度) 、偶然性( 偶然答对的可能性) ，以凯思英语考试为例，最终题库 中题目参数是在2 0 万人次的测试后确定的，主要运用在高校新生分班考试、大学 英语期末考试，它最大的特点是可以将在其考试系统中测量得到的分数等值到其他 考试中。全国大学英语四、六级考试委员会一直致力于项目反应理论和“机助自适 应测验”的研究和开发。目前项目反应理论已成功的用于c e t 分数等值处理过程中， 但自适应测验软件正在研究建设过程中，目前还没有成品的软件模型问世。 1 4 硕士学位论文 m a s t e r st h e s i s 综上所述，c t t 理论与i r t 理论各有优势与劣势，但我们如果能在在线考试系 统的设计里面将上述理论有机的融合起来，将对在线考试系统的设计起到极大的推 动作用，在笔者所设计的基于b s 的在线考试系统里面，尽可能的结合上述两种理 论，并作为后续在线考试系统的理论基础。 2 3 在线考试系统开发环境及技术简介 2 3 1 在线考试系统的开发环境及开发工具 该在线考试系统的开发环境包括硬件环境和软件环境，其基本的配置要求如 下： ( 1 ) 硬件环境 i n t e lp e n t i u mi i c l a s s3 0 0 mh z ( 最好在i n t e lp e n t i u mv2 4 g 以上) 。 内存：客户端2 5 6 u b ( s e r v e r 端最好在5 1 2 她以上) 。 磁盘空间：至少5 g b 剩余空间 显示器：最佳显示分辨率为7 6 8x1 0 2 4 像素，2 5 6 色。 目前，对于绝大多数用户的计算机硬件配置都能满足使用a s p n e t 技术开发在 线考试系统的最低硬件环境要求。 ( 2 ) 软件环境 客户端操作系统：w i n d o w sx ps p 2 或w i n d o w ss e r v e r 2 0 0 3s p l 以上 客户端浏览器：i n t e r n e te x p l o r e r5 5 以上版本 服务器端操作系统：w i n d o w ss e r v e r 2 0 0 3s p i 以上版本w i n d o w s 服务器 w e b 服务器：i n t e r n e ti n f o r m a t i o ns e r v i c e s5 1 ( i n t e r n e t 信息服务5 1 ， 即i i s 5 1 ) 以上，n e tf r a