（教育技术学专业论文）网络在线考试系统的设计与实现.pdf

中文摘要 摘要 随着计算机技术的迅猛发展，远程教育已成为未来教育必然的发展趋势。而在 线考试系统作为现代远程教育系统的一个子系统，是远程教育实现过程中的一个关 键，是保证远程教育教学质量的重要手段之一。在线考试系统便于学生学习后自测、 教师灵活组织考试和评卷分析，有利于更好地提高网络课程教学的水平，与传统笔 试方式相比，它既简化了考试流程，又节省了人力物力，提高了效率和教学管理水 平。同时与c s 考试模式比较，它只需安装浏览器客户端，系统更加稳定，维护升 级方便，更适宜于互联网上的考试。基于上述情况，本文在对网络化考试系统的深 入研究基础上并结合用户的实际需要，分析了网络课程考试系统的主要功能和系统 构成，设计了一个功能强大，通用性强的基于w e b 的网络课程考试系统。该系统基 于b s 体系结构，选用s q ls e r v e r 2 0 0 5 作为网络数据库管理系统，以a s p n e t 作为 开发工具开发完成。 首先，文中简要的介绍了本课题的来源以及开发这个系统的意义，论述了开发 网络在线考试系统的相关理论和技术基础。对整个网络在线考试系统进行了需求分 析和功能设计，确立了系统的体系结构。最后，重点以前台考试主系统、后台管理 子系统、以及公共交流园地为例阐述了系统的界面以及实现过程。同时，给出了系 统开发和设计过程中的关键技术问题和解决方案。整个系统功能完善、具有简便灵 活、数据安全可靠等优点。该系统的运行将为网络课程的建立和维护工作带来极大 的便利。 关键词：在线考试 a s p n e t 自动评分 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y ，t h ed i s t a n c ee d u c a t i o nh a s b e c o m ea ni n e v i t a b l et r e n di ne d u c a t i o ni nt h ef u t u r e t h eo n l i n ee x a m i n a t i o ns y s t e m ，a s as u b s y s t e mi nm o d e r nd i s t a n c ee d u c a t i o ns y s t e m ，i sa k e yi n t h ep r o c e s so f i m p l e m e n t a t i o no fd i s t a n c ee d u c a t i o n l o n g d i s t a n c ee d u c a t i o ni so n eo ft h ei m p o r t a n t m e a n st oe n s u r et h eq u a l i t yo ft e a c h i n g o n l i n ee x a m i n a t i o ns y s t e mi sg o o dt od os e l f - t e s t a f t e rt h es t u d e n t ss t u d y t e a c h e r sc a no r g a n i z ee x a m i n a t i o n sa n dd om a r k i n ga n a l y s i s f l e x i b l ea n di m p r o v et h en e t w o r kl e v e l c o m p a r e dw i t ht h et r a d i t i o n a lw r i t t e ne x a m i n a t i o n ， i tn o to n l ys i m p l i f i e st h et e s tf l o w ，b u ta l s os a v e sr e s o u r c e st oi m p r o v e t e a c h i n ge f f i c i e n c y a n dm a n a g e m e n tl e v e l s i m u l t a n e o u s l yw i t ht h ec | st e s tm o d e l 。i ti n s t a l l sab r o w s e r c l i e n to n l y ，t h es y s t e mi sm o r es t a b l e ，m a i n t e n a n c eu p g r a d e se a s i e ra n dm o r es u i t a b l ef o r t h ee x a m i n a t i o no nt h ei n t e r n e t b a s e do nt h ea b o v e ，t h i sa r t i c l eo nt h en e t w o r ka tt h e e x a m i n a t i o ns y s t e mi n d e p t hs t u d yo i lf o u n d a t i o nc o m b i n e dw i t ht h ep r a c t i c a ln e e d so f u s e r s ，a n a l y z e dt h ec o n s t i t u t i o na n dt h em a i nf u n c t i o n so ft h en e t w o r kc u r r c u l u m e x a m i n a t i o ns y s t e m ，d e s i g n e dap o w e r f u l ，u n i f i e dw e b - b a s e dc x m i c u l u me x a m i n a t i o n s y s t e m t h es y s t e mi sb a s e do nb | sa r c h i t e c t u r e 。u s e ss q ls e r v e r 2 0 0 5a st h en e t w o r k d a t a b a s em a n a g e m e n t s y s t e mf o ra s p n e td e v e l o p m e n ta sad e v e l o p m e n tt 0 0 1 f i r s to fa l l ，t h ep a p e rb r i e f l yi n t r o d u c e dt h es o u r c e so ft h et o p i ca n dt h es i g n i f i c a n c e o ft h ed e v e l o p m e n to ft h e s y s t e m ，d i s c u s s e dt h eb a s i ct h e o r ya n dt e c h n o l o g yo ft h e o n l i n ee x a m i n a t i o ns y s t e m ，a n a l y z e dt h en e e d sa n dd e s i g n e dt h ef u n c t i o no ft h ee n t i r e o n l i n ee x a m i n a t i o ns y s t e m ，e s t a b l i s h e das y s t e ma r c h i t e c t u r e f i n a l l y ，i th a da ne x a m b e t o k e n ss y s t e m ，t h eb a c k - s t a g em a n a g e m e n t s u b s y s t e ma sw e l l a st h ep u b l i c c o m m u n i c a t i n gp a r ka sa ne x a m p l eo nt h es y s t e mt od i s c u s st h ei n t e r f a c ea n dp r o c e s so f h o wt or e a l i z ei t a tt h es a m et i m e ，i tg a v et h ek e yt e c h n i c a li s s u e sa n ds o l u t i o n so ft h e s y s t e md e v e l o p m e n ta n dd e s i g n i n gp r o c e s s t h ee n t i r es y s t e mh a sf u l lf u n c t i o n ，s e c l l r e a n dr e l i a b l ed a t a , a n da l s oi se a s ya n df l e x i b l e t h es y s t e mw i l lf a c i l i t a t ea n dm a i n t a i nt h e n e t w o r kc u r r i c u l u mg r e a t l y k e yw o r d s ：o n l i n ee x a m i n a t i o n ；a s e n e t ；a u t o m a t i cs c o r e 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得墨盗塑塾叁堂或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡 献均已在论文中作了明确的说明并表示了谢意。 签，名：至丛日期：垫鳗笸! 王 学位论文版权使用授权书 本人完全了解天津师范大学有关保留、使用学位论文的规定，即：学校有权 将学位论文的全部或部分内容编入有关数据库进行检索，并采用影印、缩印或扫 描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交 论文的复印件和磁盘。 ( 保密的论文在解密后应遵守此规定) 签名：兰丝导师签名： 第一章绪论 1 1 课题研究背景及意义 第一章绪论 随着计算机技术的迅猛发展，网络应用范围也在的不断扩大，发展以互联网为 主要手段的现代远程教育已经成为当今教育的个发展趋势。而在线考试系统作为 现代远程教育系统的一个子系统，是远程教育实现过程中的一个关键，是保证远程 教育教学质量的重要手段之一。 传统考试方式分为：人工出卷、考生考试、人工阅卷、成绩评估和试卷分析5 个步骤但对于高校来说，随着考生数量增多，教师工作量也越来越大，并且其工 作将成为十分烦琐而且更加容易出错的事情。在计算机技术不断融入社会生活各个 层面的今天，传统的考试形式面临着一场巨大的革命，随着计算机和网络技术的日 益发展，使得日常教育方式正逐渐向网络化、信息化的方向转变，而现行考试方法 已不适应现代高等教育对考试的要求，解决这一系列问题的最好方式之一，即建立 基于网络的考试系统。基于网络的考试系统是传统考试的延伸，加上应用了数据库 技术，于是大大简化了传统考试的过程。在线考试系统也越来越受到了学校的青睐， 它的优势不但体现在人力上，而且也体现在了物力上，并可使教师从出题、监考、 评改统计等等费时费力的工作中解放出来，将主要精力转移到如何利用现代化的教 学手段提高教学质量等具有创造性的教学改革工作中，以便更好地适应现代化教育 形势。因此，采用网络考试形式将是以后教育考试发展的趋势u 1 。 基于w e b 模式的考试系统是一种新兴的考试模式，它改变了传统的考试形式， 可以客观、准确地评估学生在某个知识领域的掌握水平，极大地提升了考试效率， 将考试这样一项浩大的工程、模式化、透明化，简单化。同传统意义上的考试形式 相比，基于w e b 模式的考试系统是传统考试和考场的延伸，它可以利用网络的无限 广阔空间，随时随地的让学生进行练习考试，加上数据库技术的利用，从而大大简 化了考试的过程，提高了考试和评价质量。 综上所述，社会信息化的发展促使计算机辅助考试代替传统的考试形式成为教 育考试发展的一种必然趋势，而现存的各种计算机辅助考试系统，无论是计算机等 第一章绪论 级考试还是社会职称考试等等，有的是题量有限，有的局限于单机或局域网中进行， 远远不能满足现代教育对于考试的需求。我们迫切需要一套简单实用的、完备的考 试系统。为此，我们开发了基于w e b 的网上考试系统，我们的研究目的是要建立一 个通用性的网络考试系统平台，以真正适合网络考试的需要，为网络考试系统的发 展作一次有益的尝试。也为开发基于i n t e r n e t 的远程教育考试系统做了理论研究和 技术准备，积累了实际的开发经验。 1 2 在线考试系统的优势 网络考试系统是利用计算机网络组织考试的应用性系统。计算机考试与传统的 纸介质试卷考试相比具有以下优势： 1 准确公平 计算机考试系统主要处理的是标准化试题及试卷，它不但高效迅速而且准确避 免人为因素，从而在一定程度上避免人为误差及人情分等问题，保证考试的公平公 正。 2 增强考试的客观性 利用计算机考试可以实现教考分离，即实现由第二方如教务部门按教学大纲及 教学计划的要求出题组卷，它不但可提高考试的客观准确性，防止考试前的猜题、 压题、划范围等不良现象，还可从另一方面检查评价教师的教学工作成效。 3 高效节约 传统考试在编写试卷、阅卷、成绩统计等方面需耗费大量的资源。而采用计算 机考试，答题完毕后系统会自动判断考卷，并核对出最后考卷的分数，从而可节约 大量的人、财、物力及时间资源。 4 可有效杜绝考试的作弊现象 利用计算机考试各考生的试卷现场随机生成，可以试卷不同也可试卷相同，而 且顺序不同，由此可在一定程度避免互相参看抄袭等作弊现象，从而达到考试成绩 的公平性。在上述基础上将计算机联网组成网络考试系统，除了可以在机房多媒体 网络教室等组织集中考试，也可在局域网或i n t e r n e t 上的任何一台计算机上进行考 试、练习等，更加灵活、方便、高效。因此网络考试系统是一种方便、高效的考试 2 第一章绪论 方式钉。 1 3 国内外研究现状 近年来，各个国家对教育的发展给予了前所未有的关注，都试图在未来的信息 社会中使教育处于一个优势的位置，从而走在社会发展的前列，为此许多国家都把 信息技术应用于教育，作为振兴民族的重要手段。在1 9 9 6 年底，国外开始出现支持 网上教学的系统和平台。美国的n t u 、英国的o p e nc o l l e g e 和我们国家都是十分典 型的网络教育示例。 1 3 1 在线考试系统在国外的发展过程 计算机网络考试在国外开发、使用的都比较早，在2 0 世纪9 0 年代初就己陆续 投入使用了，诸如计算机考试、g r e 考试、注册建筑师考试、注册会计师考试都已 经实现了计算机化。就注册建筑师考试系统为例，目前国外注册建筑师计算机考试 只在美国和加拿大两个国家举行。美国注册建筑师委员会与美国教育考试服务中心 合作，经过6 - 7 年的研究改进，己开发出注册建筑师考试软件，并于1 9 9 6 年开始试 考。全美注册建筑师电脑化考试系统软件由以下四部分组成： ( 芏) n c a r b 注册建筑师管理系统。 ( 玺) c h a u n c yd a t ac t r 直至t e s t c e n t r e 考务管理系统。 选择题题库及考题生成，判分系统。 作图题题库及考题生成，判分系统。 在选择题方面，目前美国电脑题库中己有经过预试的考题8 0 0 个，配题的选择 余地比较大。为了不断更新和充实题库，委员会另请1 6 位专家负责设设计新题，每 人每年设计1 0 2 0 题，第2 - 3 年对新题进行审核、认定、预试后，即可更换或充实 题库。选择题的评分比较简单，统计答对或答错的数量即可。 在作图题方面，美国电脑题库中己有经过预试的作图题2 4 套，每套1 5 小题， 共计3 6 0 个小题，为了不断更新和充实题库，委员会还聘请1 0 位专家负责设计新题。 新题经过预试，每年可更换或补充7 - 1 0 题，每隔5 年对所有作图题作一次全面分析。 3 第一章绪论 作图题分场地设计、建筑设计、建筑技术三部分，每部分都由若干个小题组成，考 试时划分成组，并规定了考试时间嘲。 1 3 2 在线考试系统在国内的发展过程 1 计算机辅助考试系统的研究与应用在国内主要经历了以下几个发展阶段： ( 1 ) 基于单机的计算机考试系统 从2 0 世纪8 0 年代末到9 0 年代初，p c 电脑进入教育领域，计算机辅助考试逐 渐成为新的考试改革热点，这时，研究和应用主要集中在高校，当时计算机考试系 统主要是单机系统，基于d o s 平台和汉字系统，用f o x b a s e 作为数据库软件，用 b a s i c 或者c 编程语言作为前台程序开发。相对现在的考试系统，它只是解决了出 题环节的科学性和高效性，试题库的可扩展性、灵活性和直观性较差，因此它并没 有从根木上使传统考试发生质的变革。 ( 2 ) 基于单机的带有普及意义的计算机考试系统 自9 0 年代中期起，随着p c 电脑的逐渐普及，各行各业应用计算机的范围和频 率越来越高，计算机等级考试的出现使重能力的计算机考试改革成为一个新的热点。 由于它的全面推广，计算机辅助考试的研究和应用都了上一个新的台阶。 计算机等级考试采用上机考试的方式，虽然不是网络考试，但是它己经使得计 算机考试系统由原来的只应用在教师出题环节，扩展到了大规模的学生考试环节中， 适用对象也发生了根本转变，而且功能也延伸到自动评分等环节，这是最突出的进 步，不过，这时的系统适用范围较窄，通用性差。 ( 3 ) 基于网络的大规模考试系统 基于网络的计算机考试系统，其传送信息、发送材料等都是通过w e b 来完成 的。通过i n t e m e t 或l a n 从网络服务器数据库中去提取信息，然后在终端的机器上 做出一定的选择，再通过网络完成被测试信息的提交。在整个过程中，终端机器只 是一个工具而己，考试结束后，被试终端机器没有任何的信息残留，所有被试的信 息都被提交到服务器所在的数据库管理系统中，然后由服务器端通过考试系统从本 机数据库中提取被试信息，得出考试结果，有的实时考试系统会直接将考试结果通 过或返回给被试的终端。 4 第一章绪论 ( 4 ) 计算机自适应考试系统 计算机自适应考试是在项目反应理论基础上发展起来的。目前t o f e l 和g r e 采用的就是这种计算机自适应考试系统，而在国内，计算机自适应考试的研究始自 9 0 年代初期，全国大学英语四、六级考试委员会正一直致力于题目响应理论和机助 自适应考试的研究和开发。 国内计算机网络考试虽然起步较晚，但由于硬件、软件条件也己比较成熟，所 以近几年也有所发展，在线考试系统目前有两类：一是基于局域网的在线考试系统； 一是基于w e b 的在线考试系统。基于局域网的在线考试系统通常用于比较正式的考 试，如计算机等级考试、职业技能考试、行业考试等；基于w e b 的在线考试系统通 常用于考生自测或网络教学系统。 全美测评软件系统( 北京) 有限公司( 简称a r a ) ，是一家提供考试技术服务和考 试内容服务的专业公司，为社会提供多种内容的考试和培训服务，针对中小学信息 技术课程量身订制了校园智能化测评平台1 考通，在该系统下，学生可进行网上 的互动练习、课外作业和提问，教师可进行网上指导、网上批改作业。 鹏博士在线考试系统及题库录入系统是一套基于浏览器的易学易用的产品，该 系统包括用户管理、试题管理、智能组卷、网上考试、成绩分析等功能，主要缺点 是对试卷、试题的分析不够深入，对题库没有维护功能，不利于标准化考试。 科教2 0 0 0 网络考试系统是成都北斗星信息技术发展有限公司推出的多功能辅 助教学系统，是一个练习、测试自动化全面解决方案。具有教学题库管理、自动试 卷生成、网上测验、网上练习、自动成绩统计等多项功能。但该系统虽对题库进行 了扩充，但仍没有淘汰更新机制，也没有将考生从题海战术中解放出来，且分析统 计功能较弱。 一些高校及科研单位也开发了各类基于w e b 的在线考试系统投入实际应用。 一些大规模高校的部分计算机学科，特别是计算机基础学科也在制作和试用在线考 试系统进行无纸化考试，如华中科技大学、上海同济大学等。 此外，像清华泰豪在线考试系统、信心网上考试系统、在线考试系统( e s t ) 清 正专业在线考试系统、汇杰在线考试系统和计算机等级考试都是目前国内外较为典 型的几种在线考试系统。 网络教育正在不断深入人心，人们迫切要求利用网络技术进行在线考试，来提 5 第一章绪论 高了考试的质量和效率，突出公正和客观性，减少传统考试带来的人力和物力上的 损失，提高工作效率，促进教育的发展 4 1 。 通过分析以前案例和研究文献发现，目前网络考试系统已经取得较大发展，但 是仍然存在着许多不完善的地方，使得网络考试在一段时间内很难取代原有的传统 考试形式。 2 现有网络考试系统主要存在着如下问题： ( 1 ) 题目类型固定，不具备可修改、可扩充性； ( 2 ) 组卷方式形式单一，且科学依据不足； ( 3 ) 试卷分析功能不足； ( 4 ) 考生与教师之间沟通不够，无法得到最新及时的考试信息及考试复习资料以 及考后情况分析。 本研究针对上述问题，在借鉴其它系统优点的基础上并结合教学实践和教学管 理中的一些具体情况，提出了基于w e b 的在线考试新型方案。 1 4 系统的设计目标和原则 1 4 1 系统的设计目标 本系统的设计目标为：能正确、有效快速地处理各种网上考试事务；具有良好 的实用性与通用性，提供友好的人机界面，具有较好的可扩充性和安全性，是校园 远程教学系统中重要的教学手段，具有广阔的应用前景。本系统的设计完成，对规 范教学管理，有着积极的现实意义。 1 4 2 系统的设计原则 通过对现有一些在线考试系统的分析研究，并详细了解了构建在线考试系统的 一些要求后，在线考试系统应该满足以下设计原则： 1 通用性原则 系统要有广泛的通用性，可以用于各类课程的远程考试。 6 第一章绪论 2 组卷原则 系统要能够满足复杂组卷条件的要求，组卷速度快，成功率高。 3 安全性原则 要保证考试系统信息传输的安全性，防止考题泄漏，以及客户端和服务器端的 安全性等。安全性是通过为信息的机密性、保密性、完整性和可靠性提供充分的保 护来预防风险。保障系统安全，是任何系统的基本要素。 4 功能完善原则 系统要具有完善的在线考试功能。例如，要有完善的考试现场恢复机制，包括 已经生成的试卷、考生已经做过的题目的答案、考试剩余时间等。待考试结束后， 考试系统应能对客观题进行自动判分，将主观题的答案存入数据库，待教师对主观 题评阅后，考试系统再对主客观题分数汇总，给出总成绩，并对考生给出相应的评 语。 5 可扩展性原则 ， 系统要具有良好的可扩展性。系统需要有良好的可扩展性，以满足考试系统不 断发展的需要。 可扩展性是指系统能保证可持续增长以满足用户需求和业务复杂性要求，w e b 系统为动态变化的模型：它们通常一开始很小，但随着需求的增长而呈指数级增长。 这种增长非常迅速，不仅表现在支持的用户的数量上，而且表现在提供的用户服务 的复杂性和集成性方面。对于考试系统而言，这种扩展性就显得尤为重要，因为考 试系统的功能完善是一个渐进的过程，目前开发的这个系统需要随着考生的要求和 技术的发展而需要不断改进，所以可扩展性是非常重要的。这就要求开发者使用正 确的开发方法和手段，保证系统是可以扩展并容易修改的。 6 可管理性和可维护性原则 可管理性是指可以很方便地对系统进行管理，确保系统的正常运作。管理和运 作涉及以下几个因素：维护系统服务及其服务正常所需的基础结构，工具以及管理员 和技术人员。 7 可靠性和可用性原则 系统需要在一定的负荷下保持运行的可靠性和可用性。服务质量的一个重要方 面是能够在期望的响应时间内访问信息。对需要通过网络的应用程序或信息的单位 7 第一章绪论 用户来说，还意味着必须在用户期望的时间内为用户提供其需要的信息硒1 。 1 5 本论文组织结构 本文使用a s p n e t 技术实现一个在线考试系统，整个系统将被设计成具有易修 改和扩展的特性通用考试系统。 论文分为六个部分，第一章介绍了网络考试系统发展的现状：第二章介绍了考试 系统的相关理论：第三章讨论系统方案设计：第四章介绍了考试系统开发平台的关键 技术：第五章介绍了考试系统的设计与实现；第六章对论文进行了总结和展望。 8 第二章本研究的理论依据分析 第二章本研究的理论依据分析 理论和实践是相辅相成、互相促进的，实践离不开理论的指导，而理论又需要 实践来完善与发展。任何一种先进的教学模式的产生都离不开行之有效的学习理论 的指导。考试系统是一项理论性强，实际意义又非常重大的庞大工程，需要用更系 统、更实际的理论和方法来指导系统的设计。 2 1 题库建设理论 题库可以储存试题，又有辅助命题和记录分析考试结果的功能。随着题库规模 的不断增大，对试题组卷的智能化、科学化要求也越来越高，并需实时统计出考试 的结果，分析数据，因此题库建设理论显得尤为重要，是在线考试诸多理论中的重 点。 2 1 1 题库的特征与要求 题库是适应考试事业不断发展，考试过程的科学化、规范化的需要而建立发展 起来的，国内外许多教育机构、软件公司都在潜心研究题库。题库( i t e mb a n d ) 是 按照一定的教育测量理论，在计算机中完成的某个学科题目的整合，是在数学模型 的基础上建立起来的教育测量工具，题库的任务是拼制不同测量目的的试卷，是考 试系统的基础和根本，因此题库需要满足一定的特征和要求。 1 对命题组成员要有较高要求 试题库建设不仅是简单的将试题拼凑在一起，它要求命题教师具有诸多方面的 知识。首先要求命题教师对本门学科的专业知识要精通，其次还要对、教育评价学、 教育测量学、教育统计学、有所熟悉和了解。 2 试题应标准、科学、准确 试题库中的试题内容要科学，表述要准确，格式要规范，。试题之间应彼此独立， 第二章本研究的理论依据分析 不能相互矛盾、相互影响。题库中试题必须按科学的原则进行分类、存储，形成有 机的整体。试题存储的目的在于使用方便，只有按科学的原则把试题组织起来，才 能准确、方便、灵活地检索和调用所需要的试题。为使信息使用时充分发挥在管理 学上的优越性，还应使存储的试题有完备的信息，一般地，除试题内容、参考答案、 评分标准外，还应包括考核的知识点和目标层次，试题技术参数，使用记录等。 3 试题库应实时更新 试题库的建立不是一劳永逸的，试题库应该不断更新，不断充实。试题库中的 试题应该随着教学内容和教学要求的变化而相应的变化，以适应学科的发展和考生 水平的变化，这对于延长试题库的生命周期是有重要意义的。因此，应该及时对题 库进行添加、修改、删除试题。另外，考生水平也在不断提高，这样试题参数和考 核能力层次也会有相应的变化。所以，题库的动态性不但表现在试题内容的更新上， 而且还表现在试题统计特征的变化上。题库内容的动态性保证了它能及时灵活的去 为社会需要所服务。 4 试题库中的试题应具有一定规模 试题库中的题量必须达到足够容量，否则就会失去试题库的价值和意义，也不 能满足多次考试的需要。单科试题根据知识点、难度、题型等参数的要求，应具有 合理的比例结构，其题量也应具有一定规模。嘲 2 1 2 题库建设步骤 1 题库总体构思 对题库的整体进行设计，题库的设计必须要遵循考试大纲的要求，对内容、题 型、分量、权重、考试时间等内容要符合考试的对象和用途。 2 试题的汇集 题库中的试题必须是由命题组教师精挑细选的，无论是实体的质量还是数量都 必须经过广泛的搜集与整理，严格的审定才能够入库。 3 试题分析与测试 为保证试题的科学性与有效性，要组织学生进行试题测试，对学生测验得到的 反馈信息进行综合分析，看出题目是否符合考试大纲的要求，来从中筛选出合适试 2 第二章本研究的理论依据分析 题，并对试题难度、区分度等参数进行指定，这些参数指定后不应一成不变，而应 依据每次测验的分析结果，实现对试题参数的自动修正。 4 对题库进行存储 对于符合我们要求的试题，就需要对其进行存储入库，因为题库的规模一般都 较大，这就需要采用、全、高效、紧凑的存储形式，设计一个灵活方便的题库生成 系统，以便能方便的管理试题库。题库要采用恰当的标引语言，按照科学的依据与 顺序，把试题和相应的信息资料有机地结合起来。 5 对试题库进行维护 题库的维护，就是要经常检查试题，根据学科内容和考生水平的发展不断的对 题库中的试题做相应的补充、修改和删除工作，及时修正试题的各项技术参数。考 试系统在设计题库的结构时就应该考虑到日后的修改和扩充需要，使系统在整体框 架不变、保持系统相对稳定的情况下，具有一定的扩展能力，以满足未来命题的需 要。 2 1 3 题库建设理论对本研究的指导 题库建设是一项庞大的任务，整个工作过程必须要有正确、坚实的理论做基础。 从题库的功能和题库建设的理论依据来看，建立试题库不仅涉及到教育测量理论， 还涉及到许多方面的教育教学理论。 在题库的建设和应用方面本系统有以下特点： 本系统建立了一个适合多学科的通用试题库系统，支持题型的多样化，并对 试题进行分类汇总。 系统支持对试题的动态维护。随着时间的推移、考试大纲的变化，系统会对 每次考试的结果进行分析，重新计算出试题的参数，并建议教师及时修正，以满足 今后命题的需要。 提供了多种组卷策略，可根据题库中的试题量选择合适的组卷策略。 题库建设与教育理论的联系，还有其他一些方面，即题库建设是学科的综合性 应用，当然仍以教育测量、教育统计理论作为主导。 3 第二章本研究的理论依据分析 2 2 教育测量理论 从广义来讲，教育测量是根据一定的客观标准对教育领域内的事物或现象进行 考核，并依据特定的规则将考核的结果进行数量化描述的过程。从狭义来讲，教育 测量是指对学生在经过学科学习和训练之后，所获得的知识、技能的测量。在教育 活动中，无论是科学研究的需要，还是改革教学方法、提高教育质量的需要，或者 对学生的思想品德、学习成绩、健康状况的测量，对教师的教学效果的测量，对教 学经费、物资设备以及行政管理效率的测量都属于教育测量的范畴。 教育测量主要是对人的知识、技能、智力、兴趣、气质、性格、品德、人际关 系等心理持性的测量，因此，教育测量是心理测旦在教育活动中的具体运用；教育 测量又称成就测量、学业成绩测量或学科测量，它是技教育测验的规则，对学生掌 握某些学科的知识、技能的程度或水平进行数量化的描述过程。 教育测量理论的发展大体经历了两个阶段，2 0 世纪5 0 年代以前是经典测量理论 阶段；5 0 年代以后至今是多种理论并存阶段。除了经典测量理论外，概化理论和项目 反应也被广泛接受并运用到测量的实践活动中。 经典测量理论在测验发展中有着特殊的地位，它既是历史上的第一个测验理论， 也是测验的最一般、最基本的理论，应用极为广泛。现代测量理论大多是在经典测量 理论的研究基础上，针对它在某各方面存在的问题发展起来的。如项目反映理论，就是 为了克服经典测量理论中题目参数等指标的变异性发展起来的；概化理论是针对经 典测量理论的信度问题发展起来的【7 1 。 2 2 1 经典测量理论( c c t ) 1 经典测量理论的基础模型 教育测量学家把2 0 世纪初发展起来至5 0 年代逐步完善的测量理沦称为经典测 量理论，经典测量理沦的特点之一就是各种测验的参数需从考生样本中求得。经典 测量理论的理论基础是真分数模型。所谓真分数，其数学上的定义为：测量上被试 的真分数是观测分数( 或说测量实得分数) 的期望值。可以公式2 - 1 表示： t - d ( 2 1 ) 4 第二章本研究的理论依据分析 式中：x 为被试在测验上的实得分数，以代表x 的数学期望，t 即被试的真分数。 显然，在此意义上的真分数是不能直接测量得的，因为据上式可将t 解释为被试在 无数多次独立重复测量上获得的平均观测分数。即 冀 t t = l i m 尘l 一 ( 2 2 ) x 。 k 从信息论观点出发，可对真分数作出定性的解释：任何一组信息都包含有真正 的信息信号和无关的信息。心理与教育测量的目的在于获得被试的真正信息，排除 无关信息。测量上，真正的信息称为真分数，无关信息称为误差。因为误差，直接 测量而得的观测分数便会在一定范围内波动。经典测量理论的真分数模型对此进行 了简单而有效的描述，提出了一系列基本定义和推导。【9 l ( 1 ) x - - t + e ( 2 3 ) 其中，x 是被试在测验上的观测分数，t 是被试的真分数，e 为测量误差。此 式定义：观测分数是真分数与误差分数之和。 ( 2 ) t 一。一x ( 2 4 ) 此式定义：真分数与观测分数的各自平均数相等。 ( 3 ) e - - 0( 2 5 ) 此式定义：误差分数的期望值为0 。 ( 4 ) p t e 一0 ( 2 6 ) 此式定义：真分数与误差分数的相关为0 。 ( 5 ) , o e i e 2 = 0 ( 2 7 ) 此式定义：不同测验误差之间的相关为0 。 依据上述的定义，所有有关经典测量理论及方法，所应用的各种公式及定义， 均是依据真分数理论的模型推导而来。 2 经典测量理论的特点 ( 1 ) 经典测量理论的优点： 经典测验理论是以弱假设为基础的，这些弱假设条件容易被绝大多数测验数据 资料所满足：所以从实际的应用来说，假设条件容易满足，其应用具有广泛性。 5 第二章本研究的理论依据分析 经典测验理论经过几十年的发展，形成了一套以真分数理论作为基础的。较为 完善的测验理论以及对题目和测验进行统计分析的方法，这些统计分析方法在计算 上较为简单，意义也明了直观，易为教育工作者理解和掌握，更促进了它的应用具 有普遍性。 在我国对教育测验理沦的大多应用中，是以经典测验理论作为理论和方法的指 导。我国教育工作者在使用过程中、逐步加深了对经典测验理论的认识。并在实 践中不断形成和完善了一套适合国情的具体应用方法和应用原则。 ( 2 ) 经典测量理论的局限与不足： 真分数模型中已指出测量误差的存在。经典测量理论是以测验信度和误差分 数的方差( 亦称标准误) 两个指标来表示测验结果的精确程度的。但这两个指标一般 是从被试总体中得来的对整个测验质量的描述，它们对特定区间或是特定个体可能 都没有什么特别用处。 在经典测验理论的条件下，题目参数和考生得分是在不同的基础上分别求得 的，所以经典测验理论无法建立考生得分与测验题目参数之间的函数关系。即考生 能力的估计会由测验的改变而改变。 经典测验理论中两个相当重要的假设条件一严格平行测验和误差与真分数 不相关，在实际操作中是难以做到的。实际操作中，考生的记忆，发展新技巧遗忘 等心理因素就足以影响这两个假设条件的成立。通过对经典测验理论中关于信度计 算公式的分析推导，我们也可看到，经典测验理论的信度值只是低限估计，我们只 能假定测量误差对所有学牛都一样。因而在某种意义上说，经典测验理论所提供的 学生所得分数的有关信息就有误差：这样就难以实施与学生实际能力水平相当的考 试，以确保学生在考试中发挥出最高水平。对于大规模的考试更是如此。 3 经典测量理论的应用价值 经典测量理论要求被试完成一定量的作业或试题，然后根据其实际作答的表现 来推论和评价其心理特质发展水平，因此，教育测验编制的程序和要求、测验题目 的质量的定性与定量分析、测验本身质量的信度、效度的评估，等等，皆能反映经 典教育测量理论的影响。唧 6 第二章本研究的理论依据分析 2 2 2 概化理论( g t ) 概化理论是在经典测量理论基础之上，通过引进实验设计和方差分析的技术而 发展起来的测量理论，因此，经典测量理论的方法和实验设计与方差分析技术是概 化理论方法的重要来源。 概化理论和经典测量理论一样，也是一套关于信度的估计学理。它是一种新的 技术，用方差分析去分解和估计方差成分，并进而考察测量的信度，可应用的范围 甚广。经典测量理论将观察分数方差分解成真分数方差和总的误差方差；概化理论 则把观察分数方差，分解成由测量目的引起的全域分数方差( u n i v e r s es c o r e v a r i a n c e ) 和多个代表来自测验施测情境的误差方差。在概化理论中有几个重要的概 念。可观测全域( u n i v e r s eo fa d m i s s i b l eo b s e r v a t i o n s ) 指所有可能不同实施测验 情境( c o n d i t i o n ) 的全体，其中一系列相同的测验情境称为一个侧面( f a c e t ) 。同一 被试可以在多个不同的测验情境下进行测量，这种情境的结合叫做随机化平行 ( r a n d o m l yp a r a l l e l ) 。所有可能的随机化平行组合，构成了可推论全域( u n i v e r s eo f g e n e r a l i z a t i o n ) 也就是研究者希望将具体测量方法结果推广至的空间。推论全 域可以包括可观测全域中所包含的所有或部分情境，但是不可能超出它所包含的情 境。概化理论认为，观察分数方差可以分成多个部分，分别是由于测量目标造成的( 即 总的分数方差，类似经典理论中的真分数方差) 和那些由于观测情境造成的，并采用 方差分析的方法将它们分别计算出来。 用概化理论来研究测量问题时，通常分两步进行：g 研究( 即拓广研究) 和d 研 究( 即决策研究) 。g 研究的目的是要估计与每个随机侧面相联系的误差的大小，而d 研究是在g 研究的基础上作出某种决策。具体来讲，g 研究只是根据所考查的测量 目标和测量侧面确定测量的设计，根据收集到的原始数据借助方差分析对测量情境 中的误差进行分析。d 研究则是在g 研究的基础上，计算概化系数和依存性指标， 在最大化概化系数和最小化误差基础上，选择最优测量方案。 但在实际的测量应用上，概化理论用于实测数据的事后分析是比较理想的，但 对于事先指导则稍逊一筹阻，。 7 第二章本研究的理论依据分析 2 2 3 项目反映理论( ir t ) 项目反应理论i r t ( i t e mr e s p o n s et h e o r y ) 是面向个别学生，更强调自适应测试， 即能自动地适应被试者的具体情况，试题的难度、数量、知识单元分布等可根据被测 试者的特点而灵活变化，它就是计算机适应性测试c a t ( c o m p u t e ra d a p t i v et e s t ) 技 术。c a t 以其对个人能力测试的高效率、高可靠性、高精确度反映出社会越来越以 人为本的理念，可以更真实地反映学习者的学习水平和特点。 1 项目反映理论的优点 项目反应模型是表示考生能力和考生对考试项目( 试题) 正答概率之间关系的 数学形式，主要有l o g i s t i c 模型、正态卵形模型等。项目反应理论针对传统的经典测 量理论的固有缺陷，进行了部分改进，有其特有的优点： ( 1 ) 对被试能力估计不依赖于特定的测验题目，不同的测验结果可直接比较； 项目反映理论提出了适性测验、测验等化的概念，即是根据每个被试的不同水平， 对不同被试实施不同的测验项目，并使这些项目的难度和被试的水平相适应。其方法 是先给被试呈现一道中等难度的项目，根据被试的反应情况，再从题库中选择下一个 题目呈现给被试。在这种情况下，被试能力就很容易比较了。适性测验的另一个优点 是，能力高的被试不会要求回答低难度的项目，于是增加了挑战性，而能力低的被试 又不会由于要求回答高难度的项目而失去了信心。 ( 2 ) 采用项目信息函数，将反映项目特征的难度、区分度和猜测参数合而为一， 它反映各个项目对不同能力水平被试所能提供信息的多少，信息量大，测量标准误差 小。 ( 3 ) 采用非线性模型，建立了被试对项目的反应( 观察变量) 与其潜在特质( 潜 变量) 之间的非线性关系；它采用局部独立性假设的方法，每个项目都各自有一条 项目特征曲线，针对曲线的横轴能力水平上的某点，被试有一相应的答对概率； ( 4 ) 可以预测被试在一个新测验项目上的正确反应概率；项目反映理论的项目 特征曲线就明确表示出被试能力与项目的关系。只要已知被试的能力值，就可预测出 它们可能达对某个项目的概率。 2 项目反映理论存在的问题和不足 ( 1 ) 由于受到苛刻的假设限制，必须要有大样本进行配合，否则精确性不高； 8 第二章本研究的理论依据分析 ( 2 ) 由于其理论假设建立在较深奥的数学基础之上，所以普遍性上有一定的难 度； ( 3 ) 在应用过程中多以先进的电脑科技作为辅助，使该理论目前只能适应一些 上机考试，不能适应如自学考试等大规模的统一纸质试卷考试； ( 4 ) 由于项目反映理论从测量模型的理论框架来讲，多采用l 0 计分的单维 模型，不适用于现有考试中的多种题型，故造成其应用上的严重局限； ( 5 ) 项目反映理论至今对经典测验理论许多研究领域未能给出什么新的观点 与方法，或作出进一步的解释。n 町 2 3 在线考试系统的相关标准与规范 2 3 1 国外资源建设标准代科0 m 模型 目前，世界上很多标准化( 学术) 组织都正在致力于基于网络的教育资源标准化 研究，并起草了一些相应的规范，其中i e e el t s c ( l e a r n i n gt e c h n o l o g ys t a n d a r d s c o m m i t t e e ，学习技术标准委员会) 的l o m ( l e a r n i n go b j e c tm e t a d a t a ：学习对象元 数据模型) 相对完备，它规定了在w e b 页面中呈现学习资源时应提供的些基本元素， 它主要规范了九个方面的数据信息： 1 通用信息( g e n e r a l ) ：主要是关于资源的标识和分类、检索属性等信息，它与 资源应用的上下文环境无关。 2 生存周