（计算机应用技术专业论文）远程考试系统的研究与实现.pdf

摘要 量皇曼曼量曼量量量舅詈量量量量置曼曼皇皇量皇曼曼曼量曼曼曼曼寡曼鼍i i i 曼曼曼皇曼量曼曼曼曼曼曼量曼曼曼蔓曼皇曼量曼曼曼曼曼曼曼曼曼曼蔓曼曼皇暑 摘要 远程教育是我国教育体制的重要组成部分，是终身教育的重要环节，计算机 及网络技术的发展、尤其是i n t e r n e t 的应用普及极大地促进了远程教育的发展。 考试是检验和促进教育水平的一个重要环节，因为远程教育不同于其它教育形 式，传统的集中考试形式己经不能适应远程教育的需求。在新的技术条件下，远 程考试的实现成为可能，这种考试方式更加适合远程教育的模式和要求，具有高 灵活性、高效率、低成本等特点，已逐渐被接受。 本论文实现的远程考试系统通过i n t e m e t 进行考试，并组织相关考务活动， 同时实现了传统考试中的试题管理、试卷组织、学生考试、教师阅卷、成绩管理 和分析的信息化。通过该系统，教师可以根据需要进行组卷，学生可以通过 i n t e r a c t 进行考试，同时学生还可以根据自己的需要利用教师指定的试题库来进 行自测。 本文首先对课题背景和国内外网络考试系统发展现状作了介绍，总结出现有 系统存在的一些问题和不足，在此基础上确定了本文的研究内容；紧接着分析了 当前流行的教育测量理论，确定了以经典测试理论为基础设计系统，并抽象出本 系统的数据模型；然后，以系统模型为基础设计实现了远程考试系统。在设计实 现过程中，首先确立了系统的体系结构，设计实现了各模块的功能，详细介绍了 系统中的组卷策略设计和主观题自动批改等关键技术和算法。 关键词远程考试；测量理论；组卷策略；自动阅卷 a b s t r a c t a b s t r a c t t h ed i s t a n c ee d u c a t i o ni st h ep r o d u c to ft h ed e v e l o p m e n to fc o m p u t er a n d n e t w o r kt e c h n o l o g y ， e s p e c i a l l yt h ew i d eu s eo f i n t e m e t t h ea p p l i c a t i o no f c o m p u t e rn e t w o r kt e c h n o l o g yh a sm a d et h ed i s t a n c ee d u c a t i o no n eo fm o s tp o p u l a r s o f t w a r ei n d u s t r y t h i sp a p e ra i m st or e s e a r c ha n dd e v e l o pad i s t a n c et e s ts y s t e m w h i c hi st h ei m p o r t a n tp a r to f t h ed i s t a n c ee d u c a t i o n t h em a i nf u n c t i o no fd i s t a n c ee x a m i n a t i o ns y s t e mi st oo r g a n i z ea n da c t u a l i z e t h ee x a m i n a t i o n0 1 1i n t e r n e t i tm a k e st e s t q u e s t i o n sm a n a g e m e n t 、t e s tp a p e r g e n e r a t i o n 、t e s t m go n - l i n e 、m a r k i n gm a n a g e m e n ta n ds c o r em a n a g e m e n tc o m e t r u e t h r o u g ht h es y s t e m , t e a c h e r sc a l lf o r mt h et e s tp a p e rt h a tu s e db ye x a m i n a t i o nw h e n n e e da n ds t u d e n t sc a nt e s to n - l i n e i na d d i t i o n , s t u d e n t sc a nu s et h ei t e mp o o lt h a t a p p o i n t e db y t e a c h e r st oo r g a n i z es e l f - t e s t f i r s t l y , b a c k g r o u n d0 1 1i s s u e sa n dt h ec u r r e n td e v e l o p m e n to fd o m e s t i ca n d i n t e r n m i o n mn e t w o r ke x a m i n a t i o nw a si n t r o d u c e di nt h i sp a p e r s u m m e du pt h e e x i s t e n c eo fs o m ep r o b l e m sa n dd e f i c i e n c i e s ，o nt h i sb a s i s ，d e t e r m i n et h ec o n t e n to f t h i sa r t i c l e a f t e rt h ea n a l y s i so fe x a m i n a t i o nt h e o r i e s ，ic h o s et h ec l a s s i c a lt e s tt h e o r y a st h eb a s i ct h e o r y a b s t r a c tt ot h es y s t e md a t am o d e l ，a n do nt h eb a s i so ft h i sd c s i g n t oa c h i e v ed i s t a n c ee x a m i n a t i o ns y s t e m i nt h ed e s i g na n di m p l e m e n t a t i o np r o c e s s , f i r s to fa l le s t a b l i s ht h ea r c h i t e c t u r eo ft h es y s t e m ，d e s i g na n di m p l e m e n t a t i o no ft h e v a r i o u sm o d u l e so ft h ef u n c t i o n ，d e s c r i b e di nd e t a i li nt h es y s t e mt e s tp a p e rs t r a t e g y d e s i g n a n ds u b j e c t i v et h a t a u t o m a t i c a l l yc o r r e c t i n gt h ek e yt e c h n o l o g ya n d a l g o r i t h m s k e y w o r d sd i s t a n c ee x a m i n a t i o n ；c l a s s i c a lt e s tt h e o r y , f o r mp a p e rs t r a t e g y ；a u t o m a t i c s c o n n g i l l 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名氆垒i 跹嗍至丛乏主 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名辔塑塑聊躲诳铉e 魄趁! 呈：丝 第1 章绪论 皇蔓曼曼曼毫曼曼曼曼舅ll i l l i i ii 一, i , , 一ie l l 舅量曼目 1 i 研究背景及意义 1 i 1 研究背景 第1 章绪论 未来的信息时代是网络时代，同时也是一个社会教育化的时代。在信息技术 迅速发展的今天，网络技术的应用越来越广泛，如何利用i n t e m e t 开展现代远程 教育正受到人们的普遍关注。远程教育是一种现代教育模式，是指教与学双方在 时空分离的情况下，利用现代教育技术手段，保持教学双方的双向信息联系，自 主的完成施教与学习活动的过程。利用i n t e r n e t 开展远程教育，是一种实现远程 教育的具有发展前景的手段，它可以实现不受时空限制的、交互式的、图文等多 媒体形式并茂的网络教育。使用者只需有一台联网的计算机，就可以通过网络进 行学习和考试，不受时间地域限制。在我国充分利用这一资源进行网络教学，有 着广阔的应用前景。 随着计算机科学与网络技术的飞速发展，以计算机为辅助手段的网络考试方 法己经在社会众多领域中逐步得到应用与推广，尤其在各种培训、教育教学领，譬 发展迅速。它使培训者、教育者从出题、组卷、组织考试、阅卷评分、试卷分析 等费时费力的传统工作中解脱出来，使他们能够将主要的精力转移到利用现代化 的科技手段提高教学效率和教育质量的改革中去，以更好的适应现代教育形势的 发展。依托计算机网络平台和现代化多媒体技术的网络考试具有传统考试方式无 可比拟的优势。网络考试突破了传统考试中考场空间、时间的限制。它利用网络 的无限广阔空间，把考场从学校延伸到了家中、机房、办公室及其它任何网络能 够覆盖的区域，并可随时随地对考生进行考试，加上数据库技术的利用，使得考 试过程中的多种信息能够存储、记录、重现，让考试变得更公平公正，更具权威 性、透明性和可靠性。网络考试实现了传统考试理论与现代科技的完美结合，符 合现代教育体制的要求，代表着现代教育中考试的改革和发展方向。 网络远程教育和考试在国外一些发达国家己蓬勃发展起来，凭借着先进的互 联网技术，人们选修课程和考试都是通过网络进行的。另外，国外一些著名的考 试，也采用了网络考试的形式，如m i c r o s 0 f i 公司的m c s e ( m i c r o s o f 【系统工程 师认证考试) 、g m a t ( 工商管理硕士入学考试) 、托福考试、g r e ( 美国研究生 入学考试) 等。 在国内，还没有真正形成网络考试规模，而在国外一些国家，网络提交作业 和网络考试已经比较普及。 北京工业大学1 = 学硕士学位论文 如何开发出基于网络环境下的既能实现标准化的理论测试，又能实现真实环 境下的考核的网络考试系统，是一个新的研究课题。 1 1 2 国内外相关领域的研究现状 目前，美国已有6 0 的高校开展了现代远程教育，其开设的课程基本覆盖了 美国高等学校的所有学科和专业，通过网络学习的人数正以每年3 倍的速度增 长。德国有近1 0 0 所学校开设了网络课程教育，英国提出将普及网络化教育作为 保证英国人才培养紧跟世界潮流的战略性举措【。在国内，教育部提出实施“现 代远程教育工程，形成开放式教育网络，构建终身学习体系。在而向2 1 世纪 中国网络教育发展战略的构想中，国家大力强调了网络教学资源的建设，把发 展网络教育作为国家信息化的一项基本国策，加大对网络教育的投入，同时借鉴 网络教育发达国家( 地区) 的成功经验，为网络教育营造宽松环境3 1 。 考试系统作为现代远程教育系统的一个子系统，是远程教育实现过程中的一 个关键，是保证远程教育教学质量的重要手段。目前，在英国，已经实现了英语 资格考试的网上学习和水平认证的全过程。国内也有认证考试是完全通过基于 w e b 的在线考试系统来完成的。如n i i t ( 印度国家信息学院) ，是全球最大的 信息技术教育培训和提供r r 解决方案的跨国公司之一，它在中国的培训2 0 0 4 年 起全面实行学生网上在线考试。国内市场上也推出各种考试系统软件，如 s m a r t e x a m 在线考试系统( 深圳市新为软件有限公司) 、p o w e r e x a m 网络考试系 统( 北京英时天地软件科技有限公司) 、清正专业网络考试系统( 清正软件技术 开发中心) 等等。 纵观现有的考试系统，主要存在这样一些问题 8 , 1 4 , 1 5 】： 1 ) 现成的考试系统大部分操作都是由专业人士来完成，缺乏开放性。教师 的权限受到很大限制，相应在教学中发挥的作用也受到影响。 2 ) 系统中针对主观题内容的编辑功能较弱不能支持数学公式等，而且普遍 不支持主观题的自动批改，因此试题库一般收录主观题较少。这样就不利于考察 学生多方面的能力，而且降低了考试的难度和系统的实用性。 3 ) 以试卷为存取单位，有的实质上只是一个试卷库，不能随机生成试卷， 即使能够自动组卷，效果也差强人意，难以满足出题者多方面的要求。 4 ) 忽视了考试后的管理。如教师评阅完试卷后要提交教务处存档等。 因此，本系统在设计时就应当尽可能将这些不足之处加以改进和完善，使所 设计的网络考试系统的功能更加完善，能更好地为考试服务。 2 第l 章绪论 i l l i l l i i ii| i = ,i l l 曼 1 2 论文的研究内容及意义 1 2 1 研究内容 本课题研究的远程考试系统，是教育信息化服务平台下一个子系统，主要研 究内容如下： ( 1 ) 建立系统的数据模型，主要分析系统的几个主要对象并建立响应的数 据模型； ( 2 ) 对组卷问题进行分析、制定有效的组卷策略，在此基础上设计一种基 于策略的自动组卷算法； ( 3 ) 探索一个主观题自动评分的算法； ( 4 ) 最终系统的设计与实现，在理论模型的基础上，开发出远程考试系统， 从而应用于教学实践，并在实践中不断发展完善。 1 2 2 研究意义 与传统考试相比，网络考试系统是传统考试的延伸，有其独特的优点。它可 以充分利用计算机网络的无限广阔空间，没有时间和空间限制，随时随地进行考 试和检查，交互功能强，系统发布和版本升级方便，资源共享，信息丰富，便于 实施统一的教学管理，大大简化了传统考试的过程，降低了人力、物力资源的消 耗，因此网络考试系统是电子化教学不可缺少的一个重要环节。 与传统的“纸一笔”考试相比，网络考试系统具有以下优点 2 0 , 2 啦6 】； ( 1 ) 试题库的数字化：将课程考核试题输入计算机，实现电子题库，利用 数据库技术对试题库进行科学的管理，为题目的保存、分类和检索提供了便利， 为编制试卷提供了高效率和低成本的手段。电子题库是网络考试系统的重要组成 部分，也是考试系统中最具有特色和使用价值的模块之一。 ( 2 ) 按照试题库的题型类别可以由计算机程序控制自动组卷，提高出卷效 率：网络考试系统以电子题库为依托，可以按照教师制定的组卷策略自动从试题 库中抽题成卷，极大提高了出卷效率。 ( 3 ) 根据实际情况，调整、更新试题：考试系统可以对历次考试的结果进 行统计分析，题库维护人员可以依据分析结果，对试题进行调整和更新，增强题 库的生命力，使试题库能够更加准确的反映要考核的内容。 ( 4 ) 考试和判卷更加公正、合理、规范：学生所答题目的客观题部分由考 试系统自动判卷，防止了人为判卷时经常出现的错判、漏判和分数计算等错误， 使考试过程规范化。 北京工业大学t 学硕士学位论文 ( 5 ) 数据的有效保存：考卷及考试成绩保存在计算机数据库中是非常简单 方便的，还有利于考生对成绩进行查询，增加考试的公开性与透明度。 ( 6 ) 强大的统计分析功能：计算机网络考试系统与传统纸上考试相比具有强 大的统计功能，考试系统从出题、考试到判卷、统计，实现了数字化，因此使学 生成绩统计分析、试题参数的统计分析在实际工作中成为可能，使原来非常烦琐 的分析、统计、计算工作现在可以快速完成。 1 3 论文的组织结构 论文共分为四章： 第一章，绪论：主要介绍了课题的研究背景与国内外的研究现状、课题的研 究目标、主要工作以及技术路线，最后概括了论文的结构安排。 第二章，系统的理论基础：介绍了经典测试理论和项目反应理论。 第三章，系统的数据模型：主要介绍了系统的总体模型以及系统中几个主要 的数据模型：试题资源数据模型、试卷数据模型和学生数据模型。 第四章，系统的设计与实现：对系统的总体设计、技术路线、系统功能模块 的实现以及系统的关键技术进行了研究和实现。 4 第2 章系统的理论基础 第2 章系统的理论基础 2 1 引言 考试是一种教育测量手段。考试测量的对象是人的精神状态，即是测量人掌 握的知识、观念、情感、智慧、能力的程度和水平，这是一种心理测试 2 1 。 测量，顾名思义就是对某个量进行测度 2 1 。人们对这个概念直观的理解最初 应当来源于对客观存在的物体或对象的量度，属于物理测量的范畴。在物理测量 过程中，无论是关于力学、电学，还是关于热学、光学、声学的测量，其内在规 律都是不变的，即各个物理量之间的函数关系是确定的，故测量误差的产生均属 于外部因素，可以通过计量理论进行误差分析以确定测量的有效性。 随后，测量被引申到了心理学的领域，即对心理物理量的测量。对于一些类 似差别感觉阈限等较简单的心理物理量，它们和外部物理刺激量之间虽然有着非 线性的对数或者幂函数关系，但这种关系也基本是确定的，其计量理论的核心仍 然是误差理论。 而对于教育测量，其实质是一种高级心理过程的测量，此时情况就大不相同 了 s l 。语言与情感表达、内部心理量与外部动作、认知变量与人格和动机变量、 以及认知领域和人格领域内部各种变量之间的关系均不存在确定性的函数关系。 所以，要通过教育测量找到对上述关系的有效的定量描述，就必须重新考虑函数 关系模型的选取问题。 无论是物理量的测量还是心理量的测量，任何测量都可以分为：测量对象的 辨识与确定；测量规则的选用；制作并使用体现测量规则的测量工具；以及对测 量结果的分析处理等几个步骤来进行。而在实施以上步骤的过程中，心理测量问 题却比物理测量问题复杂得多。物理测量可以根据物理学自身的理论来进行对象 的导出与确定，工具的制作和使用。只要遵循误差理论的指导，在实测过程中认 真控制外部因素造成的误差，就能达到理想的精度。而心理测量问题虽然也有心 理学实质理论为指导进行相关对象的辨识与确定，但由于心理量的能动与复杂性 和心理科学本身发展水平的限制，测量对象的导出，测量工具的编制，常常只能 借助于经验，很难按照严格形式化的科学理论来进行。为了体现这种经验性和随 机性，心理测量理论普遍采用了概率模型。也正因为该类测量问题的复杂和不确 定性，作为心理测量的重要内容，教育测量成为了一个不断丰富和发展的理论体 系1 4 3 。 考试作为一种教育测量与评价的术语，是用于较正式场合下的测试，完全适 用测试理论。目前广泛应用的测试理论主要有：经典测试理论a 盯( c l a s s i c a lt e s t t h e o r y ) 和项目反应理论i r t ( i t e mr e s p o n s et h e o r y ) s l ，与之相对应的，就是 5 北京工业大学工学硕十学位论文 现今所广泛采用的标准化测试和自适应测试。这两种考试理论指导考试系统建设 各有长处和不足，下面我们首先分别概述一下这两个理论。 2 2 经典测试理论 2 2 1 经典测试理论的基本内容 经典测试理论是从2 0 世纪发展起来的，至5 0 年代趋于完善。它采用真分数 原理，通过长期的测验实践逐渐形成的传统测试理论，被广泛使用。 总体而言，经典测验理论是从试题和试卷两个方面来分析考试的。对试题的 分析，称为项目分析；对试卷的分析，称为整体分析p 】。在项目分析过程中，通 常用难度h 和区分度d 作为主要参数。整体分析主要以信度和效度两个量来衡 量。具体而言，试卷长度、考试时间、评分者和考生的心理、试卷的编制等多方 面因素都会影响信度或效度。 综上所述，以难度、区分度、信度和效度四个量为主要指标 4 1 ，经典测量理 论为考试分析评价，以及试卷的编制奠定了理论基础。由于其数学模型简单实用， 能方便地将实际问题进行量化且含义明确，其结果在一定误差内也比较客观，因 此在教学和研究上得到了广泛的应用，并形成了较为完善的体系，推动了教育测 量学的发展。 经典测试理论建立在以下三条假设之上【3 5 】： ( 1 ) 某学生实际知识水平即真实分数与误差分数x e 之间的关系是线性 的； ( 2 ) 该生在大量测验中的误差分数统计平均值为0 ( 3 ) 任意两次测验中的误差互为独立。 以上假设得出的基本结论是，多次测试的平均分数接近真分数。从c t t 理 论来看，心理测试和教育测试所得到的测量值，即所谓的观察分数x 是真分数 x r 与误差分数x e 的和，即x = x r 十x e 。且假定误差分数与真分数相互独立， 在多次重复时呈正态分布。在这一理论模型基础上，提出了有关测验信度、效度 和题目区分度的整套理论与方法。比如用测试通过率来定义难度，用题目分数和 总分来代表区分度等，都是经典测试理论的应用。 标准化的考试都是以经典测试理论( c t t ) 为指导的，老师根据学生的学习 的内容出一份试卷，对考生进行考评。 6 第2 章系统的理论基础 2 2 2 经典测试理论的优点与不足 经典测试理论有着比较明显的优点：经过近百年的发展，它具有系统的理论 与方法体系；它建立在弱假设条件之上，使应用具有广泛性；它的题目和测验的 统计分析方法比较简单，容易被广大工作者接受和掌握；建立了一系列题目分析 的公式，如表示难度的h 值，表示区分度的题目与测试相关系数，估计分数真 值的标准误差及由此推算出来的信度公式等。经典测试理论对建立试卷、考分转 换与等值均有一套较为完整的方法。由于经典测试理论具有以上的优越性，使得 它的应用十分普遍。目前大部分考试系统都采用经典测试理论( c t t ) 为指导。 尽管经典测试理论有上述不少优点，其仍有许多不足之处，主要表现在：测 试参数过分依赖具体样本：测试结果的可比性差。题目的参数和所得的结果直接 受制于具体测试和被测情况，被测试水平和测试题目参数之间没有明确的关系， 不同测试闻所得分数可比性差；不能适应各种被测试的具体情况，缺乏个性。如 考生分数和题目难度有着密切关系，即题目难度是相对于考生而言的。为使题目 参数稳定，不受测样本影响，项目反应理论应运而生。 2 3 项目反应理论 项目反应理论起源于2 0 世纪初的现代测量技术，真正建立于5 0 年代，在 7 0 年代得到了迅猛发展。从7 0 年代起到现在，项目反应理论己成为美国、欧洲、 日本以及澳大利亚等西方国家心理与教育测量专家们研究工作中的一个主要课 题。 2 3 1 项目反应原理的基本内容 项目反应理论也称潜在特质理论，又称题目特征曲线理论。与c t t 相比， i r t 是建立在强假设基础上的，主要有以下假设【3 , 5 1 ： ( 1 ) 特质空间的单维性假设：就是说被测量的测验结果只取决于一种能力， 其它能力的影响都可以忽略： ( 2 ) 局部独立性假设：即已知能力的条件下，假设被试在某一项目答对的 概率独立于其它项目，这是一个条件独立性； ( 3 ) 项目特征曲线假设：假设被试对某项目的正确反应概率u i 与其能力0 之间的关系可以用一个关于能力单调上升的函数表示。 能力的单维性：按照这个假定，一个测试所测量出来的能力变量是处在单维 的空间之中，可表示在一个量表里。如在这个量表里可直接对考生a 和考生b 7 北京工业大学工学硕士学位论文 作比较。a 与b 之所以能够相比，是因为它们同在一个单维的量表里面。 局部独立性( l o c a li n d e p e n d e n c e ) ：一个考生对试卷里各个题目的反应在统计 上是独立的。这就是说，他对某个题目的反应不影响他对其它题目通用自适应网 络题库系统的设计与实现的反应；一个题目的内容不应对回答其它题目提供任何 帮助。 项目特征曲线( i t e mc h a r a c t e r i s t i cc u r v e ) ：项目特征曲线是将一个题目的答对 率和包括这个题目的整份试卷所测量出来的能力值相联系的数学函数。简单地 说，这是一个题目分数对能力的非线性回归函数。 完成测试时间的充分性：考生有充分的时间完成测试。他答错一个题目因为 他的能力有限，而不是因为时间不够，没有机会去回答该题目。 2 3 2 项目反应理论的特点 作为在经典测试理论基础上建立和发展的项目反应理论，较经典测试理论有 一些优点：题目难度不受样本影响( s a m p l e - f r e e ) ，能力不受题目影响( i t e m - f l e e ) 的特点，这就是说，我们只要从题库中抽出一部分题目，即能根据考生的答题情 况估算出其能力，而且还可以算出这种估算的精确程度，即每个能力值的标准误 差；它可以对题目和考生作适应性检验，从而能够了解由抽选出来的试题组成的 试卷的效度；它可以经济而有效地扩充题库，使在不同场合、不同样本中测试的 题目都能进入题库，并能及时调整题目的难度值。 项目反应理论的发展虽然已经经历了很长的一段时间并较经典测试理论有 不少优点，但是仍然存在着许多问题没有解决 6 j 1 ： ( 1 ) 理论上来说，i r t 方法确定题库项目参数时，需要大量的测试样本来 按照一定得数据模型来估计项目参数，作为考试系统的试题库，这是不现实的。 ( 2 ) 由于教育教学改革的不断深入，教学方法和教学重点也在不断变化， 这种频繁变化导致考试题目参数经常变化，不易确定。 ( 3 ) 项目反应理论假设条件严格，如单维性假设和局部独立性假设都属于 强假设，在实际使用中很难满足。 通过前面的介绍和比较，我们可以看到，两种考试理论各有优点和不足。由 于基于项目反应理论的考试系统的稳定性还有待考证，所以本系统是基于经典测 试理论而建立的。在以后的功能扩展中，我们计划将其过渡到项目反应理论，建 立自适应考试系统与传统考试系统相结合的模式，以期获得更好的效果。 2 4 本章小结 本章简要介绍了考试系统建设相关的理论基础，包括经典测试理论和项目反 8 第2 章系统的理论慕础 应原理。通过对两种理论的深入分析和比较得到了对本系统研究的启示，并确定 在系统地研究和设计中采用经典测试理论为理论基础。 9 第3 章系统的数据模型 第3 章系统的数据模型 3 1 系统总体模型的建立 在构建远程考试系统总体模型前，我们应该对考试系统包含的重要对象及对 象间的关系进行深入研究分析，为构建系统总体模型做好准备工作。 3 1 1 考试系统的基本要素 在前一章中我们简要介绍了考试系统研究的理论基础。从a 盯和i r t 两个理 论中，我们可以看到其包含了以下几个基本要素：试题、试卷、教师和学生，现 简要介绍如下【8 9 】： ( 1 ) 试题，是考试系统中知识表示的最小单位，按照一定的组卷策略被组 织到特定的试卷中； ( 2 ) 试卷，是在符合特定策略的试题的集合，用于直接向用户展现考试内 容信息，它是用于用户考试的基本单位； ( 3 ) 教师，考试活动的设计者和指导者以及考试效果的评价者； ( 4 ) 学生，参加考试活动的主体，区别于传统的学生，当学生进行自测考 试时同时扮演教师和学生的角色。 3 1 2 系统中对象分析 在上面所述的要素中，教师和学生是考试活动的参与者，他们都有自己的目 标，并通过主动与系统交互实现目标，他们是动态的；试题和试卷自身没有目标， 但它们描述了系统必要的信息，为教师、学生活动提供支持，它们处于相对静止 的状态。因此，我们把考试系统中的对象分为两类【1 0 】：活动对象和静态对象， 系统将其定义为： o b j e c t - = ( o b j e c t _ a c t i v e ，o b j e c t _ s t a t i c ) ，其中： o b j e c ta c t i v e ：活动对象； o b j e c ts t a t i c ：静态对象； 教师和学生属于活动对象，则有： o b j e c t _ a c t i v e ：= ( a c t o b j _ t e a c h e r ，a c t o b j _ s t u d e n t ) ，其中： a c t o b j _ t e a c h e r ：教师，主要负责试题库的建设、试题的管理、试卷的组织 北京工业大学工学硕十学位论文 】m l i , 曼曼量皇皇鼍 和管理、学生答卷的批阅、考试成绩的管理等； m o b is t u d e n t ：学生，参与教师指定的在线考试； 试题和试卷属于静态对象，此外，像在系统中会使用到的考试信息、学生答 卷、学生成绩等也都属于静态对象，它们构成了支撑系统运行的资源信息环境， 其定义如下： o b j e c t _ s t a t i c ：= ( q u e s t i o n ，p a p e r ，t e s t _ i n f o ，s t u a n s p a p c r ， s t u s c o r e ) ， 其中： q u e s t i o n ：试题； p a p e r ：试卷； t e s ti n f o ：考试信息； s t u a n s p a p c r ：学生答卷； s t u s e o r e ：学生成绩。 下面，我们将陆续介绍系统的总体模型和系统的系统中的几个主要对象。 3 1 3 系统总体模型 动态对象通过一定的业务逻辑与静态对象进行交互，来实现他们的活动目 标，下面我们从动态和静态对象交互的过程分析一下系统的总体模型。首先动态 对象作为活动的个体，应主动与系统进行交互，即教师和学生与系统之间应该有 一个进行交互的操作界面和操作接口，从逻辑上将提供这一功能的展现方式称为 接入层；静态对象作为系统的数据，为动态对象通过与系统的交互提供数据支撑， 因此将静态对象定义为数据层；在确定了接入层和数据层以后，我们很快就能发 现系统应为动态对象提供特定的功能应用：如基本信息的管理和在线考试等，以 此来满足动态对象的应用需求，我们将其成为应用层：不难发现，此时的系统模 型仍有欠缺，即具体的功能应用和系统数据之间缺少相应的逻辑处理：如数据的 访问、事务的管理和流程控制等，因此，我们再在应用层和数据层之间添加应用 支撑层来解决这个问题。 通过上面的分析，我们将系统的整体模型划分为：接入层、应用层、应用支 撑层和数据层，当然，我们在系统建模的过程中必须考虑相应的标准规范和政策 法规，因此系统的总体模型如图3 1 所示： 1 2 第3 章系统的数据模型 图3 1 系统总体模型 f i g u r e3 - 1s y s t e m si n t e g r a t i v em o d e l 从图3 1 可以看出，从技术角度讲，系统模型共分四层，即数据层、应用支 撑层、应用层和接入层；同时，系统模型的规划又受到标准规范和政策法规的约 束。 由于教师用户和学生用户与系统的交互过程及其相似，下面仅以教师用户为 例介绍一下用户与系统的交互过程。教师通过接入层的系统操作界面和操作接口 来访问系统；访问过程中，教师可以根据不同的应用需要，向系统提交应用需求， 如基本信息管理和考试活动管理等；应用支撑层根据用户提交的需求，通过逻辑 分析对需求进行处理；第四层为数据层，为应用逻辑层提供数据支撑。 3 2 试题数据模型的建立 3 2 1 试题数据模型概述 试题数据模型从微观上描述考试系统中所用到的试卷信息，是考试内容呈现 的最小粒度和最直接的表现形式，它记录了试题内容信息、历史使用信息和当前 使用状态等。试题数据模型除了对试卷的组织提供必须的信息和向考生展现考试 内容外，还对考试评价系统提供必要的依据。 在试题模型中，其关键指标是题目的难度和区分度【1 5 1 。难度是反应试题相 对考生而言难易水平的指标；而区分度则是衡量一道试题对考生能力水平的区分 鉴别能力，即指这道题在多大程度上把分数拉开。直观地讲，在统计意义上，如 果两个考生能力水平相差较大，而在某道试题上得分相同，说明该试题的区分度 1 3 北京工业大学工学硕士学位论文 很低；而如果两个考生能力水平相差并不明显，但在某道试题上的得分也能体现 出差别，说明该试题的区分度很高。因此，结合上一节的分析，我们可以借助项 目反应曲线准确地定义出试题的难度和区分度，即曲线拐点的横坐标定义为试题 的难度系数，斜率定义为试题的区分度。 此外，题目的曝光度也是一个重要的参数【2 l 】，它是指一道试题在考试中重 复出现的频率。很显然，如果一道题目的曝光度较高，就会影响考试的可信度， 同时也反应了组卷策略有一定的问题。所以，必须采取一定的手段来控制题目的 曝光度，具体的方法将在随后组卷策略设计的章节中给出。 试题模型的优劣将会影响到试题的组织便捷性、组卷的效率、以及对试题和 考试效果的分析。 3 2 2 试题数据模型的建立 试题是具体题目内容及相关属性信息的集合。当试题被组织和使用时，一方 面要有必须的基本信息，如：试题编号、题型信息、试题难度等，这些信息将有 助于试题的检索、组织管理以及教师组卷时对试卷的筛选；另外，根据经典测试 理论，我们对试题和考试结果进行分析时，又需要一些试卷的使用状态信息，这 一信息还有助于我们以后的组卷预测等。 因此，我们将试卷的数据模型分为两部分：试题的基本信息，试题的状态信 息。试题的数据模型描述如下： t e s t _ q u e s t i o n ：= ( q u e _ b a s i c i n f o ，。q u e _ s t a t u s i n f o ) 一、基本信息 q u eb a s i c i n f o 是试题基本属性信息的集合，主要满足系统对试题资源的组织 管理、检索使用、以及知识的展现等。其描述如下： q u e _ b a s i c i n f o ：= ( q u e s t i o ni d ，q u e s t i o n _ t y p e ，k n o w l e d g e _ i d ，d i f f i c u l t ，d i f f e r e n t ， a n g w d ，r e q u e s t ，c o n t e n t ，a n s w e r ，k e y w o r d s _ s e t ，s u g g e s t _ s c o r e ， i n p u td a t e ， i n p u t _ p e o p l e ，n o t e s ) 其中： q u e s t i o n ： 试题id，试题的唯一标识；id q u e s t i o n _ t y p e ：题型信息，客观题主观题； k n o w l e d g ei d - 试题所属知识点i d ； d i 伍c u l t ：试题难度； d i f f e r e n t ：试题的区分度； r e q u e s t ：试题要求； 1 4 第3 章系统的数据模型 c o n t e n t ：试题的具体内容，即题干部分； a l l s w b r ：参考答案； k e y w o r d s _ s e t ：关键字集，用于快速搜索试题； s u g g e s t _ s c o r e ：建议试题得分； i n p u t _ d a t e - 录入时间； i n p u tp e o p l e ：录入人： c h e c k c h e c kt i m e ：试题审定日期； n o t e s ：试题的备注信息； 二、状态信息 状态信息也是部分试题属性的集合，它区别于基本信息之处在于这些信息将 伴随着试题的被使用而可能会发生一定变化，这部分信息主要体现了试题的使用 情况，可以用于试题和考试的分析以及对基本信息设定的指导和对组卷活动提供 参考，其描述如下： q u e _ s t a t u s i n f o ：= ( u s e _ t i m e s ，l a s t u s e t i m e ，t e s t d i 伍c u l d ，t e s t d i f f e r e n t ， a s s e s s a b i l i t y ) u s et i m e s ：使用次数，即试题的曝光度； l a s tu s e t i m e ：最后一次使用时间，即曝光时间； t e s td i f f i c u l t ：实测难度，经过抽样测试和试题库的实际运行后得到； t e s td i f f e r e n t ：实测区分度，经过抽样测试和试题库的实际运行后得到； a s s e s s a b i l i t y ：= ( m e m o r y , c o m p r e h e n s i o n , a p p l i c a t i o n , a n a l y s i s ，i n t e g r a t i o n , e s t i m a t e ) 1 姻，这6 个元素分别对应识记、理解、应用、分析、综合和评价6 种程度 的认知能力，每个元素取值为【o ，1 】，分量之和为1 。a s s e s s a b i l i t y ) 犀性标识了理想 情况下该学生对该试题应该达到的要求。它反映出该题对认知能力的实际考察情 况。 3 2 3 试题的主要指标 前面的数据模型里面简要介绍了试题的基本信息，事实上，衡量试题质量的 基本指标是试题的难度、区分度和曝光度【3 1 。下面，我们将分析一下这三个主要 指标： 一、难度 一道试题的难度是表示考生解答该题的难易程度的指标。在教育测量理论 1 5 北京工业大学工学硕士学位论文 上，主观题和客观题有各自的计算公式，其表示方式如下【3 ，5 1 ：h ( 难度指数) = 试题答对人数考生人数；主观题难度计算公式：h = 试题平均得分试题满分。 为了区分和比较两个公式，我们以下面的形式表示： h ( 客观题难度指数) = m n( 3 1 ) 在公式( 3 1 ) ，m 代表答对客观题某题a 的人数，n 代表参加答题a 的总 人数。 h ”( 主观题难度指标) = x x 。嗽 ( 3 1 ) ” 在公式( 3 1 ) ”中，x 代表参加答题的全体同学在某主观题b 上得分的平 一x ； 均值x = 上l ( 其中x ；表示参加答题的某同学的实际得分，o i n ， 0 x i x 一) ，x i 眦表示主观题b 的试题总分。 为了从数学公式的形式上能将客观题和主观题进行统一，我们对客观题的形 式进行转换，假设某客观题的分数为x ，同学平均得分记为x ，则该题的难度公 m xm x 又 式，h - - m n = n x = t = x ，其形式与主观题的难度计算公式相同。通过分析可 知，难度的表示范i $ t ：为1 0 ，l 】，并且以得分率来表示，当h = 0 时，难度最大，这 一点不太符合我们的思维逻辑，因此我们对公式( 3 - 1 ) 和( 3 1 ) ”进行统一和 变换，以公式( 3 1 ) 的形式统一表示主客观题的难度系数： h = 1 - x x m 戤 ( 3 1 ) 其中，h 表示试题的难度；x 表示一组考生在该题上得分的平均值；) ( 1 瞰表 示该题的满分值。 在公式( 3 1 ) 中，试题的难度值是用考生对该题的失分率来表示的，失分 率越高，难度也就越大，即h 的值越大难度就越大，比较符合我们的正常逻辑。 在此，按照教育测量标准，我们把试题的难易程度分为五级【5 1 ，其值分别为：难： 1 - - 4 ) 8 ；较难：0 8 0 6 ；中：0 6 - - 0 4 ；较易：0 4 - 4 ) 2 ；易：0 2 , - i ) 。 难度分析的目的是筛选试题，那么，难度水平多大的试题为好的试题呢? 可 以说，合适的试题难度取决于考试的目的、内容、形式及学生被试的实际水平： 当考试目的是了解学生对某一部分特定知识技能的掌握情况时，难度并不重要， 例如，在教学单元开始前，为了解学生对将要学习的内容的准备情况所进行的考 试；当考试目的是选拔和安置学生、对学生的水平进行区分时，教育测量学家认 1 6 第3 章系统的数据模型 为h = 0 5 左右为最佳，因为过易、过难的项目都失去鉴别、区分的意义。 二、区分度 区分度是指考试试题对考生心理特征的区分能力【5 】，是判断试题质量的另一 个重要指标。考试的目的是为了将不同知识和能力水平的考生加以区分，每一考 试试题都对考生进行很好的鉴别，试题的区分度正是反映了这种鉴别能力的大 小。 在区分度的分析过程中，首先必须找一个标准，以确定考生实际水平的高低。 只有弄清楚考生的水平高低，才能判定试题对考生水平的区分是否正确。因此， 理想的办法就是先找一个客观的标准( 一个不依赖于考试成绩的客观标准) ，再 将考生成绩按优劣顺序排好，然后看考生在测验试题上的得分，其顺序是否跟前 者相符。但是，这种考试的外部标准是很难找到的。例如，我们要在统一的高校 招生考试之外事先找到一个能把考生水平排好顺序的客观标准，以便据此来分析 用于高考试题的区分度的优劣，实际上是不可能的。如果找到了，高考本身也就 可以由它来替代了。因此，在对考试试题作区分度的分析时，一般都是使用内部 标准，即把考生在整个试卷上所得的总分，当作考生的实际水平的代表。一般来 说，考试都是经过一番设计的，试卷总分比起个别试题的得分来说，总是更有可 能接近于考生的实际水平。 分度的分析方法，可以归纳成两类【2 2 , 2 9 1 ：一为外在效标法，即分析考生在试 题上的得分与在外在的客观标准上的表现之间的关系。另一为内部一致性法，即 分析考生在试题上的得分与在整个考试总分之间的一致性程度。在实际操作中，