（计算机应用技术专业论文）计算机辅助考试系统设计研究.pdf

硕士学位论文 ti t a s f工 r s 刀i e s i s 助考试方式，实现学科无纸化考试， 设计在不同 情况下采用不同 模式，传 统考试应用于学科的考试测验，可以给学生打分，符合现行教学制度，自 适应考试用于学生练习，找到自己的不足， 考试系统还能够按照教学评估 体系的要求对学生能力和试卷质量进行分析，从而达到对教学质量的提 高。 关键字:数据库:经典考试:自适应考试; -一- 一 - - 一 - - - 一 一 - 一 - 一 - 一 一 - - 一 一 一 - 一 一 一 一 -一 硕士学位论文 ma s t e r s t i i e s i s abs trcat w i t h t h e d e v e l o p m e n t o f s o c i e ty s i n f o r m a t i o n t e c h n o l o g y t h e t r a d t i o n a l t e a c h i n g i n e d u c a t i o n c a n t s a t i e f y s t u d e n t s r e q u i r e m e n t t o d iv e r s i f ic a t i o n a l k n o w l e d g e f o r s t u d e n t .a v a r i e ty o f c o m p u t e r a i d e d i n s t r u c a t i o n s o ft w a r e h a v e b e e n a p p l ie d f o r t h e t e a c h i n g p r a t i c e f r o m p r i m a ry s c h o o l t o c a m p u s .t h e s e g m e n t o f t e a c h i n g 一一c o m p t e r i z a t i o n i n e x a m i n a t i o n h a v e c a u g h t e v e r b o 勿、 e y e s m o r e a n d m o r e . t h e c o m p u t e r a i d e d t e s t c a n r e l i e f t e a c h e r s w o r k i n e x a m i n a t i o n . e x a m p l e ,p a p e r s o r g a n i z a t i o n t e s t ,m a r k s d e t e r m i n a n t , r e s u l t a n a ly s t sj t d e d u c e t h e f a c t o r t h a t p e o p l e b r i n g i n m in d s u b j i e c t i v e l y . a n f o r g i n a z e t h e t e s t s a f e l i e r , m o r e q u i c k l y a n d m o r e i m p e r s o n a l i t c a n p r o m o t e t h e t e c h i n g q u a l ity a n d e f f i c i e n c y . f o r s t u d e n t s , s p e c i ly i n i n t e rn e t , t i m e a n d a d d re s s a r e n o t q u e s t i o n s .t o d a y ,t h e c o m p t e r a i d e d t e s t h a v e b e e n a p p l y f o r t h e a l l k i n d o f t e s t we w i l i n t r d u c e t o y o u t h e c o m p u t e r t e s t b a s e d o n d a t a b a s e .t h e r e a r e t w o k i n d o f t e s t m o d e , o n e i s c l a s s i c a l t e s t , t h a t i s t o s e l e c t i t e m f r o m i t e m b a n k , u s e t h e s a m e p a p e r t o t e s t d i ff e r e n t s t u d e n t s . th e o t h e r i s c a t ( c o m p u t e r a d a p t i v e t e s t ) , w h i c h u s e d i ff e r e n t p a p e r t o t e s t d i ff e re n t s t u d e n t s .c a t c a n m e a s u re m o re q u i c k l y a n d e a s y , it c a n r e a c h t h e s a m e p r e c i s i o n w i t h o 吻 h a l f t i m e a n d a b o u t 4 0 % q u a n t i ty o f w r i tt e n e x a m i n a t i o n. i n t h e t e s t , t h e t e s t p a r a m e t e r s h a v e n o t h in g t o d o w i t h s t u d e n t s q u a l i ty 油e f in a l m a r k a l s o b e f r e e w i t h t e s t i t e m s .t h e c l a s s i c a l t e s t f ix s i n w i t h s p e c u l a t e h a b i t s ,b u t i s i m p a c t e d o n t e s t i t e m s .b e c a u s e o f t h e c o m p u t e r a d a p t i v e t e s t s t e c h o l o g y i s v e ry c o m p l e x a n d t e s t i t e m s w o r k i s t o o h a r d , p o i n t b l a n k a n d c o n c i s i o n a r e n t s a m e as t h e c l a s s i c a l t e s t , it c a n t c a r ry f o r w a r d a s t h a t o n e i n t h i s p a p e r , c o m p a r e t w o k i n d s o f t e s t t o s e e k t h e b e s t w a y t o m e a s u r e s t u d e n t s q u a l i ty s u b j e c t i v e l y a n d a n a l y s a ft e r e x a m a t i o n .b a s e d . o n d a t a b a s e a n d c o n e d w i t h t h e c u r re n t c o n d i t i o n o n t h e e x a m i n a t i o n t h e o r y , wu h a n 一 一- 一 - - - - - 一 一 - 一 硕士学位论文 m _4 s 1 l r s t h e s i s c h e m i c a l c o l l e g e c o m p u t e r t e s t s y s t e m a i m a t th e c h a r a c t e r i s t i c o f t h e b a s i c c o m p u t e r u s e t h i s k i n d o f m a n n e r t o r e a l i z e t e s t w i t h o u t p a p e r . i n w u h a n c h e m i c a l c o l l e g e w e d e s i g n t h e t h e w h i c t c o m p u t e r mo d e i n t h e d i ff e r e n t c o n d i t i o n - t h e c l a s i c a l t e s t i s a l i n t e r m, s y s t e m.g i v e in e a c e r t a i n p o i n t t o s t u d e n t s a c c o r d i n g a i d e d t o 线u s e t h e d i ff e n t w a y s u s e d i n t h e f i n a l t e s t w i t h t h e p re s e n t t e a c h i n g c o m u p t e r a d a p t i v e di s u s e d i n t r a in i n g t o fi n d s t u d e n t s s h o r t a g e . t h e w h i c t c o m p u t e r te s 卜 e5can e v a lu a t i o n s y s t e m t o a n a l y s e s t u d e n t s c a p a c i t y i m p ro v i n g o u r t e a c h i n g m o l a r . k e y w o r d : d a t a b a s e , c l a s s i c a l t e s t ,c a t i t e m b a n k a c c o r d a n d t o t h e t e a c h i n g p a p e r s q u a l i t y f o r 一一 第一章 概述 1 . 1计算机辅助考试系统研究的背景和意义 武汉化工学院的院级教改研究项目 计算机基础课辅助考试系统的目 标就是建立一个实用的符合先进教育理论的计算机辅助考试系统， 本文即是此 项工作的研究成果。 在学校教学工作，考试是其中重要组成部分。首先教师要花大量的时间出 卷，然后是组织考试，阅卷，接着是登记分数。传统的做法， 数据重复抄写， 工作效率非常低下， 在进行教学统计和教学评估时， 由于手工计算工作量太大， 只能作一些初级统计， 难以得到全面客观的评估分析， 需要处理的学生的数据 在大量增加，教学统计工作也在大量增加。 随着信息技术的发展， 考试采用计算机的形式也逐渐发展起来。同时随着 社会的进步和知识经济的不断发展， 社会对劳动者和技术人员的知识和能力水 平的要求越来越高。 考试作为衡量人的能力的重要手段， 在现代生活中的地位 进一步提高， 并深入到社会的各个方面。 随着科学技术的不断发展， 考试的手 段和媒介也在发生着革命性的变化。 从传统的纸笔考试到计算机辅助考试， 到 基于】 r t( 项目反应理论)的考试，其实现方法由单机形式逐步向不受时间、 地点的网络考试发展。 计算机辅助考试以其特有的优势在教育中扮演着十分重 要的角色。 如何运用计算机辅助考试技术， 客观、 准确地评估人的知识和能力 水平，己成为大家关心的话题。 1 . 2 国内外计算机辅助考试的现状 为了实施 面向 2 1 世纪教育振兴行动计划和 中共中央国务院关于深 化教育改革全面推进素质教育的决定， 我们要从基本国情出发、 从科教兴国 的 战 略高 度 来 审 视和 改 进已 有的 考 试 系 统， 完 成 教 育 考试为 现 代 化 提 供 人 才支 持的任务。 在我国的大部分地区， 各门学科基本采用的是笔试形式，自主设计 一一一-一-一一 考试内容、 测试和评阅， 考试方式比较传统。 为此在全国教育考试科研工作“ 十 五” 规划中， 明确要求教育考试的 科研工作要在教育评价体系中发挥重要作用， 在考试研究领域创造出与我国教育事业蓬勃发展相适应的成果， 以全面提高教 育考试质量， 推进考试事业的发展， 为改革和完善教育考试制度工作服务。国 家在中小学教育中已 经开展了 建立题库的工作， 大学英语四、 六级考试( c e t ) 都采用计算机抽题出卷的方式进行测验。 高等学校中生物学试题库建设是“ 九 五” 国家重点科技项目。由 最初的笔纸考试到计算机考试， 这是未来发展的趋 势。 计算机辅助考试已经在美国的教育考试、 职业测量、 人事测评中广泛应用， 例如美国 研究生入学考试、 工商管理类研究生入学考试以 及全美护士国家委员 会资 格考试。 计算机化自 适应考试( c o m p u t e r a d a p t i v e t e s t , 简称 c a t ) ， 是近年 来引人注目 并取得了重大发展的一种考试系统。 机助自 适应考试解决了主动适 应考生状况的“ 因人施测” 问题。 如其中g r e . g ma t和微软认证考试mc s e . 均为 采用自 适应考试系统，国内 高等教育中的大学英语四、 六级考试 ( c e t ) 也逐步向自 适应考试发展，而且用于 c e t机助自 适应考试题库也在建设和完 善。未来计算机辅助考试也将会在各种学科逐步开展。 1 . 3本文主要内容简介 本文首先介绍了国内外关于考试最新的发展动态， 考试作为教育测量学的 组成部分能够很好指导教学工作。 计算机辅助考试有两种形式: 传统考试和自 适应考试。本文内容组织结构如下: 第一章介绍国内外计算机辅助考试现状， 事实表明计算机辅助考试系统是 未来考试的发展趋势，并提出武汉化工学院考试系统的的建立具有一定意义。 第二章介绍考试系统随着信息技术发展，实现方法和形式也发生巨大变 化， 设计考试系统应有一定的理论基础以及采用数据库语言编码设计系统的原 则。 第三章介绍了结合两种考试理论优点， 武汉化工学院的计算机基础课辅助 考试系统的计算机实现过程及采用技术， 给出了考试系统中题库、组卷、 评阅 2 _es 一es 一一-. 一一一 - -一-. 一一_ 的设计思路， 并介绍了 系统在不同情况下使用的不同策略: 传统组卷和自 适应 组卷。 第四章总结了本系统的 特点， 并针对系统的不足提出了一些改进、 扩充方 案，并提出进一步的研究方向 硕士学位论文 ma s i tr s 1 f t b 9s 第二章 计算机辅助考试系统 2 . ，计算机辅助考试的发展 目 前教师大多沿用传统方式， 即经验型的、 手工作坊式的命题方式进行命 题，供命题教师选择试题的 “ 资料库”是一些参考书和习题集， 试题的取舍完 全取决于少数命题者对教学内容、 教学目 标的理解， 对试题难度的把握多半取 决于他们对学生学习水平的估计， 命题的整个操作过程以少数命题者的教学经 验为参照系， .因此主观认识上的局限性、随意性难以避免， 命题质量往往低于 人们的期望值。 常见的命题失误有以下几种:1 、 试题内容的知识覆盖面过窄。 2 、同一份试卷中试题的难度高低起伏太大， 3 、试题的总量不均 ( 偏多或偏 少) ，试卷的总体要求不均，使考生的考试平均考分不均。采用经验型的、手 工作坊式的命题方式， 有时免不了要作低水平的重复劳动， 不仅使考试命题的 质量难以 提高， 而且使命题工作乃至学校对考试的组织管理工作的效率都难以 提高。因此，教师常有 “ 出 试卷难，出高质量试卷更难”的感叹。 随着现代教育理论和信息技术的发展， 产生计算机辅助考试系统， 对于提 高教育测量效果与效率，提高考试命题质量， 使教学质量评估更加科学化、更 加规范化有重要作用。 计算机辅助考试推广以后， 教师将告别手工命题的传统 方式， 让计算机自 动产生高质量的 试卷。 这不仅对于教育测量有利，以 及对于 提高教学质量管理水平和逐步实现教师办公自 动化等都有重要意义。 计算机辅助考试建立， 首先考虑考试测验( t e s t ) 中各种题型和内 容的 情况。 把测验考试题分成主观性测验和客观性测验两类。 主观性测验包括口 试、 写作、 翻译、回答问题等， 其优点是有利于测定考生的综合认识能力， 但评分标准不 太好掌握， 测验结果在较大程度上依赖于教师的主观判断。 客观性测试又称标 准化测试( 考试) ， 它可以弥补主观性测验的上述缺点。该种测试通常采用判断 题、选择题、填空题等形式， 每个题目 一般十分简短，答案唯一， 而且题量较 大，内容的理盖面较广，所以客观性测验题的评分简单、准确，测验结果的可 信度高。 事实上， 用计算机来实现的测试正是这类客观性测验，而主观题也会 逐步向客观题 ( 标准化的形式)靠拢。 计算机辅助考试应用越来越广，这是因为: 1 、 考试系统中的题库是大批优良试题的储存库，凡是入库的试题都是经 过严格筛选，并按合理的原则组织起来的， 其技术参数、质量指标 ( 如难 度、区分度等)是经过测定的。 2 、 题库内的全部试题都具有标准统一的技术参数， 便于人们按照一定的 科学程序，按试题己 有的技术参数挑选试题， 优化组合成内容、性质、难 度等各不相同的试卷，使试卷符合预定的各项质量指标， 保证考试的信度 和效度，从而使整个测量系统具有较好的稳定性、一致性和通用性。 3 、 由计算机管理题库，自 动化程度高，可大大提高命题工作的效率，减 轻命题教师负担。 利用这种管理系统还能让计算机根据命题要求自 动生成 试卷，自 动完成试卷及考分的等值处理，必要时还能生成互相等值的平行 试卷，能客观地比较历次考试的不同水平，从而为教学质量的优化管理提 供科学依据。 利用考试系统自 动生成试卷， 要求命题者事先制订好详细的命题计划， 并 按规定输入有关信息， 这有助于克服命题的盲目 性和随意性， 使命题过程规范 化。 利用计算机辅助考试系统， 首先实现计算机化的是题库建设， 后来组卷也 逐渐实现自 动化， 比较困难的是机上考试和自 动组卷和实时评分。 在计算机辅 助考试发展过程中分为几种形式: 1 .题库组卷离线考试 这也是计算机辅助考试的早期形式。现在部分科目 仍采用该种形式，而且 适合于无法进行标准化测试的科目， 例如语文、 数学等考试， 则可以采用这种 类型， 在抽题后自 动或半自 动将考题组织出来， 试卷由 教师审核后再打印出来。 实际上这是 “ 半自 动化” 组卷形式，人工阅卷仍存在. 2 .题库组卷 一离线考试 机器评阅部分试题 由于莱语科目 的标准化程度较高，基本上采用该种方式，例如大学英语 c e t考试为其典型代表。 其中标准化部分可以由光标阅读器评卷， 笔试采用人 工评阅， 这己 经大大减少劳动强度。 3 题库组卷在线考试在线评阅 这是未来的发展趋势， 我们的考试形式随着教育方式发生改变， i n t e r n e t 的出现，教育不仅是限于近距离的交流，考试也会在任意时间、 地点发生， 考 试系统实际上可以称为是智能化较高的“ 全自 动化” 组卷评阅形式。 最初设计 为基于主机/ 终端方式的大型机上的应用，其应用范围较为有限，随着客户机/ 服务器方式的 流行和应用向客户机方的分解，同时随着i n t e m e t 应用的普及， 利用计算机辅助考试范围越来越广。微软 a t c管理中心基于网络的联机培训 认证考试是其中的典型代表。 随着网络技术的发展，以后的考试系统设计也会随着其发展而改变。由于 历史原因以及我国的地区经济发展不均， 社会上计算机应用的程度和各门学科 本身特点， 笔试不可能完全被机考代替， 各种的形式的考试系统 ( 无论是单机 版还是网络版)可以相互补充，更好为教学服务。 例如在高校的计算机等级考试就是采用计算机考试与笔试相结合的方式 进行。笔试前的练习是单机形式，考试采用联网测试。 2 . 2考试理论 根据考试理论的不同， 有传统考试和自 适应考试， 表现在计算机考试出 卷 形式也不同。 建立在经典测量理论上的传统考试和建立在项目反应理论上的自 适应考试二者的区别在于他们采用的数学模型不同， 分别基于不同的假设提出 的。 经典测量理论采用的是线性的确定性模型;项目 反应理论采用的是非线性 的概率模型。在测量中，把用于衡量学生相对水平的测验叫做常模参照测验; 把用于衡量学生实际水平的测验叫做目 标参照测验。常模参照测验中的” 常模” 是指某一规定的学生群体在该侧验中的成绩，在标准化测验中，” 常模u 实际上 就是标准化样本在测验中的平均成绩。 某一指定学生的学习成绩的 好坏， 是根 据该生的成绩在规定群体中所处的地位来判断的， 例如与群体的平均分进行比 _一- 一 一 叭 . 口 . . . . . 较。目 标参照测验的” 目 标” 是指某门 课程既定的标准，即教学目 标。目 标参照 测验是以学生必须达到的标准来决定他是否具备某种能力的测验。 它所关心的 是测知一个人所能做的是什么，而不是要参照别人的学习能力水平来决定名 次。当然，对一次测验也可以同时提出这两方面的要求。 2 . 2 . 1 经典考试理论 传统考试就是建立在经典考试理论 ( c t t : c l a s s i c a l t e s t t h e o ry) 基础上. 在计算机中建立题库，然后根据要求从题库中选取题目 来构成一份测验试卷。 经典理论的重要参数为难度，区分度，信度，效度等。在经典考试中，常 模参照测验的项目 分析包括难度分析、区分度分析和迷惑答案的有效性分析。 整体分析为有信度和效度。 效度即测验的有效性， 效度是衡量一个测验有效性的 度量指标， 是对测验 所要测量的东西测量到什么程度的估计。 在教育领域中， 用某个测验去测量学 生特定特征，如知识、能力， 这时该测验的有效性问题， 就是测验结果 ( 如分 数) 是否如实的反映了学生的知识和能力。 理想情况下， 根据测验成绩可以 对 被试的个体特征进行推断。 如推断出他或他们: 具备某些特性 ( 智力、 创造性) 程度、 发展可能性。 这种推断结果与实际情况的符合程度就反映出测验的效度。 信度又称可靠性， 它是指测验的一致性程度。 表现在同一个测验在不同时 间上所得结果的一致性。 通常以 相关系数为数据指标， 称为信度系数。 如果信 度系数大， 则测脸信度高; 如果信度系数小， 则测验信度低。 通常是以估计的 方法求得信度系数，以它的大小来表示测验信度的高低。 信度系数逻辑的定义为真实分数的方差与测验所得实际分数的方差之比。 若用r x x 表示信度系数，则有: r - 二 s n i s x z( 显然， o :5 r x x - 1 ) 其中， s t 2 为真实分数的 方差， s x a 为实际分数的方差。 若r - = o ，说明 测 验所得分数完全决定于偶然误差;若 r , ,= 1 ，说明所得分数完全排除了偶然误 差，测验所得分数与代表真实水平的真实分数非常接近。但真实分数的方差 硕士学位论文 a t 人 界 1 下r s t i ms i s s t 2 难以直接测出， 所以 信度是一个理论上构想的 概念。 通常，信度指标只能 根据学生答题情况和测验所得分数进行估计。 常用的估计方法有分半法。将全部试题分为相等的两部分 一般采用奇、 偶题分半) ，并分别计算每个学生在两半试题的得分，再求得两半试题得分的 相关系数， 这是半个考试的 信度系数。为了估计整个测验的信度， 可采用斯布 公式计算: 2尸” 1 十r ., , 其中 r , : 为整个测验的信度; r h 、 为两半试题得分的相关系数。 这是一种常用 的方法，使用库德一 理查森 ( g f k u d e r和 m w r i c h o r d s o n )公式 k - r 2 0 估计测验的 信度 k - r 2 0 公式如下: _k r-ii 一 k一 1- 艺 p i ( ， 一 p j ) ;_ i 一i 式中， k 表示测验所有的 题目 数; p i 为题目i 通过率即答对率; s z 是测验总分 的方差;r 为测验的信度系数。 估计测验的信度只适于客观性测验， 对于主观性测验可用克伦巴赫。 系数 公式估计其信度: 刃 x菩 _ _ k ， - ll一 1 ( 一 1 式中 q 为克伦巴 赫系数值，即信度系数;k为题目 数;澎为题目i 的分 数方差: s 为测验总分数的方差。 通常，自 编考试的信度系数值要求在0 . 6 0 - 0 . 8 0 之间，标准化考试要求在0 . 9 0 以上。 经典考试 c t t是传统教育测量理论的 代表。 它对试题的难度、区分度等 参数采用直接测算的办法。 对于用一组被试解答某个试题的实际得分相对于满 分值的比率来确定该试题的难度参数。 这比较符合人们的思维习惯和一般教师 的操作习惯。 _一-一- ， ， ， ， ， 曰 . . . . . 叫 . . . . . . 月 旧 . . ， ， ， ， 州 按照经典理论计算难度、区分度、 信度等质量指标的方法， 存在着严重依 赖于样本的问 题。 从同一库抽样， 就同一试题而言， 被试样本组的 水平如果较 低， 求出的难度值就会偏高; 如果水平高，求出的难度值就会显得低。 对区分 度来说， 如果被试样本组的程度参差不齐， 求出的区分度值就会高; 若较为同 质， 程度相当整齐， 求出的区分度值就会显得低。 信度也有与区分度类似的情 况。 这样， 质量指标随测试样本而变化， 得不到普遍适用于整个被试总体的值。 在应用方面，经典理论也表现许多不足。例如，它主要适合于常模参照测验， 而难以较好地满足目 标参照测验的要求; 主要适合于进行观察分数等值， 难以 较好地满足题目 参数等值的要求; 特别是，它不能为自 适应测验( a d a p t i v e t e s t i n g ) 这类新型测验提供坚实可靠的理论基础。 它对试题技术参数的测定结 果受样本的影响较大，这对组卷会有不利影响 2 .2 .2 . 项目 反应理论 ( i r t i t e r m r e s p o n s e t h e o r y ) 自 适应考试建立在项目 反 应理论( i r t i t e r m r e s p o n s e t h e o ry ) 基 础上。 它 通过给每一个考生建立个人化的 测验来达到更为准确的测量， 因为项目的选择 是根据被试的能力水平定身度量而成的， 因而被试所做的每一个题目的难度都 是与其能力相匹配的。 也就是说， 水平高的被试能够避免做到相当简单的题目， 而能力低的被试能够避免做到超出其能力范围之外的题目。 从题库的建设到测 题的选择再到最后的评分，都是以i r t 为指导进行的。c a t 也被认为是现代测 验理论对测验的最大贡献。 题目的编制、筛选、组合成题库是进行c a t 测试的首要步骤。 题库的最重 要的特征是其中的项目 不仅是测验题目， 而且都有必要的参数， 而这些参数指 标必须满足一定的条件、 符合一定的模式。 项目 是用来反映被试特性的， 一个 项目 的质量直接影响到它对被试能力特性的反应质量。i r t 在己建立起的项目 参数、 答对概率、 被试能力之间的关系模型基础之上， 通过外显的、 可测的被 试的答题反应测量出被试的能力特性， 因此参数的正确估计决定了测验准确性 硕士学位论文 1 1 a i f r s i i i f s i s 的 基 础。 在i r t 理 论中 ， 项目 的 参 数 有: 鉴 别力( d i s c r i m i n a t i v e p o w e r i n d e x ) ; 难度 ( d i f f i c u l t y i n d e x ) : 猜测系数 ( g u e s s i n g i n d e x ) 。 采用不同的参数， 就构成了能力与参数间不同的数学模型。常用的数学模型有:单参数模型、 双 参数模型和三参数模型等。 在建立满足以上条件的题库基础上， 每一个项目的 选取是根据被试先前的答题情况采用某种选择策略而进行的。 现代测验中最为普遍使用的方法是最大似然估计法。 具体步骤是根据对被 试的能力进行估计，再挑选当能力值时， 具有最大信息值的项目。以下为其具 体实现: 1 .建立题库 2 .参数初始化，是对考生的能力进行初始估计。 3 .能力估计 正确估计受测者的能力是 c a i ， 顺利进行的前提，最常用的方法是极大似 然估计法。 若以l( 叼0 ) 表示能力为。 的 对 题目 i 的 反 应为场 ( 若答对， u i = 1 : 答错， u j = 0 ) 的 概 率。 则公 式 x l (u l ,u 2 . u , ) 一 日 p q 卜i 其 中 : n : 题目 数乃 “ : 考 生 答 对 第i 题 的 概 率q “ 考 生 答 错 第i 题的 概 率 公式通常称为似然函数，我们要对每一个反应向量 ( u l ,u 2 , u 3 , . . . u n )求出相应 的0 值，使似然函 数的值为最大。我们用n e w t o n - r a p h s o n 法对公式逐次迭代， 求出 能力的极大 似然估 计 值0 t + 1 = 0 t + f ( 0 ) i f ( 0 ) d y a ; (u 。 一 p , ) ( p , 一 c ; ) 了 ( 8 ) - 1 - 1 - 一 一 p , 0 一 c , ) d 艺a , (.,c; 一 p ) ( p 一 c o g 了1 ( e 5 .一一t ; 匕-一-一一一一目 p s n 一 c 户 、 c ; 其中:0 t + 1 , 0 t 为第t + l , t 次迭代的能力估计值。 d: 1 . 7 0 2 i s题目 编号 a ; ,b ;, c ; : 第i 题的区分度、 难度、猜测系数 p ; ， 受测者 一 - - - - - - 种 ， ， ， ， ， ， 卜 - 硕士学位论文 a f a s i 工 r s t i e s s 答对第i 题的 概率0: 受 测者答错第i 题的 撅 率 u i : 受测者的 反 应( 答对为i . 答错为0 7采用极大似然估计法估计受测者能力值的最大好处是简便实用， 它 比较适合于题目 较多的情况， 4 .选择题目 不断抽取和受测者能力相适应的题目 是 c a t的基本原则。 通常，我们利 用i r t题库中题目的最大信息函数来确定所选择的题目。i r t用题目的信息函 数来表示题目 参数与受测者能力的关系。其中:受测者能力估计值 d 2 m 2 1 1 一 c : 1 玛e n om . -a ll l + e,c ,一，-) 式 中 ， p i 是 被 试 答 对 项目 .l 的 概 率 ; q i i p j 表 示 答 错 的 概 率 ; p ; 是 项目 反 应 函 数巧的 一 阶 导 数。 a ;,b ;,c ; : 第i 题的 区 分 度、 难 度、 猜测 系数0 能力 估 计 值 信息量具有可加性， 可以随时估计一组试题施测的信息量的总和。 对于不同能力的受测者，题目有不同的信息量，信息量取最大值时，它所 对应的能力值即是最适合于采用此题目 测试的人员的能力值。因此，在 c a t 系统中，根据前面推测的能力值，系统搜寻相应信息量最大的题目 进行测试。 5终止条件 通常可以能力估计值达到预定的精度要求作为终止条件， 即当受测者的能 力估计值逐渐稳定下来时，便可以结束测试。 从其测验思路中我们不难看出c a t考试的众多优点: ( 功 测验效率高:实践表明，c a t测验只需相当于纸笔测验一半的施测时间 和约为4 0 % 的长度， 便可达到与纸笔测验同样的精度。 因为在测验实施过程的 同时进行了测验的评分，两个过程合二为一， 且测验长度减少了，因此节约了 时间; ( 2 )可比性强:由于特定的实施方式与记分方式，c a t最终的分数可转化为 可相互比较以及解释的量尺，因此可同时应用于常模参照测验和标准参照测 验。 项目反应理论是针对经典测量理论的不足而提出来的一种新的测量理论。 u 一 - 一 门 . . ， . ， ， 它的最大优点是项目 参数和被试能力参数的不变性。 即项目 参数的估计值与被 试样组的选择无关; 被试能力的估计值与所施测的试题无关。 同时能够提供各 被试能力估计值的精确度指标， 而且在施测前就可以 知道各个考试项目 对于不 同被试的能力估计的精确度测量，误差的估计因被试能力水平的不同而不同。 虽然自 适应考试理论是一种更先进的考试测量方法， 但当前在国内的实际 应用并不广泛。究其原因，大致有以下 3 点: i .计算公式复杂 在采用i r t方法确定题库项目 参数时， 一般需要采集大量的实验样本， 通过极 大似然估计法， 用矩阵迭代的方法求项目 参数a ,b , c 。 在考试过程中， 系统需要 不断选取与考生能力估计值相匹配的项目，以 使信息函数取得最大值。 这些过 程，都涉及到大量的计算。 2参数难以确定 当前，科学技术的发展可谓日新月异，反映在教育领域，新的学科不断涌现， 而传统学科中新旧知识的更替也十分迅速。 而且随着我国教育、 教学改革工作 的推行和深入， 教学方法和教学着眼点也在不断变化。 教学知识点和重点的频 繁变化，必定导致考试题目 参数不易稳定。 3 .系统可靠性有待证实 虽然在理论上，自 适应考试能更准确、 快速地测试考生的实际能力。 与传统的 经典考试理论相比， 有着明显的先进性。 但是，到目 前为止，以自 适应考试理 论为基础的考试系统在国内 外考试中都还比较少见， 与己 经相当成熟的经典考 试系统相比，自 适应考试系统的可靠性、 可用性等质量指标还需要在不断实践 中得到证实。 2 . 3考试系统设计原则 考试系统可以采用数据库语言进行代码编程， 考试系统的 应用也随着数据 库技术发展而发生变化。由于互联网的迅速普及， 人们对考试中数据共享和联 机实时处理的要求也越来越高，于是考试方式又在不断地发展改进。 硕士学位论文 ma s t e r s t i i e s i s 考 试系 统 在 过去 主 要 采用以 单 机 版本 数 据 库设计， 只能 作 到 基 本 的 功能. 由于网络的蓬勃发展，考试系统中数据库技术逐步向 w e b数据库过度。w e b 的易用性、实用性，目前已经成为使用最为广泛、最有前途的信息传播技术。 不过，w e b 服务只是提供了i n t e m e t 上信息交互的平台，要想实现真正的计算 机辅助考试系统，就要将考生、学校、社会与i n t e rn e t 融为一体。 考试系统多数基于关系数据库，要求我们按照数据库理论指导 进行设计。 首先建立数据库模型。 建模后可以根据模型形成数据库模式， 使我们对各种关 系和表细节的解释有整体上的把握， 将数据库技术与考试理论很好地融合在一 起， 而且借助数据库与网络技术的无缝有机结合， 能够让考试系统在远程教育 中发挥重大作用， 模型是现实世界特征的模拟和抽象。 计算机不可能直接处理现实 世界中的 具体事物， 所以人们必须实现把具体事物转换成计算机能够处理的数据。 在数 据库中用数据模型这个工具来抽象、 表示和处理现实世界中的数据和信息。数 据模型应满足三方面要求: 一是能比较真实地模拟现实世界; 二是容易为人所 理 解; 三是便于在计算机上实现。 考试系统中涉及的数据库模型中的 概念主要有: ( 1 )实体:客观存在并可相互区别的事物。如学生，题库。 ( 2 ) 属性:例如，学生的学号、试题的试题编号。图 2 - 1是一个题库中判断 题的e - r属性图 ( 3 ) 码:唯一标识实体的属性。 例如， 学号是学生实体的码。 ( 4 ) 域:属性的取值范围。例如 学号的域为 8 位字符，姓名的域为字符。 图2 - 1 判断题的e - r属性图 ( 5 ) 实体集是同 型实体的集合: 例如，全体学生就是一 个实体集。 ( 6 ) 联系: 在现实世界中， 事物内 部以及事物之间是有联系的，这些联系在 信息世界中反映为实体内部的联系和实体之间的联系。 两个实体型之间的联 系可以分为三类: 一对一联系 ( 1 : 1 ) 。如果对于实体集 ( 选择题库) 中的每一个实体， 实体集 ( 选择答案题库)中至多有一个 ( 也可以没有)实体与之联系，反之 亦然，则称实体集选择题库与选择答案题库具有一对一联系，记为1 : t o 例如，个选择题库中只有一个试题编号， 而一个试题编号在一个选择答案 题库中只有一个试题答案。 选择题库 一 二i 试题答案 一对多联系 ( 1 : n ) 。 例如，一名教师可以教多个学生。 多对多联系 ( n : n ) 。 例如， 一门课同时有若干个学生考试，一个学生可 以同时选考多门课程。 描述考试系统中的实体及实体之间的联系可以用e - r 图表示。其中的选择题与学生之间的e 一 图见图2 - 2 , 硕士学位论文 m a s 1 王 r s t i 庄 s i s 图2 - 2考试系统的e - r图 选择题组卷后形成试卷由学生考试， 考试后的学生成绩放于学生分析表， 对 其中的进行分析难度和区分度，再对选择题进行修订。图2 - 2 中选择题可换 为填空、判断等题型。按照图2 一形式，同样可以表示出简答题库，学生情 况库，学生答案库，学生分析库，试题分析库等。 关系模型要求关系必须是规范化的， 不允许表中还有表。 关系数据模型具 有下列优点: 关系模型的概念单一。 无论实体还是实体间的联系都用关系表示。 关系模型的存取路径对用户透明， 从而具有更高的数据独立性、 更好的安全保 密性，也简化了程序员的工作和数据库开发建立的工作。考虑到实际的应用， 考试系统所有的记录采用二维表形式，可以 将e - r图转换为关系模型。 其中的关系模式有: . 选择题库 ( 试题编号， 科目，题型，题目 选项a ,选项b , 选项c , 选项d , 答案 章节， 难度， 考察知识点， 提取标志， 录入日 期， 上次使用时间) . 选择题答案库 ( 试题编号，科目， 答案， 难度， 区分 度) 以上的关系模式考虑实际存取和库的优化， 可以将选择题库分为两部分选择题 提千部分和标准答案部分. 关系实际上就是关系模式在某一时刻的状态或内 容。 关系是动态的、 随时间不 断变化的， 因为关系操作在不断地更新着数据库中的数据。 在考试系统数据模 型组成设计，要求注意以下三部分:数据结构、数据操作和完整性约束 -一- -一一- 一一_ _ bf+ 1* tiilt xmasier s ti ilsis 一、 数据结构是所研究的对象类型的集合。 这些对象是数据库的组成成分， 它们包括两类，一类是与数据类型、内容、性质有关的对象;一类是与数据 之间联系有关的对象。数据结构是刻画一个数据模型性质最重要的方面。因 此在数据库系统中，人们通常按其数据结构的类型来命名数据模型。数据结 构是对系统静态特性的描述。 二、 数据操作是指对数据库中各种对象的实例允许执行的操作的集合，包 括操作及有关的操作规则。如在本考试系统，对学生答题和标准答案之间就 有连接操作，大多数是进行投影操作，从其中找出有用的一列。 三、 数据的约束条件是一组完整性规则的集合。完整性规则是给定的数据 模型中数据及其联系所具有的制约和依存规则，用以限定符合数据模型的数 据库状态以及状态的变化，以 保证数据的正确、有效、 相容。关系模型中可 以有三类完整性约束:实体完整性、参照完整性和用户定义的完整性。其中 实体完整性和参照完整性是关系模型必须满足的完整性约束条件，被称为是 关系的两个不变性，应该由关系系统自 动支持。 1 、实体完整性规则:若属性a是基本关系r的主属性， 则属性a不能取 空值。 实体完整性规则规定基本关系的所有主属性都不能取空值。 例如学生考 试中的关系 “ 学生情况 ( 学号，科目，成绩) ”中， “ 学号、科目”为主码，则 “ 学号”和 “ 科目”都不能取空值。 2 .参照完整性.现实世界中的实体之间往往存在某种联系，在关系模型 中实体及实体间的联系都是用关系来描述的。 这样就自 然存在着关系与关系之 间的引用，必须取基本表中己 经存在的值。由此引出参照的引用规则。 3 .用户定义的完整性。 不同的关系数据库系统根据其应用环境的不同， 往往还需要一些特殊的， 针对某一具体关系数据约束条件， 例如， 成绩的取值 必须在0 - 1 0 0 之间。 这些设计原则， 可帮助在正式编写程序代码之前规划数据需求， 在维护和改 进系统的数据布局的时候，给管理带来极大的益处. 硕士学位论文 h 4 a 5 住r s t i 止s 1 .s 第三章武汉化工学院计算机考试系统的设计 以 数据库设计方法建模后， 就可以结合考试的基本理论， 来综合设计考试 系统。目前已投入使用为网上考试系统的在线测试形式，但是多为随机抽题， 不符合考试对于