（教育技术学专业论文）基于网络协同的it技能计算机辅助评价系统研究.pdf

洲删川删m l i l l l l l l i l ，y 19 5 0 5 4 7 基于网络协同的it 技能计算机辅助评价系统研究 摘要 随着计算机技术的发展和信息化水平的提高，计算机辅助测试得到广泛的应 用。如出国英语考试、从业人员职业资格鉴定考试、现代教育技术学课程考试、 党校结业考试、全国计算机等级考试、高校计算机等级考试等等，种类繁多，门 类齐全。由于i t 技能计算机辅助测试具有其特殊的优势，可以检测被测试人员 技能的掌握程度，所以得到了更加广泛和深刻的发展。信息技术职业资格鉴定考 试、高校计算机等级考试、相关计算机课程考试、中小学信息技术等级考试、甚 至东部发达地区信息技术高考都采用了基于计算机的测试( 计算机辅助测试) 。 i t 技能计算机辅助评价也称为i t 技能自动阅卷，它作为计算机辅助测试的 重要补充，受到广泛关注和研究。基于i t 技能计算机辅助评价理论设计和开发 的系统称为i t 技能计算机辅助评价系统或i t 技能自动阅卷系统。i t 技能测试的 题型主要分为客观题和操作题，客观题包括选择题、判断题等题型，操作题包括 文字录入、o f f i c e 办公文档( w o r d 、e x c e l 、p o w e r p o n ) 操作等。目前i t 技 能自动阅卷系统已经基本可以实现常见i t 技能测试的评阅，如国家计算机等级 考试、浙江省计算机等级考试、浙江师范大学现代教育技术考试。计算机辅助评 价进行的效果，直接影响计算机辅助测评的价值和意义。 本文总结了当前国内外计算机辅助评价系统的优缺点，应用计算机辅助评 价、教育评价、计算机科学等理论与实践。在已有单机版自动阅卷系统的基础上， 对其进行了改进，设计并实现了一个较为完善、科学、稳定的基于网络协同的计 算机辅助评价系统。 本文所做的主要工作包括： ( 1 ) 对计算机辅助评价、教育评价、计算机技术等理论进行分析与研究， 并在理论研究的基础上指导实践。 ( 2 ) 分析国内外对i t 技能进行计算机辅助评价的主要方法，比较各个方法 的优点和不足，并对现有的计算机辅助评价系统进行改进和完善。其 中主要的改进是对考生的考试信息的提取与分析以及评价结束后反馈 信息的提取与分析。 ( 3 ) 对计算机辅助评价系统进行一定的创新实践，主要包括增强系统评阅 的准确性、提高评阅的效率等。 ( 4 ) 按照教育评价的理论与实践，对评价结果进行有效的形成性评价和总 结性评价，有效促进学生的学习。 关键字：计算机辅助评价；i t 技能；网络协同；自动阅卷；教育评价 r e s e a r c ho nt h es y s t e mo fc o 巴u t e r a s s i s t e d a ss e ss 匝n ti ni ts k i l l sb a s e do n n e t w o r kc o o p e r a t i v e a bs t r a c t w i t l l t l l e d e v e l o p m e n t o f c o m p u t c rt e c h l l o l o g y 锄dt l l e r a i s i i l g o f i i l 】f 0 r i i l a t i o i 卜- b 嬲e dh o r i z o n t a l ，c o m p 咖汁雒s i s t e dt e s t i n gi s 、) i ，i d e l yu s e d s u c h 雒 e n g l i s he x 锄i n a t i o nt 09 0a b r o a d ，m ee m p l o y e e0 c c u p a t i o nq u a l i f i c a t i o n 印p r a i s c r e x 批a t i o 玛e x 锄i m l t i o no fm o d e me d u c a t i o nt e c t l i l 0 i o g yc o u r s e s ，t h ep a r t ) rs c h o o l 伊a d u a t i o ne x 锄i i 斌i o 玛廿l en m i o i l a l c o m p u t c rg r a d ee x 锄i n a t i o i l ，t l l ec o l l e g e c o m p u t e r 铲a d ee x 枷i o n 锄ds oo mc o m p u t e r - 勰s i s t c dt c s t i n gi st 0b em o r c e x t e n s i v e 卸dp r o f o u i l dd e v e l o p m e n tb c 娥u j s eo fi t ss p e c i a la d v 锄t a g e s ，t l l a ti s ，i tc a n e ) 【a r n i n et 0t e s tp e r s 0 m l e l ss k i l l a h ：i l o s to fe ) m 证a t i o ni sa d o p 钯dc o m p l l t e r - b a s e d t e s t i i 培丘0 mt l l ei i l f 0 皿a t i o nt e c l l l l i q l j eo c c u p a t i o nm i n 他n t i c a t c se x 龇i l i n a t i o n ，t i l e 伊a d ee x a m i n a t i o 璐i nt l l ec o l l e g e ，t l i er e l 砷e dc o m p u t c rc o u r s ee x 锄吐t i o n s ，m e 掣a d ee x 锄i n a t i o i l so fi 疵肌a t i o nt e c h i l i q u ei i lt h ep r i i m a 巧锄d c o n d a 巧s c h o o l st o t h e 戗l n a n c ee x 撇o fi l l f o m l a t i o nt e c h n o l o g yt oc o l l e g ei i lm e e 髂t 出w e i o p e da r e 氖 a sa ni m p o r t a mc o m p l e m e n to fc o m p u t e r - a s s i s t e dt e s t i i 撂，c o m p u t e r - 嬲s i s t e d 嬲s e s s m e n to fi ts l ( i l l si ss u b j e c t e dt 0e x t e n s i v ec o n c e m 锄d 陀s e a r c ht t l a ti st e 肋e d a u t o 撕cm 戏n go f i ts k j l l s t h cs y s t e mo f d c s 啦a n dd e v e l o p m e n tb a s e do n 也c t t l e o 叮o fc o m p u t * 嬲s i s t e da s s s m e n to fi ts k i l l si st e 珊i e dc o n l p u t c r - 鹤s i s t e d 嬲s e s s 鹏n ts y s t e mo fi ts 龇so ra u l o m a t i cm a d k i i l gs y s t e mo fi t 出l l s t h et ) ，p eo f i ts l 【i l l st c s t i n gc 孤i m i n l yd i v i d c di n t 0o 巧e c t i v cq u e s t i o l l s 锄do p e r a t i o n a lq u e s t i o i l s ， w l l i c ho b j e c t i v eq u e s t i o 璐i n c l u i d e sm u l t i p l ec h o i c e 、c r i t e r i o ne t c 缸l do p e r a t i o i l a l q u e s t i o 璐i l l c l u d e st e x t 锄缸y ，o f f i c e ( w 0 r d 、e x c e l 、p o 唧硫) e t c n l ec 硼汜n t a u t o m a ：i cm 摊k i i l gs y s t e mo fi ts l 【i l l sh 舔a j r e a d yc a r r i e do u tm ec o m m o nm 锄k e do f i ts l 【i l l st e s t i n g ，s u c h 弱t 1 托n a t i 伽mc o n 咖黟a d ee x a m i n a t i o i l z h e j i 孤gp r o v i n c e u i c o m p l l 衄g r a d ee x a 删o i l z h e j i a n gn o m 斌u n i v e r s n ym o d e me d u c a t i o n a l t e c h n o l o g ) re x 删n a t i o n n l ee 伍烈o fc a r r y i i l go u tc o r n p u 钯r - 邪s i s 伽私s e s s m e n th 嬲 d i r e c t l yi m p a c to nm ev a j u e 锄ds i 鲥f i c 肌c eo fc o i n p u t e r - 嬲s i s t e dt e s t i n g t h et t l e s i s 蛐撕z c st i l ec 硼r e n ta d v 锄_ t a g e s 锄dd i s a d v 锄缸喀e so fd o m e s t i c 觚d a ：b r o a dc 0 m 斟l t t 卅觞s i s t e d 弱s s m e n ts y s t 锄，a p p l y i n g 也em e o 巧a n dp r a c t i c eo f c o m p u t * 舔s i s t e d 舔s e s s m e 咄e d u c a t i o r l a le v a l 咖i o 玛c o m p u t e r i e n c e t 0h p r 0 v e 沁 a n dd e s i 鲥n gam o r ec o m p r e h e n s i v e ，s c i e n t i f i c ，锄dg 怔出i l i 妙o fc o n l p u t e r 弱s i s t e d 嬲s e s 鲫舱n ts y s t e m 1 1 1 em e s i sc 0 n s i s t so ff o u rp o i n t s ： ( 1 ) n 钺试y 跫s 觚dr e a r c h e s 也e l e o r yo fc o m p i i t e r - 嬲s i s t e d 丛s e s s m e n t ， e d u c a t i o nc v a l u a t i o i l ，c o m p u t e rt e c h l o l o g y 锄ds oo n ，a n dg u i d ep 眦i c eb a s e d o nt l l et l l e o r e 嚏i c a ir e s e a r c h ( 2 )i t 锄l y z e sm em a i l lm 劬o do fc o m p u t e r - 懿s i 删a s s e s s m e n to fi ts k i l l s a th o i n e 锄dd b r o a d ，c o r n p a r e s 也e i ra d v a n t a g e sa n dd i s a d v 觚t a g e s ，a n d i i i 舭o v e sa 1 1 dr e f m e st h e m t h e 础i n l p r 0 v e m e m i st h ee x t r a c t i o n 锄d 锄a l y s i s o ft h ee x 锄i n a ：t i o no fi i l f 0 n l l a _ t i o no nt i 伦c a n d i d a t e sa n dl b e d b a c ki l 怕玎n a t i o n a f t e ra s s e s s m e n t ( 3 ) l tc a 盯i e so nc e n a i ni r m l 0 v a t i v ep r a c t i c eo fc o m p u t e r - a s s i s t e d 嬲s s m e n t s y s t 咖，m a i l l l yi n c l u d i n ge i l l l a n c i n g 也ea c c u r a c y o fs y s t e m 他v i e w s 锄d i i i l p r 0 v i l l gm ee 硒c i e n c yo f t 量l er e v i e w e 瑙 ( 4 )nc 删e so n 也ee n b c t i v e o ff 1 0 n m t i v e 雒s e s s m e n t 觚d 鳓l m m a t i v e a s s e s s m e n tf o rt l l e 陀s u l to fa s s e s s m e l i ta c c o r d i n gt l l et l l e o 巧觚dp 船c t i c eo f e d u c a t i o n a le v a l 嘣i o n ，觚dp 】的m o t i n gl 黝i n ：i i r l ge f l e c t i v e l y k e yw o l 己d s ： c o m p u t e r - a s s i s t e d 嬲s e s s m e n t ；i ts k i l l s ；n e t w o r kc 0 0 p e r a t i v e ； 砒l t o m a t i cm a r k e d ；e d u c a t i o n a le v a l 删t i o n 图目录 图1 1 计算机辅助测评流程图1 图3 1 系统框架图。2 2 图3 - 2 数据服务器功能图2 3 图3 3 阅卷服务器功能图2 3 图3 4 阅卷客户端功能图2 3 图3 5 系统总体流程图2 4 图3 6 阅卷流程方案一2 6 图3 7 阅卷流程方案二j 2 8 图4 1 数据服务器数据库模型3 8 图4 2 阅卷服务器数据库模型3 9 图4 3 阅卷客户端数据库模型3 9 图4 4 数据服务器数据库4 0 图4 5 阅卷服务器数据库4 0 图4 6 初始化信息导入流程4 6 图4 7 导入数据服务器信息4 7 图4 8 数据导出流程图4 8 图4 9e x c e l 文档对象模型4 9 图4 1 0 考生试卷信息x m l 结构5 0 图4 1 1 考生答案信息沮。结构5 2 图4 1 2 讧l 文件和文档对象模型关系图5 3 图4 13 阅卷类的实现5 4 图5 1 数据服务器主界面5 8 图5 2 阅卷服务器主界面5 9 图5 3 阅卷客户端界面5 9 图5 4 数据导出界面5 9 图5 5 得分分布统计6 0 图5 6 及格统计6 0 图5 7 模块统计6 l 图5 8 小题统计6 1 图5 9 个体统计6 2 v i 表目录 表3 1 考点基本信息表3 0 表3 2 考场基本信息表3 1 表3 3 场次信息表31 表3 4 考生信息表3 1 表3 5 考生考试结果表3 2 表3 6 考点编码表3 2 表3 7 考场编码表：3 3 表3 8 考生信息表3 3 表3 9 试题类型编码表3 3 表3 1 0 试题信息表3 3 表3 1 l 数据服务器信息表3 4 表3 1 2 阅卷客户机信息表3 4 表3 1 3 考生信息表3 4 表3 1 4 试评阅卷任务表3 4 表3 1 5 试评机阅记录表3 5 表3 1 6 试评机阅成绩表3 5 表3 1 7 正评阅卷任务表k 3 5 表3 1 8 正评机阅记录表一3 5 表3 1 9 正评机阅成绩表3 5 表3 2 0 试题阅卷表3 6 i x 1 1 背景与意义 1 绪论 随着计算机技术的发展和信息技术的不断普及，计算机辅助测评 ( c o i n p u t * a s s i s t c dt c s t i i l g ) 成为考核并评价学习者对知识、技能等掌握情况的 有效途径。计算机辅助测评可以分为计算机辅助测试和计算机辅助评价两个部 分。计算机辅助评价( c a a ) 是对计算机辅助测试的结果进行有效评价，即对考 生考试结果的分析与评价，具体流程如图1 1 所示。 计算机辅助评价 图1 1 计算机辅助测评流程图 计算机辅助评价，即c a a ( c o m p u t * a s s i s t e d 舡驼s s m e n t ) ，是指在评价学 习者的知识、技能和能力的过程中引入计算机作为工具或手段。嘞1 c a a 引发了 评价内容、方法和形式的深刻变革，在评价过程中采用计算机手段主要是指： ( 1 ) 在测试的过程中，传递材料、评分以及对测试结果进行分析； ( 2 ) 比较并分析通过试卷搜集到的数据； ( 3 ) 记录并分析学习者的成绩水平，生成评价报告； ( 4 ) 通过网络比较、分析和传送评价信息。n 1 与c a a 概念比较相近的有基于计算机的评价( c o m p u t e r - b 部c d 舡s s m e n t ) 等，有的学者认为计算机辅助测试也是计算机辅助评价的一部分，本文将计算机 辅助测试和计算机辅助评价区别对待，即先进行计算机辅助测试，然后对计算机 辅助测试的结果进行计算机辅助评价。但是两者是相辅相成的，只有进行了基于 计算机的测试，计算机辅助评价才是有意义的，只有形成良好的评价才会对计算 机辅助测试的发展起到良好的促进作用。 l 绪论 计算机辅助评价系统也称为自动阅卷系统，是基于计算机辅助评价理论与技 术设计与开发的系统。 i t 技能一般是指信息获取、处理和发布的能力，与此相关的内容包括操作 系统、文字处理w b r d 、表格处理e x c e l 、演示文稿制作p o w e r p o i n t 、数据库应用 a c c e s s 、i i l t e m e t 和i e 应用以及网页制作f r o n t p a g e 等。 按照c a a 的概念理解，c a a 可以应用于任何学科和领域。面向i t 技能进 行测试与评价的系统称为i t 技能计算机辅助测评系统或i t 技能考试系统，按照 测试和评价两个过程的不同，可将用于评价过程的系统称为i t 技能计算机辅助 评价系统或者i t 技能自动阅卷系统。本文主要研究的是i t 技能计算机辅助评价 系统的设计与实现。 i t 技能计算机辅助评价能够很好的实现对学习者的知识、技能和能力的测 量和评价。如全国计算机等级考试上机部分、高校计算机等级考试、浙江省中小 学信息技术等级考试、浙江省高等学校自学考试计算机基础、浙江师范大学现代 教育技术考试都已经采用计算机辅助评价，浙江省高考也在计划使用上机考试形 式进行信息技术和通用技术的考试。该方法在测试与评价学习者对i t 技能的掌 握情况效果良好，得到了广泛的应用与推广。 协同，就是指协调两个或者两个以上的不同资源或者个体，协同一致地完成 某一目标的过程或能力。网络协同是指多台计算机通过计算机网络完成某一特定 任务的过程。本文所指的网络协同是指多台计算机分别评阅一个考生测试答案， 通过对比得到考生的最终成绩，使考生成绩的评定更加准确有效。 本研究是在对计算机辅助评价理论进行学习与分析的基础上，对现有计算机 辅助评价系统进行分析与研究的基础上，对现有的传统单机版计算机辅助评价系 统进行改进，实现的一个基于网络协同的计算机辅助评价系统。即改变传统的只 有一台计算机对测试结果进行评阅的方式，采用多台计算机通过网络协同工作的 方式完成测试结果的评阅。对学习者的试卷进行准确的自动评阅，并形成有效的 评价与良好的反馈给学习者、教师和教育决策者。使学习者获得有针对性的反馈 信息，并对整个考试进行多角度统计，有效指导教育决策者、教师改进教学目标、 教学内容、教学策略等，从而更有效的促进学习者对知识、技能的学习。 本系统实现的意义主要有： ( 1 ) 对现有的自动阅卷系统进行改进和完善，使计算机辅助评价能更好 的对考试进行评价与反馈，同时促进学习者的学和教师的教。 ( 2 ) 使阅卷工作按时完成，很大程度上减轻阅卷教师的阅卷工作量。 ( 3 ) 确保阅卷成绩的准确性，人工阅卷有误差，同样的由于计算机软硬 件环境的不同也可能带来阅卷误差。通过设计有效的阅卷策略，保证了阅 卷的准确性。 2 1 绪论 ( 4 ) 对教育管理者、教师、学生提供有效的教育评价与反馈。形成从上 至下的评价与反馈信息，有效促进教学。 1 2 国内外现状 1 2 1 计算机辅助评价( c a a ) 分类 计算机辅助评价是对计算机辅助测试的补充与继续，二者统称为计算机辅助 测评。因为计算机辅助测评主要是对计算机辅助测试的结果进行评价和反馈，因 此应将二者联系起来，在开发计算机辅助评价系统时，必须和计算机辅助测试系 统均衡考虑，否则会将二者孤立开来，达不到预期的效果。 i t 技能计算机辅助评价的类型可以从不同角度划分，主要有以下两种划分 方式： c a a 按照评价的内容和目标可以分为三类： ( 1 ) 对知识水平的评价 对知识水平的评价是目前研究最多、应用最广泛的计算机辅助评价之一。类 似于传统上采取笔试的形式，常见的题型有单选题、多选题、判断题、填空题等。 随着计算机技术和网络技术的发展以及硬件条件的提高，考试形式也在逐渐向机 考形式过度。但这种方法最主要的缺陷就是评价内容片面，只强调了知识维度的 评价，却忽视了技能维度的评价。 ( 2 ) 对技能水平的评价 对技能水平的评价主要是评价考生运用专业知识解决专业问题的能力，这种 评价可以分为操作技能的评价和心智技能的评价。从c a a 研究发展现状来看， 目前对技能水平的评价是计算机辅助评价的热点和重点。 ( 3 ) 对能力素质的评价 对能力素质的评价是在知识评价和技能评价的基础上进行的评价，它克服了 前两种评价片面性的缺陷，以评价考生对专业知识的运用能力和对专业技能的掌 握程度为目标。由于这类测试带有浓重的主观性，因此评价的难度是最大的，也 是效果最差的评价类型。 c 从按照评价的题型可以分成三类： ( 1 ) 客观题评价 就目前c a a 的发展状况来看，客观题评价的理论和方法都很成熟，实现评 价的技术上难度也不大，其重点在于试题的编制和题库的建设。 ( 2 ) 操作题评价 操作题是介于客观题和主观题之间的一种题型，使用操作题的评价主要考核 被测者的操作过程和方法。通常在真实或者模拟的环境中进行测试，然后记录考 3 l 绪论 生的操作过程和结果进行评价。 ( 3 ) 主观题评价 主观题最重要的特征是题目的解答需要通过语言的表述来完成，标准答案具 有多样性、不确定性等特点，而计算机辅助评价需要对考生答案和标准答案进行 比较。因此以目前技术水平完全实现主观题自动评价是不现实的。这类题型是计 算机辅助评价中难度最大也是最需要解决的。 综上分析可以看出，技能评价和非客观题( 操作题和主观题)自动阅卷是 c a a 研究的重点和难点，它是教育学、计算机科学、语言学等多种学科交叉的 研究领域。 1 2 2c a a 应用现状 目前，国内外的自动阅卷系统已经能很好地完成对客观试题的自动评阅工 作，但是对于一些主观性很强的问题， 并没有很好的解决方案。 自动阅卷功能的实现大致通过以下两种方式来完成： ( 1 ) 构造一个被测试软件的仿真环境，这要求仿真系统不仅能模拟该软件 的环境界面，而且能够记录考生的操作步骤，然后通过分析考生的操作，以判定 考生的操作是否正确，从而实现自动阅卷功能。 ( 2 ) 在真实环境中进行测试，收集并记录考生的操作步骤，最终实现自动 阅卷。 在真实环境中进行测试的优点是测试者可以正常地使用测试软件，但是由于 各个真实软件各自的特点不同，在记录测试者操作步骤方面难度较大：使用仿真 环境可以详细记录操作者的操作步骤，但是仿真环境要求和真实测试软件具有较 高的相似性，因此开发难度也相应增大。 国内已经有专门的公司专门研究c a a ，并将在研究的基础上开发的产品投 放市场。深圳知行软件技术有限公司成立了计算机辅助测评研究中心( 网址： h t t p ： 棚州s i i 赋龃c o n 汕_ h i l 狮n d e x h n l l ) ，研究并开发出来了i t 技能测评系统，包 括单机版和网络版两种版本。 北京师范大学的许骏、柳泉波博士近年来在i t 技能评价自动化方面做了比 较深入的研究，i t a s ( i t 技能测评系统) 是技能评价自动化研究项目系统成果 之一。它涵盖了计算机基础教育的全部内容，包括晰n d o w s9 8 、w r o m9 7 2 0 0 0 、 e x c e i9 7 2 0 0 0 、p o w e 柙o i n t9 7 2 0 0 0 、e t 和浏览器m5 0 以及网页设计 f r o 删p a g e 等。 浙江师范大学金炳尧教授团队在计算机辅助测试与评价方面有着十多年的 设计、开发和使用经验。现在所设计开发的系统能够实现多种学科的自动化阅卷。 如军事理论评价系统、党校考试系统等系统主要是对客观题进行评价，此类评价 一般采用即时阅卷，考生提交考试即可查看考试成绩；浙江省中小学信息技术等 4 l 结论 级考试系统是对中小学生信息技术技能掌握技能的考核，该考试的计算机辅助评 价采用单机版阅卷系统，即将考生提交的考生数据包提交至服务器端，然后由单 机版考试系统对收集上来的考生数据包进行阅卷，该阅卷系统能够对o w s 操作、o m c e 办公软件操作、o u t l o o ke x p r c s s 应用、f l a s h 操作、p h o t o s h o p 操作 等i t 技能操作试题进行比较好的自动评阅，经过多年的使用与完善已经比较稳 定。 除此之外，全国计算机等级考试、各省市非计算机专业计算机等级考试等各 类计算机等级考试均已实现计算机辅助测试并实现了计算机辅助评价。 英国东英格兰大学信息系统学院的r o yd o w s i n g 、s t e w a r d 和r d m 锄s l e e p 等人于1 9 9 2 年起在英国高等教育基金会的资助下，开展了应用计算机辅助评价 对字处理和电子表格的操作进行评价的项目研究，该项目的全称是“基于计算机 的可迁移技能评价”( c o m p u t e r b 嬲c da s s e s 锄e n to f 胁f b r a b l es k i l l s ，c a t s ) ， 该项目已于1 9 9 6 年结束。项目的主要成果是开发了对文字处理和电子表格使用 进行评价的c a a 系统：w b r d 亿k 和s p r c a d 协k ，每一个系统均由三部分组成： 导师模块、在线评价器和离线评价器。导师模块的主要作用是供教师设置新练习 或测试题，并对其他两个组成部分的大量选项进行设置；在线评价器的作用是对 测试者在线提交的字处理或者电子表格练习做出评价；离线评价器则可以对学生 提交的练习进行批量或者单独的评价。从实际应用情况看，其效果不错，在英国 每年都有十几万人应用该系统进行i t 技能测试。但是，c a t s 研究存在一些不 足。首先，搜集与被测试者成绩相关的证据采用的是字符串比较的方法，凭借的 完全是结果信息，对于大多数i t 技能评价并不适用。其次，项目提出的方法过 于简单，缺乏一般性，对于其他类型的技能评价借鉴意义不大。圈 美国测试系统有限公司( a 阪) 开发了一种基于动态仿真技术的、专门用于 r r 技能考核的自动评价系统d s t ( d ) ，1 1 a m i cs i m u l a t i o nt c c h n o l o g ) r ) ，该系统提供 了虚拟的交互测试环境，按照试题的相应规则可以很容易获取与操作过程相关的 信息。测试者通过在仿真软件中操作相应试题，提交试卷后，仿真软件退出并即 时显示测试者每道题目的成绩。由于很难对w i n d o 、s 、w 0 r d 、e x c c l 等系统软件 和应用软件从功能到操作方式进行完全仿真，因而在一定程度上会影响系统的测 试信度和效度，而且系统对评价内容的适应性较差，考试内容要事先提交给公司 去制作，用户不能够自己命题。随着经验的积累和技术的不断进步，a r a 公司开 发的系统呈现多元化发展，既有动态仿真测试系统，也有真实环境测试系统i 也t ( r e a le n v 的曲嘲1 tt e c h n o l o g ) r ) 和程序语言测试系统p l e ( p r o 踮吼l 锄g u a g e e v a l u a t i 伽) ，测试类型也呈现多元化方式。该公司目前已经成立了中国分公司( 网 址：h _ t t p ：肌m w a t a n e t c ) 并在中国进行考试业务的相关服务，主要面向行业资 格认证和职业鉴定等考试。口， 5 l 绪论 综合以上分析，国内外计算机辅助测评系统的应用现状，测试系统主要包括 单机版和网络版，但是评价系统基本都是单机版形式。现有大部分i t 技能计算 机辅助测评系统都能比较好的实现基于计算机的测试和评价，并且可以反馈测试 者成绩，但是无论即时评价还是测后评价，评价方式基本都是由单机版自动阅卷 系统进行评价，评价的准确性得不到保证，并且反馈信息不够充分，不能进行有 效的信息统计和良好的形成性评价，不能有效提高教学质量和学习者技能。 1 2 3 c a a 阅卷策略 c a a 按评价的题型分类可以将计算机考试题型分为客观题、操作题以及主 观题，每类题型由于其特殊性阅卷策略也相应不同。 ( 1 ) 客观题阅卷 客观题测试是让测试者从事先拟定的答案中选出正确答案，题型有选择题、 填空题、判断题等。此种类型的考试阅卷较为简单，技术上实现没有太大的难度， 阅卷的主要实现方式有： 1 ) 客户端阅卷 客户端阅卷指考生通过考试系统提交考生考试的答案并更新至数据库服务 器，考试客户端阅卷模块通过将考生试题答案与数据库中的试题标准答案进行对 比的方式计算考生成绩，并将考生成绩保存至数据库系统( a c c 骼s 、s q ls e r v e r 等) 中。此种阅卷方式常见于考生成绩需要即时反馈的测试中。 2 ) 基于x m l 的自动阅卷 基于x m l 的自动阅卷采用) a l ( 可扩展标记语言) 技术实现，考生试题 答案并不直接存储在数据库中，而是存储在一个l 文件中，考生上传存储考 生试题答案的) m l l 文件至服务器端，服务器通过相关的阅卷模块策略解析x i l d 文件并与数据库中的标准答案( 或者将标准答案也保存至一个x m l 文件) 进行 遍历对比，得出考生成绩并存储考生成绩至数据库系统中。此种阅卷方式常见于 考试成绩不需要即时反馈，测试过程只记录考生选项，测试结束之后再进行评阅 的测试。 ( 2 ) 操作题阅卷 操作题是介于客观题和主观题之间的一种试题，主要考核考生的操作过程和 方法，通常在真实或者模拟的环境中进行，是计算机辅助评价领域内目前发展的 新方向。如w i n d o w s 操作、o m c e 文档操作、a c c e s s 数据库操作、f l 嬲h 操作、 p h o t o s h o p 操作等。根据题目类型的不同自动阅卷方式也有所不同，主要类型包 括： 1 ) w i n d o w s 操作题阅卷 w i n d o w s 操作题包括文件操作( 文件的建立、删除、移动等) 、系统设置( 系 统背景、时间等) 操作、以及i e 、o e 等应用程序操作题型。其中文件操作试题 6 l 绪论 可以利用高级程序设计语言如v b 、c 存等自身提供的相关函数或者w m d o w s a p i 检查考生的操作结果，实现起来也比较简单。系统设置、i e 、o e 类试题的阅卷 比较简单，因为w i n d o w s 系统和i e 、o e 的绝大不分系统设置都直接或间接地体 现在注册表或某些系统文件中，利用m n d o w s a p i 编程，阅卷系统不难从中得到 考生的操作结果。【4 1 2 ) o 伍c e 文档操作 o 伍c c 办公软件的操作题是自动阅卷的难点，w b r d 、e x c e l 、p o w e r p o i n t 等 应用程序对应的文档的信息量巨大、内部结构非常复杂，很难用普通的文档对比 法来实现对这些操作考试文档的评测，v b a 与o 伍c e 办公软件中的w b r d 、e x c e l 、 p o 袱i r p o i n t 以及f r 0 d 心a g e 等应用程序之间存在着密切的联系。v b a ( s l l a lb 硒i c f o r a p p l i c a t i o n ) 是由微软开发的用于定制和扩展o 伍c e 功能的系统。v b a 重要特 点之一是面向对象的特性，对象是类的具体实现，在v b a 中对象是封装有数据 和代码的客体。o 伍c e 办公软件中几乎所有在图形用户界面所进行的操作，都有 相应的v b a 代码可以实现。例如在e x c e l 工作表中，一个单元格或单元格区域 就是m g e 对象。用户可以在v b a 程序代码中为r a n g e 对象赋值或使用封装在 r a n g e 对象中的代码清除m g e 对象的数据等操作。在o 伍c e 办公软件中有许多 对象，例如菜单栏、工具栏、e x c e l 工作簿、w | 0 r d 文档、p o w e r p o 缸演示文稿、 窗体、图形及图表等都是对象。在a 中，对象之间并不是毫无关联的，彼此 之间存在着包含与被包含的关系。我们把含有其他对象的对象称为容器，容器可 以包含其他对象，也可以被更大的窗口容器包含。 利用v b a 技术来对相关的操作文档进行分析，从中获取评分所需要的文档 的各种属性信息，从而实现评分与自动阅卷。 3 ) o m l 0 0 ke x p r e s s 操作题 o u t l o o ke x p r e s s 主要是电子邮件发送接收操作。目前的主要实现方式是，在 考生考试客户端模拟一个电子邮件服务器，监控并记录考生在本地计算机所进行 的o e 相关操作，提取考生邮件的内容，进行分析进而实现o u t l o o ke x p r e s s 操作 题自动阅卷。 4 ) 文字录入题 文字录入题的自动阅卷往往采用逐字匹配的方法，但这种方法不是很准确， 有一种改进了的匹配算法，其算法思想是将要求考生录入的文字转换成一个数 组，这个数组的每一个元素都是一个由当前字符以及前后字符组成的三元组，即 1 1 = a l ，a 2 a m ，其中，a i _ ( c i - l ，c i ，c i + 1 ) ，c i 表示当前字符，c i 1 表示前一 字符，c i + l 表示后一字符；同理，把考生答题结果也转换成一个数组t 2 ， t 2 = b l ，b 2 b n 。将数组t l 和t 2 进行比较就能够得到学生录入文字的正确 数目，从而计算出学生文字录入题的得分。这种方法消除了错位、重复输入、故 7 l 绪论 意胡乱输入等对阅卷准确性带来的影响，有较高的准确性，符合文字录入题的阅 卷要求。h 儿幻 以上分析只是从各种试题类型如何实现自动阅卷进行分析，实际操作过程就 涉及到考生操作信息如何获取的问题，目前比较流行的阅卷信息获取方式是，将 考生的试题、试题答案等信息存储在一个舭文件中，自动阅卷系统通过提取 x m l 文件中考生每个试题的相关信息进行阅卷和评分。 ( 3 ) 主观题阅卷 主观题最重要的特征是题目的解答通常要通过语言表述来完成，因此，主观 题的自动评价必然涉及到自然语言的理解问题，限于目前的技术水平，完全解决 主观题的自动评价是不现实的。程序设计题属于主观题，但是程序设计语言与一 般自然语言相比，有很多的约束和限制，因此对于主观题的评价以程序设计题为 主。 以上简要介绍了i t 技能自动阅卷系统对各种题型的阅卷方式。1 1 r 技能自动 阅卷系统阅卷方式可以分为考试客户端阅卷和服务器端阅卷。考试客户端阅卷即 考生作答完毕提交试卷即在考生考试所用计算机对考生答案进行阅卷，服务器端 阅卷指考试结束后并不直接阅卷，而是将考生试题、试题答案等信息提交至服务 器，然后在服务器端对考生试卷进行阅卷。一般的，两种自动阅卷方式都是在一 台计算机上完成。但是，随着考试人数的增多，涉及范围广，仅仅靠一台电脑阅 卷费时费力，而且准确性不能得到很好的保障。 总结以上自动阅卷系统的实现，目前自动阅卷系统有以下不足： ( 1 ) 大都采用即时反馈和考后的单机版自动阅卷程序进行阅卷，有可能因 系统环境等因素造成阅卷结果不准确的问题。 ( 2 ) 没有良好的考生成绩反馈信息，只是简单的将考生成绩反馈给考生， 不能很好的对考生进行形成性评价。不利于考生对自己知识和技能的把握。 ( 3 ) 不能给教师或教学管理者提供良好的反馈信息，无法有效指导教学的 改进。 ( 4 ) 有些阅卷算法不是很完善，应该进行改进。 基于以上分析，本文设计一个基于网络协同的i t 技能自动阅卷系统。所谓 的网络协同是指不同于以往的采用一台计算机进行自动阅卷的方法，而是将一个 考生的成绩确定分发给多台计算机完成，多台计算机共同决定考生的成绩的方 法。通过改进不仅能快速高效解决阅卷而且通过相关策略可使阅卷的准确性更 高。 1 3 研究内容 8 1 绪论 1 3 1 计算机辅助评价( c a a ) 本研究主要是实现了一个i t 技能计算机辅助评价系统，因此在设计系统之 前应该先研究计算机辅助评价的理论与实践，分析国内外主要计算机辅助评价系 统的实现方式、优缺点等，并总结计算机辅助评价各种类型试题的方法，并对其 进行改进。 1 3 2i t 技能自动阅卷系统的实现 ( 1 ) 需求分析 通过需求分析，明确自动阅卷系统所要实现的功能，为系统的实现打下坚实 的基础。 ( 2 ) 具体方案的选择 实现需求分析所需功能，设计几种可行的方案，如考生考试包以何种方式进 行阅卷、考试包的解压方式等。通过对各种方案进行可行性分析比较，选择最适 合该要求的具体实施方案。 ( 3 ) 总体设计 通过总体设计，确定项目具体实施框架、流程、以及数据库的设计，并对其 中具体细节进行细致分析，对所有可能出现的问题进行调研和解决，最终确定系 统结构。 ( 4 ) 系统实现 在系统总体设计的基础上进行系统的开发，开发阶段应采用面向对象的程序 设计方法以及基于组件的设计方法，增加代码的可重用性简化开发。开发期间应 充分考虑系统的可扩展性和通用性。 ( 5 ) 系统测试 通过系统测试，确定系统需求得以实现，并测试系统的稳定性、准确性，改 进错误与不足。 1 3 3 评价结果的分析与反馈