（课程与教学论专业论文）基于web的计算机辅助评价系统研究与实现.pdf

杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统研究与实现 i 摘摘 要要 计算机辅助评价(computer assisted assessment，caa)，是指将计算机应用于教育测量和评价的全过程。计算机参与教学测量与评价的过程可以得到更为准确、客观、全面的评价结果。目前计算机辅助评价并已成为教育评价领域研究的热点。 现有的计算机辅助评价系统作为终结性评价的辅助工具，往往只关注于学生最终的考试成绩，而忽视了学习特征的差异性和学习过程对学习的激励作用，因而存在如评价试题类型固定单一，缺少对主观题的自动测评技术，缺少对学习过程信息的提取和搜集，评价主体缺乏多元化，缺乏对学生学习特征的有效分析，无法根据学生的具体情况给出合理有效的学习建议等等不足。因此，笔者以教育评价理论与教育测量理论为基础，体现过程性评价和多元评价理念，以java 语言程序设计课程为例，设计了基于 web 的计算机辅助评价系统，并用 j2ee（java 2 enterprise edition）框架技术实现此系统。 本文阐述了计算机辅助评价的历史与背景，在此基础上对现有的计算机辅助评价统进行比较、分析，指出了其中的不足，并给出本论文的研究目的与意义。从教育测量方法和教育评价方法两方面分析了计算机辅助评价系统的教育学理论基础。采用 ssh(struts+spring+hibernate)框架技术设计实现了基于 web 的计算机辅助评价系统，重点研究了编程题的自动测评、学习过程信息的收集以及多元评价的工作流在计算机辅助评价系统中的实现方法和技术。最后，展示系统的应用效果、总结了本文研究成果。 关键关键词词：计算机辅助评价；多元评价；过程性评价；j2ee；ssh 杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统研究与实现 ii abstract computer assisted assessment (caa) refers the entire process of using the computer in education measurement and evaluation, which will provide a more accurate, objective and comprehensive assessment results. currently, computer assisted assessment has become a hot field in educational assessment research. the existing system of computer assisted assessment as final assessment tool, usually focus on the students final examination results only, neglecting the differences of the learning characteristics and learning incentives of learning process. so there exists lots of shortcoming such as: a fixed type of evaluation questions, lacking of automatic assessment technology for subjective questions, lacking of the collection of information from the learning process, lacking of diversification of the main evaluation, lacking of effective analysis to students learning characteristics, not able to give reasonable and effective suggestions in accordance with the specific circumstances of the students, and so on. this thesis is based on the theory of education assessment and education measurement, embodies multiple and process evaluation concepts. take java programming language courses as an example, the thesis designed the web-based computer assisted assessment system, and in conjunction with j2ee (java 2 enterprise edition) technology framework for the realization of this system. this thesis described the history and background of computer assisted assessment, and based on which, did some comparison and analysis to the existing computer assisted assessment. pointed out the shortcomings, and gave out the research aims and significance. secondly, the thesis analyzed pedagogy theoretical basis of computer assisted assessment from the measurement methods and educational evaluation methods. using ssh 杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统研究与实现 iii (struts + spring + hibernate) framework-based web design and computer assisted assessment system, with the focus on autonomic assessment of subjective questions, the information collection of learning process, and implementation methods and techniques of multi-flow evaluation in the computer assisted assessment system. finally, the thesis gives the results of research and system application results. key words: computer assisted assessment (caa); multi-dimensional evaluation; process assessment; j2ee; ssh 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 iv 目目 录录 摘摘 要要. i abstractabstract . ii 目目 录录 . iv 1 1 绪论绪论 . 1 1.11.1 计算机辅助评价系统研究之背景计算机辅助评价系统研究之背景 . 1 1.21.2 计算机辅助评价系统与在线学习系统之关系计算机辅助评价系统与在线学习系统之关系 . 2 1.31.3 计算机辅计算机辅助评价系统研究之现状助评价系统研究之现状 . 3 1.3.1 国内外研究与实现之现状 . 3 1.3.2 现有计算机辅助评价系统之不足 . 6 1.41.4 本文的研本文的研究目的与意义究目的与意义 . 9 1.51.5 本文的主要工本文的主要工作 . 10 1.61.6 本文的组织结构本文的组织结构 . 10 2 2 计算辅助评价系统的理论基础及技术支持计算辅助评价系统的理论基础及技术支持 . 12 2.12.1 计算机辅助评价系统的教育学理论基础计算机辅助评价系统的教育学理论基础 . 12 2.1.1 教育测量方法技术相关理论 . 12 2.1.2 教育评价方法相关理论 . 17 2.1.3 多元评价理论 . 19 2.1.4 过程性评价理论 . 21 2.22.2 基于基于 w webeb的计算机辅助评价系统的实现技术的计算机辅助评价系统的实现技术 . 23 2.2.1 web 应用系统的设计原则 . 23 2.2.2 j2ee 体系架构简介 . 25 2.2.3 javascript 简介 . 28 3 3 基于基于 webweb 的计算机辅助评价系统设计的计算机辅助评价系统设计 . 30 3.13.1 需求分析需求分析 . 30 3.1.1 需求描述 . 30 3.1.2 基于 uml 的角色分析 . 31 3.1.3 基于 uml 的用例分析 . 32 3.23.2 系统设计系统设计 . 33 3.2.1 面向对象的系统设计原则 . 33 3.2.2 系统的页面设计 . 35 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 v 3.2.3 系统的数据库表设计 . 37 3.33.3 系统模型系统模型 . 39 3.3.1 系统的逻辑架构 . 39 3.3.2 系统功能模块设计 . 40 3.3.3 系统部署模型 . 42 3.43.4 系统环境系统环境 . 43 3.4.1 客户端 . 43 3.4.2 服务器 . 43 4 4 基于基于 webweb 的计算机辅助评价系统实现的计算机辅助评价系统实现 . 44 4.14.1 w webeb框架的实现技术框架的实现技术 . 44 4.1.1 struts 与 spring 的整合 . 45 4.1.2 spring 与 hibernate 的整合 . 46 4.24.2 主要功能模块的实现主要功能模块的实现 . 46 4.2.1 登录模块实现 . 46 4.2.2 题库管理模块实现 . 48 4.2.3 章节测试模块实现 . 49 4.34.3 客观题测评技术实现客观题测评技术实现 . 51 4.3.1 多项选择题测评技术实现 . 51 4.3.2 填空题测评技术实现 . 52 4.44.4 主观题测评技术实现主观题测评技术实现 . 53 4.4.1 名字解释与简答题测评技术实现 . 53 4.4.2 编程题测评技术实现 . 55 4.54.5 多元评价方法的实现多元评价方法的实现 . 60 4.5.1 多元评价主体的工作流 . 60 4.5.2 多元智能评价实现 . 63 4.64.6 学习过程有效信息的收集学习过程有效信息的收集 . 64 4.6.1 在线学习时间有效性的计算 . 64 4.6.2 数据采集模块实现 . 66 5 5 系统应用与总结展望系统应用与总结展望 . 70 5.15.1 系统应用效果系统应用效果 . 70 5.25.2 研究总结研究总结 . 73 5.35.3 改进与展望改进与展望 . 74 致致 谢谢 . 76 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 vi 读研期间发表论文与研发项目读研期间发表论文与研发项目 . 77 参考文献参考文献 . 78 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 1 1 1 绪论绪论 1.1 1.1 计算机辅助计算机辅助评价评价系统研究系统研究之之背景背景 随着人类社会进入信息时代，尤其是在 internet 的迅速普及之后，计算机已经成为教育活动中不可或缺的重要组成部分，教学活动也正得益于计算机的辅助才更高效。在教育领域中，计算机科学技术不仅仅是一门学科，而且正逐渐成为教育实践和教育管理的最有力的辅助工具。将计算机技术应用于教育测试和教育评价的过程，即实施基于计算机的测试(computer-based testing，简称 cbt)和计算机辅助评价(computer assisted assessment，简称 caa )已经成为一种潮流，而且近年来学术界越来越多地把 cbt 与 caa 二者结合在一起，统称为“计算机辅助测评”1。计算机辅助评价(caa)是指在评价学习者的知识、技能和能力的过程中引入计算机作为工具或手段，即计算机应用于教育评价过程。即使有不少文献仍然单独使用 caa 这一术语，但其含义也不仅仅指计算机辅助评价，而是把计算机辅助测试也包括在内。因此，计算机辅助评价(caa)应该包括“测试和评价”两方面因素，可以说“测试”和“评价”二者是相互依存的，而不是彼此孤立的。 “测试”为“评价”提供统计信息和决策依据，而“评价”是根据“测试”提供的统计信息做出科学的判断和评估。因此， “测试”是“评价”的手段， “评价”是“测试”的目的。 教育评价是现代教育科学研究的三大领域之一。教育评价作为人的自我完善和教育管理、教育决策提供科学的信息和依据，指导行动，为管理和决策服务2。当前，世界各国都把发展教育、培养人才作为经济与社会发展的战略重点，如何利用教育评价这一手段来促进教育事业的发展，提高国民素质，选拔优秀的人才，已经是教育评价研究的一个重要方向。在实施教育评价的过程当中，需要设计科学的评价方案和建立全面的评价体系。然而，无论采取何种具体的评价手段和方法，使用计杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 2 算机技术去提取，统计，量化每一个评价因子，能够提高评价过程的效率，降低评价实施的人力和时间成本。可以说，合理地利用计算机技术来辅助实现教育评价是目前提高教育评价效果的一个重要手段之一。 另一方面，我们正向终身学习的社会迈进。网络教育这种新的教学方式也越来越被国家所重视。国民受教育的机会和时间将越来越多, 面对不断增长的庞大人群, 传统的评价方式势必将耗费大量的人力物力。大型的社会化考试、网络教育中教学评价活动的开展，要求有相应的学习评价机制来判断学习者的学习效果，对计算机辅助评价的需求也日益扩大, 传统的教育评价方法和测试手段也越来越不适应教育发展的需要。而计算机辅助评价的应用,可以使这种状况大为改观3 4。因此，研究 caa 在教育评价中的应用具有重要意义：对于解决现代远程教育中师生分离状态下的交互与反馈问题尤其具有应用价值；有利于教师监测学生的学习过程；对于某些学科，可实现测评与评价的自动化，这对于提高评价的质量、保证评价的一致性和公正性，降低评价代价，都具有重要的意义；通过计算机辅助评价系统得到的各种相关数据可自动生成诊断分析报告，这对促进教育评价的量化研究，也具有深远的意义。 1.21.2 计算机辅助评价系统与计算机辅助评价系统与在线学习系统之关系在线学习系统之关系 在线学习（e-learning/online learning）,又称网络学习，是学生通过网络进行学习的一种崭新的学习方式。它与其它传统的非网络环境下的学习方式有很大的区别，主要有以下三个判断标准： (1) 在线学习通过互联网，能够即时更新、存储、取用、分配和分享教学和资讯。 (2) 在线学习利用标准的因特网技术，经由电脑传送给终端用户。 (3) 在线学习系统提供了超越传统学习方式和手段，利用在线学习提供的各种资讯和工具能够提高学习效果。 从第三个判断标准来看，在线学习系统必须要有提升学生学习绩效的功能，而如何判断学生的学习绩效以及判断依据是什么自然离不开网杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 3 络学习评价。所谓网络学习评价就是在网络教育中对学习者的学习过程和 学 习 结 果 进 行 的 价 值 判 断 。 在 线 学 习 质 量 （ quality of online learning）是美国国家教育协会 nea 和黑板公司联合发布的基于互联网的远程学习评价标准5。这一标准指出了在线学习质量包括体系结构、课程开发、教学与学习、课程结构、学习者支持系统、教师支持系统、评价与评估系统质量七大环节。其中明确指出包含评价与评估系统，足见学习评价的重要性。 计算机辅助评价系统是目前实现网络学习评价的有效手段之一，由此可见计算机辅助评价系统应该作为在线学习系统的一个子集或者子系统而存在。也就是说，评价系统不是孤立于学习系统之外的，而是建立在学习系统平台之上的。学生可以通过使用在线学习系统能够记录学生的学习行为和过程， 以便在评价系统使用阶段对学生学习效果做出分析，给出科学的评价及建议。因此，本论文研究的基于 web 的计算机辅助评价系统是在已有的在线学习或者网络学习平台之上搭建起来的。 1.1.3 3 计算机辅助评价系统研究计算机辅助评价系统研究之之现状现状 1.1.3 3.1 .1 国内外研究与国内外研究与实现实现之之现状现状 国外以英国为代表， 早在上世纪 90 年代初就已经成立了有关的研究组织(http:/www.caacentre.ac.uk)，并召开了五届有关计算机辅助测评的国际学术会议。目前，国外对计算机辅助测评的研究主要集中在 it 技能测评领域(http:/www.ca.nott.ac.uk/coursemaster/), 这无疑是应用推动和需求向导的结果，因为 it 技能测评量大而且面广，应用前景十分广阔。其中，尤其以英国东英格兰大学信息系统学院的 roy dowsing, steward long & roman sleep 等人于 1992 年在英国高等教育基金会的资助下， 率先开展了通过计算机对字处理和电子表格的应用进行辅助测评的研究，项目全称是 “基于计算机的可迁移技能测评” (computer-based assessment of transferable skills,简称 cats)，项目于 1996 年结束。项目的主要成杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 4 果是研制出了关于字处理和电子表格应用的 caa 系统“word task”和“spread task” 。从实际应用来情况来看， “word task”和“spread task”使用效果是不错的，但也存在匹配算法和测评模型过于简单，缺乏一般性等缺点。 英国伦敦大学(university of london) 的 glenn k. baggett 等人也进行了计算机辅助测验的效果研究。他们对选修生物课程的非全职学生实施了计算机辅助形成性评价和总结性评价的测试, 调查结果表明, 大部分学生认为： 计算机辅助测试是公正的, 无偏颇的； 参与计算机辅助测试的经历要比传统纸笔测试更受益和愉快； 随着对计算机辅助测试的熟悉, 考试的焦虑和压力大大降低, 对自己测试结果的预测也更加精确； 自己更容易在计算机辅助的测试中表达和应用自己已学过的知识和已有的能力。 除了上述直接对计算机辅助测试的效果进行评价研究外, caa 领域的研究者还注意分析影响计算机辅助测试效果的外部因素, 即解答“哪些方面的因素会影响学习者应用计算机辅助测试的效果” 。比如上述的john cross 等人还设计了实验,研究计算机辅助测试的效果与学生性别、课程偏好、自信心、计算机水平、种族等之间的关系。值得注意的研究结果是 john cross 等人所得出的结论: 学生对某学科的自我效能感及信心很大程度上决定着学生是否愿意选取计算机化的评价方式6。 caa 的应用引发了评价内容、方法和形式的深刻变革。从测评的内容和目标看，caa 大体上可分为知识测评和技能测评两大类，它们共同构成能力素质测评的基础。 但目前国内外 caa 研究主要集中在知识维度的客观题测试，技能测评研究还相当薄弱，尤其缺乏一般性的理论与方法。 目前， 国内关于计算机辅助评价系统的研究主要集中在 it 技能测试、网络教学系统、计算机自适应测试、电子档案、电子作品等方面。 目前， 利用计算机辅助评价系统来实现 it 技能测试的应用主要集中杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 5 在计算机等级模拟考试系统。 由于计算机等级考试科目和大纲变化不大，而且题型也相对固定，加之市场的大量需求，所以，目前计算机等级模拟考试系统在技术上实现已经比较成熟、稳定。学生通过这种模拟考试系统能够体验考试的环境和气氛，通过练习迅速掌握相关的知识点，并及时得到反馈和评价结果。网络教育是计算机技术与通讯技术相结合的产物,是伴随着国际互联网的发展而出现的一种新的教学模式7。网络教育能够实现教育资源共享, 扩大教育规模, 提高教育质量和办学效益, 是实现教育现代化的重要途径。网络教学是通过网络表现的某门课程的教学内容及实施的教学活动的总和, 它包括按一定的教学目标、教学策略组织起来的教学内容和网络教学支撑环境。目前，国内大多数的网络教学系统是以网站的形式呈现给用户的。学习效果的评价方式是以章节为单位的单元测试和最终的期末试卷，试题形式是以客观题为主。计算机自适应测试是在项目反应理论基础上发展起来的一种测验，测验的编制者认为，要测量一个人的能力，最理想的项目就是难度适中的项目，即他答对或答错的概率都在 0.5 左右。在测验开始时，计算机一般给出一组难度中等的题目，如果测试做对，计算机就会估计他的能力高于中等水平，然后再给他一组难度高一点的题目；如果他做错，计算机就会估计他的能力低于中等水平，然后给他一组难度较低一点的题目。计算机根据被试第二组的回答情况，对其能力再作估计，在第二次估计基础上，计算机在题库中选择最接近他能力估计值的题目，接着根据被试反应，对其能力再进行估计。这样，随着被试做的题目增多，计算机对他能力的估计精度越来越高，最后其估计值将收敛于一点，该点就是该被试的能力较精确的估计值8。计算机自适应测试通常应用于职业素质测试，心理素质测试等领域。电子档案袋是一种新型的信息化教学和学习工具, 目前主要作为质性评价的工具使用。在教学实践中电子档案袋有许多不同的用途， 同时教育工作者也可以根据不同的使用目的创造性地设计和应用电子档案袋, 使之成为促进学生学习和发展的有效工具及手段9。电子作品就是以学习和应用信息技术知识技能为目的，以实现电杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 6 子作品创作行为为表现的一种活动学习方式，如通过制作网页、课件、演示文稿等来学习掌握相关的知识与技能。学习活动中，学生多以小组形式参与，在一定的激励机制下实现个人与他人习得成果的最大化。基于电子作品的学习活动评价要重在绩效与过程的结合。通过学生集体创作的电子作品来评价学生所获得的知识技能或知识技能的应用实践能力10。 1.1.3 3.2 .2 现有计算机辅助评价现有计算机辅助评价系统系统之之不足不足 计算机辅助评价系统使得教师在课程评价阶段的工作量大大减少，并可以帮助教师在形成性评价和终结性评价得到科学评判的依据，教师们可在此基础上改进自己的教学工作和了解学生个体的学习情况。 因此，计算机辅助评价系统的分析与设计就变得非常重要。虽然目前有很多正在使用的计算机辅助评价系统，但都存在或多或少的缺点，存在的不足包括以下几个方面： 1.缺乏对学习过程的记录 以往对学生学习效果的评价多采用终结性评价，而这种评价方式也较容易用计算机技术来模拟实现，最常见的方式就是通过自动组卷系统生成一份期末试卷来考察学生的学习成绩对学生进行终结性的评价。以结果性评价为导向的现行教学模式仅仅追求某种功利的目标，使“过程” 演变成了丧失“生成”意义的“流程” ，教学过程中人的发展价值被漠视或未得到应有的体现。为了改变结果性评价导向下的教学弊端, 新课程改革提出了过程性评价。这种评价方式着眼于学生的全面发展, 改变过去不重过程只重结果、目标单一的评价模式，强调过程性评价与结果性评价相结合，侧重过程评价。通过过程性评价很好地调动了学生参与合作学习的积极性, 提高了合作学习的技能, 提高了合作学习的效率 12。现有的计算机辅助评价系统除了进行测试之外, 还应该通过对被评价者行为表现的记录和追踪获取相关信息实施评价, 这就是计算机辅助实现过程性评价。现有的计算机辅助评价系统大都缺少对学生学习过程信息杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 7 的记录，无法实现对学生学习过程的评价。 2.评价主体缺乏多元化 传统的评价主体是教师，是管理者，学生处于被审视的地位，因此学生很容易产生消极，逆反心理。评价主体的多元化对学生的评价由教师，学生，家长，专家等共同参与完成。采取学生自评，同学互评，教师、家长、专家参评相结合，被评者成为评价主体的一员，在评价主体扩展的同时，重视评价者和被评价者之间的互动，学生可以对自己的评价结果发表意见或看法，在平等民主互动的关注被评价者的发展需求。不同的评价主体参与学生评价，可以发挥其独特的作用。如学生自评可以发展学生的批判思维和评价技能，解决问题和独立学习的能力；学生互评，凭借者和被评价者站在同一高度看问题，这样更易于学生接受，也有利于加深自己的认识，扩展视野，提高思维能力和表达能力；家长、专家的参评，加强了学校，家长，学生三者之间的沟通，有利于改善教学管理13。目前，现有的计算机辅助评价系统的评价主体是教师，而评价的标准则是测试题目的标准答案，学生和教师之间缺少沟通的平台，学生之间缺少交流的桥梁，无法满足多元评价实际需求。 3.主观题的自动测评技术还有待完善 在线考试系统可视为计算机辅助评价中作为终结评价的手段之一。目前，在线考试系统的测试题型主要是客观题，而且实现技术也相对成熟。要考察学生对知识点的综合运用能力，则必须通过主观题的测试方式。主观题的在线自动测评，尤其是与信息技术课程相关的高级程序语言设计的主观程序题的自动测评技术，一直是主观题自动测评技术研究领域的热点和难点。目前，大多数的实现方法是学生把自己的编程作业上传给服务器，由教师后台登录后进行人工在线的批阅，这样必然加大了教师的评价负担。 4.现有题型的封闭性 目前现有的大多数计算机辅助评价系统是评价学生学习效果的终结性评价的手段。而采用的评价资源主要表现形式就是所学科目的题库。杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 8 但是，这些题库大多采用的封闭性设计，题库中题型大多数是固定的，比如：选择题、判断题等等，设计者主要是考虑题库的完整性和权威性，一旦题库建设好，就不允许再进行题型的添加、维护和修改。在实际运用中，教师很多时候希望自己的“考察目的”添加特定的考核题型，由于系统无法满足这样需求，这样教师还需要手动组卷。另外，随着时代的发展往往出现许多不同的题型和组合题型，比如：选择题和问答题组合在一起等等，并且每一个学科可能都有其特殊的题型，而现有的题库无法通过教师的操作来实现题型的扩充。 5. 缺乏对评价结果分析和对题库数据的更正 现有的计算机辅助评价系统根据测试结果给出评价结论，而缺乏对评价数据分析，例如：这次测试的难度分布、测试的区分度分布和测试的考察点分布等数据， 以此来说明所进行的这次测试的科学性和有效性。题库中的诸如难度、相关度和题目区分度等数据往往需要随着时间的推移、实验数据的增加而改变，但是现有的系统中往往缺少这样的反馈机制。如计算机考试中经常出现的一道判断题“计算机病毒可以传染人” ，在 10 年前可能有较强的区分度，但是由于计算机的普及，即使是儿童也有可能了解这方面的知识。如果题库的难度、区分度无法随时间的推移加以改变的话，在此题库上所组试卷就很难达到考核要求14。 6. 缺乏对学生学习特征的分析以及提供指导建议。 随着新一轮教育改革的展开，教师更加注重分数背后的内容：学生个体的创新性、灵活性等。现有的计算机辅助评价系统往往只是简单地在测试之后给出一个评价结论或者给被评价者定一个等级，而没有帮助学生分析学习中存在的不足，帮助学生查漏补缺。评价的目地是为了学生更好的全面发展，所以一个真正有意义的评价系统应该包括对评价结果的分析和学习建议和指导，给学生提出具有参考意义的学习建议，只有这样才能帮助教师改进教学，才能真正体现出评价系统的作用。 综上所述，一个科学的实用的计算机辅助评价系统，应当具备以下特点： 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 9 1. 采用基于 web 体系架构有利于系统的维护和更新， 提高系统开放性和跨平台性。 2. 体现过程性评价的理念，实现学生互评、小组互评、教师、专家共同参与的多元评价主体。 3. 具有智能的主观题自动测评技术。 4. 测试题库与测试题型的开放性，尤其是题型的开放性，方便了教师自身教学的特殊需求与系统的二次开发，使系统更好地适应教师的个体教学。 5. 系统要具备对评价结果分析功能和学习建议功能，教师通过评价信息了解学生存在的不足，以及利用反馈系统来改正教学方法。 1.1.4 4 本文的研究目的与意义本文的研究目的与意义 本文研究的主要目的是总结现有计算机辅助评价系统之不足，分析计算机辅助评价系统所依据的教育学理论基础，并在此基础之上建立系统模型。本论文所研究实现的计算机辅助评价系统主要目的是：克服现有计算机辅助评价系统存在的不足，使计算机辅助评价系统更注重学生的学习过程和学习特征的分析，研究学生学习阶段的划分，学习痕迹的提取，学习能力的评估在系统中的实现技术，并重点研究主观题的自动测评技术的实现，体现评价系统的智能性。同时结合多元评价的工作流模型，实现评价主体的多元化，使整个评价系统更加完善和科学。依照web 系统的开发原则和运用面向对象的分析方法，使用 j2ee 框架技术并结合 javascript 技术实现系统，最终实现一个基于 web 架构的、体现多元评价和过程性评价理念的、具有部分主观题智能测评技术的计算机辅助评价系统。 本文研究的意义在于教师通过使用计算机辅助评价系统，了解学生内在的学习需求以及存在的不足， 并利用评价反馈系统来改善教学效果。学生通过使用计算机辅助评价系统，提高解决问题和独立学习的能力，充分发挥评价的激励性与发展性功能，最终实现学生自身的全面发展。 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 10 1.1.5 5 本文的主要工作本文的主要工作 基于以上的分析本文的主要工作包含以下几个方面： 1. 阐述评价教育评价理论基础并研究对比现有评价系统 通过查阅大量中外文献，了解并掌握教育测量、统计理论、web 系统开发使用到的计算机实现技术等方面的知识。同时分析比较现有计算机辅助评价系统的特点，指出其中之不足。 2. 多元评价理论和过程性评价理念在系统中的体现 提出过程性评价和多元评价理论的概念，并基于此概念划分出多个评价主体。设计并实现一个多元评价主体共同参与注重学生学习过程的计算机辅助评价系统。 3. 部分实现主观题的自动评测技术 通过采用基于 web 的体系架构实现系统开放性和易扩展性，设计并实现一个 web-caa 系统，重点研究并实现了多元评价的工作流程和主观题（例如编程题目）的自动测评技术，教师通过使用具有智能测评技术的计算机辅助评价系统，可以大大减轻评价的工作量，提高评价的效率。 1.1.6 6 本文的组织结构本文的组织结构 本文主要分为 5 章： 第一章：绪论。 本章包含了对于基于 web 的计算机辅助评价系统的相关概念，研究与开发的背景、现状和论文研究的目的、意义、主要工作，还有论文组织结构的论述。 第二章：计算机辅助评价系统的理论基础及技术支持。 本章介绍了计算机辅助评价系统理论基础的介绍，主要包括了相关教育评价理论基础、 教育评价的测量方法与技术、 教育学统计理论、 j2ee框架技术介绍计与 javascript 技术。 杭州师范大学硕士学位论文 基于web的计算机辅助评价系统研究与实现 11 第三章：基于 web 的计算机辅助评价系统设计。 本章对于基于 web 的计算机辅助评价系统的需求描述与设计，包括了题库的数据库设计以及系统界面设计，还有基于 web 的计算机辅助评价系统功能模块的分析与设计。 第四章：基于 web 的计算机辅助评价系统实现 本章包含了需求分析、框架设计和各个子模块的分析与设计，以大学 java 语言程序设计这门课程为例，实现一个基于 web 的计算机辅助评价系统，探讨了学生学习过程信息的采集和记录的实现技术，以及多元评价的工作流程、主观题（例如编程题目）自动测评等等的关键技术的实现。 第五章：系统应用与总结展望。 本章包括对于论文工作的总结以及本系统的应用示例效果，并指出系统有待完善之处，以及对将来工作的展望等内容。 杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 12 2 2 计算辅助评价计算辅助评价系统系统的的理论理论基础基础及技术及技术支持支持 2.1 2.1 计算机辅助评价系统的计算机辅助评价系统的教育学理论基础教育学理论基础 教育评价是现代教育科学研究的三大领域之一。现代教育评价的对象已经扩大到整个教育领域，即一切教育现象都是教育评价的对象。因此，教育评价的定义应当表述为“对教育现象进行价值判断” 。从学科基础看，教育评价学是建立在教育测量学和教育统计学基础上的教育科学的分支学科。教育评价学的学科体系由教育评价的基本概念；教育评价的基本理论；教育评价的指标体系；教育评价的程序；教育评价的方法；教育评价的组织与制度； 教育评价心理与调控； 教育评价的评价等构成 ，是教育管理的一个分支学科15。实施教育评价的依据是建立在教育测量所得出的测试数据基础之上的，因此我们先分析计算机辅助评价系统所依据的教育测量方法理论。 2.1.1 2.1.1 教育测量方法技术相关理论教育测量方法技术相关理论 实施教育评价中经常使用的测量方法是教育测量方法，教育测量方法它是研究如何收集、整理和分析由教育调查和教育实验所获得的数据资料，并以此为依据，进行科学判断，揭示教育现象所蕴含的客观规律。教育测量方法是实施计算机辅助测试的理论基础，本文涉及的教育测量方法的主要概念和测量方法如下： 1. 信度及其测量方法 信度是指测量的可靠性、稳定性的程度，用以说明这次测量在多大程度上反映了所测试事物的真实水平。 信度是反映测试的稳定性与一致性的指标，任何一种测试，如果能对同一对象实施多次，各次所测的结果应该是比较一致的，一致性程度越高，稳定性越大，这项测验越可信，越可靠。表示信度大小的统计量杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 13 叫做信度系数，其最大值为 1。经过精心编制的标准化测验，信度值一般应在 0.9 以上，教师自编测验的信度多应在 0.6-0.8 之间16。 常用的信度测定方法是对半法信度。对半测验的做法是将整个测验分成完全相等的两个部分：一部份由奇数号题目组成；另一部份由偶数号题目组成。两部分的题型、题数、难度、区分度相同。 假设对 n 个测试对象实施对半测验，测验结果如下：用x表示奇书题目得分，具体得分1x,2x,nx；用y表示偶数号题目得分，具体得分是1y,2y,ny。如果我们用xyr表示x和y的相关系数，用r表示对半测验的信度，则对半法信度的计算公式为： r=xyxyrr12 提高测验信度有如下办法： a. 增加测验的题目，延长测验的长度。 b. 调整试题难度，题目太难或太易，信度都偏低，难度为 0.5 时，信度最高。 c. 评分客观，有助于提高信度。 此外，题目的编排顺序、测验的组织过程都与信度有密切的关系。 2. 难度及其测量方法 难度是表示测验难易程度的指标，即试题与考生水平的适合程度。难度通常以得分率来表示： 难度计算公式17是： xp 式中：p表示测验的难度，x为某题全部考生的平均得分，为某题的满分。以上公式给出的难度，实为易度，难度指数越大，试题反而容易。 杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 14 试题的难度对保证测验的高质量有着重要的作用。 对学科测验来说，人们往往编制一份试卷让学生去做，这份试卷包括若干个题目，各个题目的内容和难易都是不同的。一份完整的试卷，各个题目的难易应该有一个合理的分布。其原则是应当尽量入选难度值为 0.35-0.65 之间的试题，适当配备少量的较难的和较容易的题目，而难点要尽量分散，不宜过于集中。另外，考虑到学生的心理和情绪，为了使考生能正常发挥自己的真实水平，可适当降低试题起点的难度。题目的排序最好由易到难，应该把基本概念和基本技能的题目放在试卷前面，而把综合性、技巧性强的题目放在试题的后面。 3. 区分度及其测量方法 区分度又叫做鉴别力，是指测验对考生水平差异的鉴别能力和区分能力。区分度与难度有密切的关系。很显然，过难或过易的测验都没有区分度或区分度很小。因为大家都不会做或都会做区分不出优劣。区分度高的试题能够使考生得分与其水平相符。这样就能把不同程度的考生区分开来。 区分度的计算公式是：lhppd， 其中d表示测试的区分度，hp和lp分别表示高分组和低分组的得分率。 试题区分度的评价标准，如表 2.118所示： 表 2.1 测验区分度的评价标准 区分度（区分度（d） 评价评价 0.40 以上 非常良好 0.30-0.39 良好，如能改进则更佳 0.20-0.29 尚可，仍需再改进 0.19 以下 劣，必须淘汰或加以修改 杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 15 测验的难度与区分度有密切关系。测验难度过难或过易，区分度都很低，调整难度是提高区分度的重要办法。区分度 d 的最大值与测验难度的关系如表 2.2： 表 2.2 难度与区分度最大值关系表 难度难度（p） 1.00 0.90 0.70 0.50 0.30 0.10 0.00 区分度区分度（d 的最大值的最大值） 0.00 0.20 0.60 1.00 0.60 0.20 0.00 4. 效度及其测量方法 效度是指测验的有效性，即测量到的与要测量的二者之间相符合的程度。一个测验有时虽然能反映出受测者在某些方面的稳定水平，即有信度， 但并不一定能反映出所要测量的那个方面的水平， 即没有效度19。 信度是对测量的一致性程度的估计，效度是对测量的准确性程度的估计一致性和准确性的关系可以用射击靶环来说明。假设有 a、b、c 三枝枪，对准靶面中心位置各射 9 次，所得结果如图 2.120所示： （a） （b） （c） 图 2.1 射击结果图 a 枪弹着点十分分散，说明一致性和准确性都不好；b 枪弹着点虽然比较集中，但偏离靶心，说明一致性好，准确性差，c 枪弹着点全部集中在靶心，说明一致性和准确性都好。此例说明，一个测验对某一个目的具有一定的信度，但并不一定是有效的。而一个测验对某一个目的如果是有效的，那么它一定是可信的。因此，高信度是高效度的必要条杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 16 件，并不是充要条件。 效度的测量方法主要有两类：内容效度和结构效度。根据不同的需要，一个测验可以采用一种或几种效度来评价。 a. 内容效度 内容效度是指测试内容与预定要测的内容间的一致性程度，也可以说是指一份测验试卷的内容对所有要考查的全部内容的代表性程度。“教学大纲规定的教材内容”和“教学目标”是决定内容效度必须考虑的两个重要因素。 为了保证和提高测验的内容效度，主要工作有以下三个方面： 1. 对有关的教学大纲、教科书及教学要求进行系统的分析，确定各部分内容的相对重要性及其应在测试内容中所占的比例。 2. 编制测验双向细目表。 所谓双向， 指的是教学内容和教学目标 （如理解和运用等） 。 在每一项教学内容和教学目标的相交格里是它们的权重或题目的分数。下面是某校初中平面几何测验的双向细目表，如表2.321： 表 2.3 某校初中平面几何测验双向细目表 内容内容 目标目标 合计合计 识记识记 理解理解 应用应用 分析分析 综合综合 评价评价 第一章 第二章 8 2 10 第三章 12 6 2 10 30 第四章 4 4 2 2 6 18 第五章 2 10 12 3 4 6 42 合计 6 26 28 14 20 6 100 3. 编制测验试卷。在编制试卷时切不可因某部分内容的题目容易编写或易于搜集而过多地增加该部分内容在试卷中所占的比例，应严格按杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 17 照双向细目表编写题目。在具体编写试题时，还需注意试题的语言和事实是考生所熟悉的，要求完成的任务是明确的，题目编排从易到难，以免影响测验的内容效度。 b.结构效度 结构效度是指测验分数能够说明心理理论的某种结构或特征的程度，结构效度也可以理解为测验实际测量了所欲测量的结构和特征所达到的程度。 学科测验主要考虑内容效度；心理测验主要考虑结构效度。在判断结构效度时，往往与观念性的结构相比较。心理学的某种结构或特征理论虽然是建立在大量的实验研究和逻辑分析的基础上，但往往不能完全以操作性的术语来定义。判断结构效度，首先要建立理论结构，然后根据理论结构提出有关测验成绩的假设，再用逻辑的和实证研究来验证假设。如果假设能得到支持，就可以认为测验结果与理论结构相符合，即有结构效度。反之，缺乏结构效度。对于结构效度，一般还不能用一个简单的数学公式来描述其高低，只能采取一些方法作逻辑的推论。 2.1.2 2.1.2 教育评价方法相关理论教育评价方法相关理论 随着素质教育的发展，对学生的评价不再局限于考试成绩，而更注重对学生全面素质的评价，比如学习效果的优劣，学习进度的快慢等。通常对一个学生学习能力的评价不是简单的“好”或“不好” ，有时还用到“还可以” 、 “比较差”等模糊语言，模糊概念早已不知不觉的应用在教师对学生的评价中22。如何运用模糊数学的方法，对诸项指标进行模糊综合评价，得到评价对象的定量评价结果，是教育评价领域研究的热点，目前普通采用了模糊综合评价法。 1. 模糊集合理论概述 人们讨论范围之内的全体对象叫做论域，具有相同属性的事物之全体叫做集合，集合中的每一个事物叫做元素。论域中的任何一个元素与集合的关系有两种可能： 要么属于 （用 1 表示） ， 要么不属于 （用 0 表示） ，杭州师范大学硕士学位论文 基于 web 的计算机辅助评价系统的研究与实现 18 这样的集合叫普通集合。 如果一个元素与一个集合的关系不仅仅只是 “属于”和“不属于” ，还有介于这两者之间的各种不同隶属程度，这种集合就叫模糊集合。 模糊集合论的创始人美国学者查德说： “刻画一个模糊集合时，不必指明哪些元素属于它，哪些元素不属于它，只需为给定范围内的各个元素确定一个从 0 到 1 之间的实数，即可表明这一元素以多大程度属于这个集合。 ”23 隶属度就是一个元素属于一个集合的程度，用 0 到 1 闭区间上的任何一个实数表示。隶属函数就是表示变量 x 与其隶属度间对应关系的函数。 2. 模糊综合评价法的数学模型 首先定义模糊集合， 设指标集为u=1u,2u,nu，评语集为v=1v,2v,mv 。对指标集u中的元素iu(i=1,2,n)作评价。由iu确定对评价集v中的jv(j=1,2,m)的隶属度ijr，这一指标iu对于v中的每一种评价的隶属度组成了v上的模糊子集，记为=1ir,2ir,imr，这样得出模糊关系矩阵。 这 里 再 给 出 权 重 系 数 ， 其 模 糊 子 集 为=1a,2a,na， 其 中ia(0ia1)为iu对的隶属度，它是单一元素iu在总评价中影响程度大小的度量， 在一定程度上也代表根据iu评定等级的能力。 当模糊向量和杭州师范大学