（计算机应用技术专业论文）基于aspnet网上考试系统的评价研究.pdf

硕士论文墓于a s 只 n e r 网上考试系统的评价研究 ab s tra ct t 七 e n e tv 阳 rkt e s tsh a v e al 抢 a d y 阮com e the 加加比 劝 t p art ofthe d 日 10 比记砒以 沁 几 atp r e 泊 i tb er e 畔 m any t yl 姆 s of 改 w o 改t e stsysl e m t b e 云 m 叼u l e 由 v i s i 姐 丘 别 叮 e 详 如ge n v iro创 叮 e n t andth ee 幻 免 ct毗 di 月 免 re nt h 叭 吧 v 盯 奴 s tu d ies on h o wtd e v al u a 咭 e ail k 山 d s oft he d e t 万 o t kte 出 sy 川 哈 mba v e b 笼 nd 0 d e i 油equ en u y w h e r c v er 认 州 叹 以 l or in 加口a t i o al in面5 别 rt i c le 山 e rel而 日 由 即d e s onh o wtoeval u al e the o e 幻 胃 以 k l e 引 比 即 5 记 mare s u n 刀 刃 ar 劝 日at6 rst its 从 七 o l e血叨eofthe te stsy st em b asedon 人 s p n 卫 tisgi v e nat 别 沈 泊 d t b e th i r d e v al uat in g pr 切 c i pl e and fiowof业加 阳 rk七 绍 ts sy s t e m毗 put fo rwar 迁 留伪 记 访 gtothe ki n d sof di 月 免 代 泊 t te 引 比sy st e m the e v a 刚访 9加 d ex s y s t e m are e 曲 ab l l 由 目 t h e fo 迸 th 山 e c v al uatin g 功 o d e l i s con 几 功 ed朋d its le i ght val u 之 5 眼 扭 如 e 幻 几atl 别 耽 ane x amp l e of吸atio 公伪u ege c o n 1 p u l e r leve1 t 比 t isu s e d 协v e n fy 明d a n a l y s i s the t 即 叮伪 c l usi on ofti 五 s a rt i c leisbelow 1 t 七 e wei ght vai璐ofth e q u e st i on b 肚 止妇山 e n 拍 以 刀 叮inth e 五 川in d e x soit isc ri t i cal toe 引 冶 b li 止the q p e st i on b az 止 2 t 七 e weight val 明 f th e 别 沈 刀 n din d e x n the q 朋 拓o n b 歇 正isthe kno w l edge s p 挑 the 宝 涵优 因 1 妙 thc l y pes the q 幽 t i tyand the 由 fficultyofl 眺 翻加t 切 卫 3 u 别 才 别 习 i ceis one of汕po恤 t 丘 ic to rsinev目 uat in g m ode l 4 t h e se o t 以 ofte stsise s se n 石 al玩c a e ofits五 r s t 训s i t i on址此 吐 此别 戈 幻 刀 d 让 d ex ape rfects e ni e n c i 飞s y s t e mis啊u 汕 d 5 t 址s y st e msec困ty皿d th e 而五 ty哪 油伪彻 t too perate 加 比 卿 etn for th e y are e 即 h in6 g p 招 i 6 on inth e c o n d in d e x k 即w 川翻 n e 俪 比te sts 盯就 e m w七 i ght v al ue e v alt 叼 t i o d m 声明 本学位论文是我在导师的指导下取得的 研究成果 尽我所知 在 本学位论文中 除了 加以 标注和致谢的部分外 不包含其他人已 经发 表或公 布过的研究成果 也不包含我为获得任何教育机构的学位或学 历而使 用过的材料 与我一同工作的同事 对本学位论文做出的贡献均 己 在论文中作了明 确的说明 二 岛 研究生签名 价 口7 补品年 月山 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档 可以借阅 或上网公布本学位论文的全部或部分内 容 可以向 有关部门或机构送 交并授权其保存 借阅或上网公布本学位论文的全部或部分内容 对 于保密论文 按保密的有关规定和程序处理 研究生签名 以年 月 日 硕 士 论 文 基子aspn e t网上考试系统的评价研究 1绪 论 l l网上考试系统评价的 基本概念 l l i评价 评价 eval ust i o n 是指根据确定的目 的来测定对象系统的属性 并将这 种属性变客 观定量的计值或者主观效用的行为 被评判其价值的对象称为评价对象 对评价对象 的价值 进行判断并 给出 评价结论者称为 评价者 从 系统科学的角 度来看 评价是 一种 系统工程 当要进行某种评价时 首先要把所涉及的问题 过程 部门或体系等看成 一个系统 研究其结构 输入 输出 环境以及环境与结构的交互作用 整体运行等 方面 接着通过分析与构造 建立以 下功能性的子系统 121 1 评价原则 方法及指标体系组成的工具系统模块 2 系统结构评价模块 3 输入 输出 交互作用评价模块 4 系统与环境评价模块 5 数据资料及专家咨询系 统模块 经过以上的构建 最后便得以实行综合评价 所谓综合评价 即 m p r e h e ns i v e e v al at i o n 概指 对以多属 性体系结 构描 述的 对象系统 做出全局 性 整体性的评价 即 对评价 对象的 全体 根据所给的条件 采用一定的方法给每个 评价 对象赋予一个评价 值 又称评价指数 再据 此择 优或排序 从 研究内 容上看 国内外 对综 合评价的 研究大致可分为 两类 一类是对不同 评价 问 题的 评价指标体系的研究 一类是 对综合 评价方 法的 研究 相对而言 本文的工作 更侧重于评价方法的应用研究 l 1 2教育评价 教育评价是评价在教育领域的 应用 当 前比 较有名的 教育评价定义 有如下 几个 美国 教育评价标准 委员 会 a 卫 e s c 认为 评价是 对某些教 育现象的价值的系统调查 o 泰勒认为 评 价是测量某种活动在多大程度上达到了目 标 斯塔弗尔比 姆认为 教育 评价是一种有系统 地去寻找并 搜集资料 以 便协助决策者在诸种可 行的 途径中 选择最 优 方 式 而 行的 历 程 il 刃 教育评 价是 用系统方法搜集和分析信息资料 在质的描述和 数的 量化基础上对教 育的 社会价 值做出 判断的过程 通常人们所指的教育评价是对 教育中 的某一现象进行 的价 值判断 具体应用在教育中的不同的领域 就形成了教育 评价的具体分支 如课 程评价 教学评价与网络课程评价等 1绪论 硕 士论 文 教育评价类型按照不同标准 从不同的角度可以分成许多类别 如 l 按评价标 准 绝对评价和相对评价 通常情况下 参照 于课程目 标的评价都 属于绝对评价 与 之相 对应的测验是目 标参 照测 验 参照于 评价对象自 身某一常规的 评价属于相对评价 与之相应的测验是常规参照测验 2 按评价功 能 诊断 性评 价 形成性评价和总结 性评价 诊断性评价是在学习 之前发生的 形成性评 价是对在过程中的评价 总结 性评价是对整个产品的评价 是 在结束 之时的 评价 3 按评 价方法 量化评价与质性评 价 量化评价和质性评价分别 代表两种不同 的范式 前者代表着实证主义范式 后者代表着 自然主义范式 在当代的评价中 越 来越趋向两者的结合使用 l 1 3 网 上考试系统 评价 网 上考试系 统评价是教育评 价的具体分支 是教育 评价在网 上考试系统中的具体 应用之一 网 上考试系统 评价是对网 络媒体表现的某一 学科内 容和实施该门 学科内容 的考试活 动进行的 价值 判断 对其评价主要 从以 下几个方面来进行评价 1 科学性 整合的考试内 容与资源是否客 观 科学 是否正 确反映自 然 社会的规律 2 教学 性 考虑其 整合的教育意 义 是否符合教学大 纲和课程标准 是否有 利于激 发学生的 学习动机 和提高 学习兴 趣 是否寓教法 学法和心理学原则于内容和 考试之中 教学 性主要是指网上考 试系统的 教学设计 3 使用性 要求网上考试系统简单易操作 个性化与人性化 设计 4 技 术性 网上考试系统和媒体素 材本身是否 达到必要的技 术要求 网上考 试系统中应用的多媒体技术 编程技术是否先进 5 艺术性 考试 表 现手 法的多 样性 构图的 合理性以及画面的灵活性等来考虑 6 规范性 主要涉 及考试内容与资源的共享与交互操作 1 2 论文选题背景 及研究意义 随着现代网 络技术和i n 记 m e t 的 迅速发展 教育网 络化已 经成为现 代教育 技术的 一个重要研究领 域 其中的一 个重要 研究内容 就是如 何利用i n t e rn e t 和 校园网的资 源 实现考试的网 络化 网上考试 系统提供自 动组 卷 阅 卷和判卷功能 可以 提高 考试效 率 实 现教考分离 而且可以 更大范围地使高校的教学资 源得到 共享 学生可以 不受地 域和时间的限 制 在 任何一个用户终端上进行考试 这不仅提供了 开放 式的 考试环境 还可以 随时 供学生检验自 己 对课程知识的掌 握情况 当学生进 行客 观题测验时能得到 及时反馈 且 大大降 低了 教师的 劳动强度 目 前网 上考试系 统有很多种 体系结构的 构建基本一致 采用b s 三层结构 网 上考试系 统的 模块设 计可以 概括为以 下几类 硕士论文 基于as p n 毛 t网上考试系统的评价研究 1 五大 模块构成的考试系统 系 统由 维护模块 统计分 析与输出模块 联机 考试 模块 试 卷设计与生成模块和题 库管 理模块组成 将平均难度按 题目比 例对应到 各 个考核知识点 组卷参数直观输入 利 用随机数避免 抽取相同 试题 这类网 上考试 系统对主观题缺少很好的联机考试和阅卷方法 2 两大子系统构成的 考试系统 管理子系统和考试子系统 在阅卷管理中 客观题由 计算机自 动评卷 主观题由 系统给出 评卷界 面 由 教师评卷 可统计出考题 的对错率 考试中意外中断的恢复实 现了考生考试数据的恢复和考生考试时间的恢 复 但此类 考试 系统未能 有效处理 抽取相同 试题的问 题 模块划分功能 不细 3 采用 对象的 概念 将网上考 试系统分为时间 对象 服务器对象 试卷对象 网络 对象 答案对象和客户对象 把与对象有关的数据和操作 封装在一起 在各个对 象 之间 建立联系 这种系统保证了 考生的 合法性 试 卷抽取的公 平性和随机性 但该 系 统很难建立一个适合网 络主页方式的题库 模型 由于 w v v 主页采用超文本连接 方式 往往导致浏览的层次 过深 因 此 在实现本系统时 要特别注意减少学生网上 考试操作的动作 要求学生尽量在一个页面里完成 由于各种原因 每个网上考试系统组建的模块划分不同 各模块的功能也有不同 构造模块的支撑技术也有区别 这就 导致了 系统的运行和使用效果不同 如 1 绝大多数网上考试系统都主要以客 观试题为 主 让学生 从多个选项中 进行 选择 学生答 题随意 性强 这样 很难客 观准确地评价一 个学生的 学习 情况 另一 方 面 由于 缺少主观性考查 无法 对学生所学知识的综合 应用能力 进行评价 2 缺乏对考试系统的分 析与 评价 现有的网 上考试系统大多只是提供成绩统 计 而 没有对学生或整体的 情况进行正确有效的分析评 价 更 没有对试题的难度 区 分度 试卷的信度 效度等进行分析 3 缺 乏 对资 源 建设 标 准的 评 价 各 种 标 准 制 定的 目 的 是 为了 规 范 资 源 的 建 设 使各种系统具有标准性 互操作性 目 前无论是国 外或国内 商业公司或学校自 行开 发的产品大都没有对资源建设标准的评价 因此 有效地 全面地 系统地评价各类网上考试系统 推出一个较合理的评价 指标体系能反映出各个考试系统的特点 可以为课程知识点的设置 学生的学习和掌 握程度提供决 策 更 加科学 地了 解教学水平和学生的学习情况 l 3国内外关于网 上考试系统评价的研究现状 关于网 上考试系统评价规范与标准的 研究方面 世界上 有许多标准化组织或机构 制定的网 络教育资源标准里面都涉及到了 有关网 络考试系 统评价的 相关内 容 其中影 响 较 大 的 有 ie eel t s c 此 出 ngtec h n o lo gys 叮 山 叮 d s c o n n itt ee 学 习 技 术 标准 委 员 会 的l o m l e arningo bj ect m e ta d a ta 学 习 对 象 元 数 据 ocl c 0 n lin e c 0 m p uter 3 1绪论硕 士 论文 l ib r 娜 c e nt er d ub li n c o re的oub linco re元 数 据 标 准 i m s 的 l e arni n g re s o urce m e ta d a ta 学习 资源元数据规范 和q t i q uest i on 还有一些评价体系只是针对网上考试系统的 某些方面或某些 模块展开 对网 上考试 系统评价不全面 而且目 前对网 上考试系统的 评价指标和参数尚未统一和规范 1 4 论文主要研究内容 目 标 l 4 1主要内容 本文从网上考试系统的总体框架以及网上考试系统评价建设的必要性入手 调研 国内 外各种网上 考试系统的研究现状 给出网 上考试系统的总 体框架 以此作为本文 研究的重要理论依据 重点研究网上考试系统评价体系 通过规范评价指标全面 系 统地构建指 标体系 从而以 指标权重值实证 评价网 上考试 系统 本文主要 做以 下几方面的工作 1 结合国内 外的网 上考试系统的 现状 给出网 上考试系统的总体 框架 2 结 合评价指标体系的建立原则 建 立网 上考试系统的综合评价指 标体系 3 借 助问 卷调查法和统计分析软 件 运用层次分析法 a h p法 和模糊综合 评 判确定各项指标的权重值 4 以 选定 某一学科的网上考试系 统为 例 运用该评价体系进行实证 分析 l 4 2主要目 标 通过建立 综合评价指标体系 网上考试 系统评价体系要具有以下功能 1 该 评价体系 具有一定的通用性 适应多学科 多层次的网 上考试系统的 评 价 2 该 评价体系支持开放性 标准 化题库 能够评价网上考试系 统维护 管理 4 硕 士 论 文基于a spn t网上考试系统的评价研究 3 该评价体系能够评价人工组卷 自 动组卷多 种组卷策略 4 该评价体系能 够评价真实考试 模拟考试 单元自 测 竞赛式练习等多种 考试与学习环境 5 该评价体系能对快速 智能的考 试信息统计与评价 6 该评价体系能够评价安全 稳定的网络考试环境 l 4 3 论 文结构 全文共分六章 各章的内容如下 第一章 绪论 论述了论文选题背景及研究意义 介绍了网上考试系统评价的相 关概念 以及国内 外关于网上考试系统 评价的 研究现状 列出 本文的 研究内 容 目 标 第二章 基于a s p n e t 的网 上考试系统的总体框架 介绍了网 上考试系统考试流 程 体系结构 给出了网 上考试系统的模块结构 和各模块层的 功能 第三章 网 上考试系统评价指标体系的建立 给出 评价指 标体系的建立原则 介 绍网上考试系统综合评价的基本流程 通过评价指标体系的设定 建立了具体网上考 试系统综合评价指标体系 第四章 网上考试系统的评价 研究 介绍了 层次分 析法和 模糊综合评判方法的 原 理 基本思路和运算过 程 运用层次 分析法确定了网 上考试系统 评价指标权重值 并 运用模糊综合评判方法 对网 上考试系统做了 进一步的论证 和分析 第五 章 网上考试系统综 合评价的实 证分析 以 全国高 等学校计算机水平 广 东 考区 考试系统为例 依照评价指标体系和方 法进行实证分 析 并给出 实证结果 第六章 结论与 展望 主 要总结实 证研究的 结论 提出研究中的不足之处 并提 出对本文研究工作的展望 2摹 干as p ne t的网卜 考试系统的总体框架硕 一 七 论 文 2基于a s p n e t的网上考试系统的总体框架 目 前网 上考试系 统有很多 种类 体系结构的 构建基本一致 系 统组建的 模块划分 和运行环境各有不同 构造模块的支 撑技术也 有区 别 因 此选择一种好的开发 工具无 论是对于系统开发的速度还是系统开发的质量以及将来系统的维护和升级都至关 重 要 大部份网 上考试 系统 选择的 是微软公司d o tn e t系列中的a s p n e t 作为开发 工具 该软件程序 代码结构 整齐合理 它将程序代 码与 h t m l代码完全分开 形成 网页设计与代码编 写相互独 立的 形式 程序代码量 小 代码的重复少 支持标准程序 开发语言 能开发出强大的数据库应用程序 因此 本文以基于 a s p n e t构建的网 上考试系统为例给出网上考试系统的总体框架 2 1网 上考试系统考试流程 当学生通过网页连接进入网络考试系统时 考试系统会提示学生进行注册或密码 登陆 确认学生身份 成功登陆后 在浏览器中输入相应的组卷参数 选择 开始考 试 系统会 自 动组出一份符合要求的试卷及其标准答案 而且在题库试题量足够大 的情况下 每一位学生的试卷是不一样的 试卷以 h t ml的方式呈现的 学生可以 把答案直接填写出 来 然后把试卷提交给考试系 统 考试系统会自 动评卷记分 可供 学生查询成绩 网上考试系统的流程图见图2 1 1 图2 1 1 网上考试系统的流程图 1 2基于a s p n e t的网上考试系统的体系结构 网上考试系统是 一个在网络环境下 运行的 应用系统 目 前 有两种比较流行的网 络 运行方式 clie 而s ery 州c s 方式和b ro w s e r s erver b s 方式 0 5 方式是一种主 从式的体系结构 工作时不只是由cl i ent 端担负沉重的 运算方 式 而是由clie nt端和s erver端分别承担一部分功能 从而提高了 系统的 运行效率 但是由 于这种运 行方 式跨平台性较差 而且系统在cl i ent 端和s e r v e r 端都需要安 装相 应的软件 因此不便于系统的升级和维护 b s方式综合了 浏览 器 信息服务和 w e b 等多项技术 用户通过浏览 器便可以 访问 多个应用服务器 形成 一对多 多对多的结构模 型 在这种方式下 软 件版本的 更新不涉及客户端 只需 对服务 器端软件进行更新 从而简化了 客户端的管理和 使用 使得系统维护变得相 对简单 而 且在这种运行方式下 客户端只需要使用标准浏览 器 硕士论文基于as p n e t网上考试系统的评价研究 用户通过它可以 访问 各种信息资源 因 而降 低了 用户操作的复杂 程度 因 此 网 上 考 试 系 统 的 体 系 结 构 采 用b zs 方 式 川 如图2 2 1 图2 2 1 网 上考试系统的b s结构示意图 2 3 网上考试系统的 模块结构 整个系统涉及了 考试的 全过程 主要实 现试题的 录入 试题的管理 智能组卷 在线考试 在线阅读 用户管理 系 统管理等功能 整 个系统分成三 层 用户层 功 能层和数据层 目 的是一方面可以 减少 子系 统之间的 依赖性 降 低编 码的复杂性 另 一方面便于将来系统的 功能扩充 更有 利于系 统的 维护 其总体结 构如图2 3 1 b r o 份 s e r 教师界面学生界面 管理员界面 份 e bs e r v e r 1功1 能一一1 摸若一一一一一一一一了1若一一一一一一一一211 块1 考试子系统冬 11 管理维护子系统 卜 1 层 岁 岁 管理维护子系统 考试子系统 用户界面层 用户信息数据 库 考试资源数据 库 数据层 图2 11 系统的总体结构 2基于a s 只 n曰 的网l 考试系统的总休框架硕士论文 2 3 1数据层 数据层是整个 系统的 基础 它由 基础信息 数据库 考试信息数据库组成 其中基 础信息数据库包 括 用 户基本 信息表 考生基本 信息表 教师基本信息表 等基础 信息 该部分的 数据主要用以 确认用户的身 份及其具有的权限 它服务于整个系统 考试信息数据库主 要由 试 题表 试卷信息 表 考试信息表 考试结果表 等与 考试相关的数据 组成 它主要是为 考试 子系 统提供数据服务 数据层作为 整个系统的 最底 层 稳定性和可 靠性要求较高 而且该系统正 式运行 后数据的需 求量较大 可以 采用s q lserver z 0 0 0 完 成底层数据库的开发 即 确保数 据合理而有 序地 存贮在数 据库中 又保证 数据的安全性和可靠性 2 3 2 功能 模块 层 功能模块层是用户界面层和数据层之间的衔接部分 它不是一种简单的连接 是 对用户的需求进行详细分类后建立的 它由许多模块组成 根据它们不同的功能可将 其分别 存放 在服务器端 从图2 3 1 中可以 看到 本系统中功能 模块层包括考试子系 统 和管理维 护子系统两部 分 且每部分都由 若干个模块组成 如 考试 子系统包括组卷 模块 考试模块 2 1 3用 户界面 层 用户界 面层相当于整 个系统的窗口 用户直接通过该层来访问系统 实现与系统 的交互 从而 完成用户需 要实 现的 工作 为了 便于 用户以 各自 不同的 身份进入系统 把系 统分为 三种不同的 用户界面 即教师界面 学 生界 面和管理员 界面 根据用户登 录系统时提交的用户名不同而进入各自 相应的 界面 目 的是更好地为不同的用户服 务 2 4系统结构功能简介 2 月 1功能模块层 1 考试子系统 考试子系 统主要由 考试模块 组卷模块 试题库管理模块组成 其功能模块组如 图2 4 1 硕士论文基于asp 刊 王 t 网 上考试系统的评价研究 图2 4 1 考试子系统功能模块组成 考试 模块 考试模块包括考试计时 考试开始 试 题导 航 试卷 提交 成绩统计 判卷评分 和成绩查询 由 于该部分涉及大量的参数匹 配和计算工作 因 此保 证系统的 运 行速度和数据 计算的准确度是本系统的关 键指 标 另 外 还要保证数据的 安全性和 共享性 即 在保证关键数 据 如试卷信息 安 全性的同 时还要保证一 些数据 如考试 成绩 的共享性 组卷 模块 组卷模块包括 试卷管 理 手 动组卷和自 动组 卷相结合 自 动组卷在教 学大纲中的 标准化参数 即难 度 知识点 认知层次 答题时 间以 及达标系数等指导 下 进行 分为 计 分 型 和 覆 盖型 自 动 组 卷 时 随 机 从 试 题 库中 抽 取 试 题 利 用v b s cript 提 供的 r n d函 数加以 调整产生 随机数 自 动出 卷时 一是 要避免输出相同的 题目 二是要避免输出 相同知识点编号的 题目 为此设置一个数组用来记 录己抽出试题的 m 及知识点编号 每次由 随机数抽 题时 都要与该 数组中记录的 试题i d及知识点编 号比 较 id 相同或知识点编号相同 则需要重新生成 随机数 重新抽 题 试题库管理模块 题库是 进行测 试的 基础 高 质量的题库 应具 有优质 量大 动 态 可扩充等特点 试 题库管理 模块除 包括试题添加 查询 修改 删除 打印等功能 外 还包含试题的 统计功能 如按章节 难度 题 型 使 用次数 等进行统计 和试题的 批量导 入功能 允许教师在脱离本系统 情况下 录入试 题 然后可以 方便地将试题导入 2基于as p n 毛 t的网士考试系统的总体框架硕 士 论 文 题库中 只有 教师才具有维护 试题库的权限 2 管理维 护子系 统 3 用户信息管理模块 用户信息管理模块主要是对于整个系统的用户 信息进行管 理 包括用户的 添加 删除 修改和查询功能 通过本系统可以 实现对于 用户登 录系 统的权限 密 码等的维护 该 系统主要是为了保证系统的安全性而设置的 由系 统管 理员负责维护 考籍信息 管理模块 考籍信息管 理模块主要是 对于学生 基本 信息进行管理 包括 添加 删除 修改 和查 看考生 信息的功能 该 模块首先要保证考生 信息数 据的 共享性 与一致性 一般由 考务人员 负 责维护 教师 信息 管理模块 教师信息 管理模块主要是对教师基本信息的维护 包 括添加 删除 修改和查 看教师信息的功能 该 模块首先也要保证教师信息数 据的 共享性与一 致性 一般由学校的教务人员负责维护 系统管理 模块 该 模块主要 功能 是系统管理和维护 动态设置每次考 试系统的可 用范围 即 设置每次考试的 科目 时间 地点 考试完成后 清除设置 2 4 2数据 层简介 整个数据库按照子系统进行相应划分 即 分为考试资源数据库和用户信息数据 库 它们分别作为考试子系统和管理维护子系统的数据支持 用户信息数据库作为整 个系统的 基础数 据 与 考试资源数据 库有关联 整 个系统的数据 库结 构如图2 4 2 所 不 图2 4 2系统数据库结构图 硕 士 论 文 基于aspn e t网上考试系统的评价研究 2 4 3用户界面层简介 在浏览 器端 可以 分别以 教师 学生 和管理员的 身份登陆 进入考试系统 登 陆后 的界面图如图2 4 3 网上 考试系 统登陆界 面 考生登陆胜师登陆 管理 员 登陆 出错处理 定时注梢 普理帐号 管理考试科目 身份脸证 出份处理 查询分数 定时注梢 管理考生名单 考试设 修改鹿库 身份验证 出错处理 计算分教 考试时间控制 随机生成试卷 身份脸证 图2 4 3网上考试系统登录界面结构图 l l 3网上 考试系统详价指标体系的建立硕士论文 3网上考试系统评价指标体系的建立 3 1评价指标体系的 建立原则 22 l 科学性原则 科学性是一切科 学工作所必须的 评价指标的设计既要考 虑到 评价研究 的任务 也要符合客观现象本身的特点 性质及运动规律 这种主观要求与客观实际相统一的 过程 称之为科学性原则 评价指标作为主观反映客观的工具 要遵循 实事求是 的 原则 使评 价指 标的定量描述以定性 认识为前 提 在指标设计中 要 注意指标的代 表性及体系的完整 性 要 求指标不重复 不遗漏 指标之间 既相互独立 又互为补充 只有遵从评价指标设计的科学性原则 才能保证评价数据的准确性和权威性 这里指 标的科学 性还应理 解为在设计指标时 要以 科学的 理论作为 依据 即 指标必须具有一定 的科学内涵 目的清楚 定义准确 能够度量和反映网上考试系统的总体情况 2 完整性原则 完 整性是 指评价指标体系 要尽可能完 整的 全面的反映 和度 量被评 价的 对象 当 体系中 全部指 标取定了 值以 后 评价结果不 会随其他变量改变 因此 在设计 评价指 标体系时 必须系统的 全面的考虑各种影响因素 尽可能使评价结果准确可靠 3 准确性原则 所 有评 价指标均应体现 现实的 技术水平 给评价指标下定义是现代管理 评价技术 比 较复 杂的事 情 评价 指标含义必须清楚 如果不清楚就影响评价的结果 甚至使评 价无法进行 4 可比 性原则 在评 价指 标确立时 要考 虑到 可比 性 评价指标应尽可能量化 对定 性指标 也 要运用一定的算法和工具进行恰当的处理 以便于人机使用 5 可操作性原则 设 计评价指标 既要考虑评 价研究的目 的 和需要 也要照顾到客 观条件的 可能性 所谓可 操作性 是指 评价指标设计的可 行性 既要使指 标体系中所 有的 指标使用的数 据均可从现有的资料和数据中获得 以这些验证的资料为基础 才能使评价不偏不倚 网上考 试系统评价的最主 要特点是量化 这就要求指标体系的设计可操作性强 一是 指标体系不能 过于复杂 具 体指标不能太多 二是数 据获 取要相对容易 三是获得的 数据要权威 准确 四是尽量采用定量描述的指标 定性指标不宜太多 6 代表性原则 网 上考试系统包括的 影响因素十分广泛 指标体 系不可 能把所有的 影响要素都 包 含 在内 这就决定了 应 该选取哪些最具有代表性的 指标 在建立指标体系 时 指标并 1 2 硕 士 论 文基于a s p 卜 尼 t网上考试系统的评价研究 非 越多越好 相似的指标过多 容易造成信息的重复 影响评价效果 而且指标数目 过多 将会加大计算量 且 不能 够突出 重点 因此 指标体系要力 求简练 次要的指 标可以略去 建立的数学模型要易于实际操作 1 2网上考试系统综合评价的基本流程 网上考试系 统的综 合评价可以 按照以 下流程进行 如图3 2 1 1 分析评价对象的模 块功能 和适用环境 2 确定评价目 标 3 建立评价指 标体系 标准 4 组建评价小 组 确立各评价指标的权重值 5 评价网上考 试系统 及时修正评价指标体系 6 最终 确定网 上考试系 统的综合指标评价体系 分 析 网 上 考 试 系 统 模 块 功 能 适 用 环 境 建 立 网上考 试 系统评 价 目标 建立 网上考 试 系统评 价 标准 组 建 评 价 小 组 修 正 评价 网上 考 试系 统 评价 综合 指 标评 价 体系确 定 图3 2 1 网 上考试 系统 综合评价的 基本流程 3 3 网上考试系统综合评价指标体系的构建 3 3 1评价指标体系设定 为 全面 评价网 上考试 系统 应从该系统的 体系结构和系统模块来 进行分析 目 前 大部分的网 上考试 系统的 系统功能 模块与 本选题采用的 相似 具 体介绍见第二章 因此一级指标体系设定依据如下 l 3 3网上考试系统评价指标体系的建立 硕 士 论 文 数据库 系统 该层中主 要是存储考试题 因 此把 试题库作为一 个一级指 标 用户浏 览器 主要是为学生 教师和管 理员 服务 因 此把用户服务作为一 个一级 指标 管理员 浏览器 主要是为管理员进行系统管理 因此把系统管理作为 一个一级指 标 系统 性能 针对整个系统的设计提出的性能 指标 把系统性能作为 一个一级指标 二级指标体系设定依据如下 试 题库 要求 评价试题数 量要 足够多 安 排试题的类型合理 分布均 匀 考试科 目 的 教学大纲中的 知识点在题库中 覆盖全面 重点 和难点 突出 试 题的 难易程度在试 题库中平均分配 试题内容科学准确 无学术性错误 表述简单明确 用户服务 要求评价用户登陆考试系统方便 严格 组卷自动生成 试题在组卷 时不出现重复 系统能自动判卷 可查询试卷得分情况 自测版的网上考试系统学生 可以查询得分情况 可以查阅参考答案 系统管理 要求评价对用户信息 成绩档案和试卷档案进行合理 严格管理 可 对试题的题量 题型 知识点 难度进行参数据设置 可对试题进行编辑 对考试成 绩进行学生分析 试题分析 试卷分析 得出该试卷的区分度 信度和效度 系统性能 要求评价系统的安全性和保密性 对操作错误和系统失效的处理能力 系统容易安装 操作使用方便 界面友好 系统运行的响应 处理时间短 资源利用 率高 3 j 2具 休网上考 试系统综合评价指标体系的 设定 基于 上述分 析 本文对网 上考试系统从试题库 用户服务 系 统性能和系统管理 四 个方 面来做出 评价 具体评价指标体系如图3 31 图3 3 1 网上 考试系 统评价指标体系 硕士论文基于as 只 n e t网上考试系统的评价研究 4 网上考试系统的评价研究 网上考试系统的综 合评价方法很多 如 加权求和法 单纯求积法 对数加权平均 法 模糊综合评判法等 每 种方法各 有其优缺点和使 用条件 本 研究主要采用层次 分 析法和 模糊综合评判 法 在评价中最重要的一 环是 指标权重值的 确定 评价指标的 权 重是表 示某项指标在 评价指标体系中 重要程度的数量标 志又 称权数 权值 权系数 是指标体系的重要组成部分 运用层次分析法可以有效地处理那些难于完全用定量方 法来分析的复杂问题 求出 权重值 它易于 掌握 易于应用 是一种整理 和综合人们 主观判断的客 观方法 也是一 种结合定 量和定性分析的方法 对于处理和 分析科学管 理领域中的问题提供了一种新的 简洁的 实用的决策方法 4 1层次分析法及其运算过程 4 l i层次分析法概述 s aaty在70年代初 在为国防 部研究与 应急计划有关的一些问题的基础上 为美国 国家科学基金会和美国电力 科学研究所研究如何根据各工业部门 对国家福利的贡献 大小而进行电力 分配时 提出了 层次分析法理论 仙e a n a l 州c 址 e rarc hyp m 以 治 5 简 称 a 月 p 他认为 大系统都可以 在空间 和时间 上进行逐级分解 从系统的层次性特征 出发 他把系统与环境分开 由高层次到次级再到次次级 如此逐级分解 从而把整 个系统分解为一个金字塔式的 树状层次结 构 周 a l p法的特点是 将思维过程数学化 系统化 以便使决策依据易于被人接受 同时 户 j 于 对定量信息的需求不多 但决策人员对决策问题的本质 所包含的系统 要素及其相互之间的逻辑关系必须掌握地十分透彻 还有 a h i 对无结构化地系统评 价及多目 标决策问 题更为 适用 这种方法既不单 纯地追求高深数学知识 又不片面 地 注重定性行为的逻辑推 理 而是把定性方法与 定量方法有机地结合起来 使复 杂的 系 统分解清晰 把多目 标 多 准则的决策问 题化为多层 次单目 标的 两两对比问题 然后 辅 之以 简 单 的 数 学 运 算 1均 4 i j层次分析法的 基本思 路 首先根据问题的性质和要达到的目的 将系统分解为不同的组成要素 然后按要 素间的相互关联影响 和隶属关系 由高到 低排成若干层次 在每一层次 按某一 规定规 则 对该层次各要素 逐对进行比 较 写成矩阵 形式 利 用一定数学方法 计算该层各 要 素对于该准则的相 对重要 性次序的权重以 及对于总体目 标的组合权重 并进行排 序 利用排序结果 对问 题进行分析和决策 l 4网上考试系统的评价研究硕一 t 论文 4 1 3层次 分析法运算过程 利 用层次 分析法求解多目 标决策问 题 一般计算过程有四步 建 立问题的递阶层 次结 构模型 采用成 对比 较法构造判断矩阵 层次单 排序及其一致性 检验和层次总排 序 l 建 立递阶层次结 构模型 应用层次分析法分析决策问 题时 首先要把问 题条理化 层次 化 构 造出 一个有 层次 的结构模型 在这个模型 下 复杂问题被分解为元素的组 成部分 这些元素又 按 其属性及关系形成若干层次 上一层次的元素作为准则 对下一 层次的 有关元素起支配 作用 这些层次可以分为三 类 最高层 目 标层 只有一个元素 一般是 分析问 题 的 预定目 标或理想结果 中间 层 准则层 包括了为 实现目 标所涉 及的中间 环节 它可以 由若干个层次组成 包括所需要考虑的准则 子 准则 最底层 方案 层 包 括了为实 现目 标可供 选择的 各种措施 决策方案等 如图4 1 1 目标层 准则层 子准则层 匹口巨口 二 奎 口 图4 1 1 递阶层次结 构示意图 递阶层次结构的层次数与问题的复杂程度及需要分析的详尽程度有关 一般地 层次数不受限 制 每一层次中 各元素所支配的元素一 般不要 超过9 个 这是因为支 配 的元素过多会 给两两比 较带来困难 一个好的层次 结构对于解决问题是极为重 要的 如果在层次 划分和 确定 层次元素间的 支配关 系上举棋不定 那么应该重新 分析问 题 弄清元素间相互关系 以确保建立一个合理的层次结构 2 采用成对比较法构造 判断矩阵 成对比 较法就是 在考虑若干因素时 通过对所有可能的组合 进行两两比 较来确定 硕士论文 基于a s n ne t网上考试系统的评价研究 这些因素某个方面的优劣性顺序的一种方法 记准则 层元素c所支配的下一层次的元素为pi 几 巧 几 针对准则 层c 决 策 者比 较 两 个 元 素p 和pj哪 一 个 更 重 要 重 要 程 度 如 何 并 按 表4 1 1 定 义的 比 例 标 度 对 重 要 性 程 度 赋 值 形 成 判 断 矩 阵a 几 其 中 a 就 是 元 素pi和 巧 相 对 于 准 则c 的 重 要 性比 例 标 度 表4 一 1 定 义的 标 度 称 为9 级 分 制 判断矩阵a具有如下性质 l 2 a 奇 1 称 a 为 正 逆 称 方 阵 根 据 判 断 矩 阵 的 互 反性 对于一个n 个元素构成的判断 矩阵只需给出 其上 或下 三角的n n 1 个判断即 可 表 4 1 1 标度的含义 i 表示两个元素相比 具有同样重要性 3 表示两个元素相比 一个元素比另一个元素稍微重要 5表示两个元素相比 一个元素比另一个元素明显重要 7表示两个元素相比 一个元素比另一个元素强烈重要 9 表示两个元素 相比 一 个元素比 另一个 元素极端重 要 2 4 6 8 分别表示标度 1 到 3 3到5 5到7 7到9的中值 3 层次 单排序 及其一致性检验 通过成对比较得到的判断矩阵 a 不一定满足判断矩阵的互反性条件 层次分析 法采用一个数量标准来衡量a的一致 程度 设w w 叭 礼y 是n 阶 判 断 矩 阵 的 排 序 权 重 向 量 当a为 一 致 性判 断 矩 阵 时 有 竺 气 卜 1 二 wzll生 上 止 一 卜 wl 气 l 气 j 4 1 1 丛 姚 1 w 叫一w矛咬 用 w 气 了 右 乘 上 式 得 到a w nw 表 示w 为 a 的 特 征向 量 且 特 征 根为n 即对 于一 致的 判断 矩阵 排 序向 量w 就是a 的特征向量 如果a 是正逆称方 阵 且满足一致性 则a具 有唯一非 零的 最大特 征值月 目 且几万 n 并且 马 将锰对 应 的 特 征 向 量 归 一 化 后 艺 哟 1 记 为 w 一 wl 热 憋 丫 w称为权重向量 它表示 p l pz 如果判断矩阵不具有一致性 则弋 n pn在c中 的权重 此时的特征向量w就不能真实地反映 l 7 4网卜考试系统的评价研究硕 士 论 文 pi 几 p 3 p 在目 标中 所占比 重 定义衡量一致性程度的数量指标为cl 巨 p ci 兄 颐 一 n n一1 4 1 2 对于具 有一致性的正逆称 判断 矩阵来说 cl 二 0 由于客观事 物的复 杂性和人们 认识的 多样性 以 及认识可能 产生的 片面性 跟问题的因素多少 规 模大小 有关 仅依 靠cl 值作为a是否具有满意一 致性的 标准是不够的 为此 引进了 平均随机一致性 指标rl rl是多次重复进行随机判断矩阵特征值的 计算后取算术平均数得到的 对于n 1 一1 1 平均随机一致性指标rl 的取值如表 4 1 2 表 4 1 2 ri 取值表 维数l234567名9l 0l l ri 值0 oo00 00 j80 001 1 21 241 3 21 4 11 4 51 涛 91 5 1 判断矩阵的一致性指标cl 与同阶平均随机一致性指标rl 之比称为随机一致性 1 cl lo j 一 口一 二 比平 记刀t 滋 白t 大 二 二 u iu阿 则孙刑助犯 降县 月俩忌一玖任 此 盯困符址 r 1 向量w 就能真实 地反 映 p 几 p 3 二 pn在目 标中所占比 重 否则判断矩阵不 具有满意一致性 必须对判断矩阵重新修正 4 层次总排序 计算同一 层次所有因素对于最高 层 总目 标 相对重要性的 排序权值 称为 层次总 排序 这一 过程是由 高层次到 低层次逐层进行的 最底层 方案层 得到的 层次总 排序 就是n 个被评价方案的总 排序 若上一层次a包 含m个因 素a 凡 凡 am 其层次 总排序权值分别为a 匆 a3 编 下一层次b包含n 个因素b b z b 3 bn 它 们 对 于 因 素匆 的 层次 单 排 序 的 权 值 分 别 为bl j b zj 场 bnj 当玩与aj无 关 时 取b kj 为0 此时b 层 次的 总 排 序 权 值 如 表4 1 3 表4 1 3 各层次元素的组合权重 次 a1a2a b层次 总排序值 a la2编 b bl lb i zb l m八 丫 八 b2场1翰坛 乓 二 夕 口 人 r j 二 1 b 饥l场tha 瓦二 丫a r气 如果 b层次某些因素对于a 的一致性指标为cl 相应地平均随机一致性指标为 硕 士 论 文 基于a s r ne t网上考试系统的评价研究 cl rl 艺已 艺 rl 则 b 层 次 总 排 序 随 机 一 致 性 比 率 为 cr二 旦 ri 0 1 0 认为层次总排 j 一 1 序的结 果具 有满意一 致性 若不满足一 致性条件 需对判断 矩阵 进行调整 层次分析 法最终得到方案层各决策方案相对于总目 标的 权重 并 给出 这一组合权重所依据整个 递阶层次结构所有判断矩阵的总一致性指标 据此 决策者可以做出决策 4 2网上考试系统评价指标权重值的 确定 4 么1构造网上考试系统的 a h p模型 结合图3 31 图4 1 1 网上考试系统评价的具体 a h p模型如表 4 2 1 表4 2 1 网上考试系统评价的a h p 模型 目标层 a 准则层 b 子 准则 层 c 网 上 考 试 系 统 评 价 指 标 体 系 a 试题库 bi 题量 cll 题型 c 12 知识点 cl3 难度c 1 4 科学性 c 用户服务 氏 用户注册c z 组卷 c 2 2 判卷 c 23 查询c z 月 系统管理b 用户管理c3 组卷策略c 二 试题编辑c 试 卷 成绩分析c 34 专家确 认c 3 系统性能氏 安全性c l 可靠性c 月 2 使用性c 好 高效性c 4 2 2构造判断 矩阵 按照表 4 1 1 的定义设计网上考试系统评价指标表 请 9 位专家对准则层指标和 1 9 4网上 考试系统的评价研究硕士论文 子 准则 层指标给予评 价 表4 2 2 为 其中一位专家的评价表 表4 么 2 网上考试系统评价表 试 题库 bi 用户服务b z 系统管理b 系统性能b 4 试题库 bi l l 231 4 用户服 务b z 2l22 系统管 理b l 31 龙ll 左 系统性 能b 4 41 j22l 题量 c l l题型c 2知识点cl3难度c l 科学性cl 题量c l l l1 左1 尼l1 2 题型c 1 2 2ll1 忍1 龙 知识点cl3 2ll1 左1 几 难度c l l2l 月ll 左 科学性 cl 2222l 用户注册c