模拟电子技术试题库智能组卷算法研究与系统实现.pdf

模拟电子技术试题库智能组卷算法研究与系统实现 王友仁 张 砦 储剑波 崔 江 姚 睿 南京航空航天大学 自动化学院 江苏 南京210016 摘 要 随着现代教育技术和计算机技术的高速发展 教育领域考试的无纸化 电子化 分值科学化是发展趋势 用于课程考试与远程自学测试 的电子试题库与自动组卷系统是计算机辅助教学的重要研究内容之一 其中智能组卷算法是技术关键问题 针对试卷生成目标及要求 建立了 智能组卷系统的数学模型 提出了一种面向分值目标的混合组卷算法 对模拟电子技术试题库自动组卷系统进行了应用实例分析 实验结果表 明所提出的方法能有效解决电子试题库研究中的智能组卷问题 具有较好的综合性能 关键词 智能组卷系统 数学模型 面向分值混合算法 电子试题库 中图分类号 TP319 G424179 文献标识码 A 文章编号 1008 0686 2004 01 0085 05 Research and Realization of Intelligent Test Paper Composition Algorithm for Analog Electron ic Technology WANGYou ren ZHANG Zha i CHU Jian bo CUI Jiang YAO Rui College of A utom ation Eng ineering N anjing U niversity of A eronautics and A stronautics N anjing210016 China Abstract W ith the high2speed development of modern education technique and computer technology the trends are testw ith no paper computerization scientific score Database and intelligent test paper compo2 sition system used in exam or remote2distance self2study are i mportant to computer2assisted instruction The intelligent test paper composition algorithm is the key one For the requirements of the test paper mathematicalmodel is set up a m ixed algorithm based on score is developed Instance analysis to analog electronic technology intelligent test paper composition system on database is given The experi mental re2 sults show that new algorithm can solve the intelligent test paper composition problem in exam database effectively and has more comprehensive performance Keywords intelligent test paper composition system mathematicalmodel m ixed algorithm based on score computer exam ination database 0 引言 目前学校都强调素质教育与创新教育 这就要 求教学部门与教师吸收现代教育思想 对传统的教 学内容 教学模式 教学方法进行改革 考试是衡量 教学效果和教育质量的一种有效手段 是教学过程 的一个重要环节 考试的发展趋势是无纸化 电子 化 分值科学化 如何对学生进行合理考核 考试试 卷的内容能够真实 恰当地反映学生的水平 实现考 试手段与过程的智能化 现代化一直是众多教师在 思考与追求的目标 智能组卷系统是实现考试试卷自动生成 无纸 化考试 远程在线测试等的基础 传统的考试试卷是 由任课教师人工分析组合的 试卷的质量与教师个 第26卷 第1期 2004年2月 电气电子教学学报 JOURNAL OF EEE Vol 26 No 1 Feb 2004 收稿日期 2003 10 24 修回日期 2003 12 10 本文为南京航空航天大学本科教育教学改革研究课题和教育部电工电子教学基地教改 内容 第一作者 王友仁 1963 男 江苏省南京人 博士 副教授 主要从事电子技术 计算机测控系统 仿生硬件理论基础等的教学与科研工作 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 人的经验 知识水平 认真程度 个人见解等有关 所 出试卷有时未能客观 真实 有效地反映学生的真正 水平 不客观的试卷也不利于对教学质量进行正确 评估 考试试卷的智能化生成 以及考试过程的电子 化将有利于组建科学化的教学监督与评估体系 另 外 这几年高校扩招后学生人数增长很快 许多学校 建立了分校 教师与学生的联系相对减少 迫切需要 建立基于Internet网络的学生学习辅助教学系统 以构建课堂内外的全方位立体教学体系 电子试题库中的自动组卷问题实质上是一个多 重约束目标的优化问题 并且又是一个N P难解问 题 目前的组卷算法 1 4 主要是成卷抽取法 随机 法 回溯法 遗传算法 这些算法往往因为约束条件 的局部满足而导致组卷失败 同时组卷过程所需时 间较长 无法在Internet环境下实时应用 因此 迫 切需要根据试卷生成问题特点 提出快速有效的组 卷算法 本文在分析现有的组卷算法特点后 结合随 机法与回溯法的优点 提出了一种实用型的面向试 卷分值目标的混合组卷算法 这一组卷算法在模拟 电子技术试题库自动组卷系统中得到了成功应用 1 组卷目标与系统数学模型 计算机自动组卷 属CSP Constraint Satisfac2 tion Problem 问题 其实质是一种并行全局搜索方 法 通过软件程序将用户输入的组卷要求与试题库 中试题特征参数相匹配 生成满足要求的试卷 自动 组卷系统的实现基础包括电子试题库 系统数学模 型 试卷生成要求 组卷算法 111 组卷目标 组卷目标是一份试卷的性能要求 也是组卷过 程的约束条件 这些约束就是决定生成试卷的特征 参数 特征参数的确定应体现教学规律 用户的要求 等 主要包括以下10个方面 1 试卷总分 整份试卷的总分值 默认情况为 100分 用户可根据具体需要输入 2 各章节分值 用户输入各章试题的需求分 值 各章节的总分和应等于试卷总分 3 各题型分值 用户输入各题型试题的需求分 值 各题型总分应等于试卷总分 4 试卷难度 试卷所有试题的统计平均难度 计算公式为 D N i 1 di Pi P 1 式中 D 为试卷的统计平均难度 d i为每一道试题的 参考难度 P i为每一道试题的参考分值 N 是整份 试卷的试题数 P 为试卷总分值 5 知识点满足情况 判断根据用户输入要求的 知识点情况进行组卷 所得的最终试卷的试题是否 与输入要求完全一致 因为基于随机组卷机制的算 法的随机性 所以试卷生成后需进行判断 6 试题的难度系数 在组卷开始时试题的难度 系数都是参考值 系统可通过用户答题情况的反馈 对试题的难度进行动态调整 计算公式为 dk 1 T i 1W i pk T 2 式中 T 为第k道题的答题次数 Wi为该题第i次 答题的得分 p k为第k道题的分值 7 试卷形式 分客观形式和主观形式两种 区 别在于计算题的存在方式 前者支持客观标准做答 后者支持过程主观输入做答 8 能力层次 试题反映学生学习能力层次的指 标 分了解 理解 掌握和灵活运用四层 9 试题区分度 对考生知识能力水平鉴别和区 分程度的指标 共分10等 第m道题的试题区分度 计算公式为 Fm Lm i 1 Vm i p m i pm 3 式中 L m为第m道题的小题数 V m i为该题中第i小 题的答对率 根据多次学生答题的反馈结果计算得 出 p m i为第m道中第i小题的小分值 p m为第m 道题的分值 判断题和选择题的区分度根据试题的答题正确 率反馈进行设定 将正确率的10个百分点对应区分 度的一个等级 10 预计答题时间 学生完成答题的估计时间 也是组卷目标中的考试时间 212 系统数学模型 计算机自动组卷过程为在一定题量的试题库中 搜索满足组卷目标要求的一组属性试题组合 自动 组卷的实质是求下面目标状态矩阵A的解 m n k代表所需试卷的试题数 c 为所需的用以确定试 68 电气电子教学学报 26卷 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 卷质量或知识内容的约束的数量 针对上面提到的具体组卷指标 对应c值为10 A a11a12 a1c a21a22 a12c am1am2 amc am 1 1am 1 2 am 1 c am 2 1am 2 2 am 2 c am n 1am n 2 am n c am n 1 1am n 1 2 am n 1 c am n 2 1am n 2 2 am n 2 c am n k 1am n k 2 am n k c 共有m道判断题 共有n道选择题 共有k道计算题 每一种题型内的试题分属所有章节内容 上述矩阵中包含了在组卷过程中应满足的10 个约束条件信息 具体约束条件可归纳如下 1 试卷总分 m n k i 1 ai1 试卷总分 2 各章总分 C i 1 Pi 试卷总分 其中C为组卷范围的章节数 P i为第章的分 值 等于矩阵中第二列相应章节的试题的分值和 3 各题型总分 m i 1 ai3 m n j m 1a j3 m n k l m n 1a l3 试卷总分 等式左边的三项分别对应试卷的三种题型 4 试卷难度 D m n k i 1 ai1 ai6 m n k j1 aj1 为试卷统计平均难度 等于所 有试题分值与难度的乘积除以试卷总分 5 预计答题时间 m n k i 1 ai 10 用户要求的答题时间 默认情况为 120分钟 6 区分度和试题层次的选择是本组卷算法的次 要约束 组卷时不需精确满足到某一道试题应该处 于什么层次和具有什么样的区分度 只需从总体上 满足用户要求即可 2 组卷算法分析 211 算法描述 1 总体描述 面向分值目标的混合组卷算法是 基于对试卷的试题属性 分值进行处理 以动态确定 试卷的试题结构 在满足约束条件的试题范围内进 行取题的介于随机法和回溯法之间的一种方法 2 算法特点 1 兼容了随机法和回溯法的优点 既保留了随 机法的快速性 又融入了回溯法的准确性 2 将组卷约束分主次 试卷分值 各章节和各 题型分值为主约束 其他约束为次约束 3 试卷最终试题数不由用户组卷之前确定 而 根据组卷输入的主约束参数以及回溯反馈来动态计 算试卷所需试题数 3 算法的思想关键 从每一章的每一种题型出 发去抽取试题 通过多次反馈 回溯使组卷取题范围 缩小 从而提高组卷速度与准确度 212 组卷思路 为试题库中每一道试题编写唯一代码 将对试 题的检测处理转化成对数字代码串的解码 解析 根 据组卷主约束参数初步计算试卷所需试题数 运行 相应取题模块从符合次约束参数条件的试题范围内 随机抽取所需数目的试题 生成一份 毛胚 试卷 由 于抽取试题的随机过程 首次选出的试题对所有约 束的满足程度必然不高 试卷还需经过处理 调节 故称 毛胚 试卷 对 毛胚 试卷的约束满足情况进 78第26卷第1期 王友仁等 模拟电子技术试题库智能组卷算法研究与系统实现 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 行判定 判定顺序依次为 试题重复性 试卷统计平 均难度 题型结构调整 与以往试卷的重复程度 区 分度 试题知识层次 必须以试题方式出现的知识 点 通过多次约束参数满足程度的反馈 回溯 再取 题 再反馈 逐步减小取题范围 提高组卷精度 最终 得到一份满足组卷目标要求的试卷 3 应用实例 下面以模拟电子技术基础课程为例 对试题库 自动组卷系统实现过程进行分析 311 组卷特征参数的确定 用户可输入的组卷要求 特征参数 有 试卷总 分 各章总分 各题型总分 试卷难度 试卷形式 高 级设置项 各章知识点及其难度 用户可以根据组卷 需要来设定 或使用默认值进行组卷 1 试卷总分 试卷所需分值 默认为100分 2 各章总分 试卷中各章所需试题的总分 默 认除第7章12分 第10章0分外 其余均为11分 3 各题型分值 判断题 选择题 计算题三种题 型的分值 默认分别为30分 30分 40分 4 试卷难度 试卷的统计平均难度 默认为 中 5 试卷形式 计算题的出现形式 默认为以客 观题形式组卷 6 高级设置 对生成试卷要求更精确 内容范 围限定严格的情况使用 包括两个方面 题型分配分 值段设定 确定各章所需分值所在区间范围条件下 的试题结构 和调节题型结构分布的权值 决定对哪 一章试题结构进行调整的概率 总和为1 值越大则 被选中进行调整的概率越大 高级选项设置根据要 求进行 7 各章知识点及其难度 对组卷所需各章知识 点和难度进行设定 确定生成的试卷中应包括哪些 知识点及其对应难度 这里选择的是难度范围 可多 种难度同时选中 默认为选中所有知识点及难度 即以试题库中所有试题为对象 用户设定时 只需将 不需在试卷中体现的知识点及难度前面的复选框从 选中状态改为非选中状态 同时在此部分设置中可 选定哪些知识点必须以试题形式在试卷中出现 312 试题属性代码设计 试题属性代码代表一道试题的特性 它是试题 库自动组卷系统工作的基础 试题属性代码的设计 涉及教学理论与编码技术 在本系统中 设置每一道试题的试题代码为16 位 具体意义如图1所示 题型 包括选择 判断 计 算 试题形式 有主观和客观 答题参考时间 是 学生作答此题所需的时间 单位为分钟 区分度 用 以区分对学生考试成绩层次的影响程度 内容层 次 分了解 理解 掌握和灵活运用四等 难度 有 容易 一般 难 艰难四等 为保证试题代码的唯一 性 最后3位 题号 代码用以区别前13位代码相同 的试题 如某一试题的代码为 0103101001422002 具体表示为 属第一章的第三个知识点 选择题 分 值为1 形式为客观 区分度为4 理解层次 难度为 一般 是所有满足前面条件试题中的第二题 答题参 考时间为1分钟 图1 试题代码结构 313 组卷过程具体实现 试题库自动组卷过程在服务器端运行实现 服 务器端生成的试卷既可用于远程网上测试 也可用 作课程考试试卷 实现过程为 1 组卷参数 服务器从浏览器端获取用户输入 的组卷参数 将用户输入的各章需求分值参数与高 级设置中题型分配的分值段范围比较 确定调用哪 一组卷子程序 chuti sub1 chuti sub4 子 程序实现从试题库随机取题 在开始取题之前需同 时对其它约束进行初步处理 即将取题的范围定义 在用户组卷的参数要求范围内 取题过程为 从指定 范围 已经初步处理过 内选取计算题 将该章所需 分值减去选出计算题分值 余值根据用户所需判断 题和选择题的分配比例 确定判断题和选择题的各 自分值 由分值计算试题数 判断题和选择题的分值 代码均为 01 2 检验所选中试题的重复性 采用两种方法处 理试卷中试题的重复情况 从试题库抽取出一道 试题后 将这一题从下一试题的抽取范围内排除 所有试题从同一范围内选取 选题结束后进行判断 如有重复则重新取题 经过实际分析发现 试题库题量小 小于500 1000题 时 前者取题速度快 题量大时 后者组卷 88 电气电子教学学报 26卷 1995 2005 Tsinghua Tongfang Optical Disc Co Ltd All rights reserved 速度明显快于前者 因此 系统设计时采用综合方 法 动态判断每一道试题选择范围内的试题数 设定 判断题和选择题为50题 计算题为30题 超过设 定值运用大题量题库取题方法 3 判断试卷的统计平均难度 通过计算 毛胚 试卷的统计平均难度 与组卷约束比较 判断其差值 是否在误差范围 01 3 内 否则重新取题 4 调节 毛胚 试卷各题型分值结构 使判断题 和选择题的分值和与等于用户输入的总分约束 误 差小于2分 调节方法是 在保证试卷总分不变的 情况下 由高级设置项中各章试题结构调整的权值 确定调节哪一章试题结构的前提下 计算题分值多 删除计算题 并补以相同分值的判断题和选择题 反 之增加计算题 5 调节判断题和选择题的试题分值结构 按用 户输入的比例 对试卷的判断题和选择题的最终题 数进行调整 哪一种题型分值多则删除该题型 同时 补以另一种题型的本章的相同分值的试题 6 重复度 判断已组成试卷与前四份试卷试题 的重复程度 要求新组试卷与前四份试卷重复试题 的分值不超过试卷总分的15 7 知识点满足情况的检查 判定生成试卷中的 试题所属的知识点是否满足用户要求 是否符合数 据库中存储的用户输入的知识点及其难度项中的知 识点是否必选情况 4 实验结果 经过200次运行实验测试 统计结果表明混合 组卷算法是有效的 试卷组卷成功率为95 判断 题和选择题所需分值相差越小 成功率越高 平均 组卷时间约1分钟 表1是在题库试题总量为6000题 运用A SP 技术和M icrosoft A ccess数据库开发情况下 面向 分值目标的混合组卷算法的5次典型组卷时间 表1 典型组卷时间 单位 秒 序 号12345 组卷时间5857485153 表2 表4为默认参数设置时自动组卷所得结 果统计 表2 各题型试题分值 题 型判断题选择题计算题 分 值303040 表3 各章分值 章节一二三四五六七八九十 分值1010111111111411110 表4 试题难度分布 难度和层次代号1234 该难度下试题分值2736298 对应题型数 对应顺序 为判断 选择 计算 11828748102350 5 结束语 通过对组卷过程运行结果分析 说明面向分值 目标的混合组卷算法有更好的组卷速度和成功率 电子化试题库智能组卷系统是一项系统工程 涉及 教育测量学和教育统计学理论 网络与数据库技术 计算机软件技术等 智能组卷系统不仅是实现快速 组卷