网络试题库的自适应成卷与测评.doc

网络试题库的自适应成卷与测评Self-Adapting Producing Examination Paper and Examining of Network Examination Questions System廖 芹 汪国强 洪 毅 郝志峰华南理工大学应用数学系 E-mail: 网络试题库作为支持E-learning的一种测评资源，应能体现教学质量的评价，又能体现学生自主学习过程的评价。由于E-learning的对象、需求、内容、程度、目标的不同，自适应教学质量评价与自适应学习过程评价已成为试题库不可缺少的功能。本文结合大学数学网络试题库建设的特点，论述支持E-learning自适应模式的测评内容的获取与测评过程的实现。关键词：网络试题库 自适应成卷 自适应测评1 引言E-Learning（网络化学习）使传统教学活动中的教师与学生的地位发生了明显的变化，教师主要成为学生的学习辅导者而不是知识的直接传播者，学生不再从教师那里直接获取信息而是自主地在网络教学支撑平台中进行各种活动。E-learning的核心要素是利用现代信息技术提供的具有全新沟通机制与丰富资源的学习环境，实现全新的既能充分发挥教师指导作用、又能充分体现学生学习主体作用的“学教并重”的教学结构。传统的试题库功能仅支持教师的“教学”测试使用，即学生在教师帮助下掌握知识与技能过程的学习测试，而不支持学生自主学习的使用。学生在测试中处于被动的位置。要建立新的教学结构，作为资源库核心的试题库建设也应与这一目标一致。即网络试题库不仅支持教学活动的各种考试测评，而且支持不同时间、不同地域、不同需求的不同对象自主练习、自测、提高的学习要求。自适应成卷与测评是指一方面针对教学者的不同需要，支持智能成卷、自组卷、自调卷和自编辑试卷，另一方面针对学习者的不同需要，通过一次性或多次性的测试过程，支持学生练习、自测、提高的要求。自适应成卷与测评的关系如图1所示。大学数学系列网络试题库是教育部新世纪网络工程项目，结合该项目的建设，本文将论述支持E-Learning目标的网络试题库自适应成卷与测评的设计与实现方法。2 自适应成卷2.1 自适应智能成卷自适应智能成卷是指在配备一定的知识库与推理算法的条件下，根据教师需求成卷信息成卷。知识库存储各门课程试题的主要属性，包括章、节、点、权重、难度、类型、要求度、分数、时间等等。推理算法是根据用户输入信息及知识库，寻找合适的试题组卷，组卷过程考虑了知识点（内容）分布、难度分布、题型分布、时间分布、分数分布等，试卷是各种分布的综合与整合的结果。选题是智能成卷的关键。依据选题必须科学性、随机性、合理性的原则，大学数学网络试题库智能成卷的策略是：（1）接收用户所需要的考试科目、考试时间、期望平均分、考试等级（按教学要求分为高一级、标准级、低一级）、考试范围、期望题型（不选择时，默认为五种题型，即选择题、填空题、计算题、应用题、证明题）、预计不及格率等参数； 确认试卷号自适应诊断性测评 学生 自适应智能成卷 自适应总结性测评 自适应试卷编辑 网络试题库系统数学方法调用 自适应调试卷 测评信息反馈与上传 自适应选题组卷 教师 上传非客观题答卷图1 网络试题库的自适应成卷与测评关系Fig. 1 The relation of self-adapting producing examination paper and examining ofNetwork examination questions system（2）通过接收考试时间，确定大小题型所占比例。一般地，大题（指计算题、应用题、证明题）占总时间的70%，小题（指选择题、填空题）占总时间的30%；（3）以时间为主要控制变量，所有参数均通过与时间关系来控制。接收的考试等级、平均分、不及格率参数可以确定试题的难度-时间分布知识，即明确将要使用的各难度（i）的题目所占的时间为T i；（4）智能成卷由各个知识库支持下的推理算法实现。选题的推理算法按选难度（先难后易）、选题型（先大后小）、选内容、选试题使用次数等过程进行。推理过程为各参数设计计数器，通过计数器的值来判断下一步选择的依据。基本思想是：从试题库中随机选择难度为i （i=6,5,4,3,2,1）的且试题时间不超过T i的试题集合S1，从S1中选出题型计数器值最小的所有试题集合S2，再从S2中选出内容计数器值最小的所有试题集合S3，最后从S3中选出试题使用次数最少的所有试题集合S4，如果S4为空，则改变难度进行选择，如果S4不为空，则在S4中随机选题，在设定时间误差控制下，判断所选题目适合组卷的可能性，若试题适合组卷，则进行题型剩余时间、难度剩余时间的修正，并刷新各计数器的值，若试题不适合组卷，则重选。重复进行上述步骤，直至试卷的大小题型时间满足，表示选题结束。对所选试题，进行实际时间与理论时间的调整，即根据时间比例知识，对实际试题时间进行时间段控制调整，其中时间分布知识给出了每试题时间段所应占的比例，超过这一比例的试题需要调整或重选。对已调整理论时间的试题，根据赋分知识进行赋分，在赋分算法中，以每题的时间和该题的难度赋分权重的乘积作为赋分依据。对于选择题和填空题，一般不用权重，而是直接按赋分知识赋分（如均是3分等）。赋分权重和赋分计算，作为赋分知识允许更新和修改。智能成卷质量直接依赖于成卷算法、试题存量和试题指标。由于多因素影响，智能成卷只能是相对满意的成卷，要提高用户成卷的满意度，自适应智能成卷后支持用户对试卷的编辑与修改。自适应试卷的编辑，是指在显示试卷的所有题目指标、题型描述、内容、时间、分数、答案的情况下，提供用户(教师)增删题目、修改题目、调整分数及排版辅助，按成卷需求进一步完善成卷结果，提高试卷的满意度。2.2 自适应调卷自适应智能成卷，尽管在智能、自适应基础上支持用户成卷已具有一定的满意度，但成卷质量仍存在各种可能性，要保证在知识点、难度、题型等分布均匀且有较高质量的试卷，可直接通过试卷库调所需要的试卷。自适应调卷是指用户不必通过成卷过程，只需输入较少的参数，就可以快捷地得到各成卷参数较优的试卷。试卷库存储的是每次智能成卷通过自动评价被认定为优良试卷的参数集。传统的试卷质量测评是通过学生测试后统计数据进行，这里除考虑“后验”评价外，更注重“先验”的评价，即通过成卷过程的参数来建立试卷质量评价模型，其评价结果一方面可作为成卷过程的质量控制，另一方面可以作为试卷选优以更新试卷库。按智能成卷算法，成卷过程可以获取以下指标：每题实际时间与理论时间分布、每题型实际时间与理论时间分布、每档难度实际时间与理论时间分布、每章内容实际时间与理论时间分布、大小题实际时间与理论时间分布，其中实际时间是指所选试题原设置指标的转换时间值，理论时间是指所选试题指标作调整后的转换时间值。分别以这五个指标的允许误差为控制依据，误差越小，相应指标越好。五个指标的加权综合评价结果，被定义为该试卷的质量值。当试卷的质量值为80分以上时，认为该试卷是及格的。对成卷过程抽样应用该评价模型并进行统计，且与专家评价结果进行比较分析，得到试卷的模型评价结果与专家评价结果的一致率为98%。自适应评价模型一般针对试卷的知识点为全书（高等数学可分为上、下册）及教学要求度（高一级、标准级、低一级）的情况进行试卷库自动更新，设定在某日期段外的试卷将被自动淘汰，保持用户对试卷库试卷有较新的印象。因此，自适应调卷不仅可以快捷不需等待地得到所需的试卷，而且可以得到各成卷参数较优的试卷。2.3 自适应选题组卷根据考试理论设计的智能成卷及选优试卷，并不考虑用户在成卷内容及成卷因素的偏好，对于特殊针对性的试卷，可通过直接选题组卷实现成卷期望。自适应选题组卷是允许用户通过选择内容（按课程的章、节、知识点划分），浏览相应内容的试题，可直接查阅试题正文及答案以确定合适的试题，并辅助试题的分数分配及试卷排版，支持用户“按需取题”、“按需配分”、“按需排版”。自适应选题组卷的质量直接依赖于教师的水平，但系统可通过试卷评价模型对自选题组卷给予质量评价以提供用户参考。3 自适应测评3.1 自适应总结性测评总结性评价一般是指某一阶段的教学完成之后评定这一阶段的学习结果，目的在于评定教学目标的达到程度，检查教学工作的优劣，考核学生的最终成绩、把握教学活动的最终效果，给出教学与学习的最终评价结论。自适应总结性评价是在自适应成卷的基础上，把文本式试卷转换为机试式试卷，对机试试卷测试的评价。学生首先通过自适应成卷获取试卷号，进入测试的Web页面后，调出相应试卷号的机试试卷，确认测试后计时器开始计时，以确定在规定的时间内测试者的测试程度。机试试卷分为客观题与非客观题两部分，客观题答卷具有自动评价测试者程度的功能，非客观题答卷具有辅助测试者编辑文字、符号、公式，支持答卷保存、上传答卷的功能。当客观题与非客观题两部分均测试后，系统将自动记录客观题的成绩和上传非客观题答卷至指定的E-mail。非客观题将由指定的教师批改后返回成绩，与客观题成绩综合后记录在学生档案。3.2 自适应诊断性测评诊断性评价是指为了使教学适合学习者的需要而在一门课程或一个学习单元开始之前对学习者所具有的认知和技能方面条件进行的评价，评价的结果将作为教学设计、教学内容、教学方法选择的依据，也作为学习者制定学习目标和计划、选择学习方式和内容的依据。自适应诊断性评价主要表现为根据学习者的程度所进行的练习评价。测试题主要基于试题库的客观题，且难度档为1-5，对5级难度以上的试题采用屏弊以提供总结性测评使用。每份测试卷针对所选知识点拟设计为M道题，对任一测试者首先取出难度为3的j道选择题，若测试者做对j-k (0kj)道题，当j-k k时，则进入高一级难度的j道题，当j-k k时，则进入低一级难度的j道题，若j-k= k，则继续同一级难度的j道题测试。当达到最高难度级时，只能维持最高难度级的测试，同样对最低难度级也是如此。每次测试j道题均按知识库中关于难度、时间的赋分算法进行成绩计算。若已测试了M道题，则显示测试评价结果。对于学习者的提高测评，系统存储了一批综合类的题目（涉及三个以上知识点和多种数学方法求解），主要培养学生的分析问题与解决问题的能力。为此，系统还直接支持一些常用数学方法的调用，如高等数学中的导数、积分公式、泰勒展式，方程求根辅助、求函数极大极小值辅助，线性代数中的线性方程组求解、行列式、矩阵求解，概率与数理统计中的参数估计、方差分析、回归分析等等。自适应诊断性评价可以是对同一范围内容针对不同测试者用不同试卷的测评，也可以是同一测试者对某知识点的“一课一练”形式的测评。4 结论支持E-learning的网络试题库只有具备自适应成卷与测评的特点，才能最大地满足不同地域、不同时间、不同需求、不同程度的教师与学生的需要。自适应成卷和测评不仅给予教师可选择的多种教学质量测评的途径，也给予学生自主学习过程可选择的多种方法依据，该系统不仅可单独地支持各种教学与学习活动的测评使用，也可链接地支持试题资源有限的网络课程教学的练习使用，最大地实现试题资源共享。参考文献1 何克抗.E-Learning与高校教学的深化改革.现代教育技术研究与应用.西南师范大学出版社，2001.2 余胜泉,林均芬.网络教学的评价模型.现代教育技术研究与应用.西南师范大学出版社，2001.1.3 廖芹等.大学数学网络试题库系统的设计与研究.国际工科数学教学与应用研讨会论文集.2001.1:197-200.4 汪国强等.高等学校试题库通用软件系统的研制与开发.高等工程教育研究.1997.3.5 GCCCE/NEIF 2002.As a E-learning examining resources, the network examination questions system not only has to support the examination of teaching quality but also students independently studying. The examination of teaching quality and students independently studying in self-adapting have became important functions of the network examination questions system because the object, requirement, level and objective about E-leaning is different. Based on constructing the network examinat