（教育技术学专业论文）自学考试试卷质量控制的研究与实现.pdf

摘要 自学考试是以全日制高等教育的学历标准为参照的考试教育，作 为标准参照考试，自学考试试卷质量有确定的标准和要求。试卷质量 与课程考试标准、大纲、教材以及命题所运用的教育学理论等有直接 关系，控制试卷质量的指标、方法与技术是决定试卷质量的关键。 本文围绕自学考试试卷质量控制的内容、指标及技术实现展开研 究。从教育学、教育技术学的理论视角分析了自学考试集中入闱命题 中试卷质量控制的指标、方法与技术的不足，将教育学、教育技术学 的理论与技术运用于自学考试的试卷质量控制，分析了计算机技术控 制试卷质量的模式、方法与技术实现。 论文采用理论模型结合技术实现的方式进行，首先提出了基于 w e b 的试题质量控制基础上的试卷质量控制模式，接着介绍了试题、 试卷质量控制的应用技术以及由题到卷的技术实现。在此基础上，详 细论证了运用计算机技术控制试题命制及组卷等核心环节的技术与 方法，针对自考试卷质量控制的特点和要求，研究了以结构卷为基础 的多种组卷方式。 论文重点研究了结构卷分步控制法( 即认知层次与难度控制分为 两个相对独立的过程进行) 的组卷技术，并运用结构卷分步控制法与 各种组卷算法进行了多种组卷方式的实现。最后对所从事的研究进行 了总结，分析了系统需要继续完善的功能和进一步研究的方向。 关键词自学考试，试卷质量，教育技术，计算机应用 a b s t r a c t s e l f - t a u g h th i g h e re d u c a t i o ne x a m i n a t i o ni sa ne d u c a t i o n a lo n ew i t h t h ea c a d e m i cs t a n d a r d so ff u l l - t i m eh i g h e re d u c a t i o na si t sc r i t e r i o n a sa c r i t e r i o n r e f e r e n c et e s t ，t h ep a p e r sh a v et h e i rs e ts t a n d a r d si nq u a l i t y , w h i c hi s c l o s e l y r e l a t e dt ot h et e s t p l a n ，t h et e s ts t a n d a r d so ft h e c u r r i c u l u m ，t h et e a c h i n gp r o g r a ma n dt h et e a c h i n gm a t e r i a l s a n dt e s t t h e o r i e s ，m e t h o d sa n dt e c h n i q u e sa r et h ek e yf a c t o r si n f l u e n c i n gt h e q a l i t yo f t h et e s tp a p e r s t h i sd i s s e r t a t i o nf i r s t l ye x p l a i n sf r o mt h ep e r s p e c t i v eo fe d u c a t i o n a l t h e o r i e sa n dt e c h n o l o g yw h a ti sag o o dt e s t ，w h a ta r et h eu s u a lt e s t s t a n d a r d sa n dh o w g o o dt e s tp a p e r ss h o u l db em a d eu p a sw ek n o w , p e r s e n t l yt h ep o p u l a rw a yt oc o m p o s et e s tp a p e r si st h a tp r o f e s s i o n a l t e a c h e r sa r ec a l l e dt os t a yi no n ep l a c ef o rs o m et i m ea n dd e s i g nt h e i t e m ss e p a r a t e l y ；t h e nt h es e p a r a t ei t e m sa r ep u tt o g e t h e ri n t oas e to ft e s t s ot h ef o l l o w i n gi sas t u d yo ft h es h o r t c o m i n g so ft h i sp o p u l a rw a yi n q u a l i t yc o n t r o l ，m e t h o d o l ya n dt e c h n o l o g y f i n a l l y , t h ed i s s e r t a t i o nf o c u s e so nt h ee m p l o y m e n to fc o m p u t e r si n t h ew h o l ep r o c e s so ft e s tp a p e rd e s i g n i n g c o m p u t e r sc a nb eu s e di n c o n t r o l l i n gt h ed i f f i c u l t ya n dc o g n i t i o nl e v e lo ft h et e s ti t e m s i na d d i t i o n ， d i f f e r e n tm o d e l sc a nb es e tu pw i t ht h eh e l po f c o m p u t e r s k e yw o r d s s e l f - t a u g h te x a m i n a t i o n ，t h eq u a li t y o ft e s t p a p e r ， e d u c a t i o n a lt h c h n o l o g y , t h eu s eo f c o m p u t e r s i i n o v ，2 0 0 7 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得中南大学或其他单位的学位或证书而使用过的材 料。与我共同工作的同志对本研究所作的贡献均己在论文中作了明 确的说明。 作者签名：磷日期：塑丑年旦月上日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学 位论文的全部或部分内容，可以采用复印、缩印或其它手段保存学 位论文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：邋导师签名：域日期：7 盟年丛月翌日 硕士学位论文第一章绪论 第一章绪论 1 1 自学考试命题及试卷质量控制概述 高等教育自学考试( 以下简称“自考”) 是我国7 0 年代术、8 0 年代初教育 改革中产生的一种新的考试制度和教育形式，是对自学者进行的高等教育国家 考试，是个人自学、社会助学和国家考试相结合的高等教育形式f l 】。经过2 0 多 年的改革、完善和发展，它已经成为有别于普通高等学校教育和成人高等学校 教育、独具特色的高等教育形式，是我国高等教育的重要组成部分。 自考是标准参照考试，参照标准是普通高等学校同层次、同专业的知识结 构和能力要求。考试是教育过程中十分重要的环节，它特有的评定、检测、诊 断、反馈和激励功能，是其他教育环节所不能代替的【2 】。在自学考试的教育活动 中考试是衡量自学者学力水平的主要形式，考试试卷是自学考试用于测量自学 者学力水平的唯一工具。试卷质量是反应考试质量，进而反应自考教育质量的 主要方式，自考教育的考试质量是通过控制试卷的质量指标和考试标准来完成 的。 自考命题是自考教育过程中的一项经常性工作，命题由最初的国家统一命 题发展到今天的以省级考办为主的自行命题。如今，省级考办已成为自考命题 的主体力量，省级考办的命题质量基本上体现了自考教育的命题质量。不同类 型的考试对命题工作的要求和管理模式不同，自考命题主要有两种形式：一种 是考前集中入闱命题，命题任务完成后即解闱的模式；另一种是分散命题，集 中审题、收卷入库或两者的结合模式【3 】。 命题是从试题设计到选题组卷的复杂过程。命题工作必须遵循以下原则： 覆盖面与重点相结合原则；考知识与考能力相结合原则；试卷独立性和试卷整 体性相结合原则；信度、效度、难度及区分度综合检测原则【4 j 。但实际的操作过 程中，从试题设计到试卷结构的确定，从试题命制到选题组卷的实施过程以及 最后的试卷入库都可能会出现达不到上述要求而影响试卷质量的情况。而且， 在自考命题的实施过程中不仅要完成试题命制、组卷等工作，同时还要完成试 卷质量控制的指标统计与分析调整工作，以及预估试卷的及格分数。试卷质量 控制的指标统计、分析与调整不仅是自考命题的必要环节，也是自考试卷质量 控制的核心环节。现有命题管理模式下，通常采用手工填写的方式来完成这项 工作。手工填写和统计分析试卷质量的工作因受到诸多因素的影响而使试卷质 硕士学位论文 第一章绪论 量和预估的试卷及格分数，常常与考后的实际情况差别较大。因此，提高自考 试卷质量控制的效率与准确性，并使试卷质量在考前得到控制是自考教育对试 卷质量控制的基本要求。我结合实际工作，并运用教育学、教育统计学和教育 技术的有关理论与技术对自考试卷质量控制的指标、方法与过程进行了分析。 从分析的情况看，现有命题管理模式在试卷质量控制的指标选取、参数确定与 实现方法上，不仅存在着技术上的不足，也存在着指标选取、确定和量化管理 的不合理性。 现有命题管理模式下，试卷质量控制的指标数据比较粗放、参数的选取与 确定准确性差，方法与技术运用不合理、且手段落后是影响自考试卷质量的主 要因素。随着学习和教学理论( 建构主义理论) 以及智能代理( a g e n t ) 技术的 发展f 5 1 ，自考命题只有运用新的命题理论与管理技术才能够解决自身存在的问 题。基于这种现实，将教育学、教育统计学和教育技术学的理论与技术用于自 考的试卷质量控制已经成为自考命题的必然趋势和最佳选择。这些理论与技术 的运用不仅能使自考试卷质量控制的科学性、合理性和准确性得到极大的提升， 也会进一步提高自考的教育质量和社会信誉。 1 2 研究内容与意义 自学考试是现代教育的一种形式和制度【6 1 。考试是自考教育的永恒主题，自 考作为不同于普通高等教育的考试教育，他所对应的教育环境和培养目标是不 同的。分析现有命题管理模式，其在落实课程考试标准和试卷质量控制方面与 自考教育的培养目标之间还存在着差距。提高自考试卷质量控制的方法与技术， 探索标准参照考试的试卷质量控制模式，不仅是自考试卷质量控制的需要，也 是标准参照考试试卷质量控制的需要。 本文在分析现有命题管理模式的基础上，运用教育学、教育统计学和教育 技术学的有关理论与技术对自考试卷质量控制的指标选取、控制方法与技术进 行系统的研究。立足教育学、教育统计学的理论视角，多角度地分析了自考试 卷质量控制的指标选取和控制方法，分析了运用计算机技术实现和完成自考试 卷质量控制的条件、技术与过程，论述了作为标准参照考试的自考教育如何才 能够有效地实现考试质量与试卷质量的统一。结合现代教育技术实现了自考试 卷质量控制的计算机管理。全文从自考试卷质量控制的计算机管理模式，系统 设计与技术实现这三个层面进行了具体的论证和研究。 现有命题管理模式的试卷质量控制立足课程命题细目表和试卷及格分数预 估表，通过这两个量表的数据情况对试卷质量进行控制和调整，针对这种模式 硕十学位论文 第一章绪论 的不足，从教育学、教育统计学的角度进行了分析，在原有试卷质量控制的指 标、方法与技术的基础上，运用教育统计学中的数学方法，并结合计算机技术 对自考试卷质量控制的指标、方法、技术进行了改进，并对计算机技术控制试 卷质量的指标做了一些调整。研究了计算机管理模式下试卷质量控制的技术条 件与要求，并运用教育统计学理论和方法对试题和试卷质量指标的选取与确定 进行处理，使试题、试卷质量指标得到了更精确的控制。 选用合适的命题理论与控制技术是实现自考试卷质量控制的基础，针对自 考课程的多样性和复杂性。分析了计算机技术控制试卷质量的指标、方法所需 要解决的基础问题和实现方式。从解决与试卷质量控制有关的课程考核要求、 大纲、教材和考试标准的信息化入手，分析了这些信息在试题命制、试题组卷 中作用和价值，并使这些信息在系统中得到科学合理地使用。分析设计了基于 w e b 的自学考试试卷质量控制系统的实现模式，解决命题信息与考试标准的计 算机管理，研究了计算机技术控制试题命制和组卷的技术要求和实现方式。 借助现代教育技术的优势，运用计算机技术控制了试卷质量的指标选取、 确定与处理。实现了以结构卷为基础选题组卷的计算机管理，做到了对试题命 制和组卷过程的独立控制和实时操作，实现了基于w e b 的试卷质量控制系统的 主要功能，使自考试卷质量控制的各项指标更加科学合理，试卷质量和试卷信 息的安全得到了极大地提升。重点分析了基于结构卷的组卷策略与方式，实现 以遗传算法和结构卷分步控制法为技术核心的试卷质量控制的三种方式，并对 有关的问题进行了一些较深的研究。 本文实现的基于w e b 的试卷质量控制系统对标准参照考试的试卷质量控制 和组卷过程是可以通用的，在标准参照考试的试卷质量控制领域具有广泛的应 用性。 硕士学位论文第二章基y - w e b 的自考试卷质餐控制指标及方法分析 第二章基于w e b 的自考试卷质量控制指标及方法分析 2 1 现有命题管理模式的试卷质量控制指标及方法分析 2 1 1 自考命题的特点 在自学考试的质量体系中，命题质量处于核心和基础地位。与其他各类考 试的命题要求相比，自考命题的必须突出以下特点： 1 自考命题必须满足终结性考试的要求，试卷内容必须涉及到课程考试标 准所规定的全部内容。 2 自考命题是以课程大纲为依据，以教材为蓝本的水平性终结考试，命题 的标准是课程需达到的学历标准，而不是考生自身的学习状况。 3 自考命题的选材和要求必须适应大规模社会化考试，试题内容在选材上 要具有普遍性，且评分标准须具有良好的可操作性。 4 白考命题必须达到参照标准的要求，即试卷标准应是普通高校同层次同 专业的课程结业所要求水平。 自考是一种结果性教育形式，自学者是否达到了课程学习要求，其结果是 通过自学者的考试分数来反映的，分数达到了课程的合格分数线，即认为自学 者达到了课程学习的考核要求。因此，试卷质量的评价体系及标准在自考教育 中有着非常重要的作用。 试卷是自考教育用于测量自学者学习效果的唯一工具，是课程考试标准的 载体。试卷是根据课程考核标准和考试要求，由试题构成的集合，但不是试题 的简单组合，而是根据课程考试标准与试卷的信度、效度等要求所组成的测量 工具。作为标准参照考试，自考试卷的质量必须从考试的标准和与试卷的信度、 效度来反映考试目标。 2 1 2 试卷质量控制的主要指标 多年来，自学考试运用教育学理论和考试命题理论建立了自考试卷质量控 制的指标与方法。目前，自考试卷质量控制的指标与方法主要是运用美国心理 学家布鲁姆等人于1 9 5 6 年提出来的教育目标分类法【8 l 。布鲁姆等人把教育目标 分为认知目标、情感目标和运动技能目标三个领域，每一领域都是一个多类别、 多层次的目标体系。认知领域是自学考试主要运用的领域，该领域的教育目标 是由识记、领会、应用、分析、综合、评价六个层次构成的由简单到复杂的完 整体系，其中低一层次是高一层次的基础，高一层次又包含低一层次的变化。 4 硕士学位论文第二章基于w e b 的自考试卷质量控制指标及方法分析 经过多年实践，自考工作者和相关的教育测量专家参照布鲁姆的教育目标 分类法，结合实际情况和理解习惯，将上述目标加以选择、调整和归纳，提出 了用于自考命题的四层次目标分类法阳3 。该分类法将知识点的层次划分为：识记、 领会、简单应用、综合应用。通过实际测试或专家评判将他们的难度等级以数 字形式进行表示，取值范围o 1 之间。并通过百分制的方式来预估考试试卷的 及格分数，即预测6 0 分的及格线。 另外，现有命题管理模式常采用多套试卷平行的方式进行命题。为保证多 套试卷的平行，运用了测验等质理论对试卷的等值等量指标进行控制【1 0 】。该理论 的核心是：等值是有条件的，测验必须同质；只有测量同质的两次测验的信度 即可靠性相同或相近时才能进行等值；等值的转换关系应具有公平性、唯一性。 自考命题中将这一理论进行了反向推演，即假设同一门课程的多套试卷是等质 等量的，即试卷之间是平行的。其条件是试卷在题型题量和结构上必须一致， 且同类型试题中的试题难度等级必须相同，才能使试卷具有平行性，其价值是 控制和约束试卷结构的同质性。 以上述两个理论为基础，自考试卷质量控制的主要关系是：知识与能力的 关系；试题难度和区分度的关系；难度与认知层次的关系；考试信度和效度的 关系】。命题过程中将这些关系转化为课程命题细目表( 附录2 ) 中的各项指标， 操作中是应用项目反应理论来确定课程命题细目中的指标和参数值【l2 1 ，并通过这 些指标来反映和控制试卷质量。在自考命题中，试题难度被定义为试题本身固 有的特性，是不随考生样本的变化而变化的。其理论基础是如果考生足够的话， 每道题都会有部分人不能答对，部分人容易答对，部分人费些力气刚好能够答 对。试题的难易程度，取决于刚好能够答对的那部分人的水平高低，水平高的 刚好能够答对该题就难，水平低的也能答上来就易。在这个基础上将试题的难 度值在0 1 之间分四个层次进行取值，难度值越大，试题越容易；难度值越小， 试题越难。 自考命题中对试题的难度估计办法是：命题专家根据影响难度大小的若干 因素，并结合普通高校( 含高职) 里参加相同层次、相同课程、相同要求学习的一 般水平的学生( 刚达标者) 能够正确网答的概率来估计某道试题的难度，通常分 为a 、b 、c 、d 四个层次，其中： a 类试题表示容易题，相当于刚达标的样本群体中有7 0 以上能够回答讵 确；难度值处于0 7 1 之问。 b 类试题表示中等偏易的试题，相当于刚达标的样本群体中能够回答证确的 占5 0 7 0 ；难度值处于0 5 - - 0 7 之间。 c 类试题表示中等偏难的试题，相当于刚达标的样本群体中能够回答f 确占 硕士学位论文第二章基于w e b 的自考试卷质餐控制指标及方法分析 3 0 5 0 ；难度值处于0 3 0 5 之间。 d 类试题表示难度较大的试题，相当于刚达标的样本群体中只有3 0 以下的 能够回答正确；难度值处于0 o 3 之间。 建立在上述理论和方法上的自考试卷质量控制是通过课程命题细目表与试 卷及格分数预估表( 附录3 ) 进行试卷质量控制。需要说明的问题是自考命题采 取通用的专家评判法( 又称a n g o f f 方法) 来控制试题的难度等级值和难度估计值 1 3 1 。即命题教师根据课程命题细目表完成组卷后，分别对每道试题的内容难度进 行估计，并确定难度估计值，根据附录3 的量表计算出刚达标水平的学生完成本 试卷试题可得到的平均分数，如果平均分数在5 5 - - 6 5 分之间，说明及格线控制得 较好，试题一般不必再进行调整。1 如果估计平均分数在上述范围之外，说明及格 控制得不符合要求，就应对试卷中的试题进行适当调整，使估计平均分数在5 5 6 5 分的范围之内。 2 1 3 试卷质量控制的基本方法 自考是国家级教育考试，要体现这种教育形式的社会价值，自考就必须有 自己明确的考试标准和质量要求，否则将得不到社会的承认和认可。自考试卷 质量控制有两个重要指树1 4 1 ：一是它所对应的普通高等教育；二是试卷质量必须 体现课程考试标准和考核要求。课程考试标准由全国考委根据专业开考计划， 教材及课程考试大纲制定，由省级考办在命题过程中具体落实。课程考试标准 是试题命制和组卷的重要标准和依据，试卷质量是课程考试标准实现程度的反 映。试卷质量涉及试题内容、题型题量、难度等级、认知层次等试卷结构性指 标，试卷质量的控制是通过对试题的具体指标进行统计、分析和评判来完成。 1 现有命题管理模式的基本流程。命题是自考教育的核心环节，命题质量 的高低直接关系到自考教育的质量和信誉i ”1 。现有命题管理模式下，主要有入闱 命题和分散命题两种形式，为提高命题的安全性，多数省市采用集中入闱命题 的形式进行，图2 1 是入闱命题的工作流程。在这个过程中需要根据课程考试标 准、课程考试大纲和教材设计试卷框架和整体指标，即完成课程命题细目表的 设计，并完成试题命制、组卷等工作。其中，课程命题细目表和试卷及格分数 预估表的统计、分析和调整是试卷质量控制的核心环节。 硕十学位论文第二章基丁w e b 的白考试卷质量控制指标及方法分析 培训命题 1r 命制试题i 1r 审查试题 1r 组配试卷 1r 研磨试卷 f 1r 验收试卷 a 确定命题内容 b 确定题犁题量 c 制定命题细目表 d 分配命题任务 e 编写试题 f 编写命题说明 根据命题细目表，从 审查过的试题中抽选 试题，组成试卷初稿 图2 - 1 入闱命题的上作流程 从图中可以看出，试卷质量控制主要在试题命制和审查试题的环节中完成 了对试题内容的质量控制，在组卷后的研磨试卷中完成了试卷质量控制。 2 试卷质量控制过程与方法。试卷质量控制和调整分两步进行，第一步完 成对课程命题细目表及试卷及格分数预估表的数据统计分析，根据两个量表的 数据情况选择试卷质量指标的调整方向与内容；第二步进行具体试卷质量的调 整。实际命题中，课程命题细目表是组卷前已经确定好的试卷结构控制表，试 卷及格分数预估表是对组卷后的试题所进行的逐题统计，试卷及格分数预估表 反映了课程命题细目表的整体情况和组配试卷的整体难度于区分度的区间值。 试卷及格分数预估表只能反映出是否需要调整的信息，而不能明确地告诉我们 需要调整什么样的题型或者什么难度的试题。此时如何进行调整就可能面临着 多种选择。 第一种可以选择的方式。试卷质量控制的调整依据是两个数据量表，一是 课程命题细目表；二是试卷及格分数预估表，表2 1 是一份试卷的两大结构指 标的数据统计，试卷及格分数预估表中的数据来源是表2 1 所对应试卷的试题 质量指标的统计结果，其值是试题的分值与估计难度值的乘积，其估计难度值 的确定主要依靠命题教师对知识点的难度预计能力来进行。从表中可以看出， 硕+ 学位论文第二章基丁w e b 的白考试卷质量控制指标及方法分析 同一个难度等级的试题的估计值是可以不同的，此值的选择范围对试卷预估及 格线有直接影响。若进行调整，是调整估计难度值合适，还是调整试题分值合 适，还是更换试题，此时命题教师可以从中任意选择。 表2 1 试卷两人结构指标的数据统计 难度统计( 一题一分)层次统计( 一题一分) ab c dii ii i i 1 8 3 01 6 3 55 2 02 1 51 2 2 52 0 3 56 2 23 门8 说明：1 预计难度：a 易；b 中等偏易；c 中等偏难；d 难 2 认知层次：i 识记；i i 领会；i i i 简单应用；综合应用 第二种可以选择的方式。表中的另一个问题是同难度等级的试题具有不同 的分值，这也给调整带来了多种选择的可能性。使操作中如何决定调整对象的 复杂性上升。试卷中的何种因素影响了试卷及格分数已很难判断，调整哪个指 标是最合理而有效的也成为难以取舍的问题。 第三种可以选择的方式。试卷的估计平均分是单个试题的估计平均分的总 和，试题的单个平均分是试题的分值与估计难度值的乘积。此时调整何种类型 的试题，也存在着多种选择方式。试卷预估分数与试卷的两大结构指标没有明 确的关联关系，命题教师无法找到最好的解决方式。 上述几种调整方式，若不从试卷质量控制的本意出发，仅仅以降低和提高 预估分数值的角度来解决问题，试卷质量的控制将变得非常容易，也使试卷质 量的调整失去了意义。假如一份试卷的预估分数较低，说明试卷的难度太大， 需要降低难度，即提高预估分数。可以有两种方式达到目的，一是可以提高试 卷中的试题的难度估计值；二是可以调整试题分值等手段来提高试卷及格分数 预估值。在具体的操作中，当试卷预估的及格分数需要调整，往往是试卷质量 本身的问题，需要从试卷结构上全面考虑并结合课程命题细目表中的具体数据 进行比较来调整试卷的具体试题，以达到控制试卷质量的目的。若试卷及格分 数的预估值在规定值以外就必须对试卷中的有关试题进行调整，从上面的描述 知道，试卷的调整被随意进行，调整时没有考虑课程命题细目表反映的结构、 难度和层次的指标数据。 现有命题管理模式下，因无法直接控制命题教师对试卷质量的调整，而命 题教师为了减少工作量，通常的做法是：一、提高或降低综合类试题的分值； 二、降低或提高客观性试题的难度等级或难度估计值等方式束调整试卷预估分 硕士学位论文 第二章基于w e b 的自考试卷质量控制指标及方法分析 数，一般没有太多地考虑调整试卷中的试题问题【l5 1 。 2 1 4 试卷质量控制的问题分析 试卷质量调整时存在着多种选择方式，不仅是控制方法的问题，也是控制 技术的问题，更多是对控制对象的选择和控制标准的确定问题。从教育学、教 育统计学的角度审视现有命题管理模式，试卷质量控制的主要问题有三个方面： 1 试卷质量控制的过程缺乏有序性、实时性和闭合性。现有命题管理模式下， 当试卷质量需要调整时，命题教师的调整行为不能得到控制，命题教师自身也 很难分清需要调整的指标是什么原因导致的，调整只是组卷后的一种检查式控 制，复杂的组卷过程已经完成，若再次调整，考虑的问题会增多，难以选择操 作的角度。现有的方法难以达到试卷质量控制的调整需要。另外，从考试的角 度看，命题现场进行试卷质量指标的调整也存在许多未确定的因素，许多问题 的处理是依靠命题教师的个人学识和素质，但有些问题可能在考试以后才能反 映出来。由此可以看出，现有命题管理模式下，试卷质量控制没有形成有序性、 实时性和闭合性的有效控制机制。 2 试题指标确定存在随意性，试卷质量控制理论的运用缺乏适当性。试卷结 构中试题的等级和层次划分是依据教育目标分类法进行的，该理论从认知层次 的六个方面对学习者的认知能力加以划分，而白考借用了选拔性考试的试卷质 量分析方式来确定自己的试题等级和难度估计值。选拔性考试的试卷质量分析 大多以试卷质量的整体分析为主，目的是评判试卷的整体质量，是考后一种试 卷质量评价模式，目的是说明一份试卷考试效果，而自考是一种结果性考试， 它要求试卷质量必须在考前得到控制，否则考试即失去了意义。考试的本质是 检验自学者的学力水平，从学历要求的标准给自学者一个准确的评价。另外， 自考是重在应用的考试教育，从认知主义的学习理论的本质出发，以认知层次 的划分标准作为控制试卷质量的指标依据可能更准确一些。 试题质量指标是反映试卷质量指标的重要因素，这里仅从试题指标的参数 确定方面进行一些简单分析。现有命题管理模式试题难度等级、指标层次的确 定只有依据没有科学技术手段做依靠，主要的依据有两个：一、通常大家都是 这样做的，可以将试题的难度划分为四个等级；二、自我评判依靠个人素质， 对试题的等级和难度估计值之所以这样确定没有科学的手段。由于这些方式的 不合理性和不科学性自考试卷质量控制的准确性和稳定性始终没有得到保障。 3 试卷质量控制的技术与方法缺乏现代教育技术的运用。试卷质量控制相对 于命题来说，有更多难以处理的问题和工作的复杂性。现有命题管理模式下， 试卷质量是在试卷组成后进行的分析调整。这种试卷质量的调整方式重复劳动 多，量表是静态的，只能反映问题，对问题的解决没有帮助和约束力。从附录l 、 硕士学位论文第二章基于w e b 的自考试卷质龉控制指标及方法分析 2 的具体数据可以看出，数据的分析难度和所要完成的工作对手工操作来说工作 量很大。试卷质量控制的量表应该是用于检验和控制试卷质量指标的，但现有 命题管理模式所用的这些量表只能进行数据判断和分析，命题教师也只是关注 量表的数据处理，而不是试卷质量本身的调整问题。更深层次的问题是现有命 题管理模式对试卷质量控制没有充分运用教育学、教育统计学和现代教育技术 的理论和技术来进行试卷质量的控制。 2 2 基于w e b 的自考试卷质量控制模式分析 在教育中利用新技术，使人们能够获得信息时代所必须的知识与技能【l 引。 针对现有命题管理模式下，自考试卷质量控制存在的问题，研究计算机技术对 试卷质量控制的可行的和实现方式。自考试卷质量涉及试题质量、题型题量和 试卷结构等多种因素，基于w e b 的自考试卷质量控制模式将如何解决这些问题 是运用计算机技术控制试卷质量的关键。论文从试题质量控制和试卷质量控制 这两个相对独立的过程进行分析，研究了在高质量试题的基础上实现高质量试 卷的技术与过程。 1 试题质量指标的控制与实现方式。试题质量控制的首要问题是课程考核 知识点的选取和题型选用；其次是难度等级和认知层次的确定。试题质量控制 中的题型选用和难度层次确定是基于w e b 的自考试卷质量控制的技术难点。基 于w e b 的自考试卷质量控制系统第一个目标是形成试题质量控制的完整过程和 试题组卷的基础工作。 试题质量控制的基本过程是选聘命题教师通过网络按课程命题要求、标准 及提供的信息完成试题命制。试题进入系统后定为初命试题，再经多位同行专 家进行试题审查。为更准确地得到试题指标的数据，专家审题时只提供试题内 容、答案和评分标准，试题的参数指标由审题专家再次提供，系统通过对多位 专家的指标参数处理后形成试题的质量指标，多次审查后的试题进入题库，完 成试题质量控制的第一步。第二步运用教育统计学中的数学方法抽选题库中各 类典型试题组成测试卷进行试测，以最终确定试题的质量指标。 2 基于w e b 的自考试卷质量控制的基本程序。试卷作为考试这种特殊测量 的工具，其质量对考试的质量起到至关重要的作用【1 7 i 。高质量的试题是组成高质 量试卷的基础。自考试卷质量控制是建立在两个重要指标的基础上，一是课程 考试标准的准确把握；二是试卷及格分数的准确有效。现有命题管理模式下， 组卷是建立在课程命题细目表已经确定的基础上，而基于w e b 的自考试卷质量 控制系统是否可以直接采用原有的组卷方式或者还有其他更合适的组卷方式。 硕士学位论文 第二章基丁w e b 的自考试卷质量控制指标及方法分析 基于这种思路，基于w e b 的自考试卷质量控制模式对试卷质量控制进行了一些 较深的分析和研究。 现有命题管理模式下试卷质量的控制与实现过程是：首先制定命题细目表， 用命题细目表控制试卷结构的两大指标。其要求：一、试卷中试题的分布要能 够体现课程考试标准、大纲和教材所涉及的考核要求和内容，且与教材的要求 相符合；二是难度等级适当、层次考核合理( 1 7 】。这种组卷方式第一个要求容易满 足，但满足第二个要求的难度将大大上升。由于技术使用的问题，制定命题细 目表时，试卷结构的两大指标数据是无法在组卷前得知，组配试卷调整的可能 性大，难度也大，这也是研究运用计算机技术控制试卷质量的主要目的。通过 对命题细目表的指标和控制要求的全面分析，运用计算机技术控制自考试卷质 量可以采用图2 2 所示的流程进行，并根据试卷质量控制的指标和结构要求， 选用以试卷结构卷为基础的试卷质量控制模式，在这个基础上运用适当的组卷 技术来完成组卷，以提高自考试卷质量控制的合理性和科学性。 图2 2 基丁二w e b 的白考试卷质鼙控制基本流稗 图2 2 是基于w e b 的自考试卷质量模式的基本流程。从这个流程的实现过程 和控制要求分析，第一步需要输入组卷的课程代码信息后运行系统，由系统选 择适合题库的组卷模型或者根据课程情况手工选择；第二步通过组卷模型和课 程考试标准、课程考试大纲、课程题库信息共同形成组卷课程的结构卷。结构 卷的生成是分两次进行，第一次以题型为对象，仅控制试卷的认知层次输出结 硕十学位论文第二章基于w e b 的自考试卷质量控制指标及方法分析 构卷，以及结构卷信息表等控制量表，第二次选择难度等级的控制条件，完成 试卷结构卷的生成。当结构卷的各项指标满足了课程考试的要求后，根据结构 卷由计算机选用适当的组卷技术生成考试备用卷。为更准确地验证备用卷的指 标和稳定性，可以通过抽题试测的方式或根据已考试卷的课程细目表的数据信 息来分析、验证和调整备用卷的结构指标，或通过计算机使用相同的备用卷模 型进行多次组卷来备用卷的指标数据，根据多次组卷所形成的数据平均值作为 备用卷最终指标的数据，形成该类课程考试组卷的通用模型，即课程试卷信息 模型。考试前，由管理人员利用课程试卷信息模型完成组卷工作，以确保试卷 质量和考试安全。系统最后考虑了试卷的考后评价，使用考后的试卷质量指标 再次与试卷生成时的指标数据进行比较，以进一步提升课程试卷信息模型的控 制精度，提升计算机组卷的可靠性和稳定性。 2 3 基于w e b 的自考试卷质量控制的技术分析 通过计算机技术实现与手工模式有相同效果的组卷，还涉及到许多技术问 题。自考课程种类较多、试卷结构复杂，计算机组卷要适应和解决这些问题就 不可能仅用一种组卷方式。基于w e b 的自考试卷质量控制采用了适合自考组卷 需要的多种方式来完成考试的组卷和试卷质量控制。 2 3 1 基于w e b 的自考试卷质量控制技术 基于w e b 的自考试卷质量控制系统克服了手工组卷方式的技术不足，运用 教育统计学和教育技术对试题于试卷的质量指标进行了控制。从附录l 的分析 可知，试卷质量控制主要决定于试题指标的控制，即试题层次等级与难度估计 值的确定。目前采用指标标准来自于选拔性考试的试卷质量统计与分析。而自 考是标准参照考试且开设的专业以实践应用型专业为主，试卷质量控制的标准 和要求应该与选拔性考试有所不同。这罩依据教育目标分类法以认知层次为主 进行试卷质量控制。同时，将试题等级的划分由命题专家自我评判法，改用计 算机技术进行确定。依据认知层次将试题的难度等级值定为6 个层次，并对难 度等级和难度估计值使用数学方法和统计学中的平均值进行确定。 1 计算机组卷算法的选用 自考课程门类繁多，试卷结构复杂，要求差异大是自考课程的特点，也是运 用汁算机技术组卷的难点，基于w e b 的自考试卷质量控制系统如何选择组卷算 法是系统能否有效控制试卷质量和完成组卷的重要坏节。表2 2 是计算机组卷的 几种常用算法的工作机制和条件比较，从表中算法的使用条件和特点可以看出， 这些算法各有自己的优势和适用坏境，从自考课程的复杂性分析，它们均可以 硕士学位论文 第二章基丁w e b 的自考试卷质量控制指标及方法分析 用于自考的组卷。 表2 2 计算机组卷的几种常用算法比较 ( 1 ) 遗传算法分析 1 s - 2 0 1 。上表中的几种组卷的算法虽说对课程复杂的自考 组卷而言都是可以采用的，但组卷效果较为理想的还是遗传算法。从表2 2 中可 以看出，遗传算法的使用条件对自考组卷适应性最好。自考组卷中，对试卷质 量指标的控制有多方面的具体要求，如总题量、平均难度、题型比例、章节比 例、重点章节比例、知识点的交叉与综合应用等，与遗传算法的二维性要求具 有很好的适应性。 这里需要说明的是遗传算法在组卷前，首先要组卷建立控制指标所对应的 状态空间d ，d 的每一行由某一试题的控制指标组成，如题号、题型、章节、难 度等，并且这些属性指标都进行编码表示成二进制形式，而每一列是题库中的 某一指标的全部取值。在具体应用时，考虑到考试可能不会用到所有的指标， 所以d 包含的个体d _ t a r g e t 可以表示为d r e q u e s t 和d v o i d ，d _ r e q u e s t 表示考试 要求的控制指标，dv o i d 表示考试不要求的控制指标。即 d _ t a r g e t - ：= ： ：2 0 ，1 ) m ：2 o ，1 ) n 使用的条件是试题库 s t k 】中的每一道试题在建库时都输入了相应的属性指 标。试题模型的产生形式是： i f t h e n ：2 0 ，l ，舟) m 拌表示0 和l 之间的任意一位。 组卷的具体算法如下： 硕士学位论文第二章基于w e b 的自考试卷质量控制指标及方法分析 ( 1 ) 根据结构卷要求，规划状态空间库d 中的数据，保留dr e q u e s t 部分， 而不要d v o i d 部分，对其剩余部分进行编码d 【1 】，d 【2 】，d 嘲。 ( 2 ) 初始化试题库【s t k 】。随机从题库中抽出一组试题，并进行编号 s t k 1 ，s t k 2 s t k j ，确定合适的交换概率p c 和变异概率p m ；并定义其适 应值f l e x i b i l i t y k ( k = l ，2 j ) f l e x i b i l i t y k 一0 ( k - - 1 ，2 j ) ( 3 ) 从试题库 s t k 】中取出s t k 【m 】( 0 m j ) 与状态空i 白j 库 d q h 的指标d n 】 ( o n i ) 进行匹配。如果s t k m 与d n 】完全匹配，则 f l e x i b i l i t y k 0 8 【0 2 ，0 3 】 o 2 5 基本早正态曲线状 o 6 0 - o 8 0 0 6 0 0 8 0 【0 15 ，0 2 】或 【0 3 ，0 3 5 】 0 2 0 0 2 5 略正( 负) 偏态 0 6 0 0 6 0 0 3 5 0 2 0 无规律 上表是常用的试卷质量评估指标，自考课程考核以全日制普通高校的课程 结业水平为标准，试卷用于考试后的质量评价的重点和方式与常用的方式有所 不同，作为学力水平测试考试，我们对试卷质量评价的目的是进一步分析和验 证系统对试题的层次等级和难度估计值把握的准确程度，以及试卷整体的信度 和区分度。为此，系统仍然对考后试卷进行了“五度”评价，将评价结果与系 统组卷时的数据进行比较，看两者的曲线图形是否具有近似性，若近似性良好 即说明专家评判法及试题抽样测试所得到的试题等级和难度估计值的精确度良 好，否则对相应试题的等级和难度估计值进行调整。同时，通过整卷的评价结 果也可分析根据结构卷指标所确定的试卷质量指标的准确程度，以及三种组卷 方式的有效性和准确性，系统通过这一思路来实现自考的试卷质量控制。 硕十学位论文第四章基于w e b 的白考试卷质量控制系统实现 第四章基于w e b 的自考试卷质量控制系统实现 4 1 开发工具与平台 系统开发使用j s p + s t r u t s 作程序主轴。以j s p 的灵活性将网页中的动态部 分与静态部分的h t m l 相分离。利用这些特性以提高系统的开发效率和开发质量。 后台使用o r a c l e 数据库，开发环境为e c l i p s e 3 2 + t o m c a t 5 5 。系统采用m v c 三 层架构，分别为控制器、视图、模型3 2 1 。如图4 1 所示： 厂、 厂、 一、 i c o n t r o l i 客户端 叫( 控制器) 卜 、 m o d e l 数 浏览器 ( 模型)据 库 1 。瓤卜 l 、“7 、。 图4 1 系统三层体系架构图 1 系统三层体系架构的几点说明： ( 1 ) 视图：s t r u t s 采用j s p 作为m v c 的视图，每一视图都是采用了定制标 签库的j s p 页面。这些定制标签库则由s t r u t sf r a m e w o r k 提供，全部表单元素都 是用定制标签编码的，所以这些页面能够很方便地与控制器交互。每一个表单 都通过映射j s p 到s e r v l e t 的请求这一方式指向控制器的特定入口。 ( 2 ) 控制器：控制器就是j a v as e r v l e t ，由s t r u t sf r a m e w o r k 提供，负责视 图和模型之i 日j 的交互，控制器的每个入口点都由名为s t r u t s c o n f i g x m l 的配置文 件设置。该文件把来自视图的请求映射为特定的j a v a 类以进行相应的处理，控 制器还指定下个视图的位置。 ( 3 ) 模型：j a v a b e a n 就是模型的代表。对进入控制器的每个入口点来说， b e a n 的作用是存储从视图获取信息，同时被称为“动作类”，一种j a v a 类则被 指定为对表尊输入采取行动。动作类( a c t i o nc l a s s ) 实现了业务逻辑。 2 技术要点：基于w e b 的m v c 模式，将系统的业务逻辑，用户视图，程序 状态模型完全封装成不同的模块中，从而提高了代码的重用性和安全性。 硕士学位论文第四章基y - w e b 的自考试卷质量控制系统实现 4 2 关键技术 4 2 1 通用w e b 信息系统框架的选用 基于w e b 的自考试卷质量控制系统的核心是实现系统生成的试卷质量能够 达到课程考试的参照标准和课程考核的内容要求。系统在设计组卷模式时，结 合课程特点采用了三种方式来完成组卷工作。系统以结构卷基础，完成了三种 组卷方式的分析、调整和实现，建立了多种途径的自考组卷模式，为自考组卷 提供了一个更为合理和高效的工作模式。同时，为了完成系统组卷中大量的计 算与统计分析和系统的组卷效率，系统选用了一个通用w e b 信息系统框架( 图 4 2 ) 来完成试卷信息模型的运用与考试试卷的输出工作【3 3 1 。 图4 - 2 通用w e b 信息系统框架 图4 2 的通用w e b 的信息