（教育技术学专业论文）自学考试通用题库管理系统及其智能组卷策略的研究.pdf

中义摘要 摘要 高等教育自学考试命题信息化现已成为教育部及全国各地区自考命题单位 研究的热点，已列入教育部考试中心“十一 ”事业发展规划。本研究作为天津 考试院自考命题处为实现天津地区的命题资源信息共享而进行的初探，隶属于天 津市教育招生考试院“十一五”科研课题“高等教育自学考试题库管理研究”的 子课题。本人承担了通用题库管理系统的设计与研发工作，并对基于遗传算法的 自动组卷策略进行了算法设计与实现。 本研究在进行了大量的文献检索和实际调研的基础上，以同趋成熟的题库建 设理论、经典测量理论以及教育部现代远程教育资源建设委员会颁布的现代远 程教育资源建设技术规范作为科学、坚实的理论依据和规范标准，结合我国高 等教育自学考试命题模式自身的特点，提出了适合于自学考试命题的题库系统的 设计原则，据此进行了系统的整体框架、功能模块和数据库的详细设计，完成了 自学考试通用题库管理系统的开发和技术攻关。 本研究提出了面向服务的“瘦”客户端新型体系架构，实现物理三层，逻辑 n 层的架构系统，减轻了频繁传送数据的网络传输压力，保障了系统关键数据的 安全，防止了核心技术的泄漏；成功地解决了长期困扰题库系统建设者的试题图 文混排的难题；实现w ，0 r d 试题的格式化、试题的批量导入和试卷的自动排版功 能；采用手动组卷、双向细目表组卷和全自动组卷多种组卷策略，以满足不同规 模题库的组卷要求。基于遗传算法的自动组卷采用了分段实数编码，具有自适应 性的交叉和变异遗传算子，基于知识点约束的分题型的组卷算法思想，对目前的 遗传算法组卷思想进行优化设计。 关键字：自考命题，题库管理，智能客户端，试题图文混排，遗传算法组卷 英文摘要 a b s t r a c t 1 h et e s t m a n a g e m e n ti n f 0 册a t i o nc o n s t t l l c t i o n i nt h eh i 曲e re d u c a t i o n s e l f - t a u g h te x a mh a sb e e nt h er e s e a r c hh o t s p o to ft h em i n i s t r yo fe d u c a t i o na n dt h e s e l f - t a u g h tt e s tu n i t sa l lo v e rt h ec o u n t r y 1 th a sb e e nc o n s i d e r e do n eo ft h e “1 1 1 h f i v e - y e a r ”d e v e l o p m e n tp r i ) j e c t si nt h et e s tc e n t e ro ft h em i n i s t r yo fe d u c a t i o n a s t h ef i r s te x p l o r a t i o no ft h es e l f - t a u g h t7 r e s ts e c t i o ni nt i a n ji n7 r e s tl n s t i t u t i o ni no r d e r t or e a l i z et h es h a r eo fq u e s t i o nr e s o u r c e ，t h i sr e s e a r c hi st h es u b j e c t i o no ft h e “1 1 t h f i v e y e a r ”s c i e n t i f i cr e s e a r c hp r o j e c tt h a ti sn a m e dt h er e s e a r c ho fq u e s t i o nb a n k m a n a g e m e n ti nh i g h e re d u c a t i o ns e l f t a u g h t r e s t t h ea u t h o rh a st a k e nc h a r g eo ft h e r e s e a r c ha n dd e s i g no fg e n e r a lq u e s t i o nm a n a g e m e n ts y s t e ma n dt h er e a l i z a t i o no f a u t o c o n l p o s i n gt e s tp a p e rs t r a t e g yb a s e do ng e n e t i ca l j g r o r i t h m b a s e do nt h es t u d yo fs o m el i t e r a t u r e sa n dp r a c t i c a lp “) j e c t s ，t h i st h e s i sh a s p r o v i d e dt h ed e s i g np r i n c i p l e ，t h ew h o l es t r u c t u r e0 fs y s t e m ，t h ef u n c t i o nm o d u l e sa n d t h ed e t a i ld e s i g nf o rd a t a b a s e ，a n df i n i s h e dt h ed e v e l o p m e n ta n dt e c h n o l o g yr e s o l v i n g ， a c c o r d i n ga st h e i t e mb a n kt h e o r i e s ，e d u c a t i o n a lm e a s u r et h e o r i e sa n dr e l e v a n t c r i t e r i o n s ，c o m b i n i n gt h ec h a r a c t e ro fs e l f - t a u g h tt e s tm o d e li no u rc o u n t r y t h i sr e s e a r c hh a sp r o v i d e dan e ws y s t e m a t i cs t r u c t u r et h a ti s “s e r v i c e o r i e n t 锄d t h i n ”c l i e n tp o r t ，r e a l i z i n g3 t i e r so np h y s i c a lf a c e ta n dn - t i e r so n l o g i s t i cf a c e t ， m i t i g a t i n gt h ef r e q u e n t l yi n t e m e tt r a n s m i t t e dp r e s s u r e ，e n s u r i n gt h es e c u “t yo fs y s t e m k e yd a t a ，a v o i d i n gt h el e a ko fc o r et e c h n o l o g i e s t h i ss y s t e mh a ss o l v e dt h ep r o b l e m o fm i x 铲a p h i ca n dt e x ts u c c e s s f u l l y ，a n da c h i e v e dt h ef o m a t t i n go ft h eq u e s t i o n s w r i t t e ni nw b r d ，t h eb a t c hi n p u ta n dt h e a u t o t y p e s e t t i n g 1 th a si n t r o d u c e dt h e c o m p o s i n gp a p e rs t r a t e g i e st h a ta r em a n u a l ，b i l a t e r a lt a b l eo fd e t a i l e dc a t a l o g u ea n d a u t o m a t i ct om e e tt h en e e d so fd i 骶r e n tq u e s t i o nb a n ks i z e t h ea u t o m a t i cc o m p o s i n g p a p e ra l g o r i t h mb a s e do ng e n e t i c g o r i t h mh a sa d o p t e ds e c t i o n a lr e a ln u m b e r c o d i n g ，a d a p t i v ea r i t h m e t i co p e r a t o r su s i n gf o rc r o s so rm u t a t i o na n dt h et h o u g h tt h a t t h eq u e s t i o nt y p e sa r ed i v i d e db a s e do nk n o w l e d g e - r e s t r i c t e d k 沁yw o r d ：s e l f - t a u 曲tt e s t ，q u e s t i o nb a n km a n a g e m e n t ，s m a nc l i e n t ，m i x 铲a p h i c 柚d t e x t ，c o m p o s i n gp a p e ru s i n gg e n e t i c 灿9 0 i t h m i l 独创性说明和版权使用授权- f 5 独创性声明 本人声明所甲交的论文是我个人在导师指导下进行的研究i ：作及取得的研究成果。尽我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研 究成果，也不包含为获得丕鲞! 重基盘堂或其它教育机构的学位或证i s 而使用过的材料。 与我一同i ：作的同忐对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文版权使用授权书 本人完全了解大津师范人学有关保留、使用学位论文的规定，即：学校有权将学位论文 的全部或部分内容编入有天数据库进行检索，并采用影印、缩印或扫描等复制下段保存、汇 编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的论文在解密后应遵守此规定) 签名： 第一章绪论 第一章绪论 本研究隶属于天津市教育招生考试院“十一五”科研课题“高等教育自学考 试题库管理研究”的子课题。本人承担了通用题库管理系统的设计与研发工作， 并对基于遗传算法的自动组卷策略进行了算法设计与实现。 1 1 课题研究背景及意义 高等教育自学考试是我国高等教育制度的重要组成部分，“是个人自学、社 会助学和国家考试相结合的高等教育形式”，是我国改革开放以来教育制度的一 项重要创新，它是世界上规模最大、最能体现终身教育理念与学习型社会特点的 教育形式。 命题工作是自学考试整个工作流程中的关键，如何更好地实施该工作也成为 教育部及全国各地区自考命题单位研究的热点。随着计算机网络的快速发展，有 关自学考试命题的信息化建设也被提上了日程。全国自学考试题库和命题管理信 息系统建设工作研讨会于2 0 0 6 年4 月在浙江富阳召开，全国1 5 个省( 市) 命题 中心的代表参加了会议，会议目的是交流自学考试题库建设的经验，研究如何进 一步提高题库建设和管理的规范化、科学化水平，确保命题安全和质量，同时研 究如何推进命题管理信息化建设，提高命题工作效率。 戴家干主任在会议上发表了讲话，提出了考试中心“十一五”事业发展规划， 明确了未来五年考试中心的发展目标，即要建立“国内领先、国际知名、服务教 育、面向社会的专业化考试与评价服务机构”。戴家干主任还特别提出：积极 稳妥地推进自学考试题库的规范化建设和命题管理信息化建设工作，集成全国各 地区命题资源信息，开展网络资源共享服务，建设自学考试命题资源共享信息管 理系统平台，是考试中心下一步自学考试命题工作的重点。乜1 天津教育招生考试 院自考命题处积极响应中央教育部号召，为改进原有传统的命题模式，将命题管 理工作电子化、规范化，决定研发自学考试通用题库管理系统，为实现命题资源 网络共享迈出峰实有力的一步，加快命题管理信息化建设的工作进程。 第一章绪论 1 2 国内外题库系统的现状 目前的题库系统依据规模和范围划分，主要分为局域网和广域网两种，其拥 有各自优势的同时，也存在一定的缺陷亟待解决： 1 局域网题库系统 局域网题库系统一般都充分利用了局域网内带宽高、稳定性好的特点，多采 用c s 模式，拥有较强的功能和较好的用户体验，但存在以下问题： ( 1 ) 范围集中，规模小 这些题库系统大都适用于单一学科或某单位自行组织的小型考试中，要求命 题及出卷教师使用该系统时的地点必须集中，如果要求系统拥有更大范围的局域 网，这势必会增加硬件投资，加大考试成本的投入。 ( 2 ) 系统管理维护比较复杂 这样的题库系统要求为每一位用户的计算机单独安装和配置一个客户端程 序，系统管理员既需要维护服务器端程序，也需要维护每一台客户端的程序；并 且有些核心程序写在客户端，容易被某些客户端恶意反编译，从而截取系统的核 心技术或权限之外的数据。 ( 3 ) 系统升级比较困难 如果对这样的题库系统进行升级，需要更新每一客户端的软件，尤其在相对 规模较大的局域网内，工作量会更大。 2 广一域网题库系统 目前的广域网题库系统大都采用基于w e b 的b s 模式，可以在i n t e r n e t 上运 行，客户端只需安装浏览器即可，没有额外的需求，但是使用h t m l 页面作为试 题内容的编写方式也有以下缺陷： ( 1 ) 试题内容表现方式存在不足 用h t m l 页面表现试题内容可以有两种方式：一是图片和文字分离的方式， 二是图片方式。对于前者来说，试题内容数据分离( 图片、文字独立存储) ，加 大了系统管理工作的难度；对于后者来说，制作大量的图片需要专业人员的参与， 而且不支持试题的在线编辑。 ( 2 ) 浏览器控制能力弱 通常，浏览器是一个功能相对较弱的应用程序，其内的h t m l 页面的功能更 2 第一章绪论 弱，对用户只有很小的约束性；而命题_ t 作是一项严格保密的工作，需要对客户 行为有较强的控制能力，这一点，用纯粹的h t m l 页面作为客户界面不太合适。 ( 3 ) 用户体验比较差 命题及组卷工作是一项交互性很强的工作，通常还需要其他客户端应用程序 的辅助( 如w o r d ，e x c e l 等) ，用以实现试题的批量导入和试卷的排版打印等； 而基于浏览器的系统无法控制客户端应用程序，用户只能通过提交表单请求服务 器端处理，使客户端的功能扩展方面受到很大的局限。 本系统在设计初期，进行了大量的调研，对国内外各种类型的题库案例进行 了功能分析，以下介绍几个典型的题库系统，笔者在此基础上确定了本系统的开 发方案。 海天题库管理系统：口h 海天题库管理系统”是由北京宝娃科技有限公司开 发的基于c s 模式的单机版题库管理软件，集题库管理与试卷管理于一身，具有 试题录入、题库导入导出、试卷管理、手动组卷和自动组卷等功能。其中，题库 的导入导出功能生成自定义的文件类型，便于题库的传递和共享，并可与该公司 网站相结合，用户能方便地上传与下载题库，从而能迅速地扩充题量，从而减轻 繁重的试题录入工作。该系统的自动组卷采用按知识点一题型随机抽题方式，算 法相对简单，生成的试卷没有排版功能。 中基考试系统：n h 中基考试系统”是由中基教育软件有限责任公司研发的 基于w 朗形式b s 结构的智能题库系统，能够和城域网现有的主页或其它基于 w e b 形式的应用结合在一起，能够满足单机、网络教室、校园网、网校和城域教 育网等各种应用环境的需要，其目标是给城域网或学校客户提供一个网络化的题 库管理和试卷自动生成系统，旨在提高考试出题判卷效率、及时反馈教学效果和 教学质量。它主要用于课堂习题训练、自测、作业靠置、阶段性综合练习及期中、 期木考试、学科竞赛等。系统主要包括出卷中心、考试与评测中心和管理中心 三大模块。 全美测评软件系统有限公司( a t a ) 璐1 于1 9 9 9 年在美国纽约成立，是一家从 事计算机化的考试服务的专业公司。它为考试主办方提供命题服务、操作类标 准化电子试题制作服务以及考试发布与运营服务，其中命题服务包括四个阶段的 服务，即考试整体设计、试题丌发、试题组卷、测试版考试发布；a t a 提供了增 3 第一章绪论 强版的标准化制题工具一a t a m l 。通过a t a m l 可以轻松制作单选多选题、判断题、 拖拽题、填空题、连线题及支持多媒体播放类型的试题，同时提供操作类试题， 可以对考生操作计算机的过程进行跟踪；考试发和与运营为客户提供了4 种典型 的考试系统：即报即考模式、统考模式、同常考试模式、在线模式。考试主办方 可以根据自身业务所确定的报名方式、是否需要现场判分、是否需要考场编排等 因素从以上模式中任选其一，并同时提供考试安全和数据管理服务。由考试主办 方向a t a 提出需求，定制自己的考试方案。笔者对其分析认为：这种模式规范了 电子化考试的流程，统一了各种考试认证相互独立的局面，加强了考试的安全性， 有利于考试官方机构宏观控制各种社会考试的运营，为社会考试的正规化建设指 明了前进的方向。3 1 3 研究自学考试通用题库系统的可行性 目前，国内各种行业考试种类很多，部分行业也在努力尝试建立各种题库， 例如：国家人事部组织的计算机应用能力职称考试、公务员考试等都建有题库， 甚至开展网络化考试，但这些考试往往考试科目单一，考生数量相对较少，便于 国家主管部门统一集中管理；但自学考试与之不同，以天津为例，现已开考1 2 0 多个专业，l 0 0 0 多门课程，而每次开考的7 0 0 多门课程中就有5 0 0 多门需要自 主命题，这个数字还将随着社会的需求和考生更新知识的要求而同益增加。所以 说，研发命题资源共享信息管理平台是规范命题流程、提高命题质量的必然之举， 也是大势所趋。 建设自学考试命题资源共享信息平台系统的目标是面向各地区考试机构及 命题中心提供试卷和试题的共享服务；集成已有的信息资源，制定国家自学考试 命题资源共享的建设系列标准规范和共享协作机制，用于指导目前以及今后的命 题信息资源共享工作，为各地区命题资源的整合与共享打下坚实的基础，其建设 内容具体分为五个阶段： 1 制定命题资源共享的相应标准规范和共享相关制度的办法； 2 集成、开发关键技术，建立信息服务平台与数据库，包括制定和实施数 字化命题资源共享机制和管理办法； 3 整合当前命题库，进行数字化加工和丌发； 4 第一章绪论 4 丌展网络资源共享服务； 5 依托国家和地区的考试机构及命题中心，创建命题共享的管理机构，明 确命题共享的管理机制，摸索出命题资源的知识产权保护的相关办法。 本研究则是天津考试院自考命题处为实现天津地区的命题资源信息共享而 进行的初探，对目前天津地区自主命题的课程进行了调研，改进了其原有命题的 流程，对机械重复的工作实现了自动化，对试卷版面的布局实现了统一化，同时 对现有的题库实现了批量兼容，有利于“考教分离”的实现和试题库的累积。 1 4 本研究的主要工作 经过两年来的调研、设计和开发，笔者依据天津考试院的需求，完成了系统 的绝大部分功能模块，成功地解决了w b r d 试题的单题、批量入库，实现了试题 的图文混排和试卷的标准化排版，规范了双向细目表具体的组卷流程，探索了基 于遗传算法的自动组卷算法设计。纵观软件开发的整个流程，分四个阶段来阐述 笔者所做的主要工作： 1 系统的需求分析阶段 通过同考试院命题处的领导和老师们讨论，了解命题处当前的命题流程、现 有题库和试卷的存储情况；并调查现有命题系统的开发情况，结合国家考试中心 “十一五”规划方案，针对现有工作模式提出改进型建议，共同制定了系统的需 求分析。 2 系统的设计阶段 根据命题处的需求，依据题库建设理论，研究现有的体系架构，结合自考命 题本身的特点，设计出计算机辅助命题的流程，进行功能模块设计、数据库设计 和安全性设计；并制定了多种组卷策略；确定了系统的总体设计方案。 3 系统的开发阶段 根据上一阶段确定的方案，搭建相应的体系架构，对各个功能模块进行代码 的编写和调试，并对其中的关键问题进行技术攻关。 4 系统的测试和部署阶段 对各模块分别进行功能性测试，并对系统进行整合测试，在测试过程中对系 统不断修改和完善。 5 第一二章奉研究的理论依据分析 第二章本研究的理论依据分析 2 1 题库建设理论 题库建设是个艰巨的系统工程，整个工作过程必须要有坚实、科学的理论基 础，它规范了题库的标准化要求以及题库建设的必要流程，为本系统的题库开发 提供了根本的建设原则。 2 1 1 题库的特征与要求 所谓题库，是由许多使用于不同目的、技能和任务需要，且具有必要参数的 大量优质题目组成的集合f 7 1 。题库的题目是供测验编制者能根据需要按预定的要 求出题，当题库中的题目内容恰当且技巧完备时，测验编制者的工作就会变得简 单且卓有成效，所编制出来的测验质量也会高于命题者自己编制的试卷。利用计 算机十分方便对题目的贮存和回收，并编制各种类型的测验，同时还可不断补充 和修改题目，甚至排版印刷，大大地增加了题库的功能并且方便了使用者。建立 标准化的题库有如下要求： 1 有高素质的命题教师队伍 试题库建设不仅仅是简单的将试题组织在起，它要求命题教师具有多方面 的知识。首先要求教师精通本门学科的专业知识，其次还要对教育测量学、教育 统计学、教育评价学有所了解。 2 试题应标准、科学、准确 试题库中的试题内容要科学，格式要标准，表述要准确。试题之间应彼此独 立，不可相互提示、相互矛盾。 3 试题库应适时更新 试题库的建立不是一劳永逸的，试题库需要不断充实，不断更新。试题库中 的试题应该随着教学内容和教学要求的变化而相应变化，以适应学科发展和考生 水平变化，这对于延长试题库的生命周期有重要意义。 4 试题库中的试题应具有一定规模 6 第一二审奉研究的理论依据分析 试题库中的题量必须达到足够容量，否则就会失去试题库的价值。单科试题 根据知识点、难度、题型等参数的要求，应具有合理的比例结构，其题量也应具 有一定规模，尽管很难给出一个具体的量化标准，但笔者认为至少应能保证抽取 的试题重复率不超过1 0 为佳。 2 1 2 题库建设流程 试题库的组建应遵循以下几个步骤： 1 题库的结构设计 对题库的整体结构进行设计，也包括试题的各属性的设置和度量标准等。 2 试题精选 试题库中的试题应是精心挑选的，必须符合教学大纲和考试大纲的要求，这 样爿能保证试题质量。具体可由该学科具有丰富教学经验的教师组成命题组，负 责试题的收集与整理；由该领域专家组成监督组，负责试题的审核与评定。 3 试题测验 组织学生进行试题测验，对学生测验得到的反馈信息进行综合分析，从中筛 选出合适考试的题目，并对试题难度、区分度等参数进行指定，这些参数指定后 不应一成不变，而应依据每次测验的分析结果，实现对试题参数的自动修正。 4 试题存储 经过前两个步骤筛选出来的试题，根据其难度、区分度等参数进行整理编排， 按数据库的存储要求进行存储。为提高试题库管理效率，可以丌发试题库管理系 统束实现试题入库存储，既能使操作简单易行，又能使试题的存储方式灵活多样。 5 试题维护 试题维护就是要经常检查试题的思想性、科学性，根据学科内容和考生水平 的发展不断地对题库中的试题做相应的补充、修改和删除工作，及时修正试题的 各项技术参数，以满足未来命题的需要。 2 1 3 试题库的结构 在试题库的建设中，设计一个优良的试题库数据结构是非常重要的，题库的 结构决定每道题的特征属性，它是决定成卷质量高低的重要因素。因此，必须设 7 第二章奉研究的理论依据分析 计合适的题库结构，以保证其对教学内容的完整覆盖，体现教学目的，反映教学 大纲，并使试题难度和区分度符合目标考试的要求。一个题库系统的性能评价主 要取决于自动组卷算法和相对于算法的试题的库结构、试卷的库结构。数据库结 构设计是设计组卷算法的重要依据。 本系统在具体实现时，依据自学考试原有试题卡( 见附录3 ) 的要求，对每 道试题归纳为以下基本特征属性，如表2 1 所示： 表2 1 试题的特征属性 属性名相关描述 试题标识 所属课程 默认分值 所在教材页码 所属章 所属1 了 难度等级 | 又：分度 能力层次等级 试题题干 选项a 内容 选项b 内容 选项c 内容 选项d 内容 选项e 内容 试题参考答案 试题入库时间 最近修改时间 选中次数 当前抽题是否选中 最近一次选中时间 试题类型 所属题型模板 试题状态 试题的唯一标识，每道试题的标识不允许重复 试题所属的具体课程标识 试题提供的默认分值( 教师可根据需要适当调整) 试题出白教材中的页码数，方便试题来源的界定 试题所属考试人纲中的某章 试题所属考试人纲中的某节 试题的雉易程度( 分为四级，即易、中等偏易、中等偏难、难) 试题的i 又：分科度( 定义为0 1 之间) 试题所要求达到的能力层次( 分为四级，即识记、理解、简单应 用、综合府川) 记录试题的题干内容( 二进制流) 记录选择题的a 选项内容( 1 卜选择题为空，二进制流) 记录选择题的b 选项内容( 非选择题为空，二进制流) 记录选择题的c 选项内容( 非选择题为空，二进制流) 记录选抒题的d 选项内容( 1 f 选择题为空，二进制流) 记录选择题的e 选项内容( 1 卜选择题为空，二：进制流) 记录试题的答案信息( 二进制流) 记录试题存入题库的时问 记录试题最近一次修改的时间 记录试题曾经被命中的次数 双向细日表组卷中用丁记录该题是否已抽取，避免重复抽题 记录试题最近一次抽中的时间( 防止连续几次考试抽重复题) 试题所属的类型 试题题型所属的模板( 相同题型有不同的排版模式) 试题当前是否可用( 只有可用的试题组卷时才有可能被抽到) 2 1 4 题库建设理论对本研究的指导 题库是大量的已有各种参数的高质量试题的有序存贮。但存贮是为了应用， 它是为了解决考试事业发展过程中命题工作的矛盾，为高效、经济地生成具有种 8 第二章本研究的理论依据分析 种优良测量学特性的试卷服务的，所以，题库是存贮性和生成性的统一。只有高 质量地大量有序存贮，形成动态系统，才能更好地为生成服务。这是本系统建立 题库的基本指导思想。在题库的建设和应用方面本系统有如下特点： 1 本系统建立一个适合多学科的通用题库系统，支持题型的多样化，并设 计了全面且详细的试题参数，囊括了试题的全部属性，便于按不同的参数对试题 进行分类汇总。 2 系统支持对试题的动态维护。随着时间的推移、考试大纲的变化，或是 试题曾经被命中过，其难度、区分度等参数会相应的发生变化，系统会对每次考 试的结果进行分析，重新计算出试题的参数，并建议教师及时修正，以满足今后 命题的需要。 3 题库建设理论中对试题的安全性要求较高，尤其是在诸如自学考试之类 的大规模考试。本系统从两方面保障试题的安全：一是从试题的存储方式，试题 从应用程序前台界面获取后，将其转换为二进制流，进行加密后再存入数据库。 只有使用该系统才能还原试题；二是设置了试题的更新权限，只有该学科的主管 教师才能直接修改试题库，参与命题的普通教师允许对试题进行修改，但将其修 改保存至临时库中，只有得到主管教师的批准才可对题库进行更新。 4 系统建立多种形式的试题统计细目表，可以分别根据题型一难度、题型 一区分度等统计试题的数量，便于从宏观上把握试题的分御情况，并根据分布及 时补充所需的试题。 5 提供了多种组卷策略，可根据题库中的试题量选择合适的组卷策略。 2 2 教育测量理论 教育测量理论的发展经历了两个时期：5 0 年代之前只有真分数理论起作用， 称为经典测验理论阶段；5 0 年代至今，除经典测验理论外，还有项目反映理论、 概化理论等，可称为多种理论并存阶段。 经典测量理论在测验发展中有着特殊的地位，它既是历史上的第一个测验理 论，也是测验的最一般、最基本的理论，应用极为广泛。现代测量理论大多是在经 典测量理论的研究基础上，针对它在某各方面存在的问题发展起来的。如项目反 映理论，就是为了克服经典测量理论中题目参数等指标的变异性发展起来的；概 9 第- 二章奉研究的理论依据分析 化理论是针对经典测量理论的信度问题发展起来的。 2 2 1 经典测量理论( c t t ) 1 经典测量理论的内容 经典测量理论是1 9 世纪初提出、到5 0 年代臻于完善的一种理论，具有很强 的生命力和广阔的应用前景。经典测量理论的特点之一就是各种测验的参数须从 考生样本中求得，经典测量理论的理论基础是真分数模型。所谓真分数，其数学 上的定义为：测量上被试的真分数是观测分数( 或说测量实得分数) 的期望值。 1 8 1 可以公式2 1 表示： 丁= y( 2 1 ) 式中：x 为被试在测验上的实得分数，崩代表x 的数学期望，t 即被试的真分 数。显然，在此意义上的真分数是不能直接测量得的，因为据上式可将t 解释为 被试在无数多次独立重复测量上获得的平均观测分数。即 x 暑o6 t = l i m 上l 一 ( 2 2 ) k 一* k 从信息论观点出发，可对真分数作出定性的解释：任何一组信息都包含有真 正的信息信号和无关的信息。心理与教育测量的目的在于获得被试的真正信息， 排除无关信息。测量上，真f 的信息称为真分数，无关信息称为误差。因为误差， 直接测量而得的观测分数便会在一定范围内波动。经典测量理论的真分数模型对 此进行了简单而有效的描述，提出了一系列基本定义和推导。1 9 l ( 1 ) x = t + e( 2 3 ) 其中，x 是被试在测验上的观测分数，t 是被试的真分数，e 为测量误差。 此式定义：观测分数是真分数与误差分数之和。 ( 2 ) 于：i( 2 4 ) 此式定义：真分数与观测分数的各自平均数相等。 ( 3 ) se = 0( 2 5 ) 此式定义：误差分数的期望值为o 。 ( 4 ) p 陋一0 ( 2 6 ) 1 0 第二二章奉研究的理论依据分析 此式定义：真分数与误差分数的相关为0 。 ( 5 ) 肛e ，= o ( 2 7 ) 此式定义：不同测验误差之间的相关为o 。 依据上述的定义，所有有关经典测量理论及方法，所应用的各种公式及定义， 均是依据真分数理论的模型推导而来。 2 经典测量理论的应用价值和局限性 经典测量理论有其广泛的应用价值： 该模型是以弱假设为基础的，亦即这些假设很容易验证并易于被绝大多数测 验数据资料所满足。经典测量理论因而得以在此基础上建立一整套理论及统计分 析方法。该理论要求被试完成一定的作业或试题，然后根据其实际作答的表现来 推论和评价其发展水平，因此，教育测验编制的程序和要求、测验题目的质量的 定性与定量分析、测验本身质量的信度、效度的评估等等，皆能反映经典测量理 论的影响与限制。 但也有其局限和不足： ( 1 ) 在真分数模型中，问题的核心是观察分x ( 以及真分数t ) 并不位于等距 量表上，即x 和t 是按照所回答的特定项目来定义的，那么回答比较容易的题 目的被试会获得较高的x 和t 值。因此，从两组测验题目中得到的x 和t 是不 可比的，除非两个测验完全等值但这很难做到。 ( 2 ) 依据经典测量理论的统计分析方法得到的各项指标，依赖于他们所来 自的特定的被试样本，与被试样本组的能力水平有关； ( 3 ) 真分数模型中已指出测量误差的存在，但其给出的误差线性模型是粗 糙的，对测试误差的形成没有进行更深入的研究，故不可能区分各种各样不同的 误差。 2 2 2 项目反映理论( i r t ) 项目反映理论在国外发展相对较快，但在国内的研究还处于理论探讨阶段。 该理论假设被试对测验的反应受某种心理特质支配，于是我们就可对这种特质进 行界定，然后据此估计出该被试这种特质的分数，并根据其高低来预测、解释被试 对项目或测验的反应。因此项目反映理论主要用于建立各种与数据拟合的模型， 第一二章本研究的理论依据分析 以此确定被试的潜在特质值和他们对于项目的反应之间的关系。 1 项目反映理论的优点【1 0 】 项目反应模型是表示考生能力和考生对考试项目( 试题) 正答概率之间关系 的数学形式，主要有l 0 西s t i c 模型、正态卵形模型纠1 1 l 。项目反应理论针对传统 的经典测量理论的固有缺陷，进行了部分改进，有其特有的优点： ( 1 ) 采用非线性模型，建立了被试对项目的反应( 观察变量) 与其潜在特 质( 潜变量) 之间的非线性关系；它采用局部独立性假设的方法，每个项目都各 自有一条项目特征曲线，针对曲线的横轴能力水平上的某点，被试有一相应 的答对概率； ( 2 ) 对被试能力估计不依赖于特定的测验题目，不同的测验结果可直接比 较；项目反映理论提出了适性测验、测验等化的概念，即是根据每个被试的不同 水平，对不同被试实施不同的测验项目，并使这些项目的难度和被试的水平相适 应。其方法是先给被试呈现一道中等难度的项目，根据被试的反应情况，再从题库 中选择下一个题目呈现给被试。在这种情况下，被试能力就很容易比较了。适性 测验的另一个优点是，能力高的被试不会要求回答低难度的项目，于是增加了挑 战性，而能力低的被试又不会由于要求回答高难度的项目而失去了信心。 ( 3 ) 可以预测被试在一个新测验项目上的正确反应概率；项目反映理论的 项目特征曲线就明确表示出被试能力与项目的关系。只要已知被试的能力值，就 可预测出它们可能达对某个项目的概率。 ( 4 ) 采用项目信息函数，将反映项目特征的难度、区分度和猜测参数合而 为一，它反映各个项目对不同能力水平被试所能提供信息的多少，信息量大，测量 标准误差小。 2 项目反映理论存在的问题和不足 ( 1 )由于其理论假设建立在较深奥的数学基础之上，所以普遍性上有一定 的难度； ( 2 ) 由于项目反映理论从测量模型的理论框架来讲，多采用l o 计分的单 维模型，不适用于现有考试中的多种题型，故造成其应用上的严重局限； ( 3 ) 由于受到苛刻的假设限制，必须要有大样本进行配合，否则精确性不高； ( 4 ) 项目反映理论至今对经典测验理论许多研究领域未能给出什么新的观 1 2 第二章奉研究的理论依据分析 点与方法，或作出进一步的解释； ( 5 ) 在应用过程中多以先进的电脑科技作为辅助，使该理论目前只能适应 一些上机考试，不能适应如自学考试等大规模的统一纸质试卷考试。 2 2 3 概化理论( g t ) 概化理论又称为概括力理论或拓广理论，是克隆巴赫等任在1 9 6 3 年提出来的 测量学理论，与经典测量理论和项目反映理论一起，成为当今世界上最有影响力 的测量学理论。它将因素试验设计及其分析、方差分量模型等统计工具应用到教 育与心理测量学，对经典测验理论中的一个重要概念信度进行了推广，即结 合测量的情境关系对经典测验理论给出的笼统的误差进行探查和分解，辨明误差 的不同来源，并且在一定范围内变动测量的情境，考查这种变动引起的误差的相 对变化，从而达到对误差方差进行控制，提高测验“信度”的目的。n 2 1 概化理论主要涉及到三个基本概念：即( 1 ) 测量目标，即测量所要描述和 研究的那个心理特质；( 2 ) 测量侧面( f a c e t ) ，是指影响测量过程和测量结果的各 种内外在因素，一个测量侧面就是某一方面的测量条件；( 3 ) 测量情境，是由测 量目标和测量侧面构成的。 概化理论的全过程分为概化研究( 即g 研究) 和决策研究( 即d 研究) ，在d 研究中，要尽可能多的估计出测量过程中所有误差来源的变异分量，根据决策的 需要，通过调整测量过程r j 各方面的关系( 如凋整各个侧面样本的大小、调整各 个侧面的关系等) ，使测量误差最小。故g t 在解决一些情景比较复杂的实际测评 中有很大的优势。 但在具体的测量应用上，概化理论用于实测数据的事后分析是比较理想的， 但对于事先指导则稍逊一筹。1 1 3 l 2 2 4 经典测量理论在本研究中的应用 由于经典理论思想简单易懂且方便实施，并为广大教学工作者广泛接受，在 各个大规模考试中已经形成了相对固定的体系，其会在相当长的一段时间内存 在。而概化理论和项目反映理论克服了经典论的某些缺陷，具有一定的先进性， 但不难看出，二者并没有对经典测量理论全盘否定，也没有从根本上解决经典测 1 3 第二章奉研究的理论依据分析 量理论存在的问题，故笔者认为，今后我国的测验理论发展的新趋向将是以项目 反映理论为主体，与其他理论并存的一种局面，特别是建立在项目反映理论基础 上的计算机适性测验则是未来发展的新趋势。 但就目前而言，项目反映理论在大规模多题型的统一化考试中还不够成熟， 尤其在自学考试中，它很难适应自考中学科繁多，题型多样，命题统一的特点； 故在我国对教育测验理论的大多应用中，是以经典测量理论作为理论和方法的指 导的，我国的教育工作者在使用过程中，逐步加深了对经典测量理论的认识，并 在实践中不断形成和完善了一套适合我国国情的具体应用方法和应用原则。而本 系统以命题处原有的命题模式为依托，目的在于实现命题和排版的自动化，使用 项目反映理论有悖于系统的需求，所以，本系统依然使用已成熟且使用多年的经 典测量理论作为系统的理论出发点，并结合现有测量技术对经典测量理论中的不 足加以改善，减轻教师的命题工作量。 本系统遵循经典测量理论，并结合自学考试的命题特点，对考试的分析和评 价分两方面进行。一是对各个试题进行的分析，称为项目分析；二是对整个试卷 或考试进行的分析和评价，称为整体分析。 1 项目分析 ( 1 ) 难度：指试题的难易程度；在本系统中分为易、中等偏易、中等偏难、 难四个等级； ( 2 ) 区分度：指测验项目对被试者的区分程度或鉴别能力，通常利用两端 分组法来计算区分度，即比较得分在高、低两端的被试者通过该题目的比率；在 本系统中区分度介于( 0 1 ) 之间； ( 3 ) 能力层次：指试题对被试能力水平提出的要求，本系统采用一套四层 次的认知目标分类法，即识记、理解、简单应用、综合应用。 2 整体分析 ( 1 ) 信度：是对测量一致性程度的估计，是考试结果的可靠性指标； ( 2 ) 效度：是考试的有效性指标，即考试实现的所要测量的知识、技能和 能力的精确程度。对结果而言，效度反映了考试是否准确、真实地测量了索要测 量的内容，是综合衡量系统误差和随机误差控制程度的指标。 1 4 第一二章本研究的理论依据分析 2 3 现代远程教育资源建设技术规范 2 3 1 相关技术规范对题库的要求 教育部现代远程教育资源建设委员会于2 0 0 0 年5 月颁布了现代远程教育资 源建设技术规范( 以下简称规范) ，【1 4 】它是一个较为宽泛的标准，主要侧重 点在于统一资源开发者的开发行为、丌发资源的制作要求、管理系统的功能要求； 包括媒体素材库、题库、案例库、课件库和网络课程建设，以及适合多种教学模 式的教学支撑系统和现代远程教育管理系统的研制丌发。其中，规范中针对 题库的理论模型、试题组织、分布结构、质量要求和功能模块等方面分别加以规 范。【1 5 l 【1 6 】 1 理论模型 所有学科的网络题库，都应遵循经典测量理论的指导，要严格按照经典测量 理论的数学模型开发题库管理系统、组织试题； 2 试题组织 试题的组织与编写必须以学科的知识点结构为依据，建设题库之前，必须首 先确定学科的知识点结构，在组织试题时，尤其是在设计题库管理系统时，要充 分考虑并适应这种学科知识点结构的区别； 3 试题的分稚结构 试题数量要足够多，在各指标属性区间内均衡分布，核心属性有知识点：难 度与认知分类，以这三个属性为核心，形成三维立体交叉网络，网络上的每个交 叉结点上都有合理的试题量，在保证这个核心结构的基础上，还应注意试题在题 型和区分度上的合理分布，要处于基本的均衡状态。1 1 7 l 4 试题的质量要求 试题内容要科学，无学术性错误；无歧义性，表述简单明确；无关联性，试 题之间不能有相互提示，不能相互矛盾；试题参数标注要尽可能符合客观实际。 5 题库的基本功能 ( 1 ) 试题管理：试题的查、录、删、改。录入试题时分两种情况：单题录 入和批量录入。单题录入指通过程序的录入界面一道一道地录入；批量录入指将 利用字处理软件将大量的试题处理成一定格式的文档，录入程序处理此格式的文 1 5 第_ 二章奉研究的理论依据分析 档，一次性将所有试题录入题库中。1 1 8 j ( 2 ) 组卷：按照一定的组卷条件，组成符合学生和教师使用的试卷。组卷 策略的存储和使用是指具备预先存储组卷参数的功能，对于一些典型的组卷方 式，用户便无需每次都要输入组卷参数。 ( 3 ) 统计分析：包括试卷分析和试题分析，试卷分析指分析某次考试的效 度、信度、得分分布等信息；试题分析指通过考试成绩及参与考试的样本，对出 现异常反应的试题提出警告，以及对专家估计的试题属性值进行自动校正等等。 ( 4 ) 试卷库管理功能：能够存储系统自动组成的试卷，也可存储外来试卷， 供用户查询使用。 2 3 2 相关技术规范是本研究的参考标准 笔者在对系统进行具体设计之前，研读了教育部颁布的现代远程教育资源 建设技术规范，并将其作为本系统题库建设的参考标准。规范指出了建设题 库应具备的最基本要求，本系统依据规范中的要求，实现了试题的单题录入 和批量录入、组卷策略的多样化及存储、试题和试卷的统计分析、试题库的动态 维护等，并在此基础上进行功能的扩充，实现了试题严格的权限管理、考试成绩 单的生成和成绩的录入等，使其更加适应自学考试的命题要求。 1 6 第三章自学考试的特点及命题的流程分析 第三章自学考试的特点及命题的流程分析 3 1 自学考试简介 高等教育自学考试是对自学者进行以学历考试为主的高等教育国家考试，是 个人自学、社会助学和国家考试相结合的高等教育形式。 高等教育自学考试通过国家考试促进广泛的个人自学和社会助学活动，推进 在职专业教育和大学后继续教育，造就和选拔德力兼备的专门人彳，提高全民族