（教育技术学专业论文）支持学生自我评价和学习的智能组卷系统设计与应用.pdf

复几次，学生就形成自己的知识点体系结构。明确了自己掌握知识的情况，这 样能有效地进行自主学习，教师也能够通过学生历次丌展自我评价的结果掌握 教学的重点与难点。 笔者记录了不同年级的学生使用组卷系统的学习成绩，其中0 7 ，0 8 级教育 技术本科学生使用旧版本的组卷系统，0 9 级教育技术本科学生使用基于双向细 目表组卷策略的组卷系统开展自我评价，进行自主学习。通过对使用旧版本控 制组与使用基于双向细目表组卷策略的组卷系统实验组开展实验研究，分析控 制组与实验组的成绩，得出的结论能初步证明基于双向细目表组卷策略的组卷 系统在支持学生自主学习方面优于传统组卷系统。 关键词：题库；组卷策略；智能组卷系统；自我评价 n 英文摘要 a b s t r a c t i 1 1 111i i i ii il i i i ii ll f 17 6 8 2 9 7 d e sig na n da p p lic a t 10 no fs e l f a s s e s s m e n t a n ds t u d ys u p p o r t e df o rt h ein t e l llg e n t g e n e r a tln gt e s tp a p e rs y s t e m m a j o r ： e d u c a t i o n a lt e c h n o l o g y n a m e ：h u a n gl o n g t e n g s u p e r v i s o r ：x uj u np r o f e s s o r e x a m i n a t i o ni sa n i m p o r t a n tp a r t o ft e a c h i n g ，i t sa ni m p o r t a n tt o o lt o u n d e r s t a n dt h ee x t e n to fs t u d e n tm a s t e r yo fk n o w l e d g eb ye x a m i n a t i o na n d e v a l u a t i o n i nm o d e mt e a c h i n ge d u c a t i o ns y s t e m , t h es t u d e n ti sb e c o m i n gm o r ea n d m o r e i m p o r t a n c e ，a d h e r et ot h es t u d e n t c e n t e r e dt e a c h i n gs h o u l da l l o ws t u d e n t st o p a r t i c i p a t ei nt h ee x a m i n a t i o ns e s s i o n , a n dt h r o u g ht h ep a r t i c i p a t i o no fs t u d e n t s ，t h e f o r m a t i o no fat e a c h e re v a l u a t i o i ls t u d e n ts e l f - e v a l u a t i o r t , s t u d e n tp e e re v a l u a t i o no f m u l t i p l ee v a l u a t i o ne n v i r o n m e n t t h es e l f - e v a l u a t i o no fs t u d e n t sr e f e r st ot h es t u d e n tt h r o u g ht h ec o m p l e t i o no f t h e i ra b i l i t yt o p m v i d ea c c u r a t ei n f o r m a t i o no rt h eq u a l i t yo ft h et a s k st ot e s tt h e i r o w np r o c e s so fs e l f - c o n c e p t ，s t u d e n ts e l f - e v a l u a t i o ni sp r o c e s so fs t u d e n t s e l f - d i a g n o s i sa n ds e l f - c o r r e c t i o n , s e l f - i m p r o v e m e n ta n ds e l f - r e a l i z a t i o n e f f e c t i v e s e l f - e v a l u a t i o nc a ns t i m u l a t et h e i ri n t r i n s i cm o t i v a t i o nf o rl e a r n i n g ，a l l o w i n gs t u d e n t s t of u l l yu n d e r s t a n dt h e i ro w nl e a r n i n g i nt h et r a d i t i o n a lc o u r s eo ft e a c h i n g ，s t u d e n t s e l f - e v a l u a t i o nh a sr i o tb e e ne n o u g ha t t e n t i o n , t e a c h i n gm a i n | yi na c c o r d a n c ew i t ht h e e x p e r i e n c eo ft e a c h e r s ，r i o ti n d i v i d u a l i z e d , b e c a u s et h eo b j e c t i v ec o n d i t i o n si tc a nn o t e f f e c t i v e l yt ot h ed e v e b p m e mo fp e r s o n a l i t yt e a c h i n g t h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g yg i v eu n p r e c e d e n t e dh e l pt o e d u c a t i o n , t e s ts y s t e mo fe x a m i n i n gn o to n l yt h es t u d e n t sc a l ls i m u l a t et h er e a l i i i 0 8u n d e r g r a d u a t el e v e le d u c a t i o n a lt e c h n o l o g ys t u d e n t st ou s et h eo l dv e r s i o no ft h e t e s ts y s t e m ，0 9u n d e r g r a d u a t es t u d e n t st ou s es t r a t e g i e sb a s e do nt w o - w a yc h e c k l i s t o ft h et e s ts y s t e mo ft e s tp a p e rc o n d u c ts e l f - e v a l u a t i o n , f o ri n d e p e n d e n ts t u d y b y u s i n gt h e o l dv e r s i o no ft h ec o n t r o lg r o u pa n dt w o - w a yc h e c k l i s to ft h et e s t p a p e r - b a s e dt e s ts y s t e mo ft h ee x p e r i m e n t a lg r o u ps t r a t e g yt oc a r r yo u te x p e r i m e n t a l s t u d i e st oa n a l y z et h ec o n t r o la n de x p e r i m e n t a lg r o u pr e s u l t s ，t h ep r e l i m i n a r y c o n c l u s i o n ：b a s e do nt w o - w a yc h e c k l i s to ft h es t r a t e g yo ft e s tp a p e r s y s t e mi s s u p e r i o rt ot h et r a d i t i o l l a ls y s t e m k e y w o r d s ：q u e s t i o nb a n k , t e s tp a p e rs t r a t e g y , i n t e l l i g e n tt e s ts y s t e mo fs e l f - e v a l u a t i o n 3 1 自我评价含义。1 5 3 2 学生自我评价含义1 6 3 3 自主学习2 0 3 4 自主学习理论基础2 0 3 5 智能组卷系统设计理念：。2 2 3 6 本章小结2 3 4 、一种支持学生自我评价与学习的组卷策略设计与实现2 s 4 1 问卷调查2 5 4 2 组卷策略设计2 7 4 3 基于双向细目表的组卷策略分析2 7 4 4 组卷策略的实现3 3 4 5 本章小结3 6 5 、系统实现与应用3 7 5 1 组卷系统相关的理论分析3 7 5 2 系统总体设计3 9 5 3 组卷系统功能模块分析4 2 5 4 组卷系统功能性测试4 3 5 5 系统总体流程4 5 5 6 系统应用4 5 v 目录 5 7 本章小结4 7 6 、实验设计与数据分析4 9 6 1 不相等实验组控制组前后测准实验设计4 9 6 2 实验小结一5 3 7 、论文总结及下一步研究计划5 5 7 1 论文总结5 5 7 2 论文创新点。5 5 7 3 下一步研究工作5 5 7 4 结束语5 7 参考文献5 9 附录：6 3 附录一：调查问卷6 3 附录二：组卷系统部分数据库表6 6 附录三：组卷系统部分界面图6 7 附录四：题库试题汇总列表及实验组卷策略列表7 3 附录五：实验组成的试卷7 5 附录六：实验组与控制组学生原始成绩数据表7 8 致谢8 1 作者攻读学位期间发表的学术论文及其他研究成果8 2 考试是教学过程中的一个重要环节，而命题的好坏又是能否达到预期考核 效果的关键。目前，一般的命题过程是这样的：制定考试大纲和试题编写原则， 向有教学经验和命题经验的教师或命题专家征集题目，通过小规模的测试获取 关于题目和试卷的统计数据，然后从质和量两方面对题目和由题目组成的试卷 进行分析、判断和调整，之后再将这套试卷用于考生对象【1 l 。而在我们传统的教 学过程中，一般都是在一个教学组中选择一到两个经验比较丰富的老师，完成 试卷的编制，然后组织考试。这样的考试方式会带来比较多的问题。最主要的 就是出卷老师出的题型往往是自己授课的班级有提到过，这样对别班的学生有 失公平。而组卷系统在一定程度上能减少人工出卷的弊端。 信息技术的发展给社会带来了极大的便利，网络的出现能够在一定程度上 实现软硬件资源的共享和用户之间的相互协作，计算机网络与多媒体技术的发 展给教育插上了飞速发展的翅膀，近年来各种先进技术应用到教育当中的例子 屡见不鲜，其中网上考试就是计算机辅助教育很典型的例子，网上考试系统作 为现代教育的重要组成部分也以其方便快捷准确及时等特点成为考核学生知识 掌握的一种主要手段【2 】。传统考试教师出卷子存在主观意向，试题难度把握不准， 考试范围掌握不好，尤其是新老师，出一份内容和难度都符合考试大纲的试卷 是件不容易的事情，而且传统考试对客观题评测还是需要人工批改，对于类似 计算机操作的试题，用传统考卷其信度和效度都比较低，而且试题不能有效地 共享。网上考试需要一个强大的组卷系统和考核系统来完成，其中组卷系统主 要完成试卷的生成，考核系统主要完成学生的作答。随着经济、社会的发展及 终身教育观念的普及和计算机技术的发展，减轻教学考试工作量，提高效率， 提高考试信度和效度，试题库系统应运而生。试题库是组卷系统中一个关键部 分，主要完成试题的添加和修改等内容，对于实现一个智能组卷系统，高质量 的题库是关键技术之一。 的学生认知水平和学习进度都有些不同，从因材施教的角度讲，应该提供给学 生一个工具，让其明白现在自己所处的知识水平，自己有针对性地补习，这样 既能不增加教师负担，而且能提高学生的成绩。通过智能组卷系统，学生自己 设定练习题的范围和难度，学生能够比较准确判断自己的知识水平，有针对性 地弥补自己学习薄弱环节，达到辅助学生自主学习的目的。 本研究依托华南师范大学教育信息技术学院网络与服务网格实验室，实验 对象主要以华南师范大学教育信息技术学院教育技术系本科生为主，部分实验 得到广州市中小学的支持，论文得到普通高等教育“十一五 国家级教材规划 2 j i ：文 ( 计算机信息技术基础( 教高函【2 0 0 8 1 3 号) ) 的支持。关键技术部分得到教育 服务网格关键技术与示范工程( 广东省科技攻关项目( 2 0 0 6 8 1 5 0 0 1 0 0 4 ) ) 的支 持，本论文研究成果“智能组卷系统”成功申报校级课题。 1 1 2 研究意义 随着计算机及网络技术的飞速发展和社会信息化水平的不断提高，计算机 在教学领域也得到广泛的应用。计算机辅助评价在教育、教学和学习评价过程 中的应用，引发了评价内容、方法和形式的深刻变革【5 再】。开发、应用能够整合 教育测评理论和现代教育技术的网上考试系统，一方面减轻教师的负担，提高 测评的效度和信度，另一方面，为学生个性化学习提供“灵活、方便、科学、 公平”的“个性化学习测评服务”，学生通过网上考试，系统的自动评价给考生 一个及时的反馈，了解自己对教学内容的掌握程度，提高学习效率，对试题库 的及时更新和维护，保证试题库中试题更好地为教学和学生学习服务1 4 1 。试题库 是组卷系统一个不可缺少的部分，试题库经过发展已经逐步形成了自己的理论、 原则和方法，发展成为一门新的教育管理手段，它在教学中的优越性主要体现 在两个方面：一是教学管理上，试题库具有高效、经济、灵活和保密的特点； 二是教学测量上，由试题库生成的试卷具有质量高、可预控等特点。试题库不 仅是一项网络数据库，而且是一种实实在在的产品，一项很有前途的教育发展 的服务吲。 智能组卷系统其智能性主要体现在能根据教师或者学生的组卷策略从试题 库中选择试题组成试卷，这份试卷在考查内容、题型、难度等属性均满足教师 或是学生的需求，教师能够根据教学的重点和难点以及学生的特点从智能组卷 系统中得到一份试卷，学生能够根据自己的学习情况从智能组卷系统中得到一 份适合自己的试卷，这个适合主要是指既能提高学生的学习能力和知识水平， 又不会浪费学生的时间和加重学生的负担。智能组卷系统还提供给学生及时的 反馈，这样的反馈能支持学生的自我学习，通过对错误试题的反馈的学习，然 后再一次评价，学生的学习主动性得到很大的提高。 学生通过组卷系统实现自我评价，进而进行自主学习，这种评价方式的改 变，不仅会带来学习方式的改变，也会带来教学方式的改变。与传统的教学相 比较，基于组卷系统的教学和学习主要有下面几点优势： ( 1 ) 教学方式的改变 教学设计的改变。传统教学，教师在设计教学设计时往往根据以往的教学 经验设计，教师在没有充分了解学生掌握知识点的情况下开展教学，其效果不 佳，基于自我评价的组卷系统，可以在实验课中，通过学生的自己评价，学生 把不会的问题反馈给实验老师，老师通过整理这些问题，知道学生掌握知识点 的情况，在下一次设计教学的时候会有重点地强调学生没有掌握的知识。 因 3 l ：文 为教师可以在第一时i 白j 内得到学生反馈，从而马上确定教学的起点，及时调整 教学预设。真j 下做到学生会的不教，学生不会的才教。 师生角色的重新定位。传统教学中教师具有主宰课堂的中心地位，而在计 算机导论课上，因为有了基于自我评价的组卷系统，学生可以自己测评自己掌 握知识的情况，对自己的学习情况可以提早知道，教师的这种地位和作用被弱 化了：有了问题，不但可以向老师请教，也可以向同学们请教；学习资料可以 是老师提供的，也可以是组卷系统提供的反馈，在这样的课堂上，我们也看不 到教师从头到尾滔滔不绝的演讲或对学生指名提问。教师成了设计者、组织者、 指导者和帮助者。主要是引导学生j 下确地丌展自我评价。 评价与反馈的创新。学生在课上他们可以自选练习，自行组织检测，检测 或考试不再是学生惧怕的学习形式。在做完试题后，可以根据系统提供的反馈， 自己去找同学，找老师，或者求助图书馆和网络，及时的反馈给学生的学习带 来了本质的飞跃。 ( 2 ) 学习方式的改变 通过自我评价的组卷系统，学生成为评价自己的主体，学生不在是被动的 接受知识，而是主动获取知识，全新的学习方式，它为学生的学习提供了反思 学习，交互协作，实践体验等多种新型的学习方式。 学生学习的自主性。学生可以按照自己的学习速度和学习能力，依据自己 的学习水平，进行学习。可见，这些知识完全由学生主动探索，相互协商建构 而成，其价值远远超过教师在传统课堂上的灌输，在很大程度上体现了学生学 习的自主性，从而使学生真正在自主学习的过程掌握知识，成了真正意义上的 “学习的主人 。 ( 3 ) 评价主体从“单一化 向“二元化 转变 以往对学生的评价主要是教师完成，学生不能成为评价的主角，基于自我 评价的组卷系统，让学生成为评价自己的主体。结合教师评价，这样把传统教 育以教师评价这种单一的评价方式向教师评价与学生评价相结合的形式转变。 主体的改变也导致了从传统的“给我分”到“我给分 的转变。 1 2 研究目的与研究方法 本节主要介绍本论文的研究目的，针对研究的实际问题、教育技术学科特 点以及教学的实际情况选择研究方法。 1 2 1 研究目的 本研究旨在通过研读国内外关于智能组卷、自我评价、自主学习等相关文 献的论述，结合0 7 级、0 8 级、0 9 级教育技术本科生计算机导论课程学习 4 j l ：文 平台，设计出一种支持学生自我评价和学习的组卷策略，比较基于该组卷测的 智能组卷系统的教学与一般组卷系统教学的区别。具体的研究目的包括以下三 个方面： ( 1 ) 以计算机导论课程为案例，开发出一套适合学生开展自我评价的 组卷系统，进一步掌握软件工程的实践过程； ( 2 ) 研究与实现基于双向细目表组卷策略设计； ( 3 ) 对学生采用不同的组卷系统进行对比实验研究，探讨采用不同组卷系 统进行教学的优缺点。 1 2 2 研究方法 支持学生自我评价与学习的智能组卷系统研究与设计，在不同的研究阶段， 采用了不同的研究方法。首先，笔者在承担2 0 0 7 级教育技术本科生计算机导 论实验课教学过程中，主要负责学生上机考试，在本课程将要结束的时候， 笔者通过调查问卷了解到学生对组卷系统初步的需求( 问卷内容及调查结果详 见附录一) 。其次，笔者通过调查文献调研，研读国内外关于组卷系统，及其自 我评价、自主学习相关文献，初步掌握了相关理论。在2 0 0 8 级教育技术本科生 计算机导论实验课上，笔者记录了学生历次使用组卷系统练习的成绩，也 通过实际实验辅导以及和学生访谈，进一步了解学生对组卷系统的需求。通过 访谈、实地调研、问卷等形式，笔者提出了一种支持学生自我评价的组卷策略， 并将其用在2 0 0 9 级计算机导论实验课中，同时记录2 0 0 9 级学生利用智能 组卷系统组卷练习的成绩。通过实验研究法，对比0 8 级与0 9 级学生成绩，初 步得出研究结论。 1 3 相关概念解释 开发一个组卷系统需要考虑到评价的内容，也需要考虑到测量的内容，本 节将解释和界定一些与本研究相关的概念。 1 3 1 测量、考试、和评价的概念1 8 1 测量：社会科学中的测量是指按照确定的过程方法和规则对研究对象的特 征进行量化的过程，这个定义包括三个显著的特征：定量化、特征、确定的规 则和过程方法。定量化最重要的特点是对考生的特征进行赋值，这是测量与其 他定性描述的最显著区别。特征，在考试中主要指学生的心理特征，教育考试 通常将要测量的心理特征称为能力，并且这种能力是与学生学习的学科相联系 的，如数学能力、语文能力、英语能力，又如英语中有口语能力、阅读能力等。 测量的第三个特征就是定量化必须按照明确的过程规则和过程方法进行，作为 5 m 文 测量，其对人的心理特征的观察必须可以为其他观察者所重复。社会科学中有 许多不同类型的测量，包括排序、等级量表和考试，其中考试是最重要的测量 方法之一，本研究中对学生的测量主要通过考试完成。 考试：凯诺尔( 1 9 6 8 ) 对考试的定义是：教育考试是一个设计的过程，该 过程要诱使考生表现出某种行为，根据这些行为，可以对考生的某些个人心理 特征做出推测( ap s y c h o l o g i c a lo re d u c a t i o n a lt e s ti sap r o c e d u r ed e s i g n e dt oe l i c i t c e r t a i nb e h a v i o rf r o mw h i c ho n e c a nm a k ei n f e r e n c e sa b o u tc e r t a i nc h a r a c t e r i s t i c so f a ni n d i v i d u a l ) 。按照上述定义，可以认为教育考试是通过设计用以获得考生专门 行为样本的测量工具。考试作为一种测量的类型，必须按照确定的规则和过程 方法，对考生的某些心理特征进行定量化，而我们目前所接触的大部分考试主 要是指学科教师按照学科特点，教学重点等对一段时间内考生掌握该学科知识 点进行量化和测评。 评价：是指为决策收集系统资料的过程。在一定的条件下，做出j 下确决策 的概率不但取决与决策者本身的能力，也取决于决策者所基于的信息的质量。 如果其他条件相同，信息越可靠，相关性越强，做出正确决策的概率就越高。 评价的一个重要特征就是收集可靠的、相关的信息。评价所依赖的信息不一定 是定量的，语言描述、档案袋、推荐信以及对人的总体印象，都可以成为评价 人的信息，而通过考试测评是其中一种主要的评价手段。对学生客观、正确的 评价不能仅仅取决于教师评价，还应该结合同学评价，尤其要重视学生对自己 的评价。 1 3 2 信度、效度的概念 信度：信度是考试分数质量指标，一个完全可靠的分数应该没有任何测量误 差。在大规模教育考试中，除了考试要测量的能力之外，还有许多别的因素影 响考生在考试中的表现，这些因素就是误差的来源。信度实际上讨论的是在不 同时间、不同的试卷、不同的评分教师，以及不同的测量背景下，考试结果的 一致性问题，测试信度是信度的一种，其主要指测试的结果是否稳定可靠，不 会因为不同的试卷，不同的评分教师等外乔因素而出现测试结果的不同，测试 信度越高，越能真实反映受试者的实际水平。一般来说较高信度才能有较高的 效度，但是效度高不能保证信度也一定高。测试的信度主要考虑到试题本身和 试题的评阅两个方面，试题本身主要考虑试题的考查范围，试题数量，难度， 区分度，试题类型等因素，而评阅主要考虑评分标准是否客观和准确，尤其是 人工评阅，排除评阅教师的主观因素尤为重要。在组卷系统中提供的试题都是 经过精心设计的，而且客观题和部分主观题实现系统自动阅卷，最大限度提高 测试信度。 效度：考试结果解释和使用最重要的质量指标就是效度。按照美国心理测量 6 正文 协会1 9 8 5 年的定义，效度是指根据考试分数所做出的推测或决策的有意义、适 当、有用的程度。要使考试分数成为考生能力的有意义的衡量标志，就必须保 证考试只测量该能力，几乎不测量任何其他的东西。效度是科学策略工具所必 须具备的最重要的条件。 值得指出的是信度是考试分数的质量指标，效度是考试结果解释和使用的 质量指标，二者都不是考试本身的质量指标。此外，信度和效度都不是绝对的， 实际上不可能获得没有误差的考试结果，对考试分数的解释和使用是否适当， 也取决于考试以外的一些其他因数。确定一个教育考试的信度和效度的程度取 决于使用者的价值标准。 1 3 3 差异量数 差异量数是表示量数之间的差异程度的一些统计量的总称，它是用以表示 一群数的离散情况或离中情况【9 】。在统计分析中经常应用的差异量数是标准差。 1 3 4 组卷策略 组卷策略是指系统进行组卷的方式方法。它是题库系统自动生成有效试卷 的关键。组卷策略设计主要涉及试卷要求的数量化、卷面分数分配、试题的难 度，试题题型分配、库中选题等问题的处理。 1 4 本章小结 本章主要论述了本论文研究的背景，是在本科生计算机导论实验教学 过程中，结合本人的研究方向选择本课题作为研究对象，介绍了本研究的主要 目的是对比两种不同的组卷系统其在学生开展自我评价过程中的不同，通过文 献调研，访谈，调查问卷，对比试验等研究方法开展研究，最后对本研究需要 用到的一些名词做了概念界定。 7 正文 8 2 、国内外研究现状及问题提出 在第一章中主要介绍了本研究的一些背景资料，本章将主要介绍国内外组卷 系统发展的现状，同时也回顾国内外评价的发展历史，结合二者，笔者提出了 自己研究的问题。 2 1 组卷系统国内外研究现状 计算机技术的发展，各种类型的网上考试系统应运而生，网上考试系统一 般过程是建立试题库，考生注册，考生获取试卷，考生考试并提交试卷，系统 评分并给予反馈。但是各种考试都具有自身的特点，所以具体到一门学科的网 上考试是有区别的。网上考试在国外发展比较早，早在2 0 世纪9 0 年代，国外 计算机考试，g r e 考试，注册会计师等都已近实现了计算机考试，国内网上考试 起步较晚。下面简要介绍一下网上考试的发展现状：【t o l ( 1 ) 全美测评软件系统( 北京) 有限公司( a m e r i c a nt e s t i n ga u t h o r i t yi n c 简 称a t a ) a t a 是一家提供考试技术支持服务和考试内容服务的专业公司。公司运用先 进的教育理论和考试测评理论，结合国内教育行业的特点，运用a t a 核心技术， 设计开发了完整的智能化考试系统a t ae t e s t i n g 。这一套智能控制网络化全程 自动考试系统是一个由远程网络化考试管理、数字化电子题库、智能化考试管 理和智能化考试结果评判等多种技术构成的先进的考试技术平刽1 1 】。 该平台突破了传统的考试技术的限制，不仅可以测试客观题以及传统的理 论题，通过采用模拟真实的操作环境来达到对学生操作题的测试，实现无纸无 盘化考试、智能化网络远程控制与管理。系统通过全程自动跟踪记录操作者的 操作步骤，实时进行过程评判和结构化评判，并根据需要对考生做出准确量化 的评价，确保考试的科学、客观、统一、公正。目前国内有许多高校都在使用， 但是存在考试费用较高，组织考试工作量大等缺点【4 】。 ( 2 ) 美国p r o m e t r i c 有限公司 美国p r o m e t r i c 有限公司是全球最大的计算机化认证考试服务公司，总 部位于美国马里兰州巴乐地摩市，它是计算机化评估和认证的全球领袖，开创 了计算机化考试技术和管理标准。可用2 s 种语言组织2 4 0 0 多种考试，提供六 十多家世界著名i t 公司的认证考试。p r o m e t r i c 提供的远程考试解决方案可 以在任意时间、任意地点举办考试，在代理环境下安全考试，考试的试题类型 包括单项选择、填空、简答等多种题型i s 。学生只要能访问i n t e r n e t ，系统就可 以创建一个在线考试的环境，提供给学生立刻考试。 9 理、工、农、医、外语等科类中同时开展重点课程试题库建设，开始了大规模 有计划有组织地研制题库的工作。研制工作涉及学校2 0 0 多所，参加研制的教 师有数千人。1 9 9 6 年底，通用试题库管理系统研制完成，开始广泛使用。通用 试题库管理系统由课程专家根据试题库管理系统的要求收集本课程的试题，并 提供本课程的课程知识，也就是说课程专家只对本课程的试题及本课程的课程 知识负责；由题库的制作中心负责联系试题的录入、校队及修改；由录入中心 负责试题库的调试工作，最后出版发行 7 1 。 国内外组卷系统的发展主要关注算法的实现，目前主要组卷算法有：随机 算法、回溯试探算法、模拟退火算法、遗传算法等，而关注组卷系统的评价能 力的较少，尤其是支持学生自我评价的组卷系统较少。 j i ：文 2 2 国内外教育评价发展概述 上一节主要介绍国内外组卷系统的发展现状，可以看出国内外组卷系统的 开发主要集中在算法的研究中，其与评价的联系还没有得到很好的结合，笔者 在这一节将主要综述国内外教育评价的发展历程，试图找到教育评价与组卷系 统相结合的地方。 自1 9 世纪上半叶开始，随着教育测量的丌展，教育评价的理论在西方逐步 发展起来了，在二十世纪3 0 年代，美国的泰勒等人提出了以教育目标为核心的 教育评价理论，后来发展成为“评价运动”。布鲁姆在他的认知领域的目标分类 中，把“评价作为认知的最高层次，这就是说，只有学生达到了评价水平， 才是真正了解自己的价值，并能正确地把握自己，自我评价的本身，就是衡量 自我价值【1 s 1 。罗杰斯人本主义学习理论提出“以人为本”的思想，认为学习是 全人类参与的、学习是自我发起的，他提倡学生的自我评价，让学生自己承担 学习的责任。美国哥伦比亚南卡罗林纳大学教育心理系爱伦( a l l e ne p o t t e r ) 提 出了关于档案袋评定中学生自我评价的方法。1 9 9 8 年，自主学习研究的著名专 家齐莫曼( z i m m e r m a n ) 教授指出，自我评价是一种重要的自主学习策略。2 0 0 4 年，美国的k a t h l e e n m 0 n i g o m e r y 在真实性评价一书中，提出“要求学生评 价他们自己的进步己成为一场评价改革运动，学生自我评价正处于这场改革的 中心 。自2 0 世纪7 0 年代初开始，日本教育评价思想发生了重大变化，提出根 据日本的现状，首先有必要形成自我评价检查，自我评价的体制和习惯，日本 东京教育大学教授研究归纳总结出自我评价方法之一学生自我评分法。瑞士心 理学家皮亚杰在谈到学生的自我评价时说：“教师不承担全部评价的责任，而是 鼓励儿童逐步参与对他自己的实践成果做自我评价”。近年来国外还是比较重视 教育评价中学生的自我评价的研究【1 6 1 。 综合教育评价理论的发展，可以把教育评价划分为四个理论阶段【i 7 l ：第一 代被称为“测量时期”，时间从1 9 世纪末至2 0 世纪3 0 年代，其标志是“测量一 理论的形成以及测验技术的大量实际运用，评价被简单地等同于“测量 ，追求 的是教育客观化。第二代可称为“描述时期 ，时间从2 0 世纪3 0 年代至5 0 年 代，其特征是对测验结果进行“描述，并力求教育标准化。第三代称为“判断 时期一，大约出现于1 9 5 0 至1 9 7 0 年，“判断是其主要标志。评价者不仅要运 用测量手段去收集各种信息，还要根据一定的价值取向评判教育，追求教育多 元化。第四代教育评价出现于2 0 世纪7 0 年代后期，强调评价是一种“心理建 构 的过程，提倡价值多元、全面参与和共同建构，力图实现教育民主化。 从教育评价的历史发展来看，可以说自我评价最早发源于中国，春秋时期 的孔子提三省吾身，他还提出“知之为知之，不知为不知，是知也 ，要求做人 j i ：文 要有自知之明，能够准确地认识( 评价) 自己的知和不知。我国古代思想家老子说： “知人者智，自知者明”，也精辟地说明了自我评价所具有的重要意义和地位 学记指出：“学然后知不足，知不足，然后能自反也”，这里的自反，是指自 我省察的意思。 在教育评价研究上，上个世纪二、三十年代教育测验运动积累了大量的研 究人才、方法、技术、资料等诸多宝贵成果，新中国成立初期，中国学习苏联， 没有考虑到中国实际的国情，5 0 年代木，中苏关系恶化，以及后来高等学校的 j 下常招生被中断了六年之久，这段时间，教育评价研究没有任何进展。从8 0 年 代初丌始，中国教育评价研究又丌始重新发展，随着教育改革和发展的深入， 中国在系统引进和学习国外教育评价理论和方法的基础上，教育评价实践活动 在全国有组织地展开。1 9 9 0 年1 1 月和1 9 9 1 年4 月，原国家教委分别发布了普 通高等学校教育评价暂行规定和教育督导暂行规定，使中国教育评价理论 研究和实践活动进入了一个新的阶段，即逐步正规地开展教育评价工作，提高 教育管理水平。在这个阶段，一是初步建立了教育评价制度，为在全国正规开 展教育评价工作提供了制度保证。1 9 9 3 年2 月中国教育改革和发展纲要颁 布，对教育评价的地位、作用有了明确的规定，推动中国教育评价的理论研究 走向深入；二是建立了全国性的教育评价研究组织，为在全国进行教育评价研 究和实践提供了组织保证；三是国内外学术交流、研讨活动增多，教育评价研 究成果层出不穷；四是国内部分高等学校已开始培养教育评价研究方向的硕士 生和博士生。1 9 9 4 年7 月2 9 日，“高等学校与科研院所学位与研究生教育评估 所成立，推动了教育评价理论研究和实践的进一步结合，也促使教育评价理 论研究不断深入i l 别。 在中国，教育评价在一段时间内被曲解，从五、六十年代重视知识、技能 的掌握，七十年代末重视能力，八十年代末重视非智力因素，到九十年代重视 素质教育和创新教育，由于长期受到应试教育的影响，在教学评价过程中，形 成了评价即考试，评价即选拔等观念，忽视了教育评价的更本目标，对人的潜 能开发，调动人的内在因素，激发人内在潜力和自我价值实现等方面仍未给予 足够的关注。为了学生的发展，评价不仅要关注学生的现实表现，更要重视全、 体学生的未来发展，重视每个学生在本人已有水平上的发展。自我评价也在随 着中国开展素质教育越来越受到教育评价者的关注。 2 3 国内外组卷系统研究现状及测评理论发展对本论文的启示 通过文献调研，分析了国内外有关组卷系统研究现状，目前国内外组卷系 统开发主要任务是高效、准确地完成试卷的编写，而且组卷系统的使用对象主 正文 要是教师，组卷系统中组卷策略的设计主要从教师的教学角度出发研究设计， 没有充分考虑到学生在教学、学习过程中的角色，更加没有考虑到在多元评价 的学习环境中，学生自我评价的需要和价值，忽视了学生使用组卷系统开展自 主学习的功能。 2 4 研究问题提出及主要工作 从国内外组卷系统的研究情况看，组卷算法，组卷功能等都比较成熟，测 评理论的发展也比较成熟所以本论文旨在从教学、学习、评价等理论的角度出 发，设计并实现支持学生自我评价与学习的智能组卷系统。 经过三年来的计算机实验课程的实践以及调研，完成了题库系统的需求分析 和系统设计，设计出适合教师测评和学生自评的组卷策略，实现了学生能够根 据自己的学习情况自己设定组卷策略，依靠组卷系统开展自我评价，进而进行 自主学习。大体上可以分四个步骤来阐述笔者所做的主要工作： ( 1 ) 系统的需求分析阶段 笔者通过在研究生期间给华南师范大学教育信息技术学院0 7 ，0 8 ，0 9 级教 育技术系本科生辅导计算机导论实验课，了解了考核系统的流程，也从学 生中得到了系统不足的地方，尤其是组卷系统的不足，自己在使用组卷系统时 也发现其中有许多地方需要改进，例如试卷出题过于简单，不能根据教学重点、 难点圈定试卷内容，学生自己不能设定组卷策略生成试卷，所有学生的试卷都 是一样的，不利于因材施教，也不利于学生自主学习。通过访谈、调查问卷， 文献调研和调查国内外现有命题系统的使用情况，结合目前使用的系统，有针 对性地提出了修改意见和建议，并同老师，同学共同制定了组卷系统的需求分 析，其中本人主要完成组卷系统中组卷策略研究与设计部分。 ( 2 ) 系统的设计阶段 根据需求分析，计算机文化课程的特点，依据题库建设理论，研究现有的考 核系统的体系架构，进行了功能模块设计、数据库设计和安全性设计，并设计 了组卷策略，确定系统的总体设计方案。 ( 3 ) 系统测试和使用阶段 系统完成后，在实验室内部进行了测试，组卷效果较好，2 0 0 9 级本科生计 算机导论课程的实验就是使用本研究的组卷系统，通过实地辅导本科生实验， 接受学生对新系统的反馈，同时也记录学生使用组卷系统的考试成绩。 ( 4 ) 实验阶段 通过对比0 8 级与0 9 级学生使用不同组卷系统组卷考试的历次考试成绩， 分析不同系统开展自我评价的优缺点。 外组卷系统的研究情况，通过对现有组卷系统的使用 的研究工作主要集中在组卷算法的开发设计上，使用 比较少，笔者通过文献调研，回顾了国内外教育评价 提出了本论文研究的主要工作，及设计一种支持学生 略，学生通过在采用这种组卷策略的组卷系统中抽题 1 4 3 、 理论分析及智能组卷系统设计理念 前两章主要对组卷系统及评价的发展给予了一个简单的回颐，结合笔者给 本科生辅导实验课的教学实际情况，提出了研究支持学生自我评价与学习的智 能组卷系统，本章就主要阐述一下学生自我评价与自主学习的含义及其理论基 础以及开发支持学生自我评价与学习的系统需要的理论支持，及在这样的理 论基础上系统设计的理念。 3 1 自我评价含义 自我评价是指个体对自己的思想、愿望、行为和个性特点等的评判。自我 评价也可称为自我评估，指通过完成能提供有关自己能力或品质的准确信息的 任务以检验自己的自我观念的过程，它是自我意识的一种重要形式，是主体对 自己思想、愿望、行为和个性特点的评判和评价，是个体对自身状况所作的肯 定与否定的评判1 1 9 1 。自我评价是依据一定的参考标准，并通过一定的途径实现 的。例如，通过自学以检验自己对自己学习能力的看法，通过实际的操作工具 以检验自己对操作技能的掌握程度。自我评价也受到许多因素的影响，需要很 好的开展自我评价，就需要理清楚下面3 个影响自我评价的因素： 3 1 1 社会比较 社会比较指通过将自己与他们比较获得自己与他们差距信息的过程。 f e s t i n g e r 首次提出了社会比较的概念和理念，被称为经典的社会比较理论，该 理论认为当个体为了准确认识自己而又没有判断的客观标准时，往往同社会上 与自己在某方面有相似的人进行比较，以了解自己所处的状态1 2 0 ! 。有的人习惯 上行比较，就是倾向找比自己有优势的人比较，可是当个体的自尊受到威胁时， 会倾向于和自己差的人进行下行比较。在学校中，学生会主要和自己的同学相 比较。 3 1 2 他人评价 他人评价是自我评价一个重要依据，每个人都会从别人对自己的态度和评 价中了解自己，同时也在不断的自我思考，自我总结。他人评价对个体的影响 常常是在不知不觉中实现的，别人对自己的态度，是自我评价信息的来源之一， 一个处在社会中的人，通过与他们相处，从他们对自己的评价中看到自己的形 象，为自我评价提供了基础。在人际互动中，人们相互之间会对对方进行各种 各样的评价，个体同时也或多或少的感知到周围他人对自己所作的评价。 对自己的行为不断进行检查和调整，形成自我反思、自我调整的有效机制，进 而主动地为自己规划自我成长的历程： 有效的自我评价有利于学生和教师共同承担责任，增强学生的责任感，培 养学生独立思考的能力，提高学生的元认知水平，增强学生分析问题，解决问 题的思维能力和策略。 所以，学生自我评价是学生自我认识、自我反思的基本手段，也是学生自 我诊断、自我矫正、自我完善和自我实现的过程【1 5 l 。从这些优势可以看出，在 教学过程中，引导学生自我评价，有利于培炎学生良好的学习习惯，使学生从 被动学习变为主动学习。 3 2 2 学生自我评价分析 传统的评价、考试完全以教师为中心，这种评价很少关注学生各方面能力 的发展和个性品质的培养。基础教育课程改革纲要( 试行) 指出“评价不仅 要关注学生的学习成绩，而且要发现和发展学生多方面的潜能，了解学生发展 中的需要，帮助学生认识自我，建立自信”。下面对学生自我评价的方法、自我 评价的流程和在实际评价考核过程中学生自我评价应该注意的问题做一件简单 介绍。 3 2 3 学生