（教育技术学专业论文）高校现代远程教育质量评估系统的研究与设计.pdf

摘要 摘要 随着我国远程教育大众化和国际化的不断推进，远程教育质量问题越来越受 到社会各界的关注。根据教育部的安排，将在适当的时候组织对现代远程教育试 点学校网络教育学院的教学评估。基于网络教育的特点，借助信息化手段研发远 程教育质量评估系统，实行网上评估，是保证远程教育评估质量、提高评估效率 的一项重要举措。 本论文在远程教育理论和教育评估理论的指导下，运用软件工程的思想，采 用实地调研、数学分析以及实验研究的方法，重点探讨了利用信息化手段进行远 程教育评估的方式与方法，并将其付诸实践，设计并开发了基于b s 模式的现代 远程教育质量评估系统。 本文首先对国内外的教育评估实践进行了对比研究，借鉴了国内外远程教育 的评估思想、经验和方法。其次，重点研究了现代远程教育信息化评估的步骤、 流程和评估信息收集与处理的方式，根据评估系统的需要对评估指标体系进行了 信息化分解，具体说明了每条指标的考察方法和评估依据的收集处理方式。然后 按需求分析对评估系统从总体架构、功能模块、业务流程、数据存储以及评估模 型等方面作了详细设计，并在此基础上利用a s e n e t + s q ls e r v e r 对评估系统进 行了开发，重点实现了网络学院自评和专家评审两个关键模块，利用加权平均法 和模糊综合评判法对评估结果做了整合处理，使专家的评估结果更为客观、公正。 论文最后对整个研究和实践工作进行了总结，并对今后的深入研究提出了几 点自己的设想。 关键词：现代远程教育；评估系统；信息化评估；模糊综合评价法 分类号：t p 3 1 1 5 1 ( 3 4 0 0 5 8 1 a b s t r a c t a b s t r a c t w j t l lt h ep r o g r e s so f d i s t a n c ee d u c a t i o ni nc h i n a 。m o r ea n dm o r ep e o p l ep a y a t t e n t i o nt oi t sq u a l i t y t h en a t i o n a le d u c a t i o nd e p a r t m e n td e c i d e st oe v a l u a t ea l l n e t w o r k b a s e dc o l l e g e si np r o p e rt i m e c o n s t r u c t i n gd i s t a n c ee d u c a t i o nq u a l i t y e v a l u a t i o ns y s t e mb ym e a n so f i n f o r m a t i o n i z a t i o n ，r e a l i z i n ge v a l u a t i o no nt h en e t ，i sa n i m p o r t a n tm e a s u r e t oa s $ u r ed i s t a n c ee d u c a t i o ne v a l u a t i o nq u a l i t ya n di m p r o v e e v a l u a t i o ne f f i c i e n c y b a s e do nt h et h e o r i e sa b o u td i s t a n c ee d u c a t i o na n de d u c a t i o ne v a l u a t i o n u s i n gt h e i d e ao f s o f t w a r ee n g i n e e r i n ga n dt h em e t h o d so f i n v e s t i g a t i o no ns p o t , m a t h e m a t i c a l a n a l y s i sa n de x p e r i m e n t a t i o n , t h et h e s i sp a y se m p h a s e so nt h em o d e a n dm e t h o do f e v a l u a t i n g t h e q u a l i t y o f d i s t a n c ee d u c a t i o n b y m e a n s o f i n f o r m a t i o n i z a t i o n ，a n d h a s d e v e l o p e dt h em o d e m d i s t a n c ee d u c a t i o nq u a l i t ye v a l u a t i o ns y s t e mw h i c hi sb a s e d o n b s m o d e f i r s t l y , ar e s e a r c ho nc o m p a r i n gt h ed i s t a n c ee d u c a t i o ne v a l u a t i o np r a c t i c eo f h o m e a n da b r o a di si n v o l v e ds ot h a tw ec a l lb e n e f i tf r o mt h e i rt h o u g h t ，e x p e r i e n c ea n dm e t h o d a b o u te v a l u a t i o n s e c o n d l y , t h ep a p e rh a se m p h a s i z e dt h ep r o c e s sa n df l o wf o r i n f o r m a t i o n i z a t i o ne v a l u a t i o n , a n dt h e ne x p l a i n e dt h ei n f o r m a t i o n i z a t i o ne v a l u a t i o n m e t h o df o ri n d e xs y s t e m t h i r d l y , t h et h e s i sh a sd e s i g n e dt h ee v a l u a t i o ns y s t e mi nd e t a i l f r o mt o t a lf r a m e ，f u n c t i o nm o d u l e ，o p e r a t i o nf l o w , a n dd a t am e m o r y , a s s e s s m e u tm o d e l ， e t c b a s e do nt h er e q u i r e m e n ta n a l y s i sa n dd e t a i l e dd e s i g n ，u s i n ga s p n e t + s q l s e r v e r , t h ea u t h o rh a sd e v e l o p e dt h ee v a l u a t i o ns y s t e ma n de m p h a s i z e dt h em o d u l e s o f n e t w o r k - b a s e dc o l l e g es e l f - e v a l u a t i o na n de x p e r te v a l u a t i o n ，i no r d e rt oa s s l l r et h e i m p e r s o n a l i t ya n d j u s t n e s so f t h ea s s e s s m e n tr e s u l t , t h ee v a l u a t i o ns y s t e mu s e st w o m e t h o d st os y n t h e s i z et h ea s s e s s m e mr e s u l to f e x p e r t s ，o n ei sw e i g h t e da v e r a g e ，t h e o t h e ri sf u z z ys y n t h e t i ce v a l u 撕o n f i n a l l y ，t h ep a p e rs u m m a r i z e st h ew h o l ew o r ka n dg i v e ss e v e r a ls u g g e s t i o n sf o r f u r t h e rr e s e a r c h k e y w o r d s ：m o d e md i s t a n c ee d u c a t i o n ；e v a l u a t i o ns y s t e m ；i n f o r m a t i o n i z a t i o n e v a l u a t i o n ；f u z z ys y n t h e t i ce v a l u a t i o n c l a s s n o ：t p 3 1 1 5 ；g 4 0 0 5 8 1 图目录 图目录 图l 1 三类教育评估在远程教育系统管理和决策中的地位和作用。5 图1 2 高等教育评估的一般程序。7 图1 - 3 远程教育评估的基本程序。8 图1 - 4 各网络学院教学模式统计1 0 图1 - 5 网络学院教学管理平台功能应用情况1 l 图1 - 6 论文的主要研究内容2 2 图2 1 现代远程教育的运作模式2 3 图2 2 现代远程教育信息化评估的一般步骤2 6 图2 3 现代远程教育信息管理系统数据交换与共享2 7 图2 - 4 无数据导入的评估信息流程2 8 图2 5 系统初始化信息流程2 8 图2 6 评估学习中心的信息流程2 9 图2 7 评估网络学院的信息流程3 0 图2 - 8 有数据导入的评估信息流程3 l 图2 - 9 数据导入的信息流程3 2 图2 1 0 用户角色分级初始化示意图3 4 图2 1 1 网络学院评估各类用户角色的功能需求3 6 图2 1 2 现代远程教育质量评估指标体系框架。4 4 图2 1 3 指标体系的信息化分解示意图4 5 图3 1 系统总体架构图5 0 图3 2 评估系统总体功能构成图5 l 图3 3 系统管理功能构成图5 1 图3 - 4 学习中心评估功能构成图5 2 图3 5 学习中心自评子系统业务流程图5 2 图3 - 6 省厅评估学习中心子系统业务流程图5 3 图3 7 网络学院评估功能构成图5 3 图3 8 网络学院自评予系统业务流程图5 4 图3 - 9 教育部评估网络学院业务流程图5 4 图3 1 0 系统管理模块数据库结构设计5 9 图3 1 l 网院自评模块数据库结构设计5 9 图3 1 2 专家评估模块数据存储设计6 0 北京交通大学硕士学位论文 图3 】3 柱型图模型6 2 图3 1 4 饼型图模型6 3 图4 。1 评估系统技术架构7 4 图4 2a d o n e t 工作原理7 5 图4 3 加权平均法算法流程图，s 0 图4 4 模糊综合评判法算法流程图8 l 图4 - 5 分配用户帐号界面。8 2 图4 6 系统用户管理界面8 3 图4 7 指标体系管理8 3 图4 。8 图表表示模型管理8 4 图4 - 9 图表表示模型编辑8 4 图4 1 0 网院基本情况表录入界面8 5 图4 1 l 表格信息统计界面8 6 图4 1 2 佐证资料管理界面8 6 图4 1 3 上传材料文件和建立与指标的对应关系界面一8 7 图4 1 4 网络学院自我评估界面8 7 图4 ，1 5 网院分组管理界面8 8 图4 ，1 6 专家个人评审界面8 9 图4 1 7 专家个人评审结果查看界面8 9 图4 1 8 专家协作评审界面9 0 图4 1 9 小组异步协作评审界面9 0 图4 2 0 模糊综合评价统计界面9 1 图4 ，2 l 加权平均与模糊综合评价对比界面9 2 表目录 表目录 表2 - l 网络学院评估各类用户角色的数掘需求3 4 表2 - 2 收集信息的方法3 8 表2 3 某网院近四年网络课件投入金额3 9 表2 4 抽取佐证资料和数据分析4 6 表3 l 评估数据用表5 6 表3 2 现任主管领导与学院干部基本情况表存储结构5 6 表3 3 数据字典表的结构5 7 表3 - 4 佐证材料表存储结构5 8 表3 5 佐证材料指标对应表5 8 表3 - 6 表格模型举例6 3 表3 - 7 一级指标i 3 师资与教学条件评分结果6 4 表3 - 8 一级指标“i 3 师资与教学条件”模糊评价统计表6 6 表3 - 9 数据分析模型存储结构设计6 8 表3 1 0 表示模型存储结构设计6 8 表1 1 ：数据集页。1 0 6 致谢 在论文完成之际，借此机会向读研究生期间教导过我的老师以及帮助过我的 同学表示诚挚的感谢， 首先要感谢我的导师陈庚教授，他给予了我长期的、全过程的精心指导。在 攻读学位期间，无论是在选择学习的课程、确定论文研究的方向，还是在论文的 框架、初稿以及最后定稿方面，始终得到了陈老师的耐心指导和殷切关怀。陈老 师敏锐的学术思维，严谨求实的治学态度、开拓创新的耪掸、高度的责任心和渊 博的学识，无不给我留下了深刻的印象，并且时刻鞭策我要踏踏实实的学习和工 作，使我在学业和人生方面都受益匪浅，受用终生。值此论文完成之际，我谨向 尊敬的陈老师致以衷心的感谢。 我还要特别感谢教育部高教司刘英处长，她对网络教育的信息化评估的热忱 感染了我，使我坚定了做此项研究的决心。教育部专家组的各位专家特别是李德 芳、徐乃庄和陈德人等教授给了我许多具体指导，开拓了我的研究思路，使我能 够顺利完成论文的写作， 同时我要感谢给我以知识、智慧和力量的各位任课老师：徐诤、郝建英、贾 卓生、王移芝、朱卫东、赵宏等老师，他( 她) 们精彩的授课、勤勤恳恳的教学，增 强了我对学术问题的洞察力、理解能力、分析能力，拓宽了我的视野。 真心感谢西安电子科技大学的丁振国教授以及他的学生于剑锋、黄俊意等， 在我赴西安电子科技大学进行项目开发期间，他们给与了我无微不至的关怀和学 术上的无私帮助。并对我的论文选题和写作提出了中肯的意见和建议。 感谢我已经毕业的师姐冀艳丽，她的先辅研究成果为我的论文写作提供了理 论上的支持，她勤恳踏实、精益求精的学习态度让我感触颇深，自叹不如，在此 衷心祝愿她工作顺利。 言语无法表达我对家人的衷心丽深深的感谢，没有他们在背后的默默支持， 我很难独自完成三年的研究生学业，希望本文的完成能给他们带来些许快乐和精 神上的安慰。 最后，衷心感谢论文评审委员会的老师们对我的论文进行评阅和指导! 绪论 1 绪论 1 1 研究背景和意义 1 1 1 研究背景 1 9 9 9 年，为落实面向2 1 世纪教育振兴行动计划，推动现代远程教育工程 的进展，积极发展高等教育，教育部决定支持若干所高等学校建设网络教育学院， 开展现代远程教育试点工作】。7 年来，我国现代远程教育试点工作取得了重大的 进展，教育部已经批准6 7 所普通高等学校和中央广播电视大学，成立专门的试点 机构，尝试利用现代信息技术开展远程教育。截止到2 0 0 5 年，试点高校累计注册 学生4 0 0 多万，从事现代远程教育试点工作的教职工有1 1 万人以上，共设立学习 中心3 0 0 0 多个。与此同时，试点高校的网络远程教育在保证教育教学质量和标准 方面也面i 临着重大的压力和巨大的挑战。特别是自2 0 0 1 年试点高校开始向社会输 送毕业生以来，围绕网络远程教育文凭和学位含金量等现代远程教育质量和标准 问题成为政府、教育界、试点高校、学生及其家庭、以及全社会和媒体关注的热 点。 为了提高现代远程教育办学质量，推动现代远程教育持续、健康发展，教育 部决定对现代远程教育试点普通高校网络教育教学工作开展评估，并于2 0 0 4 年6 月正式下发文件组建课题专家组开展现代远程教育评估的研究。专家组研究的内 容主要有两个方面，一个是关于评估的方案、计划、评估指标体系以及相关文件 的研究，另一个是专门研究如何充分利用信息化的手段对现代远程教育进行评估， 并于2 0 0 4 年申请了国家8 6 3 软件重大专项应用示范课题“基于国产l i n u x 的 网络教育质量国家评估与自我评价系统研究与应用示范”( 课题编号： 2 0 0 4 a a i z 2 5 2 0 ) 。该项目经过一年时间的研发后，于2 0 0 5 年9 月在北京交通大学、 中国人民大学、西安电子科技大学等十所试点高校的网络学院进行试用，并于2 0 0 5 年1 2 月在四川大学反馈试用情况。十所网院都对本校自评系统的安装使用情况作 出了较全面的总结和评价，同时对系统今后的改进和完善提供了很好的建议和意 见。总体来说，该系统对于现代远程教育评估的手段和方法作出了开创性的探索 和实践，为后续的研究积累了丰富的文档资料和开发经验，也为本论文的研究提 供了很好的范例和参照。经过本次的试用，参与评估研究的各位专家和领导也充 分意识到了现代远程教育评估的复杂性和任务的艰巨性，并且认为只有在充分了 北京交通大学硕士学位论文 解现代远程教育评估需求的基础上，才能开发出符合网络教育试点院校当前实际 和长远发展的网络化评估系统，因此，对评估系统的研究工作要继续深入，努力 探索适合现代远程教育评估的多种方式和途径。 本论文基于以上的研究背景，在先期8 6 3 项目取得成绩的基础上和教育部评 估课题组专家的指导支持下，通过研究对比国内外教育评估的现状和待点，从各 方面详细分析了现代远程教育质量评估的需求，并在此基础上进行了现代远程教 育质量评估系统( 以下简称“评估系统”) 的设计和实现，以期为将要开展的评估 工作提供支持。 1 1 2 研究意义 由上节的背景分析可以看出。质量已成为现代远程教育的“生命线”，有效地 保证现代远程教育的质量，是教育行政部门、院校以及社会各界共同奋斗的目标。 建立科学完善的远程教育教学质量评估体系是保证现代远程教育质量的必由之 路，利用评估的手段来规范现代远程教育是保证其持续健康发展的必要条件。现 代远程教育的诸多特征使得传统的评估方式难以对其进行深入的、全方位的评估， 计算机网络和通信技术的飞速发展以及教育信息化的日新月异又为使用信息化手 段对远程教育评估奠定了强有力的实践基础，因此，信息化评估应运而生。 本论文主要研究如何用信息化的手段对现代远程教育试点院校的办学质量进 行评估，其具体研究意义表现为： 1 符合信息化时代发展的要求；当前教育信息化已经成为教育领域的热门话 题和追逐目标，现代信息技术已经深入教育和教学的各个领域，并发挥着越来越 重要的作用。教学过程的各个环节都在研究和实践用信息化的手段提高教学质量 和教学效果，在这种形势下开展的信息化评估的研究必然会融入教育信息化的洪 流之中，同时也能从教育信息化发展的得失中吸取经验和教训，保证信息化评估 的顺利开展； 2 符合远程教育自身的特点：远程教育与常规面授教育相比其最大特点就是 教师与学生在时间和空间上的分离，并由此导致了教与学的过程不同步，主要依 靠网络技术、通信技术、多媒体技术等现代技术手段来完成教务管理和教学的全 过程。参与网络教育的师生分布在全国各地，学生采用是一种以自己在家学习为 主以去当地的学习中心或教学站参加面授辅导为辅的学习方式。另外，由于现代 远程教育起步较晚，起点较高，这就使得它有条件充分利用现有的比较先进的教 学管理方式和手段，例如教务管理系统、学籍管理系统、网络教学系统、教学评 价系统等计算机软件，实现教学及管理的信息化。这些特点部表明了只有充分运 绪论 用信息化的手段才能对现代远程教育进行深入、全面的评价。 3 使得评估的结果更加准确可靠：信息化评估借助于计算机系统实现定性分 析和定量计算相结合，给专家提供大量与评估相关的数据和文献资料作参考，并 能根据专家的意向对数据进行各种分析与处理，提供辅助决策意见，使得专家的 评估结果更加准确可靠。 4 有利于构建现代远程教育质量保证体系；评估系统为现代远程教育质量评 估提供了一个信息化的管理平台，使得参与评估的各网络学院、评审专家、各级 领导等有一个信息共享的环境，并对各类评估信息进行分析处理，妥善保存和定 期发布，推动网络学院建立自己的内部质量保证体系，同时也方便评估专家、教 育行政部门以及社会公众对现代远程教育的办学质量时时监督，有助于形成促进 现代远程教育发展的外部质量保证体系。 1 2 远程教育评估的基本理论研究 1 2 1 教育评估的基本概念 1 教育评估的定义和特征 评估，就是依据既定的标准对客观事物进行价值判断。教育评估就是运用现 代科学方法和技术手段，收集并处理与评估对象有关的教育现象和数据资料，并 以既定的评估标准为依据对处理结果作出分析和价值判断，从而为决策和管理提 供反馈信息和论证1 2 1 。教育评估有以下特础2 】： ( 1 ) 教育评估是整个教育管理的一个重要环节，直接为教育决策服务，对制 定教育方针政策。完善教育管理和改进教学工作有重要意义。 ( 2 ) 教育评估是由一系列有目的、有组织、有步骤展开的活动组成的全过程， 需要经过精心的系统设计后方能付诸实施。 ( 3 ) 教育评估的核心是确定评估对象( 客体) 和评估目标( 标准) ，并进一 步实事求是地依据标准对客体进行价值判断。 ( 4 ) 教育评估要有适当的指标体系作指导，并规定各种数据资料的收集方式。 ( 5 ) 教育评估应尽量利用现代科学技术提供的各种物质手段( 包括计算机) 和技术方法。 现代远程教育质量评估符合以上所有特征，它是整个现代远程教育试点工程 的重要环节，直接为教育行政部门的决策提供参考意见，它由一系列有目的、有 步骤的活动组成，其评估对象是参与现代远程教育试点工程的6 7 所网络学院及其 下属的学习中心，并有相关的评估指标体系作为评估标准，它充分利用现代信息 北京交通大学硕士学位论文 技术、计算机技术和网络技术进行信息的收集和处理，并由一套完整的评估系统 服务于评估的全过程，保障评估工作的顺利进行。 2 教育评估的分类 依据评估对象、目的和功能的不同，远程教育评估有多种分类【4 1 。 ( i 依据评估的对象不同，可将评估分为单项评估和综合评估 单项评估是指评估对象构成比较简单、评估目标比较单纯的项目。如对某一 门网络课程的评估。综合评估的对象是某一个系统，通常是一种多因素、多目标 的评估。综合评估可以分为以下几种：对远程教育效果的评估，侧重于远程教育 对国家经济的发展和国民素质提高的影响；对试点学校网络教育学院的评估，侧 重于试点学校网络教育的综合实力和水平；对远程教育质量的评估，侧重于网络 教育整体或某所试点学校办学质量的高低；对远程教育毕业生的评估，侧重于毕 业生适应工作需要的素质，能力和水平，以期对培养目标和教学过程进行调整。 当然，综合评估也可涵盖以上所有内容。 ( 2 ) 依据评估的目的和结果的不同，可分为诊断性评估、合格性评估和选优 性评估 诊断性评估是指为了制订切实可行、有的放矢的活动计划而进行的了解被评 对象的现状，包括了解其各种优势、特点、存在问题以及问题的原因，预测其发 展变化的可能性评估。诊断性评估在于发现评估对象现存的问题和寻找解决这些 问题的方法。 合格性评估就是评估现有的学校是否满足基本的标准，以确定该办学机构是 否可以继续开展教学活动。 选优性评估要对评估对象进行排序选优，推举出大家公认办学较好的学校， 给其它学校以借鉴，也使求学的人有更好的选择，从面促进整个国家的远程教育 的发展。 ( 3 ) 按评估的职能不同，教育评估可分为三类：替代性评估、形成性评估和 总结性评估。 替代性评估( a l t e r n a t i v ee v a l u a t i o n ) ：指在系统投入运行前进行的评估 常常是对多个替代性方案进行可行性论证、比较研究和优化设计，并以此为决策 提供依据。 形成性评估( f o r m a t i v ee v a l u a t i o n ) ：指为了使某项计划及其活动或工作效 果更好，而在活动过程中迸行目标、计划检验和计划执行状况判断的一种评估活 动。形成性评估的功能在于全面及时地对系统运行状态的反馈信息做出价值判断， 为决策者、管理者和操作者改进和完善管理工作和业务工作提供依据，尤其指挥， 协调、控制指示方向。 4 绪论 总结性评估( s u m m a t i v ee v a l u a t i o n ) ；指系统结束一个周期运行时进行的评 估。其功能在于加深对系统的本质和功能现状的了解，为下一周期的设计、规划、 决策提供依据。 替代性评估、形成性评估和总结性评估在远程教育系统管理中各自的独特地 位和作用可以用图l - i 表示。 蕾强罕薯螺i _ 评估h 评估h 评估 p 卜 ， _ 嚣，落 1 i 撩臻h 镳、 信息资源 输入。 l 输出 tit _ 。豁h ii 。蓊| i 。箍， ；i ；五 6 惩玎t 系玩 i 远程教育系统 环境 图l - i 三类教育评估在远程教育系统管理和决策中的地位和作用 根据以上分析，结合现代远程教育试点工作的目的和意义以及试点的实际情 况，现代远程教育的评估应该有以下的定位： ( 1 ) 这种评估应该是合格性评估，兼有诊断评估的成份。现代远程教育的试 点工作是我国整个现代远程教育工程的重点和关键环节，它的办学质量的好坏直 接影响到教育行政部门和各试点高校的形象和声誉以及社会公众对它的期望和信 心，鉴于此，评估应侧重于评价现有的试点网络学院是否满足基本的标准，如果 个别办学机构的办学指导思想不正确，不能够保证基本的办学质量，甚至给网络 教育造成极为恶劣的负面影响，再让这些单位继续试点就没有意义，因此这种评 估首先是一种合格性评估。与此同时，基于现代信息技术的远程教育只有十几年 的发展历史，试点工作也只有几年时间，各办学机构也都是在进行积极的探索， 而教育行政主管部门也试图从中总结出规律性的东西，例如这种教育形式的利弊 何在。对这种教育形式的管理方式是什么，应该从哪些方面来加强质量保证机制 等，因此，这种评估也应该有诊断性评估的成份，探索如何尽可能少走一些弯路， 而达到更好的质量效果，使得现代远程教育被社会公众所认可。 ( 2 ) 这种评估还应该是综合性的评估。现代远程教育的试点工作是一个系统 工程。现代远程教育质量涉及到多个方面，首先是院校的办学思想和培养目标。 北京交通大学硕士学位论文 办学思想和培养目标是远程教育院校工作的起点和落脚点，是远程教育质量的导 向和参照点。其次，各个试点高校的网络教育学院都是新生事物，网络教育学院 本身的机构设置是否合理、人员素质的优劣、建设水平高低，体现了试点工作的 组织保证状况。此外，目前试点高校的远程教育还是一种非义务教育，自身的建 设和发展主要依靠学生黔学费收入。因此。良好的财政状况也是远程教育质量保 证的一个主要因素。综上所述，目前试点高校的现代远程教育质量评估应该是综 合性的。 ( 3 ) 这种评估也是种形成性的评估。远程教育质量不是静止不变的，而是 不断发展变化的，因为作为远程教育质量内核的“顾客”需求( 社会、学生、院 校自身的需求) 是随时代的发展而变化的。通过质量评估全面、及时地了解整个 远程教育系统的运行状态，利用反馈的信息调整政策、策略、方法和手段，从不 同的侧面来保障远程教育质量，也是评估的目的。因此，当前进行的现代远程教 育的质量评估应该是形成住的评估。 】2 2 远程教育评估的基本程序 由于人们对评估过程的认识不同，评估的划分依据不同，工作要求以及思维 方式不同，形成了不同的评估程序，在高等教育评估中，一般的评估程序4 4 】1 4 5 1 为： 确定评估目的、分解评估目标、制定评估方案、组织实施评估、评估结果的发布 和利用。用框图的形式将该过程具体化，如图1 - 2 所示。 6 绪论 图i - 2 高等教育评估的一般程序 ( 资料来源：王占军，学位与研究生教育评估技术与实践2 0 0 0 年3 月) 远程教育的评估从总体上也要遵循高等教育评估的一般程序，丁兴富教授将 远程教育评估的基本程序归纳为三大步骤8 个主要环节1 2 】1 4 】，如图l 一3 所示，分别 是： 1 、评估的准备阶段：这一阶段的主要任务是确定被评对象，制定评估方案， 组织评估队伍，培训评估人员。其中评估方案的制定是这一阶段最主要的任务， 它包含三方面内容：制定评估的指标体系和确定评估的具体过程，研究评估信息 的获取方法和处理技术以及建立评估的组织机构和工作进度安排。 2 、评估的实施阶段；这一阶段的主要任务是按照评估方案进行实旌，首先由 7 霉 蚕一墓一 北京交通大学硕士学位论文 被评院校根据评估指标体系进行自我评估并提交自评报告，然后是评估人员收集 评估所需的数据资料，并对数据资料进行分析处理，最后由评估专家据此作出判 断和结论。其中对评估数据资料的收集和处理是这一阶段耗时最长、费力最多的 环节。 3 、评估完成黔段：这一阶段主要是撰写评估综述报告并将评估结果和评估报 告反馈给决策者、管理者、被评单位和社会公众，被评单位据此整理教育思路并 改进教学工作。 图1 - 3 远程教育评估的基本程序 我国现代远程教育的评估工作正是在高等教育评估和远程教育评估的一般程 序指导下进行的，同时又兼具了自身特色。例如，由于是网络教育试点院校的初 次综合性质量评估，因此，在评估的准备阶段，需要制定一系列评估的指导文件， 研究信息化评估的方式方法并开发现代远程教育质量评估系统；在评估的实施阶 段，被评单位和评估专家要利用评估系统首先进行网上自评和网上评估，之后才 是到现场的评估，并且评估资料的收集和处理主要是依靠评估系统来完成，被评 单位和评估专家在评估系统的支持下共享信息，建立联系。基于评估系统的现代 远程教育评估的具体程序和步骤将在第二章详细介绍。 1 2 3 远程教育评信的方法 用于教育评估的方法很多，通过文献调研和综合分析，笔者归纳了教育评估 的常用方法有如下六种： 绪论 1 一般调查法1 2 l ：常用的调查方法有文献查阅、现场座谈、实地观察等三种。 这种调查方法，可以较快地得到反馈信息，评估专家到现场实地访问、观察、参 加讨论、查阅资料，可以得到直接印象，收集到的数据较为可靠。但也有不足之 处，如信息来源受到一定的局限，信息提供者易受访问者的主观影响，致使信息 扭曲或失真，组织讨论占用的时问较多等。 2 抽样调查法i 2 l ：抽样调查法就是根据统计学的原理，运用现代计算工具， 通过对局部的调查，从而对整体进行评估的方法。在远程教育系统的评估中，运 用般调查法难以收集真实而又有广泛代表性的数据，因此，常借助抽样调查法。 抽样调查法包括抽取样本的方法、调查表的设计、调查结果的统计分析等内容。 3 比较测量法i 刃；比较测量法就是通过一定的手段将被测事物与作为测量标 准的参照事物相比较，从而对被测事物赋值的一种方法。比较测量主要用于对学 生的精神特住进行数量化测定，比如对学生的学习能力、学业成绩、思想品德以 及身体素质等的测定。由于教育活动具有一定的抽象性，作为测量的标准往往也 具有一定的抽象性，并且由于每个评估人员心目中的标准可能有所不同，因此测 量的结果可能因人面异，为了使测量的结果更准确客观，测量的标准应该是大家 公认的或者是事先约定的。比较测量法有直接比较、间接比较、统测、抽测等几 种。 4 专家评议法1 4 i ；就是组织相关领域的专家，运用他们的专业经验和理论， 研讨评估对象的性质，考虑对象所处的社会环境和背景，通过直观材料，对过去 和现在发生的问题进行分析综合，并从中找出规律，从而作出价值判断的一种方 法。常用的专家评议法，有个人判断法、专家会诊法、函询调查法等三种。函询 调查法指的是通过向有关专家邮寄调查表以获取评估结果的方法。 5 定量评分法1 4 i ；来源于价值工程分析法，是根据对象的具体情况，选定评 估项目，并对每个评估项目制定出评价和评分标准，然后由有关专家和评估人员 对各个评估项目进行打分的方法。对于每个评估专家的评分结果通常要进行加权 平均处理以便得到更客观的结果。 6 模糊评价法1 5 l ：又称为模糊综合评价法，它是与定量评分法相对的一种定 性评价方法，评估人员根据所掌握的评估材料和数据对评估项目进行定性的等级 评价，然后再用模糊数学的方法对每一个评估人员的评价结果进行综合，从而得 到客观的评估结论。模糊综合评价法对于多因素情况下的定性评价的量化及评估 结果的整合方面都有重要的应用，也是本论文研究的一个重点。 若按评估方法的用途来分，前三种评估方法属于是对评估信息的收集和处理， 后三种是依据评估信息对被评对象的综合判断。评估方法虽然较多，但在实际的 评估中一般没有固定的模式，常常需要根据评估的目标、被评对象的特点等灵活 9 北京交通大学硕士学位论文 运用各种评估方法。 具体到远程教育的评估中，由于远程教育在教学模式，学生特点以及管理方 式等与普通的高等教育有很大不同，因此在评估方法的选择上也要有所侧重。具 体从以下三个方面来分析： 1 远程教育的教学模式主要是基于互联网：通过调研发现，如图1 4 所示， 目前网络教育的教学模式中，互联网的利用率很高，几乎达到了1 0 0 ，因此只有 通过网络才能真正了解被评网院的教学实施情况，也只有充分利用网络化手段才 能更好的进行评估。 图i - 4 再网络学院教学模式统计 ( 资料来源：国内现代远程教育试点高校教学情况调查报告( 2 0 0 5 年) ) 2 远程教育的师生在地域上是分离的。学生并不是集中在校园内学习而是分 散在各地并由当地的学习中心具体负责教学和管理，因此，对学生的访谈和现场 问卷调查以及直接测量等就难以实现，但是由于远程教育的学生需要掌握较多的 信息化学习手段，例如在调研中发现，7 6 和6 3 的课程答疑利用电子邮件和b b s 论坛的方式，因此若采用e m a i l 或b b s 的形式进行闯卷调查了解其学习情况和各 方面的意见就很容易实现。 3 远程教育的管理主要通过计算机网络等信息技术手段来实现：经过调研， 在6 7 所普通高校的网络学院中，有6 0 个网络管理平台及网站可以查询到并顺利 进入，得到相关信息。也就是说。大多数网院都有自己专门的网上教学管理平台， 有的是自行开发的，有的是通过技术公司专门开发的，还有的是联合开发的。教 学平台的功能不尽相同，一般包括课程开发、信息发布、课件管理、答疑、作业 提交、在线考试和教学管理等功能。如图1 5 所示。 由图1 5 可以看到，各试点院校一般都建有功能强大的网络化教学管理平台， 各种教学管理的文档资料、运行数据等信息都可以在管理平台中方便查到，同时 缝堡 这也是远程教育评估的内容之一，因此评估人员只需要以不周的身份登录管理系 统，既可以考察网络管理平台的运行情况也可以从中获取自己需要的信息，例如 课件的制作情况、答疑情况等，从而做出准确判断。 图1 - 5 网络学院教学管理平台功能应用情况 ( 资料来源：国内现代远程教育试点高校教学情况调查报告( 2 0 0 5 年) ) 以上的分析旨在说明，现代远程教育的评估既要充分吸取一般教育评估方法 的精华和优势，又必须要根据自身的特点研究更合适的评估方法，并随着评估实 践的发展而不断丰富和完善。例如可以通过网络实现抽样调查、专家会诊、查阅 资料等等。并且每种方法也不是独立发挥作用，通常是综合使用多种评估方法。 具体到本论文所研究的评估系统中，就综合运用了远程问卷调查、专家网上考察、 专家个人判断，小组网上会商、专家定量打分，模糊综合评价等评估方法。 1 3 国内外评估实践综述分析 1 3 1 国内外评估的一般情况 1 国际远程教育评估实践及分析 当前，远程教育质量评估已经成为远程教育领域的一个研究重点，许多国家， 社会团体、政府和研究组织都在做相关方面的研究，并且已经取得了一定的成果， 同时在实践中得到了一定的贯彻执行。其中，在国际上，英国、美国、南非、澳 大利亚、加拿大等国对于远程教育质量评估的研究具有较强的代表性。以下分别 北京交通大学硕士学位论文 做简要介绍。 ( 1 ) ，英国；英国的远程教育是单一院校模式，远程教育的评估与普通高校 的评估使用同一套评估标准，并由同一个评估机构来进行评估。以英国开放大学 为例，英国开放大学设立了内部审查机构，形成了相关的质量保证体系，进一步 加强了对远程学习过程的评估，定期测评学习效果，通过远程问卷调查、电话调 查等方式随时要求学习者对教师、教材、机构做出评价，并及时反馈给教学人员 和辅导教师，以便促进远程教育教学的改进和提高。同时，英国开放大学的教学 评估服从与其他英国大学相同的系统，由英国质量保证署( q a a ) 来对其进行外 部评估。英国教学评估的一般步骤是：先由学校分学科进行自评，然后由校外评 价人员进入校、系进行实地抽样调查，最后评价结论按质量高低分为三个等级， 公布于众。对于英国开放大学的评估情况还将在1 3 2 节专门介绍。 ( 2 ) 美国：美国的远程教育是双重院校模式，即没有专门建立的开放大学或 远程教学大学，远程教育主要由传统高等学校承担。在美国，所有远程教育评估 的工作都由对传统教育进行评估的学术团体来进行。这些学术团体有两类：地区 性的评估团体和小规模的全国性、专业性评估团体。地区性的评估通常会授权一 些协会进行，但同时这些机构也可能是待评估的对象。无论被评对象提供的远程 教育是课程学习、学位课程还是资格认证，进行评估的标准都与普通课程质量评 估的标准相同。 2 0 0 1 年3 月1 日，美国国家教育协会( t h en a t i o n a le d u c a t i o na s s o c i a t i o n ： n e a ) 和b l a c k b o a r d 公司联合发布了高等院校网络远程教育质量七个方面共2 4 条 评价标准。这7 个项目是：学校制度支持评估指标、课程开发评估指标、教学过 程评估指标、教学组织评估指标、学生服务评估指标、教师培训评估指标、教学 效果评估指标。 以美国凤凰城大学为例，美国远程教育评估的一般程序为： 被评单位提出申请。 自我鉴定：自我鉴定报告中要明确写明学校存在的优点和不足。 考查评估。组织本地区认可鉴定机构成员学校的校长、教授以及各部门的 专家、有关企事业的代表，研究机构的学者等组成专门的质量鉴定小组，到申请 单位去考查，小组成员要同申请学校全体人员广泛接触，听课，谈话，查阅文件， 最后写出评估报告，上交认可鉴定机构，并通报给申请单位。 做出结论。评估机构根据掌握的材料进行研究讨论，做出鉴定结论，将申 请学校按标准列为“认可学校”、“候补认可学校”或“评估联系学校”名单，被 列为“认可学校”名单的当年就会公布，另两类则限期整改。 ( 3 ) 南非：南非的远程教育是单一院校模式，南非大学与其它普通高等院校 一样要以其实力接受国家高等教育质量委员会每6 年一次的质量认证。为提供高 质量的远程教育，同时也是为t i 哽n 通过质量审定，南非大学专门建立了质量促 进部，负责教学质量的内部评估；同时还专门制定了校内质量保证标准指南，提 出了自我评估的指导原则和评估范围，在校内自评的基础上迎接校外评估。在自 我评估中，每个系部必须就如何收集、处理信息的方法提出标准。教学部门的自 评内容集中于教学、研究和社区服务三个方面。校外评估委员会往往通过集中测 评，提出评估报告，由此指导学校制定改进措施，在评估内容上，主要侧重于评