（计算机应用技术专业论文）自学考试助学组织评价体系的研究及评价系统的实现.pdf

摘要 摘要 自学考试是汲取科举考试精华、融入现代教育理念的具有中国特色的现代教 育形式。高等教育法明确规定自学考试是一种高等教育制度，它是我国高等教 育的组成部分。目前，自学考试的学业评价是以国家考试成绩作为唯一的评价 手段，虽然强化了学业评价的公平性，但却忽略了评价的客观性和科学性。所 以，将学习过程的考核与国家统一考试有机地结合在一起的自学考试学业评价 改革势在必行。鉴于自学考试的助学组织中有普通高校、成人高校、行业部门 和社会力量办学单位( 民办大学、培训机构等) ，办学水平参差不齐。为了保证 学习过程考核的有效性，就必须对已有助学单位进行评估，以便筛选出具备条 件的单位参与过程考核。 本课题是依据北京自学考试办公室对助学组织的评估而展开的系列研究工 作，它包括评价方法选择、评价系统设计、评价系统开发和评价系统的完善等 研究内容。总体设想一是解决评价的客观环境，二是解决评价结果的客观性。思 路是采用互连网运行的专家评估和教学质量监控系统解决专家客观评价的环境 问题，其评价结果能够反映专家的真实思想；利用a h p 层次分析方法，重点解 决了评估的关键因素指标体系和专家的权重估值问题，使评估结论更具相对客 观性和科学性。本论文是针对系统开发过程中，评估方法研究与论证；系统的 设计、开发及使用效果等的论述。 关键词自学考试；助学组织；评价系统；指标体系 a b s t r a c t a b s tr a c t s e l f t a u g h t e x a m i n a t i o ni sa ne d u c a t i o nf o r m w i t hc h i n e s e c h a r a c t e r i s t i c s i th a st h ei m p e r i a le x a m i n a t i o na n de s s e n c eo fm o d e r n e d u c a t i o n h i g h e re d u c a t i o na c ts t i p u l a t e de x p li c i t l ys e l f t a u g h t e x a m i n a t i o ni so n ek i n do fh i g h e re d u c a t i o ns y s t e m ，i ti sa np a r to f c h i n a sh i g h e re d u c a t i o n a tp r e s e n t ，s e l f t a u g h te x a m i n a t i o nt a k e st h e o n l ya p p r a i s a lm e t h o db yt h en a t i o n a le x a m i n a t i o n ，a l t h o u g h i t s t r e n g t h e n st h ee q u a l i t yo fe v a l u a t i o n ，t h e ni tw e a k e n st h eo b j e c t i v i t y a n ds c i e n t i f i c n e s 墨t h e r e f o r e ，w em u s tc o n d u c tr e f o r mf o rs e l f t a u g h t e x a m i n a t i o n si n s p e c t i o n o f l e a r n i n gp r o c e s s s a n dt h en a t i o n a l e x a m i n a t i o no r g a n i c a l l yw i l lu n i f yi nt o g e t h e r s e l f t a u g h te x a m i n a t i o n s c h o o l si n c l u d e dt h eo r d i n a r yu n i v e r s i t i e s ，t h ea d u l tu n i v e r s i t i e s ，t h e p r o f e s s i o nd e p a r t m e n t s a n d t h ee d u c a t i o nb y p r i v a t ef o r c e s u n i t s ( p r i v a t eu n i v e r s i t i e s ，t r a i n i n go r g a n i z a t i o n s ) ， a n dt h o s es c h o o l s l e v e li s i ni r r e g u l a r i no r d e rt og u a r a n t e et h ev a l i d i t yo ft h el e a r n i n g p r o c e s si n s p e c ti o n ，w em u s tb ya s s e s s m e n tt h o s es c h o o l sf o c u so nt h ea i m s o fs c r e e n i n gt h eq u a li f i e du n i t sp a r t i c i p a t i n gi nt h ep r o c e s s i n s p e c t i o n t h i st o p i ci st h er e s e a r c hw o r k o fb e i j i n go f f i c eo fs e l f t a u g h t e x a m i n a t i o n ss c h o o la s s e s s m e n t i ti n c l u d e st h ea s s e s s m e n to fr e s e a r c h m e t h o d s ，t h ea s s e s s m e n ts y s t e md e sig n ，t h ea s s e s s m e n to fs y s t e m s d e v e l o p m e n ta n di m p r o v e m e n to fa s s e s s m e n ts y s t e m t h eo v e r a llc o n c e i v e s o n es o l v e st h ea p p r a i s a lo b j e c t i v ee n v i r o n m e n t ：s e c o n d ，s o l u t i o nm e a s u r e r e s u l t so b j e c t i v i t y t h em e n t a li t yi su s e st h ei n t e r c o n n e c t i o nn e t w o r k m o v e m e n tt h ee x p e r ta p p r a i s a la n dt h eq u a l i t yo ft e a c h i n gs u p e r v i s o r y s y s t e ms o l v e st h ee x p e r to b j e c t i v ee v a l u a ti o ne n v i r o n m e n tp r o b l e m ，i t s m e a s u r er e s u l t sc a nr e f l e c te x p e r t sr e a lt h o u g h t ：u s i n gt h ea h pa n a l y t i c 北京t 业大学t 学硕十学何论文 h i e r a r c h ym e t h o d ，h a ss o l v e dt h ea p p r a i s a lk e ya s p e c ti n d i c a t o rs y s t e m a n de x p e r t sw e i g h te s t i m a t ev a l u eq u e s t i o nw i t he m p h a s i s ，c a u s e st h e a p p r a i s a lc o n c l u s i o nt oh a v et h er e l a t i v eo b j e c t i v i t ya n dt h es c i e n t i f i c n a t u r e t h et h e s i si sr e l a t e dt ot h es y s t e md e v e l o p m e n t ，m e t h o dc h o i c e ， p r o o fa n de f f e c tu s ea n ds oo n k e y w o r d ss e l f t a u g h te x a m i n a t i o n ： s e l f t a u g h t e x a m i n a t i o n s s c h o o l ：a s s e s s m e n ts y s t e m ；i n d e xs y s t e m 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 魏乌苷嗍一r 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 虢占痿筝导师签名 圣秀 1 7 期：x 冲分r 第1 章绪论 第1 章绪论 1 1 课题背景 1 1 1 自学考试的改革与发展 上个世纪8 0 年代诞生于北京等地区的自学考试制度，是在借鉴中国传统教 育思想科举考试精华的基础上与世界现代教育思想相融合的结晶。简言之，自 学考试是汲取科举考试精华、融入现代教育理念的具有中国特色的现代教育形 式。 当今时代，强化教育的育人功能，提高受教育者的素质，是各类学校、各 种教育形式的共同理念。自学考试不但要重视结果，更要重视教育过程，而且 要下大力气抓好学习过程。具体来讲，自学考试要实现从重视考试过程向重视 考试过程与教育并重转变。 目前，自学考试的学业评价以国家考试成绩作为唯一的评价手段，应该说 有一定局限性，虽然强化了学业评价的平等性，但是削弱了全面性与客观性。 就目前的考试手段，很难对考生的能力、特别是素质进行有效的测评。所以， 研究、建立自学考试考生学业综合评价体系，把考生平时学习与表现情况纳入 总体评价，是实现自学考试向考试与学习过程并重转变的关键，也是完善自学 考试教育形式的重要任务。开展自学考试考生学业综合评价，是通过建立考生 平时学习成绩考核、认定办法，将考生的学习过程考核成绩与国家考试成绩结 合起来，一并纳入自学考试考生学业评价体系，使个人自学、社会助学和国家 考试三者更加紧密地有机结合起来，引导、激励自学考试考生全面发展，全面 提高综合素质。 自学考试社会助学以民办教育为主体。民办教育目前在我国尚属探索发展 时期，许多助学单位在办学思想上片面追求经济效益，在办学条件、规范管理、 教职工队伍的素质和稳定性等诸多方面，存在不足。违规办学、虚假宣传、采 取不正当手段招揽学生等问题时有发生，各助学组织间无序竞争现象比较严重。 基于此原因推行学业评价改革的前提就是要对助学单位进行必要的评估和教学 质量的监控。对学校考核成绩的部分进行分析监控也是一种有效的方式。 1 1 2 教育评估和评价的研究与完善 目前，无论是从理论研究，还是从实践层面上，一个具有中国特色的教育 评估体系正在形成【l 训。在教育活动的各个领域、各个层次开展了广泛的教育评 估活动，包括全国的、地区的、学校的、学科的、教师的、学生的、校长的各 北京t 、i p 人学t 学硕十学何论文 种评价【5 墙l 。教育工作者制定了相当数量的各种评估方案或质量标准。但不可否 认的是都存在一定的局限性。主要表现为过于强调评估指标体系的量化功能。 目前，对学校的评估已经从过去的定性评估过渡到定性与定量相结合，以定量 为主的评估方式，也在设置评估指标体系时往往过分强调指标的量化。事实上， 教育现象的不确定性主要表现为随机性和模糊性，对教育现象做出明晰而精确 的描述是非常困难的。从理论层面是个挑战，但从具体的操作层面无疑是一种 折中的选择，针对大规模的评估则又是明知的抉择，毕竟不同的评估者评估不 同的学校很难得出客观的结论。笔者长期从事教育评估工作，依笔者之见，指 标的量化能更有效促进评估工作的组织，前提是选择适当方式将定性元素转化 定量元素。 1 2 助学组织评估和评价的意义 评估是适应世界高等教育发展趋势的需要。欧洲、美国从事高校评估工作 有近百年历史，而且越来越重视评估工作。他们不仅有综合性的高等教育评估， 而且有大量单项评估，不但有政府组织的评估，也有非政府的社会和民间的多 层次评估。评估已成为引导学校科学办学，深化改革、提高质量的重要手段， 成为社会民众了解高等教育运行情况、了解教育质量、从而择校学习的重要渠 道。 目前，研究、建立自学考试考生学业综合评价体系，把考生平时学习与表 现情况纳入总体评价，是实现自学考试向考试与学习过程并重转变的关键和改 革的重点，也是完善自学考试教育形式的重要任务。因此，完成助学组织的评 估准备和评估系统，是自学考试发展改革的保障和基础。 虽然工作的意义重大，但其风险也极大，改革一旦失败将会使自学考试遭 受莫大的损失。在系统的开发工作中，可能出现问题导致失败的主要原因之一 是助学组织选择的决策是否正确，因此，提高系统开发决策的正确性具有重要 的意义。从工作过程来看，助学组织选择的决策很大程度上依赖于与助学组织 的评价，因此助学组织评价是系统开发过程中的一项重要活动，它是成功实现 开发的重要工作，是提高助学组织评估工作效率和筛选决策的科学性、客观性、 工整性和正确性的重要保证。 1 3 教育评估的研究现状分析 1 3 1 教育评估产生与发展的四个阶段 1 3 1 1 教育评估的源头 教育评估可以说是随学校教育的出现而产生的。随着学校的产生，出现了 对学生入学、升级、学习情况、毕业的认定和对教师教学质量的考核与评定。 第1 章绪论 1 3 1 2 教育测量运动 教育评估作为科学概念是2 0 世纪3 0 年代正式被提出的，它发端于对教育 测量运动的批判。1 9 世纪末到2 0 世纪3 0 年代，对学校中的考试进行了积极的 改革，逐渐形成为教育测量运动。这一运动的发展历程大致可以划分为如下3 个阶段。 初始阶段。这一阶段的主要活动是：以笔试代替口试。最早进行这一改 革的是英国的剑桥大学，是于1 7 0 2 年进行的。但首先在公立初等、中等教育阶 段真正使用笔试的是美国。使评估标准客观化、明确化。被称为致力考试客 观化先驱的英国学者费舍于1 8 6 4 年编制成量表集，美国莱斯的拼字测验也 为教育评估标准客观化、明确化作出了努力。 形成阶段。时间是2 0 世纪后，美国的桑代克的心理与社会测量导论 ( 1 9 0 4 年) 一书被作为这一时期的标志。后来，陆续编制出测量标准、标准测验。 法国的比纳和西蒙于1 9 0 5 年，提出了第一个智力量表，即比纳一西蒙量表。 发展阶段。这一时期开始对教育测量运动反思批判。测量只侧重于进行数 量化知识方面的测量，不利于学生个性的发展。教育测量必须与教育目标紧密 结合。基于这样的观念，教育测量转向了教育评估。 1 3 1 3 教育评估的产生 现代教育评估诞生于教育测量的发展，而推动教育测量走向新发展的是教 育评价运动。泰勒等人通过有关课程与评价的“八年研究 ，提出并概括了“教 育评价”这一新概念。人们认识到评价必须是为了实现教育目标。 1 3 1 4 教育评估的发展 现代教育评估的发展又经历了3 个阶段。 发展初期( 约为2 0 世纪5 0 年代) ，此时期教育评价理论的发展主要体现在 布卢姆等对教育目标分类体系的研究成果方面； 迅速发展时期( 约为2 0 世纪6 0 年代) ； 专业化时期( 约为2 0 世纪7 0 年代以后) 。后两个阶段形成了较多的教育评 估理论，产生了较多的教育评估模型。 1 3 2 评估方法的发展 2 0 世纪6 0 年代，模糊数学在综合评价中得到了较为成功的应用，产生了 特别适合于对主观或定性指标进行评价的模糊综合评价方法。2 0 世纪7 0 8 0 年 代，是现代科学评价蓬勃兴起的年代，在此期间，产生了多种应用广泛的评价 方法，诸如层次分析法、数据包络分析法等。2 0 世纪8 0 9 0 年代，是现代科学 评价向纵深发展的年代，人们对评价理论、方法和应用开展了多方面的卓有成 效的研究、比如，将人工神经网络技术和灰色系统理论应用于综合评价。当前， 北京t 业大学下学硕十学何论文 多目标、多层次综合评价已经涉及人类生活领域的各个方面，其应用的范围越 来越广，所适用的方法也越来越多。 近年来，围绕综合评价，其他相关知识不断渗入，使得综合评级的方法不 断丰富、有关研究也不断深入。值得注意的是，国内外近二十年来综合评价技 术的实际研究状况表明，从事综合评价技术研究的人员更多的不是统计界人员， 而是管理数学界与系统工程界的研究人员，他们不断从决策科学、系统科学中 寻找科学的综合评价思想和方法，并不断将其引入和应用到各类综合评价实践 中去。 1 3 3 我国的教育评估产生与发展的四个阶段 1 9 8 4 年我国j 下式加入“国际教育成就评价协会”( 1 f a ) ，被认为是我国有 领导、有组织地广泛开展现代教育评价活动的一个重要标志。先是在高等教育 领域开展，然后扩展到基础教育、职业教育、成人教育、社会教育等方面。具 体内容包括有关政策的制定，制度的建立，教育评价实验、实践活动的开展与 理论的研究。1 9 8 5 年公布的中共中央关于教育体制改革的决定中指出：“教 育管理部门要组织教育界、知识界和用人部门定期对高等学校办学水平进行评 估”，之后各级教育行政部门进行了重点学科、学位授予点、优秀教学成果评 定，高等院校的办学水平的监督性评估，有关专业办学水平的评估，对实验室、 校办工厂及后勤工作的评估等。许多学校在内部开展了课程评估、教师教学评 估和学生质量评估等。基础教育的评估活动也在1 9 8 4 年我国加人国际教育评估 组织后逐渐活跃起来的。有领导、有计划地广泛开展基础教育评价工作是在1 9 8 6 年以后。1 9 8 6 年3 月，我国政府在发展国民经济的第七个五年计划的报告中提 出了“要建立系统的教育评价和监督制度”。1 9 9 3 年国务院印发的中国教育 改革和发展纲要，提出了对各级各类教育进行全面评估的要求，提出“建立 各级各类教育的质量标准和评估指标体系。此后，国家教委也陆续以文件的 形式对中等专业学校、职业高中、成人学校提出综合评估和专项评估的具体要 求。一些省市也先后出台了自己的教育评估文件和评估方案。 总之，理论研究上，一个具有中国特色的教育评估体系正在形成。实践方 面，在教育活动的各个领域、各个层次开展了广泛的教育评估活动，包括全国 的、地区的的各种评价。教育工作者制定了相当数量的各种评估方案、质量标 准和方法。 但是，自学考试做为一种新兴的新型高等教育形式，其教育过程的评估尚 属真空。本系统的完成既是一种探索研究，同时也填补该领域的空白。随着综 合评价技术【9 1 1 】日趋完善、评价系统设计手段【1 2 - 1 4 】不断成熟及国外可借鉴经验 【1 5 1 7 】，为成功开发设计助学组织评价系统提供了可靠的保证。 第1 章绪论 1 4 研究内容及系统流程 1 4 1 课题及数据来源 示范助学组织评选和自学考试学业综合评价改革是现阶段自学考试改革的 重点，这些都与助学组织的评估有直接关系。所以，助学管理系统也是自学 考试信息管理系统的重要组成部分。目前，助学管理系统已经初步开发完成， 实现了对助学组织的计算机管理。本课题就是在此基础上所进行的研究和探讨。 本课题来源于北京教育考试院，系统是自学考试信息管理系统的一部 分。数据的调用均来源于信息系统的数据库和自学考试办公室组织的专家评估 数据，数据真实可靠。 相关的支持数据来源于北京市教育委员会组织的民办高等教育机构年度评 估和教育部考试中心针对自学考试学习服务中心评估的资料。 1 4 2 评价系统流程 下图就是本课题研究的考试评价简要的一个流程： 图1 - 1 助学组织评价流程 f i g u r e1 一la s s e s s m e n tp r o c e s so ft h es c h o o l 图中左边部分即为本课题研究的评估系统和部分教学评价过程，而其中重 中之重就是下面的部分，即评估服务系统处理数据所使用的算法选择及应用过 程。 北京t 、i k 人学下学硕十学位论文 1 4 3 论文的主要工作及其结构 1 4 3 1 论文的主要工作 本文在总结和综合国内外现有的研究成果的基础上，通过进一步深入分析、 研究助学组织评估和影响评价的主要因素，以及评估工作的流程、特点，尤其 是自学考试学校教育的特点，本着提高评估工作准确性和效率的设想，探讨有 效评价方法，并设计开发了基于网络的助学组织评估系统( 以下简称系统 s y s t e m ) 。论文的主要研究内容如下： ( 1 ) 研究助学组织评价的指标体系及评价模型 由于影响助学组织评估的许多因素具有不确定性，因此开发评价系统是一 个复杂的系统工程。在评价指标体系和评价模型的设计方面，怎样运用层次分 析法原理，将各种因素进行分解，形成层次化的分析模型，是本文研究的主要 研究内容之一。另一方面，由于对评估中的许多模糊的不确定因素，处理定性 的模糊评价也是本文的主要研究内容。 ( 2 ) 助学组织评价系统的实现与完善 助学组织评价是一项既复杂又繁琐的工作。研究开发评估系统，将进一步 科学合理地规范评价工作，而且将进一步提高评估的准确性和效率。从目前开 发的程序来看，为实现规范的评价创造了良好的条件。 1 4 3 2 论文结构 本课题论文分为五个部分： 第一章为绪论，主要介绍选题的意义，国内外研究现状进行分析。并介绍 本文的主要工作和论文的结构。 第二章主要介绍助学组织评估主指标体系的构建原则，构建的评价指标体 系和进行评价体系及相关方法的研究。 第三章在系统的总体框架下，对系统的各子系统进行详细设计。并分别介 绍数据库子系统、模型子系统和人机对话子系统的组成，以及评价模型的原理。 第四章介绍了系统开发的关键技术，给出了系统主要功能的实现过程。 第五章简要介绍目前评价系统的应用。 最后结论是对本课题工作的总结，指出进一步研究的方向及前景展望。 第2 章评价体系及相关方法的研究 第2 章评价体系及相关方法的研究 2 1 评价指标体系 2 1 1 评价指标体系的特征 助学组织的的评价要受到各种因素的制约。因此，评价指标体系的设计， 需要深入了解影响评价的各种因素及其特征，分析它们之间内在关系，在遵循 全面与科学性、系统性等原则上，建立正确、客观的评价指标体系。评价指标 体系建立的原则，主要体现在以下几个方面。 2 1 1 1 全面与科学性原则 影响助学组织评价的因素是多种多样的。因此，在设计指标体系时应始终 注意全面性。既要注意技术因素，又要注意其非技术因素；既要考虑经济效益， 又要考虑其存在的风险。力求通过评估能全面衡量一个助学组织的状况。在注 意全面的同时，也要注重科学性，指标体系的构建应在科学理论的基础上，采 用先进的方法建立。指标体系必须能科学地反映学校管理的主要环节和特点。 2 1 1 2 系统性原则 指标体系是全面反映学校工作的有机整体，各指标之间既相互独立，又相 互联系。因此在进行指标设计时应注意指标的优化组合，评价指标并非越多越 好，也不是越少越好，关键要考虑其在评价中所起的作用大小。在总体目标下， 指标设置应全面、完整、结构合理；层次分明；相对独立；并注意少而精，即 指标项目要适量、内容应简洁，在满足有效的前提下，尽可能使评价指标体系 简便。 2 1 1 3 客观与可测性原则 在制定评价指标的过程中，应注意其客观性，力求评价指标能客观地反映 评估对象的实质。同时，指标体系对于建立数学模型、采集数据、评价考核、 综合分析等都是可测的。利用指标体系进行评估时，其方法力求便于掌握、易 于实施，易于处理并得到结果。 2 1 1 4 可比与相容性原则 要使指标体系具有行业可比性，需要做到评价标准一致，需通过科学的方 法使各比较对象在同一指标应尽可能避免相同或含义相近的变量重复出现。指 标含意简明、概括，并具有代表性。 2 1 1 5 定量评价与定性评价相结合的原则 评价指标应反映学校工作的各个方面，包括教学管理、行政管理、教学条 北京下业大学t 学硕十学何论文 件、教学效果等。因此在设计评价指标时，既要定量处理，也要定性分析。尽 是选取容易量化的指标，但对那些反映学校工作的主要因素也不可遗漏。只有 充分重视定性评价，才能得到公正、全面、科学的评估结果，才能做到与实际 情况相吻合。 2 1 1 6 动态指标与静态指标相结合的原则 助学组织的评价受社会、经济及各种因素的影响而不断变化。因此，在评 价中指标应根据具体情况做相应的变动，以提高评价的准确性。 2 1 2 助学组织评价系统的指标体系 影响学校工作的因素较多且比较复杂，为了科学合理地对助学组织进行综 合评价。评价系统的指标体系在遵循上节所给出的原则基础上，从影响学校工 作的诸多因素中，选择主要的能从不同角度反映总体情况的关键因素作为指标 体系的内容。经过总结、分析和研究，将助学组织评价指标体系设计成三层结 构。第一层是助学组织的综合评价；第二层为综合评价的六个主要方面：基本 条件、教学管理、行政管理、教学条件、教学效果和助学行为。第三层是将第 二层的三个一级指标均分解为若干个二级评价指标。 自学考试的教育、教学活动广泛，评价的要求也不尽相同。有行政部门的 年度评估、管理部门的示范评选和学业综合评价等。其形式相似，内容要求不 同，在本论文中仅以北京自学考试的示范助学组织评选来做说明。 第2 章评价体系及相关方法的研究 2 2 助学组织评价体系的评价算法模型 2 2 1 评价指标体系结构 助学组织的评价属于多目标决策问题，在评价模型方面应根据层次分析理， 按指标的层次关系和隶属性关系逐层分解，形成层次分析评价模型。评价指标 体系具有评价和控制双重功能，它的构建应遵循以下原则：可比性，每一个指 标都应是确定的，可进行比较的；定量性，评价指标体系中每一条指标都应是 定量的，是为了适应建立数学模式，进行数学处理的需要；简约性，评价指标 体系应在全面的基础上尽可能地简单，以最少的指标准确反映所研究对象的基 本特征。所以，本文设计如图2 一l 所示的助学组织评估指标体系结构就是采用 经典评估的结构，一般设置一级指标f n 、二级指标f n n 和测评点。 f ig u r e2 一ls t r u c t u r eo fi n d e xs y s t e mf o rt h es c h o o l - 9 - 北京一i ：、i k 大学t 学硕十学何论文 2 2 2 综合评价技术 2 2 2 1 线性加权模型 此模型是针对任何规模教育评估设计的主评估模型。这是定性指标定量化 管理的有效手段n e2 引。 ( 1 ) 原理 以两级指标体系为例，对于第i 组二级指标，第k 个专家的评价结果如下： 表2 1 专家评价结果示例 t a b l e2 1t h ed e m o n s t r a t i o no ft h ea s s e s s m e n to fa ne x p e r t 二级指标 f 巧：f 慨 第k 个专家的评价 增，轷 增，蟛： 瓒， x 以( k 2 量化值 搿蟛搿 模糊评价的量化公式：够_ - - a x ；k 2 + ( 1 一口) 彬( = 1 , 2 ，惕) i = 1 ，2 ，朋；后= 1 ，2 ，k ( 卜专家数) 其中0 口l ，由决策者选定， 通常口= 三。 设评价指标为：彳，以， 指标相应权重分别为：m ，w 2 ， 各指标的评价值为：五，x 2 ， 则综合评价值为：甜= 而4 - w 2 x 2 + + = w 薯 ( 2 ) 模型i ( 先评价后合成) 先计算各专家的综合评价值，然后再合成专家总体评价。 第k 个专家的综合评价值的计算： 1 。一级指标的计算： 第j 指标厅的指标值：= 谬，i = l ，2 ，朋 2 。第七个专家的综合评价值x = 毫 第2 章评价体系及相关方法的研究 合成各专家意见，得出总体评价 置 x = p k x 似 k 其中，展o ，k = l ，2 ，k 且展= 1 ， k = l 鼠反映第k 个专家的权重，由评估组织者确定。若各专家 水平相当，则可取屏2 去，k = 1 ，2 ，k ( 3 ) 模型i i ( 先合成后评价) 先合成专家的评价值，然后再计算综合评价值。 合成专家的评价值： 二 级指标e的评价值 ： 石 嘞= 展谬，= 1 , 2 ，碍，i = 1 , 2 ，彤，孱的意义同上。 k = l 计算综合评价值 啊 1 。一级指标f g 的评价值：薯= 嘞，f = 1 , 2 ，m = l 2 。计算综合评价值x = 嵋誓 z = l ( 4 ) 评价结果 根据综合评价值x 确定被评估学校的最终结果： 9 5 ，1 0 0 优秀； 8 5 ，9 4 良好； 7 5 ，8 4 中等； 6 5 ，7 4 一 一合格； 0 ，6 4 不合格。具体标准由评估组织者设定。 ( 5 ) 线性加权模型在教育评估中的实践 线性加权模型就其本身来讲技术含量不是很高，但用于教育评估却是一个 有益的尝试。它的实现的程序编写也不是很难，有许多相同或相似的程序，有 的甚至可直接套用，实现比较容易。关键是模型使用的合理性阳引，是否符合评 估的要求，能被评估者和被评估者接受；是否有一个匹配的评估服务系统支撑， 在此就不再赘述。 2 2 2 2a h p 层次模型 此模型是针对小规模教育评估的主评估模型。层次分析法是一种强有力的 北京下业大学下学硕十学位论文 系统分析加运筹学方法，对多因素、多标准、多方案的综合评价及趋势预测相 当有效。它不仅适用于存在不确定性和主观信息的情况，还允许以合乎逻辑的 方式运用经验、洞察力和直觉。面对由“目标层+ 准则层+ 方案层”构成的递阶 层次结构决策分析问题，给出处理方法与过程。具体在第3 章做详尽介绍。 2 2 3 综合评价服务模型 此模型是针对评估服务系统中评估指标和专家权重的评价模型。 我国的教育评估尚处初期探讨阶段，仍存在一些问题，影响了评估的信度 和效度。各评估元素包括主体( 施评的评估专家) 、对象( 被评的学校) 、规则 ( 评价指标) 和程序( 工作流程) 几个方面需要进一步提高和规范。 开发各种教育评估的需要。 教育评估标准的进一步科学化。 提高教育评估人员的素质。 目前，对学校的评估已经从过去的定性评估过渡到定性与定量相结合，以定量 为主的评估方式。但有很多人认为在设置评估指标体系时往往过分强调指标的 量化，有损评价的全面性。事实上，指标的量化能更有效促进评估工作的组织， 前提是选择适当方式将定性元素转化定量元素。本文将引入a h p 模型层次分析 法对评价元素中的评估者、评估指标体系等进行评价，即测算指标体系的权重。 便于管理者更加容易量化有关评估指标和系统推广使用。该内容将在第3 章阐 述。 2 2 4 教学监控评价模型 2 2 4 1 适用于考试成绩正态分布检验的评价模型一教学监控评价模型。 研究证实考生学习成绩的分布符合统计学上的正态分布( n o r m a l d i s t r i b u t i o n ) 。当考试成绩分布呈正态分布时，测量效果符合自然分布规律， 因此认为考试比较成功，试题质量较好 2 4 - 2 7 1 。测试考生总体学习成绩分布可以 对试题质量进行粗略的评价。由于考试人数不一，所以并不能根据成绩是否呈 现两端低中间高的形状，就判定该分布是否符合正态分布；而是应该采用统计 学方法分布的正态性检验。 测试方法：正态性检验一般采用矩法( m e t h o do fm o m e n t ) ，矩法也称动差 法。它是用数学上矩的原理推导出偏度系数( c o e f f i c i e n to fs k e w n e s s ) 和峰 度系数( c o e f f i c i e n to fk u r t o s i s ) ，公式： 。一j 三些：二! 兰竺兰丛：! 堡垒! ：生一j 塑兰旦鲨l _ 1 ( n 1 ) ( n 一2 ) 【厂x ：一( 厂x ) ：n 】( n 1 ) 】3 ：。f ( x 一鄹：n 】3 ，2 第2 蕈评价体系及相天方法的研究 ( 扎+ 1 ) 【n 厂x 4 厂r 厂x 3 + 6 ( z f x ) ：f x 2 n 一3 ( f x ) t l ：】 口：2 弋不了而i 西i j 丽历雨= 忑万河瓦而= 两：一 一龋揣一3( 以一2 ) ( 仡一3 ) 。【( x 一甸：n 】2 。 式中：x 为某一分数段组中值，厂为相应分数段考生个数，刀为参加考试的 考生数。 g l 、9 2 为统计量，存在抽样误差，其标准误差的计算如下： 厂面i r 2 、| 而酉再丽 j2 4 n ( n l - - 1 s 2 2 而丽石丽鬲而两 在计算得到。及：后，可按下式计算检验统计量u 值，用材检验推断数据 的正态性。 偏度。= o l a o 量 峰度。= 9 ：码复 ；g u 口。 1 9 6 ，则总体偏度系数为零，总体分布对称； 若童1 9 6 ，则当偏度系数g l 0 时，总体分布为正偏态( 偏向低分端) ； 进行考生成绩分布的正态性检验时，若1 9 6s ：曼2 5 8 ，且偏度系数 g l 0 ，可认为属于可以接受的“偏向高分数端”。 若 面对具有层次结构的整体问题综合评价，采取逐层分解，变为多个单准 则评价问题，在多个单准则评价的基础上进行综合； 为解决定性因素的处理及可比性问题，以“重要性”( 数学表现为权值) 比较作为统一的处理格式。并将比较结果按重要程度以1 至9 级进行量 化标度。 检验与调整比较链上的传递性，即检验一致性的可接受程度； 对汇集全部比较信息的