国内外典型教学研究项目评估方法比较分析

1、国内外典型教学研究项目评估方法比较分析一、引言随着全国科技创新大会的胜利召开， 科技创新呈现在更加突 出的位置。各大继续教育机构也越来越重视通过开展教学研究创 新来提升自身的综合竞争力。 采用教学研究项目评估，可提高资 源的使用效率，为教学创新决策系统调整， 学科布局提供科学依 据和建议，使之更加适合机构事业发展的需要。教学研究项目评估要遵循一定的原则、程序和标准，运用科学、规范的方法，对项目的执行过程以及目标实现程度、经费的 使用管理、项目成果价值、项目社会影响与效益等方面进行综合 评价考核。如何选择适用的项目评估模型和数据处理方法成为教 学研究项目研究的重点。目前国内外科技评估的评估方法研

2、究较 为完善，本文总结了国内外在科技评估中形成的一些经典的评估 方法，希望对教学研究项目评估方法的研究提供参考。二、国内外典型科技评估方法的比较研究国内外在科技评估方面采用的方法很多， 但就评估而言并 没有通用的方法库。每种方法都有一定的使用范围， 而解决一个 具体问题又常需结合多种方法。评估者在评估的实践中，应根据不同目的、对象确定不同方法或方法组合。 这些方法通常可以 划分为定性评估方法和定量评估方法。定性评估方法主要依靠评估者的洞察、分析能力，借助于以 往的经验和逻辑推断能力来进行评估。 定量评估主要以评估指标 的统计数据为依据， 建立评估数学模型， 用数学运算求得评估结 果，并以数量表

3、示出来的一类评估方法。 定性评估方法本身也包 含需要量化的部分， 而单纯的定量评估方法得出的评估结果往往 没有意义。本文将目前比较常用的定性和定量的评估方法分为三 类：专家评估方法（定性 / 定量）、文献计量分析方法（定量）、 数学分析方法（定量）。表 1 中对可参考的科技评估常用方法及 其优缺点进行了总结。（一）专家评估方法 专家评估方法是专家根据其多获得的信息对评估要素 （尤其 是难以用客观数据表示的因素） 直接打分或做出定性判断， 包括 同行评议方法、特尔斐（ Delphi ）法等。1. 同行评议法英国是使用同行评议方法最早的国家， 后来被逐渐引入政府 投资的机构进行项目选择。 同行评议

4、法可以定义为“由从事该 领域或接近该领域的专家来评定一项研究工作的学术水平或重 要性的一种方法”。 这种方法常常被科学界用来判断工作程序的 正确性，确认结果的可靠性以及对有限资源分配的公认性和特殊 荣誉。优点：一是应用最频繁， 经发达国家的实践证明， 效果较好、 可信度较高。 二是适用不同阶段的评估。 三是充分依靠科学家群 体进行民主管理， 在科学研究资源的分配中引入竞争机制， 使得 知识生产的要素优化配置。 同行评议为科学共同建立了内部审查 体系和荣誉机制，成为科学发展的一大动力源泉。缺点：一是其假设条件是评议专家具有崇高科学的敬业精神 和客观、公正、务实的职业修养。这种假设条件却容易缺乏有

5、效 的监督和控制。 美国科学技术委员会的一项研究认为， 同行评议 像其他依赖于人的判断方法一样， 受自己利益， 特别是朋友关系 和偏见的影响，容易形成“熟人关系网”，“老朋友网络”。二 是专家的选择也存在难以避免的局限性。2. 特尔斐法特尔斐法最早于 20世纪 50 年代末由美国著名的咨询机构兰 德公司提出并使用的。 特尔斐法本质上是一种专家匿名反馈征询 法，它是对所评估的问题以问卷的方式征得专家的意见之后， 进 行整理、归纳以及统计，再匿名反馈给各专家，再次征询意见， 再进行整理、归纳以及统计，经过多轮反馈后，直到得到比较一 致的意见。 特尔斐法是一种群体决策技术， 能够有效的征求和提 炼群

6、体的意 ?，由于其可信度高，已迅速传播到世界各国。特尔斐法的基本程序大致分为 4 步：一是提出问题。 二是选 择专家。 三是开始多轮征询程序， 每轮都基本按照制定发放本轮 调查问卷，手机问卷，统计归纳，形成下一轮调查问卷的程序循 环进行。四是准备最后的结果分析报告。优点：一是匿名：采取“背靠背”的方式，征询过程不暴露 专家的名字， 每位专家也不知道共有多少位专家， 哪些专家参与 咨询。在提意见时，没有心理压力，可畅所欲言。二是定量：能 够对大量非技术性的无法定量分析的因素做出概率估算。 三是反 馈：特尔斐法在每轮征询中作出概率估算后会将概率估算结果反 馈给专家，充分发挥了信息反馈的作用。四是趋

7、向：特尔斐法经 过多轮的征询反馈， 也充分发挥了信息控制的作用， 将分散的评 估意见逐次收敛，趋向一致。缺点：一是费时： 由于需要采取多轮征询程序才会使得评估 意见趋向一致， 当轮次较多时， 得到最后的结果分析报告相当费 时。二是局限：当评估意见分散程度较大时，虽经过多轮反馈， 仍可能出现意见不收敛的情况。（二）文献计量方法 文献计量法用于分析科学研究活动始于 19世纪末和 20 世纪 初。文献计量法是指利用出版物、专利、引文等科技评估指标进 行评价的一种定量评估方法。 在此， 出版物和专利被认为是衡量 产出能力的尺度， 引文数则是衡量其工作结果影响力的尺度。 基 于文献计量的科技评估是目前比

8、较被认可的方法之一，具有客 观、量化、易于比较等特点，并能够对科技产出能力等重要指标 有较为直观的评估。 文献计量法常采用的方法主要有出版物数量 计量、著者数量计量、引文分析等。优点：一是用客观的数据取代了主观判断。 二是它对所有的 引证都基本做到公平公正。缺点：一是作为研究成果发表的文献数量与项目研究质量并 不必然正相关。 二是文献被引用可能是因为个人关系、 人为的自 引等因素， 很难表征质量上的差异。 三是不同学科的引文率有差 异。四是因存在期刊本身质量的差别， 发表在不同期刊的论文质 量可能具有极大差异。五是文献计量法仅限于就论文、专著、专 利等成果进行定量分析，不能全面度量科技产出的质

9、量及影响。（三）数学分析方法科技不同阶段的评估都是多属性决策的问题， 既要科技做 出定性的评价， 又需要结合科学的评估方法得出定量的分析。 在科技的评估实践中， 单纯的专家评估或文献计量方法往往不能 满足评估的要求， 还需要进行量化处理， 引入一些数学分析的方 法，对科技做出全局性、整体性的评估。目前常用的数学分析方 法主要有层次分析法、主成分分析法、效用函数法、模糊综合评 估法、灰色综合评判法等。1. 层次分析法层次分析法（Analytic Hierarchy Process 简称 AHP 是 美国匹兹堡大学运筹学家托马斯？塞蒂 （ T.L.Saaty ）于 20 世纪 70 年代初，在为美

10、国国防部研究 根据各个工业部门对国家福利 的贡献大小而进行电力分配 课题时，提出的一种层次权重决策 分析方法。 它本质上是一种决策思维方式， 它把复杂的决策问题 分解为各个组成因素， 并将这些因素按支配关系分组，形成有 序的递阶层次结构， 通过两两比较的方式确定层次中诸因素的相 对重要性， 然后综合人的判断以决定决策诸因素相对重要性总的顺序。同时层次分析法能把决策过程中定性与定量因素有机地 结合在一起， 用一种统一的方式进行处理， 既能保证模型的系统 性、合理性， 又能使决策管理专家充分运用其有价值的经验与判 断能力。它是将决策者的思维过程实现数量化， 从而解决多目标、 多层次、多准则决策问题

11、的方法。AHP体现了人们决策思维的基本特征，即分解、判断、排序、综合。此方法是20 世纪 70 年代初期美国匹兹堡大学运筹学家托马斯？塞蒂( T.L.Saaty )创立 的。使用层次分析法建立数学模型可分为 5 步：一是建立递阶层 次结构模型；二是构造两两比较判断矩阵；三是层次单排序；四 是层次总排序；五是层次总排序一致性检验。优点：层次分析法是一种定性定量分析相结合的决策方法， 对主观判断作定量描述，加之其所具有的系统性、灵活性、综合 性、简便性和准确性的特点，使其成为非常实用的决策方法，并 得到了广泛应用。 层次分析法十分适用于具有定性的或定性、 定 量兼有的决策分析， 其核心功能是对方案

12、进行排序选优， 为管理 者提供定量形式的决策依据。缺点：层次分析法得出的结果是粗略的方案排序。 在适用过 程中，无论是建立层次结构还是构造判断矩阵，人的主观判断、 选择对结果的影响较大， 使得该方法主观成分较大， 应用上存在 局限性。2. 主成分分析法主成分分析（Principal Component Analysis, PCA 是由卡尔（Karl ）和皮尔逊（Pearson）最早在1901年提出，只不过 当时是应用于非随机变量。 1933 年霍蒂林（ Hostelling ）将这 个概念推广到随机向量。PCA也被称为主分量分析，是多变量的分析技术之一， 用于分析数据和建立数理模型。 它是利用

13、原变 量之间的相互关系， 用较少的新变量代替原来较多的变量， 利用 降维的思想， 在保留原有指标所包含信息的基础上，通过统计 分析把多指标转化为少数几个彼此不相关的综合指标的一种统 计分析方法。优点：一是避免了评价过程中权重确定的主观性和随意性， 评价结果比较符合实际情况； 二是可消除评估指标之间的相关影 响；三是可减少指标选择的工作量；四是计算比较规范，便于计 算机实现。缺点：一是主成分的解释其含义一般多少带有点模糊性， 不 像原始变量的含义那么清楚、 确切， 这是变量降维过程中不得不 付出的代价。 二是主成分分析法中， 需首先保证所提取的前几个 主成分的累计贡献率达到一个较高的水平 （即变

14、量降维后的信息 量须保持在一个较高水平上） ，其次对这些被提取的主成分必须 都能够给出符合实际背景和意义的解释 （否则主成分将空有信息 量而无实际含义）。3. 效用函数法效用函数的研究最早可追溯到 18 世纪数学家丹尼尔？伯努利( Danniel Bernoulli )关于“圣彼得堡悖论( St.PetersburgParadox)”的研究。科技项目评估指标众多，需要用到多指标 体系下的评估方法。对于多指标综合评价，简单的思想是：将多 个评价指标进行同度量化， 然后再按照一定得合成模型加权求得 总评价值。 多指标体系下的各指标同度量化一般采用效用函数评 价方法。所谓效用， 是对总目标的效能价值

15、或贡献大小的一种 测度。在风险决策的情况下， 可用效用来量化决策者对待风险 的态度。通过效用这一指标， 可将某些难以量化、有质的差别 的事物( 事件) 给予量化， 将要考虑的因素折合为效用值， 得 出各方案的综合效用值，再进行决策。优点：方法简单和可操作性强。缺点：科技评价指标体系中， 不同类别的科技指标的重要程 度有所不同，而效用函数法中的权重是由评估人员主观确定的， 因此科学性有所欠缺，往往评估结果与实际状况出入较大。4. 模糊综合评估法 模糊综合评判最早是由我国学者汪培庄 1980 年提出的，这 一应用方法深受广大科技工作者的欢迎和重视， 并且得到广泛的 应用。模糊综合评价法( Fuzz

16、y Comprehensive Evaluation ，简 称FCE是以模糊数学为基础，应用模糊关系合成的原理，对受 到多种因素制约的事物或对象， 将一些边界不清的、不易定量 的因素定量化， 进行综合评价的一种方法。即把待考察的模糊 对象以及反映模糊对象的模糊概念作为一定的模糊集合， 建立适 当的隶属函数， 并通过模糊集合论的有关运算和变换， 对模糊对 象进行定量分析。优点：一是数学模型简单，容易掌握；二是所得结果为一向 量，克服了传统数字学方法结果单一的缺陷， 结果包含的信息丰 富；三是较好地解决了评估指标和评估标准模糊性的问题， 克 服了人的主观臆断， 增强了评估结果的说服力和准确性；四是

17、 能较全面地汇总各评价主体的意见， 综合反映被评对象的优劣程 度。 缺点：一是各因素权重的确定带有一定的主观性； 二 是不能解决评价指标间相关造成的信息重复的问题； 三是在某些 情况下，隶属函数的确定有一定困难，过于繁琐。5. 灰色综合评判法 1982年，中国学者邓聚龙教授创立的灰色系统理论，是一 种研究少数据、贫信息、不确定性问题的新方法。灰色系统理论 以“部分信息已知， 部分信息未知”的“小样本”“贫信息”不 确定性系统为研究对象，主要通过对“部分”已知信息的生成、 开发，提取有价值的信息，实现对系统运行行为、演化规律的正 确描述和有效监控。 灰色综合评判法就是基于灰色系统理论， 在 已知

18、信息不充分的前提下， 评判具有模糊因素的事物或现象的一 种方法，在某一时段所处的状态， 针对预定的目标，通过系统 分析，做出一种介于定性 ?c 定量之间的评价与描述， 以便在更 高的层次上， 对系统的综合效果与整体水平形成一个可供比较的 概念与类别。优点：一是不需要大量的样本；二是从等级的不明确性出发， 具有较高的分辨力；三是最大程度的综合考虑了每一个样本数据 对最终评价结果的影响，得出的结论在理论上更符合被评对象的 本原属性；四是可以用于评定等级，也可用于排序选优。缺点：一是现在常用的灰色关联度量化模型不能全面反映事 物之间的关系；二是不能解决评价指标间相关造成的评价信息重 复问题，指标的选择对评判结果影响很大。综上所述，每种方法各有利弊，项目评估应针对不同评估阶 段，选择一种或多种方法进行全方面的综合评估。而对继续教育机构的教学研究项目而言， 不仅要评估项目本身，还要评估项目 对教学的成效以及对继续教育机构的贡献度，做出定性评价的同时，也应根据具体指标情况、结合各种方法的优缺点开展定量分 析。三、结语近十多年来，国内