基于群组决策研究国家科技奖励制度运行绩效评价指标体系探究

1、基于群组决策研究国家科技奖励制度运行绩效评价指标体系探究摘要：结合学者们的前期研究成果及反复咨询多名专家意 见，将国家科技奖励制度运行绩效评价指标分为奖励投入和 奖励产出两大类，其中奖励投入从人力资本、资金投入和设 备投入来衡量，奖励产出从获奖项目数、获奖人员数和奖励 效应来衡量，构建了一套由2个一级指标、6个二级指标、 20个三级指标组成的评价指标体系。然后采用群组决策分析模型来确定每个评价指标的权重系数，并运用层次分析法专 门软件yaahp 0.5.2版本的群组决策功能计算得到了各个评 价指标的权重系数，有效避免了单个专家和传统的层次分析 法主观性太强的缺陷，提高了每个评价指标的客观性程度

2、。关键词：国家科技奖励制度；运行绩效；评价指标；群组决策模型中图分类号：g312文献标识码：a文章编号:1001-8409 ( 2012 ) 05-0045-06study on the performance appraisal index system ofnational science and technology award system based onmulti ahp modelxiong xiao gang1,2, xu wan qiang 2(1. school of finance and public administration, jiangxi university

3、 of finance and economics, nanchang 330013;2. school of public administration , huazhong university of science and technology, wuhan 430074 )abstract: according to the results of preliminary studies and consulting observation of many experts repeatedly, the appraisal indexes for the operating perfor

4、manee of n atio nal science and tech no logy award system are generally divided into two categories: award input and award output. the award input are measured by three aspects: human resource, capital and facility input; while the award output are measured by another three aspects: award winning pr

5、oject number, award winning people number and award effects so, the whole appraisal index system is composed of two first level indexes, six second level indexes and twenty third level indexes then, the paper calculates and determines the weight coefficient of each appraisal index by using multi ahp

6、 model and yaahp 0.5.2 software, which improves the objectivity of each appraisal index, and avoids the subjective defects by individual expert and the traditional ahp.key words: national scienee and technology award system; operating performa nee; appraisal index; multi ahp model国家科技奖励制度是我国科技政策的重要组

7、成部分，是国家对科技发展实施宏观调控的重要杠杆。国家每年投入了 数亿元用于科技奖励事业，加上人力和物力等其他有形和无 形的投入，更是一个庞大的数字。然而与巨大的投入相比, 国家科技奖励制度的产出却显得差强人意，带来的科技效 应、经济效应和文化效应也很有限1 o因此，对国家科技 奖励制度的运行绩效进行评价和优化，有利于激励科技工作 者的积极性和创造性，引导国家科技奖励制度朝满足社会需 求的方向去发展。而要实现对国家科技奖励制度运行绩效的 准确评价，首先要建立科学合理的评价指标体系，这是进行 评价工作的基础和前提。本文通过引入群组决策分析模型， 在咨询相关专家和文献综述的基础上，尝试性地建立了国家

8、 科技奖励制度运行绩效评价指标体系，并运用层次分析法专 门软件yaahp 0.5.2版本的群组决策功能对评价指标进行了 处理，最终确定了各个指标的权重系数，从而为国家科技奖 励制度运行绩效的实际评价提供依据。1文献述评国家科技奖励制度的运行是一个动态过程，一般包括推 荐、评审、异议和颁奖等环节。学者们对科技奖励运行绩效 评价指标体系的研究是从定性研究开始的，多运用专家打分 法、德尔菲法等来确定指标权重，后来逐步转向定量研究， 采用非线性数学模型、模糊评判模型、层次评价模型等方法 来建立评价指标体系。龚建桥（1989 ）围绕科技奖励的评审方法及指标体系着重探讨了专家评审与评审方法、科技劳动 与奖

9、励分类、指标体系与权重分配、评价标准与评分等级、 修正评分与综合评定等问题2 ,较早对国家科技奖励的评 审与评价作了系统研究，但他没有建立一套具体的评价指标 体系。尹荣章等（1991 ）对国家科技奖励请奖项目效益的评 价方法进行了研究，把请奖项目的效益分为经济效益和社会 效益，对经济效益设置了新增总产值、净收益、投入产出比、 内部收益率4个评价指标対社会效益设置了推动科技进步、 促进人才培养等20个指标，然后以信函、座谈会的形式广 泛征求各行业专家的意见，以此确定评价指标的权重系数与 评奖档次标准值，进而确定授奖项目3 jo蒋美仕等（1998 ） 构建了我国科技奖励的两级评价指标体系：一级评价

10、指标体 系是一般的指标体系，包括学术水平、社会/经济效益、技术 难度、学术意义和适用范围；二级指标体系是一级指标体系 的具体化、扩展和延伸，由此形成一个多层次和多级别的指 标体系5 jo查之玲等（1998 ）设计的国家科技进步奖评价 指标体系包括科学技术水平和技术难度、创新程度、经济效 益、社会效益、推广应用程度和推广应用潜力、推动科技进 步的作用和影响6个指标，并把创造性和效益作为获得科技 进步奖的两个必须条件。在确定指标权重时，他们将评价指 标的权重在平均意义下进行测试和处理，在比较不同的测试 结果后，选择最合理的权重分配，从而确定授奖的4级7档6 o从现有的文献分析来看，学者们对国家科技

11、奖励的评审指标进行了深入的研究，对改进国家科技奖励的评审工作具 有重要的指导意义，但对国家科技奖励制度运行绩效的评价 指标尚未进行系统的研究。本文结合学者们的前期研究成 果，通过引入群组决策分析模型，尝试性地建立了国家科技 奖励制度运行绩效评价指标体系。2评价指标体系的初步设计国家科技奖励制度运行绩效评价指标体系的设计是一个十分困难的事情，本文只能做尝试性的探索。根据评价指标 选取的一般原则，结合学者们的相关研究成果及反复咨询多 名专家意见，本文构建国家科技奖励制度运行绩效评价指标 体系的思路是：将运行绩效评价指标分为奖励投入和奖励产 出两大类，其中奖励投入从人力资本、资金投入和设备投入 三个

12、方面来衡量；奖励产出从获奖项目数、获奖人员数和奖 励效应三个方面来衡量，每个二级指标下面又包括若干个三 级指标。本指标体系共有2个一级指标、6个二级指标、20 个三级指标，各指标含义说明如下：(1 )人力资本。国家每年都开展科技奖励工作，投入了 大量的人力资源，主要包括日常工作人员及相关专家。具体 包括工作人员数、初评专家数、评审专家数、审核专家数4 个三级指标。其中，工作人员数是指国家科技奖励工作办公 室每年投入科技奖励工作的人员数，他们主要负责奖励通知 的发布、形式审查、评审工作的组织及授奖仪式的举办等工 作。相关专家是指初评、评审、审核阶段由国家科技奖励工 作办公室聘请的有关人员，其中初

13、评专家数为学科评审组、 专业评审组及专用项目评审组专家数的总和；评审专家数为 国家最高科学技术奖评审委员会、国家自然科学奖评审委员 会、国家技术发明奖评审委员会、国家科技进步奖评审委员 会及国际科技合作奖评审委员会专家数的总和；审核专家数 是指作为最高层级的国家科学技术奖励委员会的专家数。(2) 资金投入。科技奖励活动必然要消耗大量资金，从 每年的国家科技奖励来看，资金投入主要包括奖金总额、评 审费及其他业务费3个三级指标。其中，奖金总额是指每年 国家最高科技奖、自然科学奖、技术发明奖及科技进步奖的 所有奖金总数(国际科技合作奖没有奖金)；评审费是指每 年支付给初评、评审、审核阶段所有到会专家

14、的劳务费、差 旅费及招待费等；其他业务费则比较庞杂，主要包括在有关 媒体上发布推荐通知、初评结果及评审结果公示、发布会议 通知等费用，对存在异议的候选项目进行复核费用，对通过 评审的候选项目进行实地考察费用、获奖证书制作费用及每 年组织全国科技奖励大会的费用，包括场地费、获奖人员前 来领奖所需的差旅费及招待费等。(3) 设备投入。在信息化时代，国家科技奖励工作的很 多环节也实现了信息化操作，并开发了“国家科学技术奖网络 评审系统”，用于网络评审。对于会议评审，采用评审专家记 名限额投票表决与候选项目异地电话答辩相结合的方式进 行，需要用到电话、电脑、视频、投影仪等设备。因此，设 备投入主要包括

15、网络评审平台与会议评审平台3个三级指 标。(4) 获奖项目数。国家科技奖励中自然科学奖、技术发 明奖、科技进步奖都是授予项目的。因此，该二级指标包含 了每年国家自然科学奖获奖项目数、国家技术发明奖获奖项 目数、国家科技进步奖获奖项目数3个三级指标。每类获奖 项目数都是指特等奖、一等奖及二等奖的获奖总数。(5) 获奖人员数。该二级指标包含了每年国家最高科学 技术奖获奖人员数、国家自然科学奖获奖人员数、国家技术发明奖获奖人员数、国家科技进步奖获奖人员数、国际科技合作奖获奖人员数5个三级指标。每类获奖人员数都是指特 等奖、等奖及二等奖的获奖总数(其中国家最高科学技术 奖与国际科技合作奖不分等级b(6

16、) 奖励效应。科技奖励作为一种持续性的社会活动,必然会产生一系列的社会效应，尤其是对科技界产生的效 应。但这种效应又是复合型的，而且很难用具体数字来量化, 只能采取定性描述和根据专家经验来估计了。该二级指标包 括科技效应、经济效应、文化效应3个三级指标。其中，科 技效应是指国家科技奖励获奖项目对促进科技发展的贡献 程度，经济效应是指国家科技奖励获奖项目对促进经济发展 的贡献程度，文化效应是指国家科技奖励获奖项目对促进人 才培养的贡献程度。3评价指标体系的处理和确定由表1可以看到，国家科技奖励制度运行绩效的评价指 标体系共有20个三级指标，但各个评价指标对国家科技奖 励制度运行绩效的作用具有不同

17、的重要性。因此，为了准确 反映各个评价指标在评价过程中的作用地位以及重要程度, 在初步确定评价指标体系后，必须对各评价指标赋予不同的 权重系数。权重系数不仅表示该评价指标在指标体系中所占 的地位和作用，同时又表示这一指标与其他指标的相互关 系,如何合理确定各个评价指标的权重系数对评价有着重要 意义。评价指标的权重系数是评价过程中其相对重要程度的 一种主观、客观量度的反映8 jo权重系数初步确定后一般 还要进行归一化处理，使之介于01之间，并使得各指标 的权重之和等于1o根据计算权数时原始数据的来源不同， 确定指标权重的方法主要有层次分析法、特征向量法、嫡值 法等。根据国家科技奖励制度运行绩效评

18、价指标的来源和特 点，本文采用群组层次分析法来确定每个评价指标的权重。 传统的层次分析法旨在将拟评估的复杂系统分解成简明的 多准则多层级系统，经由群体评估与多方的共识加以整合, 以标准的尺度通过准则的成对比较评比量化后，建立成对比 较矩阵，以此求得特征向量，代表层级的准则权重，得岀最 大特征值，用以评定成对矩阵一致性的程度，作为评估结果 取舍与否或再评估的参考指标。各层次准则的权重依次推算 求得后，加以关联层次的串合，获得评估分析所需信息，而 推估特征向量及特征即构成层次分析法的理论核心。但是， 这种传统的方法是建立在判断矩阵的基础之上的，而判断矩 阵存在着很大的主观性9卜为了减少这种主观性带

19、来的缺 陷，本文引入了群组决策分析模型(multiahp model ),即 通过模拟人思维中的分解、判断和综合，将一位专家扩大到m位专家，将一组判断矩阵扩大到m组判断矩阵，通过对比 较判断结果的综合计算处理，得到关于指标重要性的排序， 从而为决策者提供定量形式的决策依据。本文设计好评价指标体系后，在国家科技奖励工作办公 室政策研究处、信息处、农业与社会发展奖励处、工业奖励 处、人物奖励处、科技成果管理处等6个部门各邀请了一名 专家对该评价指标体系的两两比较矩阵进行判断，得到了 6 份专家判断矩阵表，然后根据群组层次分析模型计算各个评 价指标的权重系数。群组层次分析过程体现了人的思维过 程,即

20、分解、判断、综合。计算步骤如下(对本文而言，设 有m=6位专家，n=20个评价指标)：(1 )建立递阶层次结构模型应用层次分析法确定指标权重时，首先要把问题条理化、 层次化，构造出一个有层次的结构模型，上一层次的元素作 为准则对下一层次有关元素起支配作用。一般可分为3个层%1 最高层。这一层中只有一个元素，一般是分析问题的 评价目标或理想结果，也称为目标层，本文是指“国家科技奖 励制度运行绩效”。%1 中间层。这一层次中包含了为实现评价目标所涉及的 中间环节，可以由若干层次组成，包括所需考虑的准则、子 准则，也称为准则层。本文的准则层包括奖励投入和奖励产 出两个指标，子准则层包括人力资本、资金

21、投入、设备投入、 获奖项目、获奖人员及奖励效应6个指标。%1 最底层。这一层包括了为实现目标可供选择的各种具 体评价指标或措施、决策方案等，也称为指标层、措施层或 方案层等。本文的最底层包括所有20个三级评价指标。(2) 构造两两比较判断矩阵判断矩阵元素的值反映了人们对各因素相对重要程度(或优劣、偏好、强度等)的认识，一般可采用数字1-9及 其倒数的标度法来表示。当相互比较因素的重要性能够用具有实际意义的比值说明时，判断矩阵相应的值则可取这个比 值。(3) 判断次序一致性若b ij> 1 , b jk>1能导出b ik>1 ,则称判 断矩阵具有次序一致性，若导出的是b ik&

22、lt;1，则称判断 矩阵不具有次序一致性，予以舍弃。(4) 计算满意一致性比率c r首先计算判断矩阵a的每行元素的积：m i=nnj=1b ij i=1,2,3,.,n)然后计算m i的n次方根w i :w i=nnnj=1b ij ( i=1,2,3,.,n)再将wi进行归一化得到各指标的权重w i= w ixni=1 w i ( i=1,2,3,.,n )根据第k位专家的判断矩阵得出的指标i的权重可记为w k i ( k=1,2,3,.,m '判断矩阵a的最大特征值：入 max=1 nni=1nj=1b ijw jw i第k位专家的判断矩阵a k的最大特征值可记为入k max (

23、k=1,2,3,.,.,m ),则第k位专家的判断矩阵a k的满意一致性比率为：c k r=a k max-n(n-1)ri式中rl为平均随机一致性指标，可根据矩阵阶数n与随机一致性指标ri对照表查询得到。当c r<0.1时，判断矩阵符合满意一致性，可以使用； 当c r>0.1时，判断矩阵不符合满意一致性，予以舍弃。(5) 专家相对权重的确定利用c r求得专家相对权重：p k=11+ac k r ( a > 0 , k=1,2,3,.,m )其中参数a起到调节作用，当a的取值过大或过小 时，专家的权重往往难以辨别，此处a取值为10。将p k 进行归一化处理，得到专家的相对权重

24、：p # k=p kzmk=1p k(6) 多专家指标相对权重的确定在求得专家权重 p # k和指标权重 w k i 之后，就可以求得多专家指标的相对权重：w i=xmk=1w k ixchp # k对w i进行归一化处理，得到多专家指标的相对权重 w # i :w # 匸w izni=1w i(7) 因为本评价指标体系由三层指标组成，所以最终的 三级指标综合权重记为w # xyz (其中，x为该三级指 标对应的一级指标的序号；y为该三级指标对应的二级指标 的序号；z为该三级指标自己的序号b则有：w # xyz=w # xxw # yxw # z通过上述计算方法和步骤，就可以得到所有专家指标的

25、 相对权重了，进而得到最终各级各个评价指标的权重系数。 根据6名专家的判断矩阵，本文运用层次分析法专门软件 yaahp 0.5.2版本的群组决策功能计算得到的各个评价指标 的权重系数如表2、表3所示。表3为国家科技奖励制度运行绩效评价体系各个评价指标层次总排序情况，从中可以很清晰地看到不同层级指标的 单层权重系数和总权重系数。每个评价指标的权重系数不仅可以用于评价时对指标数 据进行加权处理，同时也反映了评价指标在指标体系中的作 用和地位，反映了判断专家对每个评价指标的重要性认识程 度。因此，从表3可以看到，对一级指标而言，综合6位专 家的判断矩阵后，奖励产出的权重系数为0.649 ,奖励投入

26、的权重系数为0.351 ,说明专家们更看重奖励产出情况。对 二级指标而言，在奖励投入中，资金投入的权重系数最大， 为0.5961 ,其次是人力资本，设备投入的权重系数最小，说 明资金投入相对而言处于最重要的位置；在奖励产出中，奖 励效应的权重系数最大，高达0.6017 ,其次是获奖人员数， 获奖项目数的权重系数最小，说明奖励效应相对而言是最重 要的产出。对三级指标而言，在人力资本中，初评专家数的 权重最大，说明了初评环节的重要性；在资金投入中，奖金 总额的权重最大，说明奖金在资金投入中所占比重最大；在 设备投入中，网络评审平台的权重系数更大，说明网络评审 平台的折旧率更高，投入力度更大；在获奖项目数和获奖人 员数中，都是科技进步奖的权重系数最大，这与科技进步奖 的获奖项目和人员最多是一致的；在奖励效应中，科技效应 的权重系数最大，说明国家科技奖励制度主要还是为科技发 展服务的，其次是经济效应，说明促进经济发展也是国家科 技奖励制度的重要产出。从层次总排序来看，权重系数最大 的是奖励产出中的科技效应，其次是经济效应，第三位是奖 金总额，这三个评价指标的权重系数显著大于其他指标，说 明科技效应、经济效应和奖金总额是国家科技奖励制度运行 绩效评价指标体系中最重要的三个评价指标。4结