自然科学基金重点项目结题评价指标体系

1、自然科学基金重点项目结题评价指标体系               作者：周琳 李人卫 许苹 薛海东 【摘要】  本研究采用专家咨询、层次分析等多种方法，在参照发达国家常用的科技评估基础上，结合我国实际情况，建立了一套自然科学基金生命科学重点项目结题评价指标体系，旨在对重点项目完成质量做出较为科学、全面的客观评价。        【关键词】  自然科学基金  重点项目&

2、#160; 指标体系        .        【Abstract】  In this article，the means of Delphi method，AHP method，and so on were applied.Considering the native practical circumstances， based on the main index of evaluation of subject generally used in

3、 developed countries， this study builds a set of evaluation index system of summarized key subjects in the life and science of natural science foundation. The aim is bringing out a kind of scientific and large objective evaluation of quality of the key subjects.       

4、【Key words】  natural science foundation  key subject  index system        随着国家对科技投入的逐年增加，项目资助的数量和强度也将随之增加。如何加强对项目的管理就显得特别重要。要解决好这一问题，最重要的就是要建立科学的项目完成质量评价方法，但是迄今为止，国外对科研项目的定量评价研究尚未见报道，我国对科研项目完成质量的评估研究还较为零散，缺少一个公认的、系统权威的评估方法。本研究采用专家咨询、层次分析等多种方法，在参照发达国家常用的主要

5、项目评估指标的基础上，结合我国实际情况，建立了一套国家自然科学基金生命科学重点项目结题评价指标体系，旨在对重点项目完成质量做出较为科学的、全面的客观评价1。 实证结果表明，本评价指标体系在结题质量评价中具有客观可靠、简单明了、科学性强、可行性大等特点。        1  材料与方法        1.1  材料来源  本研究材料来源于国家自然科学基金生命科学部“八五”、“九五”资助的重点项目，共评估已结题项目68个。  &#

6、160;     1.2  拟建基础评价指标体系  自然科学基金重点项目结题评价是对已结题项目完成质量进行评价与分析。根据评价的性质和目的，围绕构成自然科学基金重点项目结题评价课题的各级要素，结合我国生命科学科研课题的规律和特点，构成国家自然科学基金重点项目结题评价初步指标体系框架，见图1。                         

7、0;                                     图1  指标体系初步框架的构建          1.3  确立评价指标

8、体系  首先，采用Delphi 法2对上述基础评价指标体系进行专家咨询。按照专家的专业分布、单位分布确定专家(见表1)，选邀40名军内外专家、教授，共组织两轮专家咨询，经过两轮咨询，专家们的意见趋于一致。根据专家们的咨询结果，对基础评价指标体系进行修改，确定国家自然科学基金重点项目结题评价指标体系框架，见图2。                       &

9、#160;             表1  专家的人数、单位分部                                       

10、0;                                        图2  指标体系框架的确定          

11、 1.4  确定指标权重  根据指标体系特点，选用两种方法确定指标权重。对只有2个指标构成的一组指标，其各指标权重的确定采用Delphi法；对3个或3个以上指标构成的一组指标，其指标权重的分配采用AHP法3。通过采取以上方法，各指标的权重就确定了。至此，一个完整的自然科学基金重点项目结题评价指标体系及权重就基本建立，见图3。                       

12、;                                  图3  确定指标权重           1.5  终末指标的分值确定  各终末指标分值的

13、确定是建立评价指标体系的重要内容，是关系到评价结果准确、可靠、合理与否的重要因素之一。不同评价指标体系的指标有不同的赋分方法，如：“1”分制、“5”分制、“10”分制和“100”分制等。本指标体系的一个显著特点就是指标的层次参差不齐，有的指标只有一个层次，如：“论文”、“专利”、“效益”；有的指标有两个层次，如一级指标“专著”、“学术交流”、“人才培养”下设二级指标；有的指标有三个层次，如一级指标“成果奖”下设二级指标，二级指标下设三级指标。根据以上特点，为使评价结果客观可靠、公正合理，在终末指标赋分时做了以下考虑：(1)“论文”的赋分与论文发表所在期刊的影响因子挂钩，即：把论文发表期刊的影响

14、因子之和作为“论文”指标的分值；(2)“论文”以外的一、二级终末指标赋10分；(3)三级终末指标赋100分；并将上述赋分的几点考虑制成专家咨询表，向专家进行咨询。经过两轮专家咨询意见达成一致，专家对上述的终末指标赋分的几点考虑表示赞同。        专家的权威性对咨询结果的可靠性有相当大的影响。因此，在对某一问题进行咨询时，应考虑专家对该问题的权威程度。专家的权威程度一般由两个因素决定：一是专家对问题做出判断的依据，用Ci表示；二是专家对问题的熟悉程度，用Cs表示。权威程度为判断系数和熟悉程度系数的算术平均值，用Ca表示，

15、即：Ca=(Ci+Cs)/2 。Ca越大，专家意见越有价值，结果越可靠。        本研究在向专家咨询的同时，要求专家依据项目做出自我评价，见表2、表3，按等级分值及公式计算专家权威系数，结果见表4。                             

16、;        表2  专家对各类指标的熟悉程度                                       表3  判断依据对专家

17、判断的影响程度                                     表4  专家权威系数的频数分布            

18、;    由表4可见，80%以上专家的权威系数均集中在0.80分以上，说明咨询专家的权威程度高，能有效地保证本研究结果的可靠性。        2  指标体系的应用与验证        根据已确立的指标体系，对国家自然科学基金委生命科学部“八五”、“九五”资助的部分重点项目进行评估。本次共评估68个项目，分别算出每个项目的综合得分，见图4。        &

19、#160;                      图4  68个重点项目综合得分            根据被评项目综合得分的分布情况，将综合评分划分为4个等级：>8分为优，85分为良，52分为中，<2分为差。被评的项目中，26个项目为优，20项为良，16项为中，6项为差，

20、见表5。                      表5  两种方法对68个项目的评价结果比较                  两种方法评估为优的符合率为81.2%，良的符合率为55.56%，总符合率为67.6%，结果表明，用建立的评价指标体系对项

21、目进行评价结果与自然科学基金委组织的专家验收评议有较高的一致性，这在一定程度上说明，整个课题的设计是严密的，采用的方法是正确的，建立的项目结题评价指标体系是科学合理的，对国家自然科学基金重点项目具有较好的评价功能，因此评价项目的完成质量能得到较为客观可靠的结果。当然，本研究只是对项目结题的定量评估做了初步探索，更深入细致的工作还有待在今后工作中不断完善。        3  讨论与建议        3.1  评价指标体系思路的创新  (1)本研

22、究首次建立了国家自然科学基金重点项目结题评价指标体系；(2)对结题项目完成质量进行完全定量性的评价，这在一定程度上克服了定性评价的不足；(3)如对本评价指标体系中部分指标和权重进行修改适用于不同层次、不同类型课题的中期评价的结题验收。        3.2  指标体系、权重及终末指标分值设置的特色  (1)对3个或3个以上指标构成的一组指标权重的设置采用层次分析法；(2)对只含2个指标构成的一级指标的权重采用特尔斐法；(3)终末指标的分值设定采用专家咨询法，这样使量化结果更为准确、合理、可靠。  

23、;      3.3  评价指标体系的功能  (1)导向功能：本评价指标体系中设立的指标皆为科技产出的主要指标，引导人们评价基金项目的完成质量，主要是评价项目的科研产出情况。从本指标体系中各指标的权重和赋分来看，充分体现了基础研究项目发表高水平论文的重要性，这在一定程度上引导科技人员积极外投学术论文；(2)督促、激励与自律功能：应用本评价指标体系进行中期评审，可以在课题进展过程中期，对课题的各项指标予以评定，以肯定现有成绩，及时发现问题，督促进展较差的单位和个人尽快调整计划、采取措施、改进不足；并依据评价结果及时调整课题，对水平较差的

24、课题停止经费资助，滚动并加入一批水平较高的项目，提高科研课题整体水平。        3.4  评价指标体系的可靠性  在评价指标及评价内容的选择以及权重的确定上，注重体现评价主体的价值观念和价值标准，反映评价主题的要求。对数据、资料及统计结果用正态分析等统计学方法进行分析、处理，保证结论的科学性与可靠性。本研究为保证所得数据的真实性，制定与本指标体系相匹配的课题情况调查表，组织专家进行认真咨询，通过国家自然科学基金委取得课题相关资料和数据，因此认为，调查所获得的数据、资料及研究结果是真实、可靠的。        3.5