（管理科学与工程专业论文）nsfc项目绩效评估系统的研究与开发.pdf

大魍工大学硕士学位论文 摘要 在n s f c 项目绩效评估中，让专家在短时间内对种类繁多，数量巨大的研究成果做 出恰当评价是比较困难的。 本文首先对科研管理机构现行的工作流程进行分析，并引入u m l 工作流程分析方 法对其进行建模。通过分析发现现行工作流程中具有时间短任务重、时间成本过高、同 行评议专家不易召集和总体评估成本过高等缺点和瓶颈。针对缺点和瓶颈，本文分析了 现有的工作流程，提出了绩效评估信息化的解决方案，分析了b s 模式和c s 模式各自 的优缺点，最终提出基于网络的绩效评估解决方案。 采用基于网络的绩效评估方案之后，科研管理机构工作人员、项目负责人、同行评 议专家等的工作方式和工作内容发生很大变化。通过对比本文发现采用新方案之后，可 以克服原有工作流程中的缺点，消除限制原有工作进展的瓶颈，但同时也滋生出新问题 同行评议专家之间缺乏沟通和非共识n s f c 项目绩效评估结果的处理。 针对采用新方案之后出现的问题，本文提出三种解决方案： 多人评估汇总结果方案。此方案使用一种算法对多位同行评议专家的绩效评估 意见进行汇总处理，最后产生n s f c 项目的绩效评估结果。 集体讨论集体表决方案。此方案借助于一个基于网络的n s f c 项目讨论平台让 同行评议专家进行沟通和交流，达到同行评议专家达成共识的目的。 预判前置申诉集体表决方案。本方案在绩效评估整理流程中加入申诉机 制，同行评议专家对n s f c 项目进行绩效评估之前，首先对n s f c 项目进行预判和提出 问题，项目负责人负责人对问题进行整理并回答。根据n s f c 项目成果和申诉结果，同 行评议专家最终对n s f c 项目进行绩效评估。 分析三种解决方案的优缺点之后，本文提出基于预判申诉机制的绩效评估方 案，在绩效评估工作流程中加入预判申诉机制，最终使用多人评估汇总结果方 案中的算法对绩效评估结果进行汇总。它能够较为平稳地解决同行评议专家之间的沟通 问题和促进非共识n s f c 项目绩效评估结果的出现。 最后本文使用面向对象思想对基于网络的绩效评估系统进行分析，并使用u m l 工 具对需求做出详细设计，并在此基础上实现了原型系统。原型系统已经试运行，取得了 良好效果。 关键词：绩效评估；流程分析；预判申诉机制；基础研究 n s f c 项目绩效评估系统的研究与开发 r e s e a r c ha n dd e v e l o p m e n to n n s f c p r o j e c tp e r f o r m a n c ee v a l u a t i o ns y s t e m a b s t r a c t i nt h ep r o c e s so f t h ea s s e s s m e n to f t h el a r g en u m b e ro f n s f c p r o j e c t s o u t p u t s ，i ti sv e r y d i f f i c u l tf o rt h ep e e re x p e r t st og i v et h es u i t a b l eo p i n i o ni na v e r ys h o r tt i m e a c c o r d i n gt ot h e p r o b l e mt h a ti n c l u d e st h ed i s p e r s i b i l i t yo ft h ee x p e r t s ，l i t t l et i m ef o rp e r f o r m a n c ee v a l u a t i o n a n dt h eh u g en u m b e ro ft h eo u t p u t s ，af r a m e w o r kb a s e do nb si sp r o p o s e d f i r s t l y ，a f t e ra n a l y z i n gt h ew o r k f l o wo ft h er e s e a r c hm a n a g e m e n td e p a r t m e n t ，t h et h e s i s m o d e l st h ep r o c e s su s i n gu m l m o d e l i n g a sar e s u l t t h ed i s a d v a n t a g e ss u c ha sl i t t l et i m ef o r p e r f o r m a n c ee v a l u a t i o n ，e x o r b i t a n tt i m ec o s t ，t h ed i s p e r s i b i l i t yo ft h ee x p e r t sa n dh u g e a m o u n to ft o t a lc o s ta r ef o u n d a c c o r d i n gt ot h e s ed i s a d v a n t a g e s ，aw e b b a s e dp e r f o r m a n c e e v a l u a t i o ns y s t e mi sp r o p o s e d a f t e ru s i n gt h en e ww e b - b a s e ds y s t e m ，t h em e t h o da n dc o n t e n to ft h ep e r f o r m a n c e e v a l u a t i o nc h a n g e t h ew e b b a s e ds y s t e mc o u l dc o n q u e rt h ep r o b l e mi nt h eo r i g i n a lp r o c e s s a n da l s ob r i n gi n t on e wp r o l e b m s ：t h ec o m m u n i c a t i o nb e t w e e np e e re x p e r t sa n dh a n d l i n g m e t h o do fn o n - c o n s e n s u sn s f cp r o j e c t s t os e t t l et h en e w p r o b l e m s ，t h r e em e t h o d sa r ep r o p o s e d ： m u l t i a p p r i a s a lr e s u l t s u m u p ：i nt h i sm e t h o d , a na l g o r i t h mf o rs u m m i n gu pt h er e s u l t s o ft h ep e r f o r m a n c ee v a l u a t i o ni sp r o p o s e d a _ f - t c rs u m m i n gu p t h er e s u l t so fn s f c p r o j e d si s c o m p u t e d d i s c u s s i o n v o t i n go fp e e re x p e r t s ：i nt h em e t h o d , t h ew e b b a s e dd i s c u s s i o ns y s t e mi s u s i n g 笛al o o mf o rp e e re x p e r t sc o m m u n i c a t i o n a sar e s u ho ft h ec o m m u n i c a t i o n p e e r e x p e r t sc o u l da c h i e v et h ec o n s e n s u s j u d g i n gi na d v a n c e ，a p p e a l i n ga n dv o t i n g ：t h em e c h a n i s mo fa p p e a l i n gi sp r o p o s e di n t h em e t h o d b e f o r et h ep e r f o r m a n c ee v a l u a t i o no fn s f cp r o j e c t s ，p e e re x p e r t sj u d g et h e n s f cp r o j e c t si na d v a n c ea n db r i n gf o r w a r dt h e i rq u e s t i o n e s t h e nt h ec h a i r m e np r e p a r et h e a n s w e ra c c o r d i n gt ot h eq u e s t i o n e sa n du p l o a db e f o r ef i x e dd a t e t h ep e r f o r m a n c ee v a l u a t i o n p r o c e s s e sw i t ht h ef r u i t sa n da n s w e r e s a n a l y z i n gt h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft h et h r e em e t h o d s ，am e t h o db a s e do n j u d g i n gi na d v a n c ea n da p p e a l i n gi sp r o p o s e d t h em e t h o dc o u l ds o l v et h ep r o b l e mo f c o m m u n i c a t i o nb e t w e e np e e re x p e r t s s m o o t h l y a n dp r o m o t et h ea s s e s s m e n to ft h e i i 大连理工大学硕士学位论文 p e r f o r m a n c ee v a l u a t i o n i nt h em e t h o d ，t h ej u d g i n gi na d v a n c ea n da p p e a l i n gi sa d d e dt ot h e w o r k f l o wa n dt h ea l g o r i t h mp r o p o s e di nt h em u l t i a p p r i a s a lr e s u l t s u m u pi su s e d a tl a s t ，t h es y s t e mi sa n a l y z e da n dd e s i g n e di nd e t a i lu s i n gt h eo b j e c t o r i e n t e di d e aa n d u m lt o o l s n ep r o t o t y p es y s t e mh a sb e e nt e s tl u l li nad e p a r t m e n ta n dh a sg i v e na w o n d e r f u le f f e c t k e yw o r d s ：p e r f o r m a n c ee v a l u a t i o n ：w o r k f l o wa n a l y s i s ：m e c h a n i s mo fa p p e a l i n g ； b a s i cr e s e a r c h 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名： 日期：2 进： 人连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名 导师签名 皿年。月工日 大连理工大学硕士学位论文 1 绪论 1 1 研究背景 基础研究是探索自然规律，追求新发现、新发明，创立新学说，积累科学知识，为 认识世界、改造世界提供基础理论和方法的研究。世界各国政府都对基础研究投入的大 量的人力、物力、财力，以争让本国在科研领域蓬勃发展，进而能够促进经济发展和国 家富强。为了推动本国科技实力的增长，美国成立了美国国家科学基金会( n s f ，n a t i o n a l s c i e n c ef o rf o u n d a t i o n ) ，德国成立了德意志研究联合会( g r f ，g e r m a nr e s e a r c h f o u n d a t i o n ) ，日本成立了学术振兴会( j s p s ，j a p a ns o c i e t y f o r t h e p r o m o t i o n o f s c i e n c e ) ， 澳大利亚成立了澳大利亚研究理事会( a r c ，a u s t r a l i a nr e s e a r c hc o u n c i l ) ；同时近年 来也涌现出了一些地域性质和国际性质的基础研究推动者，欧洲科学基金会( e s f ， e u r o p es c i e n c ef o rs c i e n c e ) 和国际科学基金会( i f s ，i n t e r n a t i o n a lf o u n d a t i o nf o rs c i e n c e ) 就是其中的代表。中国于1 9 8 6 年2 月1 4 日成立了国家自然科学基金委员会( n s f c ， n a t i o n a ln a t m ls c i e n c ef o u n d a t i o no fc h i n a ) ，它是一个政府领导下的科研管理机构， 其职能就是为了协调国家在基础研究各领域的投入，增强基础研究的方向性，激励基础 研究等。 图1 1n s f c 在1 9 9 8 年至2 0 0 6 年间利用财政拨款对基础研究的投入 f i g 1 1 t h ei n v e s t m e n to fb a s i cr e s e a r c hb yn s f cd u r i n g1 9 9 8 2 0 0 6 ( 注：此数据来源为国家自然科学基金委员官方网站鲢q ；z ! 塑：旦墨生g q ! ：鲤) n s f c 项目绩效评估系统的研究与开发 基础研究的投资逐年增大。1 9 9 8 年，美国国家科学基金会对于基础研究的投资达到 了3 4 2 9 亿美元；同年，n s f c 对基础研究投入了财政拨款8 3 6 亿人民币，按照当年的 汇率折算( 按照汇率8 ”8 9 元人民币美元) ，达到了1 0 0 9 8 亿美元。2 0 0 7 年，美国国 家科学基金会对基础研究的投资达到了史上最高的5 9 1 7 1 6 亿美元；2 0 0 6 年，n s f c 对 基础研究投入了财政拨款3 6 2 0 1 4 亿人民币，按照当年汇率折算( 按照汇率8 元人民币 元) ，达到了4 5 2 5 2 亿美元。从上述数据可以看出，在1 9 9 8 2 0 0 7 这1 0 年间，美国国 家科学基金会对基础研究的投入加大了将近一倍，并且在2 0 0 8 年度的展望中，预计能 够首次突破6 0 亿美元。我国在1 9 9 8 2 0 0 6 这9 年中不断增加投入，年投入资金量翻了2 番，对基础研究的重视也可见一斑。( 本段所使用数据来源为美国国家科学基金会官方 网站h t t p ：w w w n s f g o v 和n s f c 官方网站h t t p ：w w w n s f c g o v e l l 。) 从图1 可以看出，国家自然科学基金委员会对于基础研究投资的力度逐年增大。随 着对基础研究投资的逐年增加，基础研究的规模也越来越大，国家自然科学基金委员会 每年所受理的申请项目数和接受资助的项目数都在逐年增加。国家自然科学基金委每年 受理的基础研究越来越多，表1 1 是2 0 0 4 年2 0 0 6 年国家自然科学基金委员会受理 的项目数。 表1 12 0 0 4 2 0 0 6 年国家自然科学基金委员受理的项目数和资助的项目数 t a b 1 1t h en u m b e ro fb a s i cr e s e a r c ha p p l i e da n df u n d e dd u r i n g2 0 0 4 2 0 0 6 ( 注：面上项目包括自由申请、青年科学基金和地区科学基金，同时也包括其他部分项目) 从表1 1 中可以看出，国家自然科学基金委员会每年受理的项目总数增长速度很快， 2 0 0 6 年受理项目总数达到了2 0 0 4 年的1 4 8 2 7 ，涨幅平均每年2 4 1 3 5 ；2 0 0 6 年资助 项目总数是2 0 0 4 年的1 3 3 2 0 ，涨幅平均每年1 6 面。这些数据充分说明了国家对于 基础研究的重视，同时基础研究工作者的数量也在不断增加，所以每年受理的基础研究 数量才会越来越多。 随着基础研究的不断发展以及基础研究规模的不断扩大，基础研究的管理也成为国 家自然科学基金委员会工作的重点。国家自然科学基金委员会具有两大管理职能：一个 管理职能是对知识创新过程的组织和管理；另外一个职能就是对创新成果，即知识进行 大连理工大学硕士学位论文 管理，也就是所说的成果管理。基础研究的管理中最重要也是最核心的应该算是基础研 究的成果管理。 图1 2 国家自然科学基金创新知识环流系统 f i g 1 2 t h ec i r c l eo fk n o w l e d g ei nn s f cf u n d s 基础研究的过程是一个知识产生的过程，在此过程中，基础研究会生产“产品”一 基础研究成果【l 】o 基础研究成果包含直接成果和间接成果，并且这些成果都有其内涵 和外在表现形式，其中包括期刊论文、会议论文、专著、培养人才、专利和研究报告等。 在创新知识环流系统1 1 】( 图1 2 ) 中，基础研究的成果管理至关重要，它是连接基础 研究项目过程管理和成果社会共享的纽带。在此系统中，自然科学基金项目的过程管理 就是指自然科学基金项目的立项，评审以及资助等过程，在此过程中产生了基础研究的 成果。这些成果经过成果管理体系的加工，加上其他知识的融合，形成更精致的基础研 究成果，由基金委统一向外发布，这样就能够形成成果的社会共享，这能够更加激发基 础研究工作者的研究热情，促进基础研究的螺旋式上升。如果缺少了成果管理环节，那 么过程管理和社会共享将形不成环流，缺少连接和加工的纽带。 经过了初期的探索和不断的研究，研究人员将成果管理主要划分为六大部分：成果 采集部分、成果分析部分、专家评审部分、知识组织部分、知识共享部分和知识创新部 分。这些部分都是基于一个共有的基础知识资源。成果采集部分主要是指基础研究 负责人在规定的时间内，将基础研究所产生的成果传递到国家自然科学基金委员会，其 n s f c 项目绩效评估系统的研究与开发 主旨是让科研管理机构了解基础研究完成的情况；成果分析对已经获取的基础研究成果 信息进行数据分析，获取基础研究创新过程的统计信息，并可以为国家自然科学基金委 员会的管理提供一定程度的决策支持：专家评审是指同行评议专家对基础研究所取得的 成果进行鉴定，确定基础研究的完成情况，并对其研究本身做出专家级的提议；知识组 织是将成果管理中的知识资源进行分类，并建立知识之间的关联，使知识以有序地面貌 呈现在用户面前；知识共享是指用户通过结构化的知识资源目录，能够方便地找到所需 的知识；知识创新是通过发现知识之间新的关联，产生新的研究领域。其关系如图3 所 示。 图1 3 成果管理总体架构图 f i g 1 3 t h e 丘 a m e w o r ko ft h ef r u i tm a n a g e m e n t 1 2 研究内容 本文的选题来源于国家自然科学基金资助项目“成果采集与展示系统研究” ( 7 0 5 4 0 0 0 7 ) ，以及国家自然科学基金资助项目“成果采集与后评估系统研究” ( g 0 7 2 4 0 0 1 ) 。本文目的在于能够寻找一种针对于科研管理机构的绩效评估方案，能够 有效解决基础研究的绩效评估问题。 随着对基础研究投入的增加以及基础研究规模的不断扩大，基础研究的绩效评估已 经得到世界各国政府和科研管理部门的重视，并在此基础上开展了一定程度的工作1 2 - 3 。 基础研究绩效评估的核心在于对基础研究成果的水平与工作质量等进行比较全面的检 查与评价，通过评估达到检查基础研究完成情况、优化资源配置、提高管理水平和管理 效率等目的。 本文的应用背景为n s f c 某学部的绩效评估工作。该科研管理机构对基础研究每年 进行大规模的投资用以促进本领域内基础研究的发展。该科研管理机构经过了多年的发 大连理工大学硕士学位论文 展和不断的经验总结，基本完成了前期的过程管理，即受理项目的一整套流程的管理， 包括立项申请、组织评审和确认资助，也能够基本完成基础研究成果管理的初级阶段， 即进行成果采集( 基础研究负责人将基础研究成果的电子文档提交给该科研管理机构) 。 在这些工作的基础上，该科研管理机构提出了对已经采集的基础研究进行绩效评估的需 求。该科研管理机构从1 9 9 8 年开始进行基础研究绩效评估，至今已经具有1 0 年历史， 一直采用人工书面评议来进行绩效评估工作。下文中的“基础研究绩效评估”也可以解 释为“n s f c 项目绩效评估”。 本文仅以2 0 0 5 年为例来研究基础研究绩效评估工作。2 0 0 5 年，。参加绩效评估的基 础研究一共有1 9 1 项，据不完全统计，基础研究一共产生成果5 6 5 6 项( 纸质文档) ， 这些成果分为期刊论文、会议论文、学术专著等9 种类型。该科研管理机构采用同行评 议法来开展绩效评估工作，同行评议专家齐集科研管理机构所在地，每位专家使用了2 天时间对6 个基础研究进行绩效评估，包括举行同行专家评议会进行表决。 图1 4 该科研管理机构2 0 0 2 2 0 0 6 年受理和资助基础研究总数 f i g 1 4 t h en u m b e ro fb a s i cz e s e a r c ha p p l i e da n df u n d e dd u r i n g2 0 0 2 - 2 0 0 6 从上述事实中不难发现，此绩效评估过程存在一定的困难，其主要体现在以下三个 方面： 首先，基础研究所产生的成果种类繁多，数量成千上万，评估工作量浩大。 其次，同行评议专家不易召集。同行评议专家位居五湖四海，并且时有出差，按照 2 0 0 5 年的例子，按照一个专家对6 个基础研究进行绩效评估来计算，2 0 0 5 年参加绩效 评估的基础研究项目达到1 9 1 个，科研管理机构需要确保同行评议专家人数达到6 0 人 次之多： n s f c 项目绩效评估系统的研究与开发 再次，绩效评估工作的时间短，任务重。同行评议专家在短时间内对相当数目的成 果进行评价是不容易完成的工作，对绩效评估效果会有一定的不良影响。 上述问题是以2 0 0 5 年的事实来说明的，随着国家对基础研究的重视和在基础研究 的投资规模不断扩大。该科研管理机构所受理的项目逐年增长，并且增长趋势十分可观， 随着受理基础研究的增加，其资助基础研究的数量也在随之增加，那么以后的工作量会 更大，绩效评估的难度会大大增加。图1 4 【蝴】显示了2 0 0 2 年至2 0 0 6 年问该科研管理机 构对于基础研究的受理情况和资助情况，从中可以看出2 0 0 2 年受理基础研究总数为 1 7 2 3 项，2 0 0 6 年受理的基础研究总数已经达到了4 2 4 0 项，增长了1 4 6 0 8 ；资助基础 研究方面，从2 0 0 2 年的资助2 2 0 项到2 0 0 6 年的4 7 4 项，增长了1 1 5 4 5 。按照规定， 获取资助的基础研究必须参加绩效评估，所以等到2 0 0 6 年的项目结题进行绩效评估工 作时，工作量需要提升一倍，需要的管理工作难度将会飞速增大。 在以上事实和困难的基础上，本文提出了一下的研究内容：对该科研管理机构绩效 评估工作过程中存在的难题进行分析研究，力争能够提出一个适合该科研管理机构现有 条件，又能被同行评议专家和基础研究负责人所接受的绩效评估方案。 1 3 论文主要工作 本文的题目建立在某科研管理机构绩效评估工作中存在的难题之上，因此本文的主 要工作体现在以下几个方面： 对该科研管理机构绩效评估工作流程进行分析；找出制约该科研管理机构绩效评估 工作的难点和可进行优化设计之处； 针对绩效评估工作中的难点和可优化之处，进行综合分析，提出一套易行、符合实 际情况的解决方案； 针对原有工作流程和现有的解决方案，比较其优劣势，并对现有解决方案进行改进， 得出新的解决方案： 针对最终获取的解决方案，本文进行系统的分析、设计与开发，并做出系统的原型， 以做参考； 本文的文章安排为第一章主要描述本文的应用背景以及在此基础上衍生的本文的 研究内容：第二章主要针对绩效评估工作进行综述，找到现有的研究进展和国内外的应 用状况，特别是在科研管理上的应用；第三章分析该科研管理机构绩效评估工作流程并 提出易行的解决方案：第四章在第三章分析的基础上对比前后两种方案的优缺点并对产 生的新问题进行分析和提出解决方案；第五章对解决方案进行系统设计和实现，做出原 型系统；最后总结本文并做出展望。 大连理工大学硕士学位论文 2 基础研究绩效评估文献综述 2 1 基础研究绩效评估 李正风教授在政府绩效管理与基础研究绩效评估中指出“绩效”( p e r f o r m a n c e ) 最早是一个管理学的概念，既包括“成果”、“成就”的含义，也蕴含“执行”、“过 程”的意思。绩效是指特定组织和个体的行为对目标群体需要、价值和机会的满足程度。 在这种意义上，评价揭示的是特定目的和特定目标的实现程度。因此，绩效评估过程可 以被看作是评价者对于评价任务有关的绩效信息进行观察、收集、组织、储存、提取、 整合和评定的过程。 基础研究的绩效评估具有一些特殊性，所以基础研究绩效评估自古以来就具有争议 【圳。部分学者认为，基础研究不应该也没有必要进行评估，其主要原因可以归纳为如下 几点：基础研究具有很强的探索性和风险性，对基础研究进行绩效评估势必导致科学家 产生急功近利行为，使科学家放弃长远目标，而更加关注尽快产生成果的短期研究；基 础研究不直接产生经济效益，它的研究成果难以预见，需要经过一段时间才能显现，因 此，对基础研究进行绩效评估既没有必要，也没有可能；指标体系注重于可观察到的产 出、成果和影响，只能评价基础研究某些方面的特征，不能完全准确地反映基础研究贡 献的全貌，因此评价会低估研究产生的全部价值。 随着基础研究的范围越来越大，研究所需要的投入越来越大，设备越来越昂贵，基 础研究的绩效评估就被越来越被投资者所看重，特别是主要的投资者政府和纳税 人。经济的飞速发展导致竞争的日益激烈，政府需要认真考虑，衡量有限的资源和资金 的投向；基础研究所需要资源和资金的不断投入，越来越过的纳税人开始关注资金的流 向，因此国家需要给纳税人一个交代；政府需要对基础研究进行绩效评估，以确保基础 研究的健康发展。 基础研究绩效评估经历了一个由争议到质疑，由质疑到肯定的发展过程，当然，中 间也经历了很多绩效评估方法的不断改进等，最终，基础研究的绩效评估还是得到了项 目负责人的认同，从国外到国内，从古到今，伴随着基础研究绩效评估的是项目负责人 的不断质疑和绩效评估方法的不断改进。 2 1 1 基础研究绩效评估的国外现状 对于基础研究的绩效评估，最早起源于美国。2 0 世纪7 0 年代，美国国家科学基金 会( n s f ) 和国立卫生研究会( n i l - i ) 成立了评估办公室，率先开始探索基础研究及其 影响力的定量评估方法。1 9 9 3 年，美国出台的政府绩效与结果法案( t h eg o v e r n m e n t n s f c 项目绩效评估系统的研究与开发 p e r f o r m a n c ea n dr e s u l t sa c t ，g p r a ) 明确了对基础研究要实施绩效评估。美国科学界对 g p r a 在基础研究领域的实施存在异议，美国政府根据基础研究绩效评估在实际实施中 存在的问题进行了某些方面的改善。1 9 9 6 年，美国基础科学委员会( c o m m i t t e eo n f u n d a m e n t a ls d e n c e ) 发布了具有指导性的报告( a s s e s s i n gf u n d a m e n t a ls c i e n c e ) ) ，要 求支持科学研究的联邦机构必须设计出适合于基础研究特点的综合性绩效策略，同时， 还要适合于推动基础研究在实现国家总体发展目标中发挥作用。针对美国科学界对 g p r a 的争论甚至抵触情绪，科学工程和公共政策委员会( c o s e p u p ) 于1 9 9 8 年举办 的系歹| j 研讨会进一步探讨基础研究评估的内容秘绩效评估方法。 欧盟科技计划的绩效评价伴随着欧盟各期框架研究计划的演进而形成【1 1 】。从2 0 世 纪8 0 年底开始，科技计划评价就成为欧盟框架计划的法定要求。在前三个框架中，欧 盟组织了5 0 0 多位专家对7 0 个计划进行了评价。并开展了4 0 多个支持性研究。1 9 9 6 年，欧盟又发布了“s o u n da n de f f i c i e n tm a n a g e m e n t2 0 0 0 ”方案，要求对科技计划的绩 效进行系统性评价，评价模式包括持续监控和5 年一次的评价。就评价内容而言，欧盟 着重于科技计划筛选的程序、计划管理、计划的一般特色、计划的产出与成果的扩散以 及利用等。 日本在1 9 8 3 年在科学技术会议政策委员会下设立技术评估分委员会，其职责是对 科技振兴调整费资助的项目进行前期、中期和后期评估。1 9 9 7 年日本出台了国家研究 开发评估实施办法大纲指南，明确规定了研究开发的范围、评估目的、评估对象、评 估者、评估时期、评估方法以及评估结果的处理和实施办法等。2 0 0 1 年又公布了“国家 研发评价实施方针”，建立了项目管理评价体制和预算监督机制，日本政府制定的r d 评价方法指南，强调通过对r & d 内容和工作绩效的恰当评价，建立能够充分发挥研究 人员创造能力、开放、灵活和富于竞争性的r & d 环境。日本所建立的开放型研究评价 体制是科技评估发展到个新的阶段。 韩国的基础研究起源予2 0 世纪7 0 年代和8 0 年代【1 翊。韩国主要韵研究组织是政府 资助研究所( g o v e r n m e n t s p o n s o r e dr e s e a r c hi n s t i t u t e s ，g s r i s ) ，1 9 6 6 年，韩国科学技术 研究所( k o r e ai n s t i t u t eo fs c i e n c ea n dt e c h n o l o g y ，k i s t ) 成立，此后，又建立了1 0 余 所主要的政府资助研究所。从2 0 世纪8 0 年代开始，韩国注重于科技创新，为此，政府 制定了一系列计划，例如1 9 8 8 年发布的al o n gr a n g ed e v e l o p m e n tp l a no fs c i e n c ea n d t e c h n o l o g yt o w a r dt h e2 0 0 0 s ) ) 等计划。1 9 9 1 年，韩国政府开始组织专家对政府资助研究 所进行绩效评估，其主要评估三类基金项目；s p e c i a lr & dp r o g r a m 、g e n e r i ct e c h n o l o g y d e v e l o p m e n tp r o g r a m 和n a t i o n a lt e l e c o m m u n i c a t i o n sr & dp r o g r a m 。韩国政府于1 9 9 8 年制定了“科学、技术和创新特别法案”，并于当年起正式启动对国家研究开发计划的 一8 大连理工大学硕士学位论文 调查、分析、评价。2 0 0 1 年，韩国通过了科学技术基本法案，规定政府在实施科技计划 之前需要地相关技术的经济、社会、文化、道德和环境影响进行评估。 2 1 2 基础研究绩效评估的国内现状 在我国，政府科技计划绩效评估起步比较晚。1 9 9 7 年，国家科技部正式批准成立了 “国家科技评估中心”，并在3 1 个省市和部门开展了科技成果评价试点工作，将科技 评价作为“第三方立场”引入政府科技决策系统。国家科技中心自成立以来，先后开展 了若干国家重大科技计划的评估，对于政府投资的研究开发活动的绩效评估进行了系统 的研究和实践。2 0 0 0 年底，科技部出台了科技评估管理暂行办法，针对国家或地方 重大科学技术计划的设立和实施效果，将科学技术计划评价分为前期评价、中期评估和 绩效评价，并且规定科学技术项目要实行分类评价。2 0 0 1 年5 月3 0 日， 国家重点基 础研究发展规划基础研究共性重大问题战略研究组在北京成立，该战略研究组围绕基 础研究绩效评价问题开展调查分析研究。2 0 0 3 年，科技部、教育部、中国科学院、中国 工程院和国家自然科学基金委员会联合发布了关于改进科学技术评价工作的决定舻， 随后科技部颁布了科学技术评价方法，标志着我国政府科技计划评估走上了规范化、 制度化的道路。 2 1 3 基础研究绩效评估现状总结 上述分析可以知道，基础研究的绩效评估是经济全球化、国际竞争日趋激烈和政府 战略投资目标趋向性所引发的，基础研究的绩效评估经历了争论、质疑到承认的过程， 中间经历了多次反复，最终基础研究的绩效评估总体来说是被广大学者所认同。世界上 各主要发达国家纷纷建立起本国的基础研究资助计划，并且随后为之建立相应的绩效评 估体系，以保证政府的投资能够确保政府重大战略计划的完成和基础研究的健康发展。 世界各国在对基础研究进行绩效评估的同时，也都面临着同样的问题：基础研究绩效评 估的内容是什么? 基础研究绩效评估应该采用何种方法? 2 2 基础研究绩效评估方法综述 基础研究绩效评估按照评估时间划分可以分为事前评估、事中评估( 亦称为过程评 估) 和事后评估，按照评估方式可以分为定性评估、定量评估和综合评估( 定性评估和 定量评估相结合) 。每个国家根据自身情况所偏重的方面都各不相同，美国在事前评估、 事中评估和事后评估三个方面都很重视，投入了大量的资金和人力1 1 3 - 1 5 】；英国的绩效评 估包括立项前评估、实施中期评估和计划结束后评估三个阶段，但是不是每个基础研究 都需要经历这三个阶段l z 6 1 ；同样，法国【朔，德国【1 9 1 ，日本【1 8 l ，韩国【埘等科技强国都在 n s f c 项目绩效评估系统的研究与开发 三个方面投入的大量的人力、物力、资金。本文所提出的绩效评估主要指的是事后评估， 即对基础研究的产出进行绩效评估，而不涉及事前评估和事中评估，诚然它们也很重要。 基础研究绩效评估方式包括同行评议法( p e e rr e v i e w ) ，德尔斐法( d e l p h i 法) ， 层次分析法( a h p ) ，文献计量法，案例研究和回溯法等方法1 1 4 ，“j 。 同行评议的定义很多，当前尚无一个普遍为人接受的定义。但其最本质的内容与其 英文的含义是一致的，“p e e r ”是同资格、同能力的人，“r e v i e w ”意即鉴定性地或者 审慎地审阅或检查。美国国会技术评估办公室高级专家c h u b i n 在他的专著无同行的 科学同行评议和美国的科学政策一书中的定义是“同行评议是用于评价科学工作 的一种组织方法。这种方法常常被科学界用来判断工作程序的正确性，确认结果的可靠 性以及对有限资源的分配”l 岔2 4 1 。n s f 在提交给国会的一个有关同行评议的报告中， 将同行评议定义为：“n s f 根据决策过程标准，确定向那些申请项目提供研究经费，因 为n s f 的负责官员在确定哪些申请者可以获得赞助是根据与申请者同一研究领域的其 它研究人员的评议结果。州驯英国同行评议调查组在提交英国研究理事会咨询委员会的 调查报告里说，同行评议科研科定义为：“由从事该领域或接近该领域的专家来评定一 项研究工作的学术水平或重要性的一种方法。”1 2 7 1 根据中国学者刘明的观点吲，同行评 议起源于1 4 世纪的威尼斯共和国，其最初用于专利申请，1 7 世纪，英国皇家学会在评 议学者的入会申请和会员的学术论文时，采取了与今天同行评议类似的做法。 德尔斐法是美国公司提出来的一种决策方法。1 9 世纪5 0 年代末提出此方法，1 9 6 4 年首先用于技术预测，由于其可信度高，该法迅速传播到世界各国，。德尔斐法是决策、 预测和技术咨询的一种有效方法。德尔斐法是通过征求一群人( 通常是由有关问题的专 家，一般为2 0 5 0 人) 对复杂决策问题的意见，并据此做出判断。它是一种群决策技术， 能有效地征求和提炼群的意见。 层次分析法是美国运筹学家t l s a l t y 于2 0 世纪7 0 年代提出的一种定性与定量相结 合的决策分析方法。层次分析法进行决策分析的最终目的是定量地确定其决策方案对于 总目标的重要程度，并以此为依据进行方案选择。它把复杂的问题分解成为各个组成因 素，将这些因素按支配关系分组形成有序的递阶层次结构，通过两两比较的方式确定层 次中诸因素的相对重要性，然后综合人的判断以决定决策诸因素相对重要性总的顺序。 文献计量法广泛应用于科学研究活动的定量评价。它考查科技论文( 专著) 的数量 与分布、科技论文的引证、引用率、平均被引次数、文献的半衰期等。并非所有的引证 都同等重要。许多引证是引用常规方法、统计设计、技术修改或标准数据。最重要的引 证是承认相关的工作或暗示可能的扩展和应用。 大连理工大学硕士学位论文 案例研究是对导致关键事件发的社会因素和科学内部发展规律作出历史性解释的 方法。主要说明促成事件发生的各个因素( 如：体制、人员、组织结构、技术条件等) ， 事件发生的过程中的重要性和对以后的影响。回溯分析是对某一特殊事件，将事件回溯 推移，寻找某几个事件之间的客观联系的方法。通常是为了展示资助机构在事件发展中 的作用或者证实某一事件在另外一些事件的发生发l 展过程中的作用。 这几种绩效评估方法各有其优缺点，具体如表2 1 所示 表2 1 绩效评估方法优缺点一览表 t a b 2 1 a d v a n t a g e sa n dd i s a d v a n a g e so f t h e m e t h o d so f p c r f o m 粗a p p r a i s a l 2 2 1 基础研究绩效评估国外研究和应用现状 n s f 和n i h 最早开展基础研究的绩效评估工作，它们使用同行评议作为绩效评估 的有利方法，时至今日，同行评议作为绩效评估工作的基石，仍然在实际工作中被使用， 不过在同行评议的基础上增加了不少控制手段，例如同行评议专家应该包含基础研究的 使用者等等。随着科学手段的不断发展，在同行评议的过程中，逐渐加入一些定量方法 作为参考，例如文献计量法，同行评议法利用其作为同行评议的一个辅助手段，不作为 评定的依据。 不仅美国采用同行评议作为基础研究绩效评估的有效方法，德国、日本、英国、法 国等发达国家都采用同行评议作为基础研究绩效评估的手段，根据本国情况的差别，各 国的同行评议分别具有本国的特色i 矧。美国n i h 采用二级评审制度，不仅考虑基础研 n s i ：c 项目绩效评估系统的研究与开发 究的科学性，也考虑基础研究的社会性；德国采用“2 + 1 ”匿名同行评议方式：澳大利 亚注重同行评议意见的反馈，可以由基础研究申请者提出申诉，并且澳大利亚基础研究 绩效评估是委托给私人数据公司来完成的。 在各国均采用同行评议作为主要的基础研究绩效评估方法的同时，学者们开始研究 基础研究绩效评估的其它方面，例如对基础研究的回报率进行评估，对基础研究评估本 身的评估等。对基础研究的回报率的评估一般认为始于2 0 世纪5 0 年代，以g r i l i c h e s 的研究为标志。当时他经过测算，认为从1 9 1 0 1 9 5 5 年间开发杂交玉米的公共研究投资 为2 0 0 万美元，而获得的社会回报率为7 0 0 i 驯；m a n s f i e l d 从企业微观层次上对基础 研究的回报率进行了探索p 5 - 3 6 1 ；其他学者就基础研究的回报率也进行了很多研究【3 7 l 。 b r w o nk i l n 和h c u n g s h i ko h 提出了新的基础研究绩效评估模型，强调从基础研究内部 评估和外部评估相结合，并且注重满足被评估人员的满意度【拥。t i 衄b a r n e s ，i a n