（统计学专业论文）浙江省高校科研项目绩效评估研究与分析.pdf

浙江省高校科研项目绩效评估研究与分析 浙江省高校科研项目绩效评估研究与分析 摘要 科研项目绩效评估对提高科研项目管理的效率与水平是至关重 要的，也有利于相关出资部门对科技计划的实施和科研人员的工作有 一个科学的了解，为科研项目的管理和后续资助提供科学的依据。本 文以1 9 9 7 至2 0 0 4 年浙江省教育厅立项的高校科研项目的部分随机抽 取样本为研究样本，采用设计问卷调查的方式获取研究数据。科研项 目绩效评估的内容不仅包括项目的直接产出，而且包括项目的后续效 益。本文以单个科研项目绩效为基础来考察项目的整体绩效情况和不 同类项目的绩效情况，研究结果表明：1 、1 9 9 7 年至2 0 0 4 年省教育 厅各年立项的科研项目的总量绩效水平一直处于上升趋势，各年单个 项目绩效水平和每万元科研经费绩效产出水平整体上呈上升。而各年 单位科研人力绩效产出水平整体上并没什么变化趋势，从分时段来 看，1 9 9 7 年至2 0 0 0 年各年单位科研人力绩效产出水平呈下降趋势， 而2 0 0 1 年至2 0 0 4 年各年单位科研人力绩效产出水平呈上升趋势。2 、 不同类的科研项目的绩效表现结果各有所侧重，水平高低也不一样； 运用典型相关分析研究不同类型高校科研项目和不同职称主持的科 研项目直接产出绩效与后续绩效的关系、项目投入与产出的关系，结 果表明各自关系各不相同。针对以上结果，提出对策，为提高今后省 教育厅立项的高校科研项目的管理水平和科研产出水平提供科学的 浙江省高校科研项i ! = ；l 绩效评估研究与分析 依据。 关键词：科研项目，后续效益，绩效评估，整体绩效，分类绩效 浙江省高校科研项1 4 绩效评估研究与分析 t h er e s e a r c ha n da n a l y s i so f1 匣e v a l u a t l o no ft h e p e r f o r m a n c e so ft h es c i e n l l f i ci 匝s e a r c hp r o j e c t si n t h eh l g hs c h o o l so fz h e j i a n gp r o v i n c e a b s t r a c t t h ee v a l u a t i o no ft h e p e r f o r m a n c e so f t h es c i e n t i f i cr e s e a r c h p r o j e c t si sv e r yi m p o r t a n tt oe n h a n c et h ee f f i c i e n c ya n dt h eq u a l i t yo ft h e m a n a g e m e n to ft h es c i e n t i f i cr e s e a r c hp r o j e c t s ，a n di sa l s op r o p i t i o u st o t h ec o n t r i b u t i v ed e p a r t m e n tt h a tt h e yh a v eas c i e n t i f i cu n d e r s t a n do nt h e p r a c t i c eo ft h ep r o j e c to ft h es c i e m i f i cr e s e a r c ha n dt h ew o r ko ft h e s c i e n t i f i cr e s e a r c hp e r s o n n e l ，a n d p r o v i d e st h es c i e n t i f i cb a s i ct ot h e m a n a g e m e n to ft h es c i e n t i f i cr e s e a r c hp r o j e c t sa n df o l l o w - u ps u s t e n t a t i o n t h i sp a p e rr e g a r d st h ep a r t i a lr a n d o ms a m p l e dp r o j e c t so ft h es c i e n t i f i c r e s e a r c hp r o j e c t ss u p p o r t e db yz h e j i a n gp r o v i n c i a le d u c a t i o nd e p a r t m e n t f r o m1 9 9 7t o2 0 0 4 勰ar e s e a r c hs a m p l e a n dw eg e td a t at h r o u g ht h e i n v e s t i g a t i o nb yq u e s t i o n n a i r e t h ee x t e n s i o no ft h ee v a l u a t i o no ft h e p e r f o r m a n c e so ft h es c i e n t i f i cr e s e a r c hp r o j e c t sn o to n l yi n c l u d e st h e d i r e c to u t p u to f t h ep r o j e c t s ，b u ta l s ot h ef o l l o w u pb e n e f i to f t h e p r o j e c t s t h i sp a p e rr e v i e w st h em a c r op e r f o r m a n c ea n dt h ep e r f o r m a n c eo ft h e i n h o m o g e n e o u sp r o j e c t so nt h eb a s i so ft h ep e r f o r m a n c eo fas i n g l e p r o j e c t t h e nw eg e tr e s u l t s ：1 、t h et e n d e n c yo ft h eg r o s sp e r f o r m a n c eo f 浙江省高校科研项目绩效评估研究与分析 t h es c i e n t i f i cr e s e a r c hp r o j e c t ss u p p o r t e db yz h e j i a n gp r o v i n c i a le d u c a t i o n d e p a r t m e n tf r o m19 9 7t o2 0 0 4i sa l lt h r o u g ha s c e n d i n ge a c hy e a r , a n da s aw h o l et h e a v e r a g ep e r f o r m a n c eo ft h es i n g l e p r o j e c ta n d t h e p e r f o r m a n c eo fe a c ht e nt h o u s a n do u t l a yo fs c i e n t i f i cr e s e a r c hi s a s c e n d i n g h o w e v e r , t h ep e r f o r m a n c eo fe a c hm a n p o w e ro fs c i e n t i f i c r e s e a r c hh a sn ot e n d e n c ya saw h o l e ，b u tf r o mt h ev i e wo fs u b s e c t i o n ， f r o m1 9 9 7t o2 0 0 0i ti sd e s c e n d i n ge a c hy e a r , f r o m2 0 0 1t o2 0 0 4i ti s a s c e n d i n ge a c hy e a r 2 、t h ep e r f o r m a n c eo f t h ei n h o m o g e n e o u ss c i e n t i f i c r e s e a r c hp r o j e c t si sd i f f e r e n t ，a n dt h el e v e lo ft h e i rp e r f o r m a n c ei sa l s o d i f f e r e n t t h ea u t h o rs t u d i e st h er e l a t i o n s h i pb e t w e e nt h ed i r e c to u t p u t a n dt h ef o l l o w - u pb e n e f i t ，a n db e t w e e nt h ei n p u ta n d o u t p u to fp r o j e c t so f t h ei n h o m o g e n e o u ss c h o o la n dt h ep r o j e c t sp r e s i d e do v e rb yd i f f e r e n tt i t l e o fat e c h n i c a lp o s tb yc a n o n i c a lc o r r e l a t i o na n a l y s i s t h er e s u l t ss h o w t h a tt h e ya r ea nd i f f e r e n t a tl a s tw ep u tf o r w a r dt ot h e s u g g e s t i o n sa n d p r o v i d et h es c i e n t i f i cb a s i st oi m p r o v et h eq u a l i t yo ft h em a n a g e m e n to f t h es c i e n t i f i cr e s e a r c hp r o j e c t ss u p p o r t e db yz h e j i a n g p r o v i n c i a le d u c a t i o n d e p a r t m e n ta n dt h eo u t p u to f t h es c i e n t i f i cr e s e a r c hf o rt h ef u t u r e k e y w o r d s ：t h es c i e n t i f i cr e s e a r c hp r o j e c t s ，t h ef o l l o w - u pb e n e f i t ，t h e e v a l u a t i o no f t h ep e r f o r m a n c e s ，t h em a c r op e r f o r m a n c e ，t h ei n h o m o g e n e o u sp e r f o r m a n c e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得浙江工商大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示谢意。 签名： 日期：矽刁年f 月矽日 关于论文使用授权的说明 本学位论文作者完全了解浙江工商大学有关保留、使用学位论文 的规定：浙江工商大学有权保留并向国家有关部门或机构送交论文的 复印件和磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文，并且本人电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 签名： 浙江省高校科研项目绩放评估研究与分析 第一章前言 第一节本文研究意义 目前，无论是国际还是国内，科研评估已经成为学术界乃至社会各界共同关 注的问题，这是因为科学技术评估是推动国家科技事业持续健康发展，促进科技 资源优化配置，提高科研管理水平的重要手段和保障。对一个国家而言，科学合 理地评估其科技实力和科研绩效，定准其在世界的位置，对于确定科学合理的宏 观科技政策，确定科技投入的规模和结构，制定有关人才培养、技术引进、经济 增长等长期策略具有重要的指导意义。高等学校作为科研工作的重要组成部分， 科学合理地评估其科研与开发实力、创新能力及综合实力，可以为政府或管理者 或相关出资部门制定正确的投资计划提供决策服务，可以体现公平的原则，提升 科研机构的科研与开发的实力，实现科技产出最大化的目标，可以使科研机构和 科研人员把他们的精力更多地投入到科学研究和科技开发上，而不是把精力过多 地投入到与项目申请有关的大量事务上。对科研项目小组或研究者个人科学合理 地评估则可以有效地激发被评估者的积极性，增加他们的成就感和荣誉感。对于 管理者来说，可以充分体现公平竞争的原则，激励与约束机制得以良好的实现。 总之，进行科学合理的评估，无论从宏观上和微观上都具有重要的实际意义。为 了使科技投入产生预期的效果或达到预期的目标，为了合理地配置科学研究和技 术开发的资源，确保“开放、流动和竞争”机制的有效运行，充分调动科研人员 的创造能力，进行科学合理的科研评估是十分必要和必需的。尤其是在当前国家 急需创建科技创掰体系的形势下，研究科学合理的科研评价理论与方法显得尤为 重要和迫切。 科研项目绩效评估是政府进行科学管理的重要手段之一，也是高校科研管理 的核心内容【m 1 1 舭j 。进行科学、高效和合理的评估，可以( 1 ) 有利于政府或管理 部门或相关出资部门对科技计划的实施和科研人员的工作有一个科学的了解，为 科研项目的管理和后续资助提供科学的依据；( 2 ) 适应国际科技竞争日趋激烈的 新形势，在国家科技投入与高校科研经费矛盾突出的情况下，优化科研经费的分 配，调整科技计划和科技投入的方向，提高管理水平和有限资金的使用效率；( 3 ) 发现有发展前景的新的学科生长点和新的研究领域，为高校决策系统调整、学科 浙江省高校科研项目绩效评估研究与分析 布局整改提供科学依据；( 4 ) 以科学的理论指导管理实践，及时纠正偏差与不足， 减少决策的失误；( 5 ) 增强项目研究人员和各级管理部门的责任感，促进高水平 科研成果产出及优秀人才的成长，使有限的资金发挥最大的效益。 绩效评估是组织发展的反馈机制，是提高机构产出的重要手段。开展高校科 研项目绩效评估，能对组织机构的决策产生重大影响，对于提高高校的科研项目 管理水平，实现高校科研管理和决策的科学化、规范化都具有重要意义。 第二节国内外科研项目绩效评估的研究现状 一、国外主要国家科研项目绩效评估现状1 4 目 ( 一) 美国 美国是世界上最早开始实施科技评估工作的国家。早在二十世纪二十年代， 美国就成立了国会服务部进行与科技有关的研究、分析和评估。这可以被看作是 科技评估制度的雏形。然而，科技评估工作在美国大范围展开是在第二次世界大 战之后。随着科学发展的复杂化和综合化，科学研究活动的规模日益庞大，需要 越来越有效地协调与管理。科研活动本身已成为一项系统工程，个产业，甚至 是一门经济。因此，需要对科研活动引入有效地管理机制，使之能顺利和高效地 运行。在这种背景下，科研评估作为科学管理的一项重要内容和手段，在美国成 为制度化、经常性的工作，并建立了科技评估支持系统。1 9 9 3 年，美国第1 0 3 届国会颁布了“政府绩效与结果法案”( g p r a ) ，从而以立法的形式确定了绩效评 估制度。制定该法案主要的是提高国民对联邦政府能力的信任；通过计划的目标 设定、绩效评估、公开通报来促进提高联邦政府的工作绩效。通过强调研究结果、 服务质量和用户满意度等方面，来提高联邦政府的工作效率和政府官员责任心； 通过反馈计划目标的实现情况及有关的项目成果和服务质量信息，帮助联邦管理 者改善服务水平；通过提高有关计划取得的成绩，联邦计划的效率和资金等信息， 改进国会的决策，改善联邦政府的内部管理。g p r a 规定，各部门在编制预算、 提出指出要求时，必须制定5 年战略项目，设定项目年度目标，制定出一套能反 映部门业绩、便于考评的绩效指标，并定期提供长期战略规划、年度绩效规划以 及年度绩效成果报告等三种报告。对于执行研究发展的机构而言，g p r a 的执行 情形大致可分成机构定位及绩效衡量两方面。同时，根据该法案的规定，美国政 府于1 9 9 3 年3 月成立了国家绩效评价委员会，负责该法案的监督和实施。美国 2 浙江省高校科研项目续效评估研究与分析 国家科学基金会( n s f ) 也组织了相关问题的研究，从1 9 9 6 年，政府的各主要部 门都依据g p r a 法案，按照美国审计总署的要求，明确地设定战略计划、任务目 标和年度绩效评估计划书。同时，根据政府绩效与结果法案，n s f 要求在规 定时间内提交绩效报告。绩效报告不是对单个资助项目的结果进行评估，而是对 项目中的一类项目乃至对实现本机构某一方面特定任务的诸多项目开展综合评 估，以展示其整体的绩效水平。美国海军研究办公室的k o s t o f f 对研究效果的评 价也作了系统的研究。将r i a 分为三种情况：研究选择( 研究工作还未开始) 、研 究评述( 研究工作还在进行中) 、后期研究评价( 研究工作已完成) 。评价的方法 主要有：回朔方法、定量方法( 成本一效益分析和文献计量学方法) 、定性方法( 专 家评议法) 。 ( 二) 澳大利亚 澳大利亚是较早实施项目绩效考评的国家之一。澳大利亚联邦政府从1 9 8 5 年开始实施科技项目的绩效考评试点工作；1 9 9 3 年开始全面实施科技项目的绩 效考评；1 9 9 9 年开始全面推行科技项目绩效考评；1 9 9 9 年开始对公共部门的所 有支出预算进行绩效考评。澳大利亚的科技项目绩效考评主要包括三个方面内 容：适当性评价、效率性评价和有效性评价。评价重点根据项目目标和项目生命 所处的发展阶段决定。澳大利亚对科技项目的绩效考评贯穿于立项、实施、结题 的全过程。其主要步骤为：进行项目分析，确定考评重点：找出考评需要解决的 主要问题，确定考评项目和战略；收集、分析考评资料、起草、发布考评报告、 回顾绩效考评；充分利用考评结论。 ( 三) 英国 1 9 7 7 年，英国苏克塞斯大学科技政策研究所( s p r u ) ，对政府资助的6 个研 究机构的科研活动进行了评估。1 9 8 9 年，国会下属的科技评估办公室在科技政 策白皮书中对政府科技投入的使用、管理、分配作了评述。英国对科学研究的评 价有多种方式。主要通过客观和主观两种方式评价科学研究的绩效。主观评价是 由同行评议专家组对研究产出的质量评价；客观评价是通过考查引文数据来评价 科技论文的质量。英国政府资助的基础研究评估一般采用多种指标，即：1 、科 学活动的规模、人员培养；2 、出版物及其质量、重要性和影响；3 、文献引用； 4 、同行评议；5 、其他指标，如获得奖励等。评估指标较为具体，但对专利等内 浙江省高校科研项目绩效评估研究与分析 容未涉及。 ( 四) 德国 对科学研究计划和政策的评估开始于7 0 年代末，通常是由政策管理机构指 导下的外部独立评价机构进行。t 9 9 2 年一t 9 9 3 年，德国前科技部实施了“原评 价计划”，对1 9 8 5 年以来资助的5 0 个科技项目进行评价和分析对比；并以此作 为科技项目管理的依据。目前，德国实行评价的方式有三种，即：回溯评价( 事 后) 、过程监督和展望分析( 事前) 。 ( 五) 法国 1 9 8 9 年5 月一1 9 9 0 年3 月，法国先后成立了国家科研评价委员会、总理府 技术总理府技术风险预防评议团，建立了比较完整的评价体系。主要开展了对科 研人员、政府科研发展政策、科研机构、计划和科研措施的评价工作。从评价指 标上看，采取宏观指标和微观指标相结合的办法，用资源指标、战略指标( 科研 方向、计划) 和竞争力指标( 3 - 业技术竞争力) 来评价科研管理；用投入指标、 产出指标、关系指标( 科研合作、人员流动) 和效益指标( 对社会产生的影响) 来评价科研水平；对评价的对象，从经济、社会和文化三方面来审视其实施的绩 效；并从欧洲和国际的范围评价科研结果的意义。评价体系较为完整，但涉及项 目评估内容较少。 ( 六) 日本 1 9 5 5 年1 1 月，日本颁布了科学技术基本法。1 9 9 6 年7 月，制定了“科 学技术基本计划”。1 9 9 7 年8 月，日本科学技术会议审议通过了国家研究开 发评价实施办法大纲，提出了建立开放型研究所评价体制的基本框架。按评价 时间划分，科技评价分为预先评价、中间评价和后果( 跟踪) 评价三个阶段。按 评价对象划分，科技评价分为三类，即：对研究开发课题的评价，对研究开发结 构的评价，对研究开发机构的评价、对研究人员的评价。对不同的评价对象和评 价内容，按研究的目的、任务、性质、方式、规模和时间进行分类，采用不同的 评价标准和评价实施办法。1 9 9 8 年7 月，日本批准了“政府研究与发展评价方 法指针”。对开展评价的目的、范围、评价的基本观点、一般原则、注意事项等 都作了必要的说明。各个政府部门在“指针”的框架范围内开展了政府研究与发 展的评价工作。为此，科技厅总结了各产业部门和机构的工作。1 9 9 9 年初，出 4 浙江省高校科研项h 绩效评估研究与分析 版了国家研究与发展评价报告。日本对基础研究成果的评价依据是著作和学 术论文的数量、质量、创新、引用率、研究的指导能力等。评价指标有论文发表 数和引用次数、著作出版、学术论著、辞书、教科书、教科书、计算机程序、科 研经费支持额度和次数、合作研究项目数、被表彰和学术的评价、讲演( 被邀) 次数、主办和参加各类会议情况、人才培养与交流情况、研究创造和指导能力、 研究集体的评价、青年研究学者的评价、为技术开发提供理论依据。 综上所述，国外科研项目绩效评估活动都己建立相对完善的科研项目绩效评 估法律体系和已形成较为成熟的评估方法，但各国根据自身科研项目绩效评估研 究的需要，采用相应的科研项目绩效评估体系，而尚未统一的规定。 二、国内科研项目绩效评估现状 早在二十世纪五十年代，我国就出现了绩效评估活动的雏形。而我国对科研 项目的评估工作起步较晚。科技体制改革以来，才逐步得到重视。特别是九十年 代以来，随着社会主义市场经济体制的建立和发展，国家对科研的日益重视及对 科研资金投入规模的增大，科研项目的评估被普遍关注。由此看来，我国对科研 项目进行绩效评估是比较晚的。 科研项目绩效评估始于从科研项目的投入产出角度进行项目的绩效评估，在 医学领域中研究的最早，南京军区福州总院、中山医科大学附属第三医院、北京 中日友好医院、华西医科大学附属医院均进行过有益的探索。1 9 9 7 年，张明、 鲜荣华等1 6 l 建立起“科研体”的人力投入一产出分析系统，从人员总数、人员职 称、学历3 个方面评价投入：从成果和论文数量和质量方面进行评价产出，从而 搭建了一种较为科学与适用的科研绩效评价指标体系及计算方法、人力与产出结 构分析方法，为科研管理决策提供了可靠的参考信息。1 9 9 9 年，宁芳芹、余倩 平、李源等开展了投入产出效益的分析研究，从人力和经费两个方面讨论了科 研投入，而产出指标则包括论文、专著、通过鉴定的成果及获奖成果四个方面， 并得出科研投入与产出存在正相关的结论。2 0 0 0 年，齐松仁、孙瑞华等f 3 j 运用 成本一效果分析方法，采用d e l p h i 法建立投入产出比的量化指标体系，对已结 题的4 5 项课题评价结果显示，科研投入产出效益评价指标体系具有科学性、可 行性。华西医科大学附属第一医院彭远惠等应用费用效益分析的基本方法，分析 浙江省高校科研项目绩效评估研究与分析 该院6 年来的研究与发展项目，总结出项目的投入主要由人力、物力、财力3 个要素构成，项目产出由项目等级、成果级别、成果转化、专利类型、论文、著 作、人才培养、临床及社会服务、学术交流，主办期刊等构成。总体上，科研项 目的投入产出绩效评估体系归结为：项目的投入是从人、财、物的投入3 个角度 进行评价，项目产出多从项目成果，专利，发表论文，出版著作，项目人才培养， 学术交流等方面进行评价。 此外，邓斌( 2 0 0 0 ) 1 9 1 结合高校科技管理工作中的实践，根据不同阶段的科 技项目绩效评估将评估内容分为中期评估和终期评估；按科技项目绩效评估指标 不同，评估内容包括学术价值绩效评估、经济价值绩效评估、人才培养绩效评估、 投入产出率的绩效评估等多项内容，其提出了一套较为完整、系统和具可操作性 的绩效评估指标体系。同时将科技项目绩效评估方法归纳为：同行评议法、定性 评估法、定量指标评估法。其中认为定量指标评估法为：对科技项目所涉及的诸 如论文发表、检索率、引用率、专著出版、专利申请、人才培养、获奖情况、成 果转化等一系列指标分别设定权重，综合评分，统计计算，得出项目的定量评估 得分，以达到科技项目定量绩效评估的目的。贺天伟、张景林( 2 0 0 1 ) i 1 0 1 通过 对基础研究、应用研究和技术开发研究的绩效表现形式的分析，从基础研究绩效 的学术性，应用研究绩效的技术性，技术开发研究绩效的实用性角度，从承担项 目、发表论文、科技著作、获奖成果、获得专利、成果鉴定、创造价值、培养人 才等方面出发，设计了一套科研绩效定量评价指标体系。姚庆筱( 2 0 0 1 ) 1 对 不同类型的科研任务进行了科学分类，并把不同类型项目的投入与产出分别进 行量化赋分，建立了不同的数学模型，并构建了中国科学院资源环境领域科研 项目绩效评价体系，并采用量化评价与专家评价相结合的方法，对中国科学院 资源环境领域1 7 项不同类型的在研项目进行验证，结果证实量化评价与专家 评价趋势基本一致。曹兴、何汉林、李淑纨等( 2 0 0 1 ) 【1 2 1 从刊物类别、文献数 据库、会议论文、引用情况、专著等方面评价指标，对基础研究资助项目绩效进 行评价。陈文贤、罗万枢、毛萌等( 2 0 0 2 ) i ”l 、周洪芳等( 2 0 0 2 ) 1 4 1 采用只是 限于项目层次的传统绩效评估方法对国家自然科学基金资助医药类项目的绩效 进行评价，评价中只是单一绩效评价指标的比较，并没有对各绩效指标进行权重 6 浙江省高校科研项日续教评估研究与分析 分析以便综合考察及相互比较。姬郁林、彭晓菊、潘燕玲、周洪芳等( 2 0 0 2 ) ”1 结合高校科技管理工作的实践，指出高校科研项目绩效评估体系包括：( 1 ) 按项 目评估体系，即根据项目的获得多少对科研绩效进行评价；( 2 ) 按人员评价体系， 主要针对个人的贡献进行评价：( 3 ) 按奖励层次评价，以获得科研奖励的层次进 行评价；( 4 ) 按科技管理部门的评价体系，根据科技管理部门综合考察项目及 其经费、人才培养、实验室建设和成果转化等绩效而进行的评估。同时总结出高 校科研项目绩效评估存在条块分割、各自为政的特点。林建衡( 2 0 0 3 ) 0 6 1 采用 经济效益、学术水平、人才培养、社会效益等指标，运用层次分析法对高校科研 项目进行评估。陈晓田等( 2 0 0 4 ) 0 7 1 从报告论著、学术创新、政策建议、效益 水平、国际交流和人才培养等6 个方面设计指标对管理科学面上资助项目的绩效 进行评价。 综上所述，国内科研项目的投入产出绩效评估经过许多专家和学者的研究分 析，已取得了较多的成果，评估体系相对完善；对科研项目绩效评估都还只是局 限于个别具体科研领域内科研项目的绩效评估，而没有从各科研领域的整体上对 科研项目绩效进行评估；在不同的具体项目研究领域，科研项目绩效评估采用的 指标各有不同。可以看出，在目前阶段，我国尚未建立一套比较规范的，得到科 学界普遍认可的评估指标体系，也未形成一套严格的科研项目绩效评估制度。 第三节科研项目绩效评估常用方法 科研项目绩效评估的方法有多种，评估者在评估实践中往往根据不同的目 的、对象确定不同的方法。国内外对科研项目的绩效评估，比较常用的方法包括 同行评议法、文献计量法、综合评价法。 l 、同行评议法 科学界有关同行评议的实践，可以追溯到英国皇家学会于1 6 6 5 年哲学论 坛的创立。3 0 0 多年来，同行评议不仅早已成为科学界的一个惯例，而且始终 在科学机构评审、科研基金分配过程中处于重要地位i ”l l l 9 1 2 。1 。周行评议是由该 领域的科学家或邻近的科学家以提问的方式评价本领域研究工作的科学价值的 代名词，进行同行评议的前提是在科学工作的某一方面体现专家决策的能力，而 参与决策的专家必须对该领域的发展状况、研究活动程序及研究人员有足够的了 7 浙江省高校科研项目绩效评估研究与分析 解。同行评议也可以定义为“由从事该领域、接近该领域的专家来评定一项工作 的学术性和重要性的一种机制1 2 1 i ”。可以说，迄今为止同行评议还是科学研究 评估系统中一个常用且有效的方法，主要应用于以下几个方面：评审科学出版社 ( 专著、期刊论文、会议论文) ；评定学位、荣誉和职称；科研项目的评审、科 研成果的认定；科研机构的建立与调整；科技政策与计划的制定与评价。 同行评议存在的最大缺点是：评估缺乏客观的标准，虽然能对非常业绩和业 绩非常差的两个极端，能够准确地得出一致性结论，但对于中间水平层次的评估 往往受到专家同行的个人世界观、学识、年龄、修养及个人偏好等因素不可避免 地会对评议过程和结果产生一定的影响，并且碍于人情关系或涉及利益冲突时， 其公正性往往受到挑战。此外，通常许多专家的知识体系已成规范，往往习惯于 固有知识体系范围内来论证和思考，而倾向于排斥有创见的新思想，所以在某种 程度上不利于创新，不利于新兴学科和交叉学科的发展。 2 、文献计量法 文献计量法是指利用出版物、专利、引文等科技评估指标进行评价的一种定 量评估方法。出版物和专利被认为是衡量科学产出能力的尺度，而引文数则是衡 量其工作结果影响力的尺度。该方法广泛应用于科学研究活动的定量评价。它利 用的文献特征主要有：科技论文的引证、引用率、平均被引次数、文献的半衰期 等。需要注意的是：并非所有的引证都同等重要，许多引证是引用常规方法，统 计设计、技术修改或标准数据而有些引文则是用来提醒防止错误的。最重要的弓i 证是承认相关的工作或暗示可能的扩展和应用。因此，一篇论文受到多次引用并 不是其自身科学质量的充分证据。 3 、综合评价法 综合评价法是对多种因素所影响的事物或现象进行总的评价。它的基本思想 是根据综合评价的目标，对客观事物的影响因素进行分解，以构造不同层次的统 计指标体系，然后对这些指标进行指标赋值并确定其权重系数，最后采用综合评 价模型进行综合，得到综合评价值，以此进行排序和评价。指标赋值和指标权重 系数的确定构成了综合评价方法的两大内容。在指标体系构成后，指标赋值用于 将量纲不同、单位不一致、对总目标作用大小不一、不能直接相加的指标值过渡 到可直接相加汇总的指标值。指标权重系数依据各层指标对总目标评价贡献份额 浙江省高校科研项目绩效评估研究与分析 的大小来确定。 第四节本文研究的内容 科研项目成果所包含的科学价值、经济价值和社会价值往往具有滞后效应。 而目前对科研项目绩效评估的内容往往是项目的直接产出，即项目成果、专利、 发表论文、出版著作、项目人才培养、学术交流等方面，而忽略了项目研究对后 续科研工作过程和长期效果的综合评价，即忽略对科研项目后续效益的评价。本 文研究以1 9 9 7 至2 0 0 4 年浙江省教育厅立项的高校科研项目的部分随机抽取样本 为研究样本，采用问卷调查的方式获取研究数据。对科研项目绩效进行量化评估， 评估内容包括项目的直接产出和项目的后续效益。本文并不局限于单个科研项目 绩效的量化评估，而是以单个项目绩效为基础来考察项目的整体绩效情况和不同 类项目的绩效情况。 9 浙江省高校科研项目绩效评估研究与分析 第二章资料来源与处理 第一节样本的选取 本文研究样本取白浙江省教育厅1 9 9 7 年2 0 0 4 年立项的高校科研项目。为 了便于时间上的动态可比性和各学科领域科研项目绩效的比较，样本是按年份以 及所属学科领域进行随机选取，选取结果如表2 - 1 和表2 - 2 所示。 表2 - 11 9 9 7 午2 0 0 4 年各年立项的总项目数和随机选取的样本项目数 年份总项目数随机选取的样本项目数 1 9 9 75 4 1 8 1 9 9 81 6 44 6 1 9 9 93 0 8 9 7 2 0 0 03 5 9 9 5 2 0 0 1 5 9 41 3 9 2 0 0 27 0 72 0 2 2 0 0 38 2 22 6 3 2 0 0 48 8 6 2 7 6 合计 3 8 9 41 1 3 6 表2 2 各学科领域科研项日的选取情况 学科领域 总项目数 随机选取的样本项目数 自然科学 5 8 31 7 0 工程技术 7 6 22 2 3 医学科学 7 2 52 l l 农业科学 2 5 27 2 人文社科 1 5 7 24 6 0 合计3 8 9 41 1 3 6 第二节问卷设计与实施 一、问卷设计 为了对省教育厅立项的高校科研项目进行绩效评估，我们设计出一套调查 问卷，该调查问卷共分为五个部分： i o 浙江省高校科研项目绩教评估研究与分折 ( 一) 项目基本情况 项目基本情况主要用于了解项目的立项年份、项目所属项目类别和学科领 域、项目研究投入的资金、项目所在学校以及项目主持人的基本情况。项目主持 人的基本情况主要是了解项目主持人当时主持项目研究时的职称和学历。 ( 二) 项目直接成果 项目直接成果主要用于了解项目成果的学术价值和项目的经济及社会效益。 项目成果的学术价值主要是了解项目成果发表情况、学术创新、学术交流和项目 成果获奖情况；项目的经济和社会效益是了解项目的知识产权类型、是否申请专 利情况、采用项目成果的单位类型、项目成果效益水平以及项目成果的社会影响。 若项目有申请专利并有获得专利授权的，还要了解授权专利的具体类型，有专利 转让收入的还要了解具体的收入大小。 ( 三) 项目的人才培养及后续效益 项目的人才培养主要是用于了解当时项目研究时硕士研究生和博士研究生 的参与情况、项目完成后主要参加人员职称变动情况以及项目结题后主持人和项 目主要参加人员获得省厅级及以上荣誉称号情况；项目的后续效益主要是用于了 解项目结题后主持人和主要参加人员发表与项目有关专著、论文情况：项目结题 后主持人和主要参加人员承接与该项且相关的科研项目类型与项目数情况以及 项目结题后主持人和主要参加人员承接与该项目相关的项目获奖情况。 ( 四) 项目评价 该部分主要是从主观上进一步了解项目的实现情况、项目的投入产出效益情 况、项目研究对社会经济的影响情况以及项目研究后对项目主持人的后续科研事 业发展的作用情况。 ( 五) 自评与建议 该部分是用于了解项目主持人完成项目后自身取得的成就情况和对科研项 目立项的建议情况。 可以看出该调查伺卷的第一部分是了解项目基本情况的基础部分；第二和第 三部分是了解项目绩效产出的重点部分：第四和第五部分是作为调查问卷的辅助 部分。调查问卷的组成以及问卷中信息的获取流程见图2 - - 1 ，问卷各部分的具体 调查内容见附录一 浙江省高校科研项目绩效评估研究与分析 项目基本情况 u 项目直接成果、项目人才培养及后续效益 s 项目评价自评与建议 图2 - 1 科研项目绩效评估调查问卷组成及信息获取流程图 二、问卷调查的对象 本次问卷调查以从1 9 9 7 年一2 0 0 4 年浙江省教育厅立项项目中随机抽取的项 目的负责人为调查对象。 三、问卷调查的实施 本次问卷调查活动的时问从2 0 0 6 年5 月一2 0 0 6 年7 月。问卷调查实施过程 中，由各高校科研处负责省教育厅科研项目绩效评估调查问卷的发放、回收工作， 并会同有关项目负责人准确填写调查问卷。在本次调查中，若在列入评估的项目 负责人退休或某原因无法取得联系，由各高校科研处选择同年度立项的其他科研 项目进行评估( 最好选择中青年为负责人的项目) 2 2 1 。等各高校被评估项目的 负责人填完问卷后，由各高校科研处负责采用邮寄的方式寄回。 从调查成果看，本次调查共发调查问卷1 1 3 6 份，收回8 7 5 份，回收率为 7 7 0 2 。剔除不符合要求调查表8 份，列入分析需要的合格调查表为8 6 7 份，合 格率高达9 9 1 。 第三节数据处理 对调查表各调查项目采用统一的方法进行编码，以s p s s l1 5 建立数据库。 为了验证调查数据资科输入的准确性，随机抽取了1 5 份调查表，采用人工核对 的方式对数据录入的准确性加以验证，所有数据与电脑录入数据完全吻合。 本文分析过程中，运用s p s s l l 5 、e x e c l 进行数据统计分析。 浙江省高校科研项h 绩效评估研究与分析 第三章浙江省高校科研项目绩效的量化评估 第一节科研项目绩效评估指标体系 一、指标体系的概念及作用 ( 一) 评估的目标和指标 评估的目标是根据评估的目的，对评估对象的价值进行判断。一般来说，评 估的目标，总带有某种程度上的原则性、抽象性和笼统性，很难直接进行评估， 这就需要将评估的目标进行具体化。 指标在现代汉语词典中的解释是计划中规定达到的目标。在科研项目绩效评 估中，指标即具有原则性、概括性和抽象性特征的评估目标，逐级分解，使之最 终成为具体的、行为化和可测的各分目标。 指标是由目标决定的，不存在没有目标的指标，离开了目标，指标就没有意 义。指标又决定了目标能否得到具体的落实，没有指标的目标，是无法认识和实 现的。目标反映全貌，指标反映局部。目标总是比较稳定的、不轻易变动。目标 和指标是一个相对的概念，一个目标可能是比它的管理系统目标的一个指标；一 个指标也可能是它所包含的子系统的一个目标。 ( 二) 指标体系 我们将对评估对象的价值判断( 目标) ，转化为对评估对象的构成要素的价 值判断( 指标) 。这实际上就是对目标进行了分解，直到末级指标具有直接可测 性或达到其他分级标准，所有这样的指标全体，叫做目标的指标体系。 指标体系一般表现为如图3 一l 所示的层次结构。 0 级指标 ( 总目标) 级指标 级指标 级指标 级指标 2 级指标 图3 - 1 指标体系 级指标 级指标 级指标 浙江省高校科研项目绩效评估研究与分析 可以看出，一级指标4 ，一：，彳。构成了一个集合“，a ：，a ，这一集合 的每一指标分解后，得到1 1 个子目标，又构成了n 个二级指标的集合，如 岛。，b i ：，b i 。 。也就是说目标的评估指标体系，是由若干个层次结构一定的指 标集合决定的。 ( 三) 科研项目绩效评估指标体系的作用 科研项目绩效评估首先应从研究和建立评估指标体系着手，这是一项非常关 键性的工作，评估的其他工作要在指标体系建立完之后才能进行。建立科学合理 的评估指标体系是非常重要的，其主要作用有1 2 3 n ”i ： 1 、有利于充分认识评估对象的本质和内在联系。评估指标体系的建立过程 是对评估对象进行深刻分析和认识的过程，是对评估对象的总体性认识转化为对 评估对象某些局部方面的认识过程。对任何对象的评估，都离不开剖析其本质、 揭示其规律。由此而形成的指标体系自然凝聚着人们全面、客观地、科学地认识 评估本质和内在的联系，并反映在各级指标及相应的权重之中。人们提出一项指 标并给予相应的权重系数，实质上就是把人们的价值认识客观化、标准化。只有 在达成对评估对象的一致认识后，才能获得统一的评估结论标准，顺利开展评估 工作。 2 、有利于得到科学、客观、公平的评估结论。评估指标体系的末级指标内 涵明确，只要选择恰当的测量方法，统一测量标准，并利用现代科学技术进行核 实，去伪存真，就容易获得与所测对象的实际情况较为一致的结论，可信度高。 而且评估指标体系附有权重集、评估标准、量表和统计方法，易于得出综合评估 的分值，便于定量地处理评估结论，有利于有效地消除“光环效应”和“主观片 面”带来的误差。 3 、有利于科研项目研究人员明确努力方向，及时加强今后项目的研究工作。 根据评估指标体系，一方面，项目研究人员，可以从整体上或局部上看到自己项 目研究成果的长处和不足，找出关键环节和薄弱环节；另一方面，项目研究人员 也可以根据评估指标体系，明确今后项目研究工作，提高科研项目研究活动的质 量和效率。 1 4 浙江省高校科研项目绩效评估研究与分析 二、科研项目绩效评估指标体系设计的基本原则 本文研究中科研项目绩效评估指标体系的设计，应根据高校科研项目研究工 作自身的特点，一切以事实为依据，并应遵循以下几个原则1 2 ，1 1 2 6 l 【”i i ”j ： 1 、导向性原则。指标体系确立的合理与否，直接关系到科研项目绩效评估 工作的取向，指标体系中的每一个指标都应该具有导向作用，都应结合国家当前 的科技政策和高校发展目标，有目的地引导科研人员紧紧围绕国家和高校的发展 目标进行科学研究活动。通过引入竞争手段，激发科研人员的科研积极性。同时 也可以通过体系评估使科研人员找差距，达到提高科研效率的作用。 2 、全面性原则。全面性原则是指指标体系应尽可能从各个角度反映对象的 全貌，防止以偏概全。要根据研究目的构造完整、可行、实用、有序的指标体系， 从而使科研项目绩效评估指标体系能有效地描述科研的真实产出绩效以及科研 对社会经济产生的效益影响等。同时也要力求抓住重点，防止因小失大。因此要 求在开始设置指标体系时，应运用系统分析的方法，同时结合专家调查，要从全 局出发，建立完整的评估指标体系。同时，指标体系的建立要从总体上考虑各评 估指标之间的联系。在指标体系中，指标之间的联系形成了一个多层次的立体网 络，只有协调指标之间的各种联系，尽可能减少指标间信息的交叉重叠，保持各 项指标相互独立以及同一层次的指标不应存在包含与被包含的关系，才能保证指 标体系的有效与稳定，保证其功能的充分发挥。