（科学技术哲学专业论文）数据挖掘在科技项目评估中的应用.pdf

中文摘要 科技项目评估是现代科技发展活动的核心部分，同时也是数据挖掘的 重要应用领域。数据挖掘技术及其在科技项目评估中的应用研究已经成为学 术界和企业界共同关注的领域。 本文在对数据挖掘、科技项目评估以及数据挖掘在科技项目评估中的应 用的研究现状进行文献综述的基础上，提出了数据挖掘技术及其在科技项目 评估中的应用研究的相关主题。作者以科技项目评估知识和理论为基础，以 数据挖掘技术作支撑，力求深入研究数据挖掘在科技项目评估的应用方法。 理论上，该课题的研究成果是对科技项目评估理论的深化，作者将科技项目 评估看作是完整的生命周期，以项目的时间进度为主线，构建不同评估阶段 的评估指标体系，对评估理论体系起到有益的补充作用：实践上，始终贯穿 了科技项目评估闭环模型思想，运用了支持向量机、粗糙集、神经网络等多 种数据挖掘技术，实现了在立项评估、进展评估、绩效评估中基于现有数据 的分析处理，为数据挖掘技术在科技项i g 评估中的应用做出了有益的尝试， 为提高科技项目评估的有效性和科学性提供了切实可行的崭新技术途径。 关键词：数据挖掘科技项目评估支持向量机粗糙集神经网络 a b s t r a c t s c i e n c ea n dt e c h n o l o g yp r o j e c ta s s e s s m e n ti st h eh a r d c o r eo f m o d e r ns c i t e c hd e v e l o p m e n ta c t i v i t i e s ，w h i c hi sa l s oa ni m p o r t a n t a p p l i c a t i o nd o m a i no fd a t am i n i n gi nt h es a m et i m e a c a d e m e sa n d e n t e r p r i s e r sh a v ep a i dc o m m o na t t e n t i o n st ot h er e s e a r c hi nd a t a m i n i n ga n di t sa p p l i c a t i o n si ns c i t e c ha s s e s s m e n t 0 nt h eb a s eo fl i t e r a t u r es u m m a r i z a t i o no ft h er e s e a r c h e s s t a t u s q u oi nd a t am i n i n g ，s c i t e c hp r o j e c ta s s e s s m e n ta n dt h ea p p l i c a t i o n s o ns c i t e c hp r o j e c ta s s e s s m e n t ，t h i sp a p e rp r e s e n t e ds o m et h e m e so f d a t am i n i n gt e c ha n di t sa p p l i c a t i o nr e s e a r c hi ns c i t e c hp r o j e c t a s s e s s m e n t t h e no nt h et h e o r e t i c a lb a s eo fs c i t e c hp r o j e c t a s s e s s m e n ta n do nt h et e c hs u p p o r to fd a t am i n i n g ，t h ew r i t e rs t r i v e d t oi n v e s t i g a t et h ea p p l i c a t i o nm e t h o d so ns c i t e c hp r o j e c ta s s e s s m e n t i nt h ea b s t r a c t ，t h i sp a p e rd e e p e n e dt h es c i t e c hp r o j e c tt h e o r y ，w h i c h l o o k e du p o nas c i t e c hp r o j e c ta s s e s s m e n ta saw h o l el i f e c y c l e ， d e s c r i b e dt h r o u g hs c h e d u l eo ft h ep r o j e c t ，d e s i g n e da s s e s s m e n ti n d e x s y s t e m si nd i f f e r e n ta s s e s s m e n tp h a s e s ，a n dt h e nc o m p l e m e n t e dt h e s y s t e mi n f oo fa s s e s s m e n t i np r a c t i c e ，t h i sp a p e rr u n n e dt h r o u g hb y t h ei d e ao fs c i t e c hp r o j e c ta s s e s s m e n tc l o s e dl o o p ，m i x e dd a t a m i n i n gt e c h n i q u e si n c l u d i n gs v m ，r sa n dn ne t ca n da n a l y z e dt h e e x i s t i n gd a t ai nt h ea s s e s s m e n tf o rp r o j e c te s t a b l i s h m e n t s ，p r o j e c t p r o c e s s e sa n dp r o j e c tr e s u l t s ，w h i c ht r i e ds o m ea p p l i c a t i o n so fd a t a m i n i n go ns c i t e c hp r o j e c ta s s e s s m e n th e l p f u l l ya n di n t r o d u c e d f e a s i b l et e c h n i q u e st oi m p r o v et h ev a l i d i t i e sa n dt h es c i e n c eo f s c i t e c hp r o je c ta s s e s s m e n t s k e yw o r d s ：d a t am i n i n g ；a s s e s s m e n to fs c i e n c ea n dt e c h n o l o g y p r o j e c t ；s u p p o r tv e c t o rm a c h i n e ( s v m ) ； r o u g hs e t ( r s ) ；n e u r a ln e t w o r k ( n n ) ； 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得苤盗盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 学位论文作者躲檄弘字隰步年，乙月弓日 学位论文版权使用授权书 本学位论文作者完全了解鑫鲞盘鲎有关保留、使用学位论文的规定。 特授权鑫注盘茎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字日期：谜，年亿月f 日 签字日期： 疗年，月；1 日 刖吾 科技部将2 0 0 5 年定义为“科技管理改革年”。在我国科技资源配置 中，科技项目占较大的比重，项目的立项、研究过程及最终成果直接影响和 推动着科学技术及社会的发展。因此，科技项目评估越来越受到政府、科技 界和公众的关注。 科技项目评估是在科技项目管理中建立竞争、激励与监督机制的基础 和前提，是科学决策、确保科技任务完成的可靠依据。科技项目评估是科学 技术管理体系中的重要环节，它既是管理过程的出发点，又是管理过程的归 宿，对于加强科技项目的科学管理，提高科技资源配置的有效和投资效益等 有着重要的作用。通过评估活动，肯定和认可科技项目的成果和成就，使科 技工作者充分认识到自身的价值及其对科技工作的贡献，享受事业的成就 感，进一步激励广大科技人员努力工作的积极性和创造性。 随着生产力的提升和信息技术的发展，先进的信息技术越来越成为科技 项目评估的重要工具。信息社会中，数据呈现爆炸性增长，“丰富的数据与 贫乏的知识”之间的问题日渐突出，决策者追切需要将海量数据转换成有价 值的信息和知识，数据挖掘的出现为这一需要提供了有力的技术支持。数据 挖掘技术及其在科技项目评估中的应用研究已经成为学术界和企业界共同的 关注领域。本文在对数据挖掘、科技项目评估以及数据挖掘在科技项目评估 中的应用的研究现状进行文献综述的基础上，提出了数据挖掘技术及其在科 技项目评估中的应用研究的相关主题。 二十一世纪的中国，激烈的科技竞争使得企业、科研机构和政府部门都 面临巨大的挑战，科技项目评估是现代科技发展活动的核心部分，对科技项 目评估的重视是现代科技观转变的结果i 这都需要对科技项目评估投以更高 的关注，传统的评估方法难以适应新时期科技项目管理工作的要求。同时， 在评估工作发展过程中，相当多的评估机构及企事业单位积累了大量数据并 开始使用数据库系统。外部竞争的压力，内部数据积累的先决条件，加上数 据挖掘技术的成熟，可以预见数据挖掘技术在科技项目评估中的应用具有广 阔的前景。因此，关于数据挖掘技术及其在科技项目评估中的应用的研究主 题具有重要的学术价值和实践意义。 第一章绪论 1 1 选题意义 第一章绪论 国家科技部分别在2 0 0 0 年出台了科技评估管理暂行办法，2 0 0 1 年出台国家科技计划项目管理暂行办法，2 0 0 3 年出台国家科技计划 项目评估评审行为准则与督查办法，对科技评估的相关行为加以规范化引 导。科技项目的特点是难度高、风险大，如果放松管理，必然造成经费和时 间上的浪费。对科技项目进行评估，是卓有成效的分配有限资源、进行科学 决策、提高项目效益的必要程序和主要手段。政府职能转变和科技管理体制 改革，促进了我国科技项目评估需求的持续稳定增长。随着我国科技计划管 理体制改革的深入进行，评估活动越来越受到各级政府的高度重视。事实证 明，只有运用科学、公正的方法进行全程评估，才能确保科技顼目系统产出 的水平及价值，并进一步推动社会经济的发展。将一般项目评估的理论和方 法用于科技项目，则必须结合科技项目评估的自身特点，有所选择、有所创 新、有所发展。 自2 0 世纪5 0 年代以来，国际上对科技项目评估方法的研究在理论和 应用方面都取得了一些成果，项目评估与决策已经发展成为一门新型综合性 科学。但由于科技项目本身的特殊性( 如技术的不确定性、效益的不易判 4 性、项日的多样性等) ，使得建立起一套系统化、科学化的科技项目评估方 法变得非常困难。从已有的科技文献中可以看出，国内外对科技项目评估研 究重点大都集中于评估指标的量化及评估方法的改造，对于构建评估全过程 的规范化管理体制及结构完整的评估体系等方面的系统研究较少，这在很大 程度上影响了理论研究的深化及其与实际工作的结合。我国开展这项工作时 间不长，但由于科技项目评估理论的超前性和方法的实用性，各行各业对科 技项目评估的认识和需求越来越多，理论界和学术界对此也表现出极大兴 趣。此外，科技项目评估的内容涉及面广，包括经济、技术、环境、社会、 机构和管理等各个方面，在实践中我们迫切需要形成一套适合中国国情的科 技项目评估理论和方法体系，本文正是针对这一需求而进行的初步尝试与探 索。 数据挖掘技术源于面向应用，它不仅是面向特定数据库的简单检索查 询，而且要对这些数据进行微观、中观乃至宏观的统计、分析、综合和推 2 第一章绪论 理，可以为决策者提供重要的指示或信息，具有重要的经济价值。本文在对 数据挖掘技术进行全面研究的同时，还通过分析现有数据挖掘工具及其应用 实例，展示了数据挖掘技术在科技项目评估中的应用前景。 本文以科技项目评估知识和理论为基础，数据挖掘技术作支撑，力求 深入研究数据挖掘在科技项目评估中的应用方法。在理论上，对科技项且评 估理论进一步深化，将部分先进数据挖掘技术( 如支持向量机、粗糙集) 应 用其中，对评估理论体系起到有益的补充作用。在实践上，该课题的研究成 果对我国科技项目评估将具有一定的指导价值，有助于解释和解决科技项目 评估中出现的现象和问题，有助于搞好评估周期中的设计、实施、控制和优 化工作，有助于推动我国科技现代化的进程，提高我国的未来竞争力。为 此，在当前大力发展科技事业的大背景下，这一课题具有重要的理论和实践 价值。 1 2 国内外研究现状 科技项目评估一直是管理科学的难点和热点之一，对科技项目进行全 面准确地评估关系到一个组织能否有效的形成自己的创新能力和竞争能力。 外文期刊如i e e et r a n s a c t i o n so ne n g i n e e r i n gm a n a g e m e n t 、r e s e a r c h p o l i c y 、m a n a g e m e n ts c i e n c e 、i n t e r n a t i o n a lj o u r n a lo fp r o j e c t m a n a g e m e n t 等刊发了许多关于科技项目评估研究的论文。从大量的文献调 研可以看出，国外在科技项目评估的理论、方法及应用方面取得了很大成 就，有的已形成较为完善的评估程序及评估方法，并用法规形式确定了评估 在决策过程中的地位和作用。西方发达国家一些重要的科技开发计划( 如英 国的“阿尔维”计划等) ，些国际组织( 如联合国教科文组织) 资助的大 型科技开发项目都十分重视项目的评估工作。 国内自上世纪9 0 年代起，也开始关注科技项目评估的研究，在科研 管理、研究与发展管理、科学学研究等学术期刊上有相关文章出 现，与国际上研究进展相比，我国在这一领域的研究多属介绍性的跟踪研究 和对现成方法的经验总结。从已有文献的分布来看，国内科技项目评估方面 的研究更多的集中于投资决策、新产品开发、技术改造等方面的立项选择问 题，项目完成后的效果评估也有不少，但对科技项目的中间评估或进展评估 则相对较少研究。从作者统计得出的文献数量分布来看回，6 5 的文献涉及 项目前期的立项选择、资源分配等领域：1 7 左右的文献是关于项目鉴定、 o 以c n k i 和维普数据库为统计源，检索年限为1 9 9 6 年2 0 0 5 年 3 第一章绪论 验收、绩效方面；l3 左右的文献描述项目进展、中止决策等方面；5 左 右的文献分布在与科技评估相关的其它领域，如综述等。 图i i 科技项目评估相关文献分布图 国内外对科技项目评估研究的重点大多集中于评估指标的量化及评估方 法的改造，对于构建评估全过程的规范化管理体制及结构完整的评估体系等 方面的系统研究较少。特别是在评估方法的应用方面，针对具体环境与因素 的评估方法应用于复杂的项目环境与因素时显得角度过于单一，不能很好地 解决复杂的评估问题，因此许多新的评估方法不断涌现，取代原来的单一评 估方法。 国内期刊正式发表有关数据挖掘的文章始于1 9 9 7 年( 见表1 1 ) o ， 这基本上是与国际同步的。近年来，国内发表的有关数据挖掘论文的数目逐 年快速上升，被s c i 和e i 检索的文章数目也在逐年快速增加，这说明中国 关于数据挖掘的研究在近几年迅速加强。 目前，对数据挖掘的研究可以分为理论研究和应用研究。理论研究正在 逐步深入并与解决实际问题更加紧密地结合。数据挖掘是一门应用性很强的 学科，应用的领域非常广阔，几乎遍及各个行业，包括天文学、生物学、经 济管理、金融、保险、电力、石油化工、地理地质等领域，但是，现有研究 中涉及科技项目评估领域的很少，策略性建议较多，实践性应用缺乏。目 前，国际上数据挖掘的研究主要以知识发现的任务描述、知识评价与知识表 示为主线，以有效的知识发现算法为中心进行。具体而论，研究主要是在各 类真实数据库( 关系、演绎、时序、空间、分布式、面向对象等) 中，利用 统计学、证据理论、人工神经网络、遗传算法、粗糙集等技术，发掘诸如关 联规则、数据聚类等知识，研究通用工具。 o 以c n k i 和维普数据库作为统计源检索题名或关键字带有。数据挖掘”的文献。 4 第一章绪论 与国外相比，国内对数据挖掘的研究还没有形成整体力量，研究尚处于 起步阶段，现在国内的数据挖掘研究人员基本上分布在各大研究院所和高等 院校，见诸于杂志的研究文章侧重理论研究，集中在以下六个方面：o l a p 表】- 1 有关题目为“数据挖掘( d a t am i n i n g ) 的论文发表情况统计( 篇) 1 9 9 61 9 9 7 1 9 9 81 9 9 92 0 0 02 0 0 12 0 0 22 0 0 32 0 0 42 0 0 5 c n 0 4 1 82 88 21 4 72 9 74 5 85 9 95 6 4 玎内检索到的中国 o ( 4 ) 31 21 13 l5 16 8 9 2 1 2 07 7 作者发表的文献数 s c i 内检索到的中国 o 6 ) 00 22861 71 8 4 3 作者茇表文献数 e l 内检索到的文献 l “2 5 34 1 94 0 已5 1 95 9 37 6 97 1 19 4 6 5 8 8 息辑 s c i 内检索到的文 1 73 06 51 0 31 0 91 6 71 5 52 3 l2 6 8 3 0 6 献总翦 附注：a 在e i 内数据源选。“a l l ”，检索题目( t i t l eo n l y ) 为“d a t a m i n i n g ”、作者属地为“c h i n a ”的文献数。 b s o i 检索选用w e bo fs c i e n c e 引擎。 技术、面向属性的归纳法、关联规则、分类和预测、聚类和数据仓库的集成 技术回。目前国内尚无成熟数据挖掘产品实现，数据挖掘技术是一门综合技 术，不仅需要研究人员的投入，而且需要相关管理人员的配合，对数据的挖 掘，必须具备丰富的专业知识，才能挖掘出有用的成果。 作者发现，目前关于科技项目评估的研究相当多地将评估机构、项目 承担者、用户等分隔开来，强调了科技项目的特殊性，而忽视了科技项目的 普遍性，这样就造成整个项目评估流程不能有机的连接，无法构成一个完整 的项目评估生命周期。作者认为，项目评估闭环对科技项目评估涉及的相关 方面及人员的影响是显而易见的，将数据挖掘技术应用于科技项目评估，应 当采用闭环结构从科技项目评估周期的开始直至结束形成一个有效的循环工 作流程，在评估的不同阶段，根据实际情况采用不同的数据挖掘方法以达到 良好的评估效果。 1 3研究重点 本文在参阅国内外项目管理与评估方面的最新研究成果的基础上，结合 作者在项目管理研究与实践中的体会，阐明科技项目评估不同阶段的管理特 点，设计评估工作的有效组织流程，利用数据挖掘为科技项目评估工作的开 。李菁菁，邵培基，黄亦蒲，数据挖掘在中国的现状和发展研究，管理工程学报，2 0 0 4 ， 18 ( 3 ) ：1 0 - l3 5 第一章绪论 展提供理论依据和具体的技术指导。研究重点在于将数据挖掘技术应用于立 项评估、进展评估、绩效评估等科技项目评估各阶段，以及科技项目评估工 作过程的规范化体制的建设；提出建立评估的闭环式结构模型，将评估周期 分阶段、有机的结合而不是割裂的考察，创造性地将多种先进的数据挖掘技 术应用于适宜的阶段。目前，国内外已有部分学者和研究人员将数据挖掘应 用于科技评估、科技信息的处理层面，但多集中于数据可视化处理或现有软 件的应用上，这就限制了数据挖掘应用的深度和广度，也比较难以形成有自 主知识产权的技术理念和方法。本文创新性的采用神经网络、粗糙集、支持 向量机等先进的数据挖掘技术，将它们融入项目评估闭环的相应适宜阶段， 并根据实际情况对部分算法进行改进，以提高运行效率。作者还依靠 m a t l a b7 构建数学模型进行分析，编制出了适应性强的评估算法，形成 了一个行之有效的、具有极强实践应用意义的评估方案。 1 4 论文研究思路 根据论文研究的目的，主要遵循以下三个层面的研究思路： ( 1 ) 理论层面 首先，无论是从管理学角度，还是从信息技术的角度，关于科技项目评 估的研究和应用都离不开以数据为中心的思想。本文从理论上对数据挖掘在 科技项目评估中的应用进行了探讨，建立科技项目评估闭环结构，从理论上 保证了评估的有序性，引入较先进的数据挖掘理论，给出了比较健壮的算 法。 ( 2 ) 方法层面 综合集成评估方法是当前国内外科技评估发展的趋势与潮流，它能较好 地满足项目评估时各方的需求并考虑到诸多因素。所谓综合集成评估方法， 指采用综合集成的思想，将两种或两种以上的方法加以改造并结合，获得一 种新的评估方法。它能解决原先单个独立的评估方法无法解决或难以正确评 估的问题，获得比单个评估方法更为满意的评估结果，同时又能发挥各单个 评估方法的优势，弥补其不足。对各类科技项目评估，综合集成方法都有较 好的适应性。综合集成方法往往由两个或两个以上的方法构成，方法太多会 影响评估的准确性，并使操作程序过于复杂，降低评估的可操作性。所以， 并不是集成的单一评估方法越多，集成后的综合评估方法就越先进。 ( 3 ) 应用层面 6 第一章绪论 通过对科技项目评估开展的现状进行分析，归纳出有应用价值的数据挖 掘应用设计，并对部分数据挖掘技术的案例应用作了深入地分析。 依照上述思路，本文共分六章。第一章是绪论，介绍了论文问题的提 出、国内外研究现状以及研究的重点和思路等。第二章对科技项目评估的理 论与方法进行了综述，提出科技项目评估闭环的概念，介绍了数据挖掘技术 总体的内容。第三章、第四章、第五章以科技项目评估闭环为主线，按环节 递进次序对数据挖掘技术在科技项目评估中的应用进行重点叙述。第六章结 语总结了论文取得的成果，以及需要进步研究的问题。 选题意义、国内外研究现状、研究重点，论文研究 一 思路( 第一章) 科技项目评估理论与方法概述( 第二章) 建立科技项目评估闭环模型，提出了数缮 ，挖掘的应用阶段。 第三章支持向量机在科技 项目立项评估中的应甩 第四章粗糙集在科技项 目进展评估中的应用 第六章结语( 本文 成果、存在的问题与 迸一步的研究方向) 图1 2 论文研究思路图 7 第五章重置算法改造的 b p 网络在科技项目绩效 评估中的应用 第二章科技项目评估理论与方法 第二章科技项目评估理论与方法概论 2 1 科技项目评估的基本概念 本文所讲的科技项目，是指围绕科技研究展开的科技攻关、科技工程建 设、科技产业化等的项目，以及具有探索性强、投资强度高、涉及面广、技 术难度大、不可预见因素多等科技项目特点的其他与科学技术相关的项目。 科技活动往往由几个大的计划和项目群组成，每个计划或项目群又由许多具 体的项目组成。因此，项目是科技活动的基本结构和形态，通过许许多多项 目生命过程来体现宏观的科技活动效果。 “评估是指按照明确的目标来测定对象的属性，并将这种属性变为主 观效用的行为，即明确价值的过程。国”科技项目评估是针对具体科技活 动的评估，是目前科技评估中数量最多、最具代表性的评估。对科技项目的 评估是科技评估的基础性工作。 综上所述，作者认为，科技项目评估是针对特定的目的，由专门的机 构根据国家的和行业的有关科技政策、法规和相关资料，依据客观、公正、 科学、可行的原则，按照规定的程序，运用科学的方法和手段，对科技项目 进行研究、分析和判断的全过程。其特点是由第三方专业机构规范操作，为 专家创造公正发表意见的环境。科技项目评估具有判断、选择、导向三个功 能。 科技项目是个具有多重投入和多重产出的输入输出系统。一般地， 科技项目评估的投入产出可以用以下数学公式表达。 设一个科技项目是一个评估单元，记为口，。以年为基本计时单位，设 n ，为科技项目投入的第f 种资源的投入值，口= 缸，f ：1 , 2 ，埘 ；设尾为科技 项目的第，种产出物的产出值，声= 搬，k = 1 , 2 ，j ，a 。是第歹个决策单元的 第f 种类型输入的投入量；a ，是第_ ，个评估单元投入向量 口= 缸，i = 1 , 2 ，m 设成为科技项目的产出值 卢= 溉，k = 1 , 2 ，r j o 卜卫，周海宏，刘晓红，社会科学成果价值评估，北京：社会科学文献出版社，1 9 9 9 ，1 0 6 5 8 笙三皇型垫堡旦堡笪里笙量查望 则口f 是第j 个决策单元的第i 种类型输入的投入量；a ，是第_ ，个评估单元投 入向量 f1 r a i2 硌、j ，吐2 i ，a 哪l 岛是第j 个决策单元第k 种类型输出的产出量；卢，是第j 个评估单元产出 向量 8 = v 。b b 飞 设q 为第f 种类型输入的一种权系数，g 为第k 种类型输出的一种权 系数，则可得出权系数向量 日= e ，f = 1 , 2 ，肌) ，q = 溉，k = 1 , 2 ，) 那么，科技项目评估的产出可用表达式( 2 1 ) 表示 q 1 | b | = q t 8 b ，j = 1 , 2 n k = l 评估科技项目的投入产出比可用表达式( 2 - 2 ) 表示 q t 屈 一荟q ? 谨c c 一 ( 2 1 ) ， ，= 1 , 2 ，以( 2 2 ) 科技项目评估包括评估的主体、客体、目标、程序、标准和方法五个 基本要素。( 1 ) 评估主体，即评估者，是确定评估对象、评估目标、评估 指标、评估方法的人员集合。科技项目评估的主体和参与者不同，科技项目 评估是一项复杂的系统工程，需要多个单位部门合作参与，如计划、高新、 工业、成果、技术市场等业务处室，生产力促进中心、评估所等单位，有的 还会涉及到区、县、市、省、国家等不同级别的科技行政部门。这些参与部 门在科技项目评估中起到辅助主体的作用。( 2 ) 评估客体，即评估对象， 指有待评估的科技项目。( 3 ) 评估目标，是在不同的评估目的指导下的多 层次可分解的目标体系。( 4 ) 评估标准是以评估指标为基础衡量项目的尺 度，建立科学的科技项目评估指标体系是做好科技项目评估工作的重要依 据。( 5 ) 评估方法，指实施科技项目评估工作的技术、手段和工具，即如 何利用评估指标对评估对象进行判定的策略，程序和模型。 2 2 科技项目评估的特点与分类 科技项目具有目标单一、结果明确、过程清晰的特征，有明确的评估 对象、评估指标与评估目的，因此相对较易评估。评估科技项目，可以为总 9 第二章科技项目评估理论与方法 体评估科技活动提供基本素材和基础数据，比对抽象的科技活动的评估更加 直观、生动、易于被人理解和认同，也能够使人们充分认识到科技活动的意 义和重要性。科技项目评估具有以下主要特点： ( 1 ) 公正性。公正性意味着评估机构的信誉及评估结果的权威性。 ( 2 ) 可信性。可信性指评估的结论可靠、有说服力。科技项目评估的 可信性常取决于评估者的独立性和经验，取决于资料信息的可靠性和评估方 法的适用性。当评估机构人员组成及其所掌握的信息相对固定时，采用合 适、高效的评估方法至关重要。 ( 3 ) 实用性。实用性是指评估方法必须是切合项目自身特点的，评估 项目环境满足评估方法的各种假设条件，项目结果简单易懂、清晰明确。结 果必须具有可操作性，不要求评估面面俱到，但要突出重点。 ( 4 ) 效益性。在有限成本的控制下，如果评估方法应用后能产生良好 的输出结果，就说明该方法具有效益性。效益性也促使决策和主管部门更关 心评估结果，以便及时调整投资规划和政策依据。 ( 5 ) 准确性。准确性是指在使用某种评估方法进行评估时，所得评估 结论与真实值之间的接近程度较高。一般地，可以用评估结论与实际值的差 和实际值之比来表示评估的误差。评估实践中，在确定适用某种评估方法 前，往往是找以往评估数据的结论来测试将要使用的评估方法的精度。 数据挖掘相关方法应用于科技项目评估时，也需要满足科技项目评估 的以上五个特点。 进行科技项目评估之前，首先要对项目、评估主题等进行界定，界定 科技项目是开展评估工作的前提。不同的科技项目有不同的日的、指导思 想、方法和过程。从项目的性质、研究目的及项目的等级等不同的角度，可 以划分多种科技项目。以科技活动的性质特征为依据，联合国教科文组织及 世界经济合作与发展组织( o e c d ) 将项目分为基础研究、应用研究、试验 开发三种，这一分类得到了世界各国广泛认同。我国科技部在科学技术评 价办法国中将我国科技项目划分为战略性基本研究项目、自由探索性基础 研究项目、应用研究项目、科学技术产业化项目、社会公益性研究项目和科 学技术条件建议与职称服务项目等六大类。这是对国际上科技活动划分的应 。王屏慧，科学研究项目评估方法综述，科研管理，1 9 9 9 ，2 0 ( 3 ) ：2 0 2 3 。科技部在上世纪九十年代末就部署了一系列有关评价理论，方法及政策体系的软科学研究和调 研，并出台了系列文件和规定，如科技评估暂行办法、国家科技计划项目评估评审行为 准则与督察办法、国家科研计划课题评估评审暂行办法及国家高技术研究发展计划课 题评审程序规范等。2 0 0 3 年5 月15 日，科学技术部、教育部、中国科学院、中国工程院和 国家自然科学基金委员会联合印发了关于改进科学技术评价工作的决定随后，为了切实 有效地把决定精神贯彻落实到科学技术评价工作中，规范科技评价工作，完善科学技术评 价体系，2 0 0 3 年9 月2 2 日科学技术部印发了科学技术评价办法( 试行) 1 0 第二章科技项目评估理论与方法 用和发展，为今后我国科技项目评估的顺利开展奠定了基础。不同类型的科 技活动往往存在着各自不同的科技优势，以不同的研究性质对项目进行分类 可以引导科技活动主体的发展方向。在科技项目评估中，除了以研究性质分 类外，还存在其它不同的分类。 2 3 科技项目评估理论 2 3 1科技项目评估与项目生命周期 科技项目与其他项目一样，也具有产生、成长、发展、成熟、衰老、 结束等几个时期，形成项目的生命周期。一般的，科技项目在从开始到结束 的过程中，都会经历三个阶段( 见图2 1 ) ： ( a ) 项目前期，主要是科技 项目的申报、准备阶段，主要进行项目前期的可行性分析、基本材料的准 备、设备的采购、队伍的组织工作。( 2 ) 在立项启动后，进入项目中期， 这一期间项目投入逐步增加，项目的资源消耗也同步增加，参与人员或项目 组投入的有效时间也逐步增加。( 3 ) 到项目即将完成的项目后期，逐步减 少投入，但是总投入仍随时间的延续而不断增加。项目完成之后，对项目评 估机构来说，仍需要进行总结验收性质的评估，以揭示项目已经产生或潜在 的收益 。 项 ii ii ti 一理 图2 1 科技项目生命周期示意图 瞄进碰 为保证科技项目的产出质量，对应于科技项目生命周期的三个阶段， 需要依据各阶段的不同内容进行科学评估。 ( 1 ) 项目前期 项目前期是在项目立项决策之前进行的评估，主要是指对申请立项的 各项目的目标效益、支撑条件和实施环境进行评估，进而为项目计划提供科 学依据。筛选出可以提供资助的项目，分别赋予不同的资助力度，前期评估 。隋红建，王刚，项目管理在r & d 中应用的问题及对策t 科学管理研究2 0 0 5 2 3 ( 1 ) ： 4 7 4 9 1 1 第二章科技项目评估理论与方法 的选择功能及优胜劣汰竞争机制对项目申请者形成了一定压力，这种压力具 有很强的激励作用和促进作用。 ( 2 ) 项目中期 在项目进行过程中的评估，主要是指对项目进展过程中的研究目标、 性能指标、经费使用、计划、组织管理、环境条件等进行评估，为项目计划 的调整提供科学依据。项目中期需要对被评估项目的状态进行科学的权威性 的判断和认定，评估项目在建设过程中的重大变更及其对项目效益的作用和 影响，诊断项目发生的重大困难和问题，并寻求相应对策和出路。 ( 3 ) 项目后期 在项目接近尾声或完成后所进行的评估，主要是对已经完成的项目的 目标达成情况、执行过程、效益、作用和影响所进行的系统的、客观的分 析，并通过有效的过程反馈达到提高项目管理决策水平的目的。这一阶段需 要对被评估项目的成败状态进行合理的判断和认定。这里的状态包括内部状 态和外部状态两方面，内部状态主要包括进度、质量、费用、组织与管理 等。外部状态主要包括目标达成情况、技术环境的变化以及承担单位的重视 程度与支持力度等。 综上所述，科技项目评估就是评估主体以优化配置各种知识生产的要 素为目标，采取相应的技术、方法及手段，对项目的全周期进行全方位的分 析与评价，进而不断提高项目实施方的管理决策水平的过程。 2 3 2 科技项目评估闭环 对应于科技项目生命周期的不同阶段，存在着立项评估、进展评估、 绩效评估三种评估方式。它们在时间顺序上构成一个工作流程，如果将这个 流程再与下一个项目的评估与上一个项目评估的工作流程链接起来，则构成 科技项目的评估闭环结构( 见图2 - 2 ) 。 在闭环结构内，前一个评估为后一个评估提供数据、背景等方面的支 撑。一个项目不仅在评估方法的选择上存在因果关系，在产出或中期结果上 也存在很强的因果关系。立项评估的正确，产出的明显，项目运行的顺利， 可为进展评估和绩效评估提供不少便利，减轻后面评估的工作量和提出较少 的要求。如果没有前期的把关和过程的监督与控制，则后期很难有好的成 绩。因此，从产出的意义上说，闭环结构内各要素存在一致性。 1 2 第二章科技项目评估理论与方法 图2 2 科技项目评估闭环示意图 从时间序列角度分析，立项评估由于受到任务的重要性和资源再分配 的限制，可能选择过程比较短暂，时间要求紧迫；进展评估涉及整个项目的 进展全过程，由于存在下一阶段项目是否按计划或有无其他变动，对进展评 估的时间要求也比较高。绩效评估则是最后的评估，在时间要求上没有前两 个紧迫和严格。表2 1 简单比较了三种不同方式。 表2 1 科技评估闭环内三种评估的比较 比较内容立项评估进展评估绩效评估 多个候选项目中选优 对象 具体单一项目的评估具体单一项目的评估 ( 多选一或多选多) 评估难度难度大 较易 较难 次性评估，花费时每次评估分散难度，一次性评估，时间较 时间 问较长，准各充分 多次评估长 涉及多个项目的选择每次评估成本低，但 成本成本相对低 比较，成本较高总成本累计较高 指标明确、具体、多样简单、涉及主要变量决定于产出 择优、预测、确定项监督、跟踪、控制项对项目进行总结，学 作用 目承担者 目进展与项目实施方 习经验 第二章科技项目评估理论与方法 在闭环结构内，如何处理好三种评估的重要性。把何种评估放在首位 呢? 设置、已、e 。分别代表立项评估、进展评估和绩效评估，e 为总评 估。 e = 墨互+ 名咒e + r ，巧q ( 2 3 ) 其中r 。、r 。、r ，i f , ( o ，1 ) 。r 。、r 。、r ，分别代表是否执行评估的概率，当 值为零时，不执行评估；当值为1 时，执行评估。 更进一步 e = r e + 见玩+ 0 r ，e p ( 2 4 ) 而且 + o + = l ( 2 - 5 ) 、名、0 分别代表三种评估在总评估中的权重，表示评估机构要花多 大精力放在每一种类型的评估中。需要指出的是的，立项评估面对项目群进 行选择，而进展评估、绩效评估面对特定的项目进行评估。因此，立项评估 的权重不仅取决于项目本身，还取决于与当时项目的整体状况。 如果进展评估有n 次，则 巳= 磊 ( 2 - 6 ) j = i 将此式代入( 2 - 3 ) 式，得到 e = 咒e + 以e + r p r ，e p ( 2 7 ) i 爿 r 和 之间存在一定的对应关系，两者应该用时为零，即如果见= o ， 贝b = 0 。 忍表示r 。、r v 当中的任何一个，磊代表r 、乇、名任务的一个 本文中的科技项目评估主要由第三方评估机构完成，对于评估机构来说，全 程参与了科技项目的实施，三种评估方式的重要程度一致。 2 4 科技项目评估指标体系 2 4 1科技项目指标体系的确立原则 评估指标是衡量系统总体目标的具体标志。要对科技项目进行评估，就 必须建立起能对各组成要素和各种影响因素进行衡量的统一尺度，即科技项 1 4 第二章科技项目评估理论与方法 目评估指标体系。科技项目评估体系是对科技项目进行评估的重要依据，它 的科学、完整与否，直接影响到评估结果的可靠性、有效性，它是整个科技 评估工作的核心。 在确定评估指标体系时应遵循以下的基本原则： ( 1 ) 系统性与科学性。科技项目评估工作是一个牵涉多方面问题的复杂 系统，要想用有限的指标来评估一个复杂系统，建立评估指标体系的方法应 采用科学系统的方法。各指标的设定都应以精确的指标内涵与外延相结合， 从而做到科学合理、界定准确。 ( 2 ) 可比性与准确性。由于各个项目涉及专业性质的不同而表现出差异 性，在指标设计的内容上应尽可能剔除不确定因素的影响，要把不可比因素 设法转化为可比因素，将评估的数据进行标准化处理。为杜绝评估中过多主 观因素的出现，只有对科技项目进行全面而深入的定量分析，才能得出较准 确的判断和科学的结论。指标设计应围绕各项目发展的共性和科技部门的相 关统计数据而制定，力求评估数据准确可靠。 ( 3 ) 实用性与可行性。指标设计要能客观地反映科技项目的实际运行情 况，为管理部门和上级领导全面了解并掌握科技项目发展动态提供依据并进 行科学决策。同时，通过科技项目评估反馈信息，使项目实施方发现问题， 找出差距。一般多层次、多指标评估比较全面和深入，但要处理好层次与指 标问的不重复性关系。 ( 4 ) 定量性与可操作性。为避免科技项目评估工作的主观随意性，评估 指标尽可能采用相对量化，并在同一级各指标中分配合理的权重。同时，指 标体系与评估计算方法要简单易行、便于操作。要防止出现指标过于繁锁、 不便于实施和指标过于简单、又难以反映科技项目整体情况的现象。 由于科技项耳涉及不同的学科领域和技术类型，每个项目的经费、管理 模式、要求都不尽相同，内部指标之间又存在复杂的关联，所以很难用统一 的评估指标来进行评估。因此，应根据项目评估闭环的阶段特征划分出不同 类型指标体系，综合运用上述几项原则，在不同阶段使用不同的权重来评 估。 2 4 2 科技项目评估指标体系分类比较 为了将多层次、多因素、复杂的评估问题用较科学的计量方法进行量化 处理，首先必须针对评估对象构造一个科学的评估指标体系。制订评估指标 体系需在全面分析系统的基础上，需拟定指标草案，经过广泛征求专家和有 关部门的意见，反复交换信息，进行统计处理、综合归纳和模拟试评等，最 t 5 第二章科技项目评估理论与方法 后才能确定评估指标体系。对指标体系进行分类的方法很多，本文以科技项 目闭环的不同阶段对科技项目指标体系进行分类，即分为立项评估指标体 系、进展评估指标体系、绩效评估指标体系三类。 三类指标体系的差异如表2 2 所示，三类指标体系尽管存在着许多 表2 2科技项目评估指标体系差异表 指标体系分类 立项评估指标体进展评估指标体绩效评估指标体 系系系 评估闭环内 科技项目立项申科技项目实施阶 科技项目总结阶 所处位置 请阶段段 段( 后期及其延 续阶段) 监控项目实施进 立项审核，进行 程，保证项目不对项目成果进行 构建目的 项目可行性论证偏离预定目标，评估，总结经验 确保良好产出 研发环境技 立项依据研环境因素管 术因素生产因 体系内容 究方案综合意理因素需求驱素市场因素 见动技术驱动管理因素环境 因素 所应用的传同行评议法、 模糊综合评判 灰色评价法， 法、因子分析 n g t 法与 统评估方法 a h p 法等 d e l p h i 法、经济 法、聚类方法等 评估法等 差异，但经过仔细调研、分析后不难发现，三类指标体系在总体内容上仍有 许多相似性，它们的指标内容大体上可以归纳为六大类：( 1 ) 政令性指 标。主要是依据政府和科研管理机构的相关立法、规定、条例、指导原则等 制订而成，这类指标的引入对于大型或超大型科技项目评估尤为重要。 ( 2 ) 科技型指标。与科技项目本身最贴近的一类指标，反映项目本身性质 和内涵，包括项目先进性、支撑性、对科技进步的促进作用等。( 3 ) 经济 性指标。包括项目的成本、资金使用情况、资金投入回报等。( 4 ) 社会性 指标。科技项目的特殊性决定了不能单纯依靠财务指标来衡量其成败与否， 科技项目给社会带来的综合效益也要被考虑其中。( 5 ) 资源性指标。主要 包括消耗性资源指标、使用性指标等，常与其他指标合并使用。( 6 ) 里程 碑指标，主要从项目管理的角度，对项目完成的进度、时间予以调控、监 督。 1 6 第二章科技项目评估理论与方法 综上所述，可以看出三类指标体系既有联系又有区别，有机地构成了科 技项目评估指标体系的系统整体，形成了一个类似树状的指标树结构。 2 5传统科技项目评估方法的应用现状与不足 2 5 1传统科技项目评估实践进展综述 2 0 世纪5 0 年代中期，卢斯( r d l u e e ) 提出了对有限方案进行排序 的字典方法，专家评分法开始应用于系统综合评估，它是在定量和定性分析 的基础上，以打分形式做出定量的规范化评估。 1 9 6 4 年奥楠( a u n a n n ) 针对多目标的综合评估问题，提出效用函数概 念，该理论对价值的存在性和可度量性、偏好与价值的关系等方面进行了研 究，奥楠的研究奠定了多属性系统综合评估的理论基础