（统计学专业论文）科技成果奖励评价方法研究.pdf

摘要 科技成果奖励是我国科技工作的一个重要组成部分，它对于发挥国家科技政 策的导向功能，促进科技工作与经济发展相结合，以及促进科技人员的个人成长 等各方面都具有重要作用。研究更为科学合理的科技成果评价方法，已成为新时 期科技奖励工作的重要内容。 本文首先通过对国内外科技成果奖励研究领域的经典文献回顾，对已有研究 成果进行了总结和评价；然后从系统分析出发，运用统计学方法，研究科技成果 奖励的关键问题赋权方法，包括指标赋权方法以及专家赋权方法。本文利用 s p s s 、a m o s 等统计分析软件，综合运用变异系数、相关分析、路径分析等方法， 从指标的信息含量、指标的异质性和指标的功能性三个方面探讨能综合反映指标 相对重要性的综合性权数。再运用聚类分析、信度分析方法对专家评审的水平进 行衡量，构造动态专家权数，以弥补以往科技成果奖励评价活动中权数大多主观 给出的不足： 最后，本文构造了基于指标综合性权数的模糊综合评价模型，以满足奖励评 价中有时会出现模糊评价的情况。但由于该法不能适用于所有奖励评价活动，同 时该法没有考虑专家权威性，本文进而引入专家权重，构造了基于复合权重的科 技成果奖励评价方法，对专家评判信息合成，得出最终评价结果，再通过一致性 分析和可信度分析对专家评价结果进行考察，对专家评审质量进行测度。实证分 析表明，本文所用模型和方法具有较强的可操作性和实用性。 关键词：科技成果；综合评价；专家权重；复合权重；路径分析 i i a b s t r a c t t h ee s t i m a t i o no f t e c h n o l o g i c a l a c h i e v e m e n t si sa n i m p o r t a n tp a r t o f t e c h n o l o g i c a lw o r ki no u rc o u n t r y i th a sav i t a lr o l et op r o d u c et h eg u i d ef u n c t i o no f t h e t e c h n o l o g i c a lp o l i c y , a n dc o m b i n e t h et e c h n o l o g i c a lw o r kw i t he c o n o m i c d e v e l o p m e n t ，a n dp r o m o t et h ep e r s o n a lg r o w t ho ft e c h n o l o g i c a lp e o p l e t h ef u r t h e r s t u d yo nt h ee s t i m a t i o nm e t h o do ft e c h n o l o g i c a la c h i e v e m e n t si sb e c o m i n ga n i m p o r t a n tc o n t e n ti ne s t i m a t i n gw o r k a tf i r s t ，t h i sa r t i c l es u m m a r i z e sa n de s t i m a t e st h ep r e v i o u sr e s e a r c h b y r e t r o s p e c t i n gc l a s s i c a ll i t e r a t u r e so fe s t i m a t i o no ft e c h n o l o g i c a la c h i e v e m e n t si nt h e w o r l d t h e n ，t h ea r t i c l et h i n k sa b o u tt h ec r i t i cq u e s t i o ni nt h ee j t i m a t i o no f t e c h n o l c l g i c a l a c h i e v e m e n t s - - - t h er e s e a r c ho nw e i g h t ，b a s e do ns t a t i s t i cf r o ms y s t e m i c a n a l y s i s ， i n c l u d i n gi n d e xw e i g h ta n de x p e r tw e i g h t t 址sa r t i c l ed i s c u s s e sac o m p o s i t i v ew e i g h t f r o mt h ei n f o r m a t i o nc o n t e n to fi n d e x ，t h ed i f f e r e n c eo fi n d e xa n dt h ef u n c t i o no f i n d e x ，b yu s i n ga b e r r a n c ec o e f f i c i e n t ，c o r r e l a t i o na n a l y s i sa n dp a t ha n a l y s i s ，b a s e do n s t a t i s t i c a ls o f t w a r e s ，s u c ha ss p s s ，a m o s ，e t c t h e ni tr e v i e w st h ea u t h o r i t yo f e x p e r t ， a n dc o n s t r u c t sd y n a m i cw e i g h to fe x p e r tb a s e do nc l u s t e r i n ga n a l y s i sa n dr e l i a b i l i t y a n a l y s i si no r d e rt of e t c hu pt h el a c ko ft h ec o n d i t i o nt h a tt h ew e i g h t sa r e 百v e n s u b j e c t i v e l yb ye x p e r t s a f t e rt h a t ，t h ea r t i c l ec o n s t r u c sam e t h o do fb l u r r ye s t i m a t i o nb a s e do n c o m p o s i t i v ew e i i g h to fi n d e xi no r d e rt os a t i s f yt h en e e do fb l u r r ye s t i m a t i o n s o m e t i m e s b u tt h i sm e t h o di sn o tt h es a m ew i t ha l lk i n d so fe s t i m a t i o na c t i v i t i e s ，a n d d o e s n tt h i n ka b o u tt h ea u t h o r i t yo fe x p e r t s ot h i sa r t i c l ea d h i b i t st h ew e i g h to fe x p e r t ， a n dc o n s t r u t sam e t h o db a s e do n c o m p l e xw e i g h tt oc o m p o s ei n f o r m a t i o ng i v e nb y e x p e r t s ，a n de d u c e st h el a s tr e s u l t t h e ni tm e a s u r e st h eq u a l i t yo ft h ee s t i m a t i o nb y c o h e r e n c ea n a l y s i sa n dr e l i a b i l i t ya n a l y s i s a tl a s t ，t h ea r t i c l ev a l i d a t e st h ef e a s i b i l i t yo ft h em e t h o db yd e m o n s t r a t i o n k e yw o r d s ：s c i e n t i f i ca n dt e c h n o l o g i c a la c h i e v e m e n t s ；c o m p r e h e n s i v ea s s e s s m e n t ； e x p e r tw e i g h t ；c o m p l e xw e i g h t ；p a t ha n a l y s i s 1 1 1 插图索弓 图3 1我国国家科技进步奖( 技术开发项目) 递阶层次结构图1 4 图3 2 路径图1 7 图3 3路径分析流程图1 8 图3 4 科技奖励评价指标体系路径图1 9 图3 5 基准路径模型1 9 图3 , 6 待检路径模型2 0 v i 附表索引 表3 1变异系数赋权方法计算过程表1 2 表3 2a h p 中1 9 标度含义表1 5 表3 3 平均随机一致性指标r l5 表4 1 聚类结果表2 5 表4 2 基于聚类分析的专家权重表2 6 表4 32 4 位专家信度系数计算结果表2 8 表4 4 基于信度系数的专家权重表2 8 表4 5 动态专家权重表2 9 表5 12 5 项成果模糊综合评价最终得分表3 3 表5 2 专家组最终评分表3 5 表6 12 4 位专家对2 5 项成果的综合评价得分及排序表3 7 表6 2 一致性系数计算结果表3 7 附表b 12 4 位专家对2 5 项成果的综合评分表4 5 v i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均己在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名： 钾喻 日期：泖呻7 年1 1 月扣日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编 本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密q 。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 却喻 嗨 日期：渺7 年，月雩口e t 醐：7 钒胡朋 第1 章绪论 1 1 科技成果奖励评价方法的研究背景及意义 科技成果奖励是指在公平、合理的科技成果评价基础上，主办者对创造优秀 科技成果的部门或个人进行的精神奖励和物质奖励。它既是对科技成果的独创性、 真理性和价值性的承认，也是对科技人员( 机构) 能力的社会承认。 从1 9 7 8 年3 月1 8 日的全国科技大会以来，科技成果奖励工作开展已有近三 十年。通过大量的实践，国家、省市和相关部委的奖励工作人员积累丰富的政策 和运行方面的经验，并取得丰硕的成果。但在适应创新活动新的要求和需要方面， 科技成果奖励工作正面临着众多的创新性问题。从科技成果奖励工作的创新角度 来看，其政策和评价体系还没有在理性上进行过深入的思考和研究，并且科技成 果奖励的评价体系一直还建立在非理性的基础之上，评价方法缺乏科学的认识和 实践。由于科技成果奖励体系的缺陷，评审过程和结果都会引起社会和公众对评 估方法和手段不科学的质疑。如何公正、公平地做好科技成果奖励评价工作，如 何建立一个公平合理的科技成果奖励方法体系，激励科技工作者的积极性和创造 性，引导科技成果向着有利于满足社会需求的方向去发展等等，都是摆在科技管 理和研究工作者面前的一项十分紧迫而重要的课题。 科技成果奖励作为科技体制内部的重要环节，对规范科技的发展方向、推动 科技进步起着重要作用；另外它作为联系科技体制与外部社会的重要纽带，对发 挥科技的社会功能、促进社会进步有着不可估量的影响。科学的评价方法，能够 有效提高科技成果评价的科学性、公平性和合理性，同时增加透明度，减少人为 因素的干预，使科研人员辛勤劳动产出的高水平成果得到相应的奖励和社会承认。 在理想情况下，科技成果奖励应该起到增加科学家的知名度的作用，他们为其他 科学家树立了角色模式；奖励应该鼓励那些遵循科学规范，并作出了独创性贡献 的科学家，强化导致优秀研究的行为模式，鼓励科学家把注意力集中到对某些重 要问题上。 科技成果奖励政策的贯彻落实，对于弘扬中华民族的创新精神，营造崇尚创 新的民族文化氛围，加速科教兴国的战略步伐，将起着至关重要的作用。为落实 党和国家尊重劳动、尊重知识、尊重人才、尊重创造重大方针中的具体内容，在 “国家科学技术奖励条例”的精神指导下，开展各项奖励活动，公平、公正评价 和奖励各种创造性的科技成果，激励和调动投身于科学探索和生产实践的献身信 念，充分体现党和国家尊崇科技创新、尊重创造性劳动政策，最大范围地激发知 识、技术的结合，这都是新时期科技奖励工作融合于科技战略部署，催生科学技 术成果在市场经济中的活力的根本保证。为适应科技创新形势的发展，运用奖励 政策体系进一步挖掘科技人员的创造性潜能，更准确地奖励在科技活动中有突出 贡献的单位和研究人员，营造科技创新氛围，推动科技创新工作的可持续发展， 研究、完善科学的奖励评价机制，提出一种较为理性的评价方法，保证科技奖励 顺利运行的重要前提，已成为新时期奖励工作的重要研究内容。 科技成果奖励评价方法的研究不仅具有实际应用价值，也同样具有广泛的学 术意义。深入研究科技成果奖励中科学评价基础性问题，在总结以往以定性研究 方法为主要手段的基础上，与定量研究方法相结合，提出较为科学可行的评估方 法和模型，满足当前科技成果评审工作中科学性、公平性和合理性的要求，从而 适应社会的发展和现代化管理的需要，这在当前具有十分重要的理论意义和实际 应用价值。 1 2 研究的基本思路和方法 目前科技成果奖励评价体系主要是以定性分析方法为评价基础，其合理性在 很大程度上是依赖于经验，特别是在评价指标的赋权方面，传统的科技成果奖励 评价方法，都没有专门详细地考虑指标权重的问题，即使涉及到了指标权重，大 多只是由权威性的专家按指标的重要程度主观给出。这显然缺少有力的科学根据。 同时，要科学、公正地完成评价过程，在很大程度上还跟评审专家的此次评价活 动的质量有关，所以对专家的评审行为进行控制，对评审专家进行反评估，也应 纳入评价体系考虑范畴。本文以统计学方法为基础，利用s p s s 、a m o s 等统计分 析软件，综合运用路径分析、聚类分析等方法，从系统分析出发，按照科技成果 奖励流程，首先对科技成果奖励评价指标体系的指标赋权方法进行研究，从指标 的信息含量、指标的异质性以及指标功能性三个方面考虑，探讨一种能综合反映 指标相对重要性的权重；其次对专家权威性进行研究，通过构造专家权威性权重， 对专家在本次评价过程中的行为进行控制；然后在两者基础上，对科技成果奖励 评价指标值进行合成，得出最终评审结果；最后对专家的评审结果进行一致性和 可信度分析，对专家评审质量进行测度。其中通过实证分析，验证本文方法的可 行性。 1 3 研究内容安排 基于国内外相关专家学者已有的研究成果，本文利用s p s s 、a m o s 等统计分 析软件，综合运用路径分析、聚类分析等方法，构建科技成果奖励评价方法体系。 全文分为7 章，各章的研究内容安排如下： 2 第1 章：绪论。本章主要论述科技成果奖励评价方法的研究背景及意义以及 本文的研究思路和方法，最后介绍本文的研究内容安排。 第2 章：科技成果奖励评价综述。本章主要介绍困内外科技成果奖励研究现 状，以及对几种经典的科技成果奖励评价方法进行评述。 第3 章：科技成果奖励评价指标赋权方法研究。本章从指标的信息含量、指 标的异质性、指标的功能性三个方面束构建指标的综合性权重，并通过实例对方 法加以应用。 第4 章：科技成果奖励评价专家赋权方法研究。本章通过基于简单多数原则 的聚类分析以及专家评价的可信度对专家的动念权威性进行考察，进而对专家赋 权，并通过实证分析验证方法的可行性。 第5 章：科技成果奖励评价合成方法研究。在第3 章、第4 章研究基础上， 将指标权重和专家权重综合考虑，建立基于复合权重的科技成果奖励评价方法， 同样通过实例对方法加以应用。 第6 章：专家科技成果奖励评审质量测度方法研究。本章通过构建一致性系 数和专家的信度系数，对专家评价结果的质量进行测度，并通过实例对方法加以 应用。 第7 章：结论。通过以上各章的研究，得到相关研究结论，并提出本文可能 的创新之处。 第2 章科技成果奖励评价综述 2 1 国内外科技成果奖励研究现状 国内外在科技成果奖励评价体系的构建以及对奖励评价理论、方法及应用等 方面做了大量的研究工作，不仅建立了各种不同的奖励评价体系，并针对这些体 系形成了较为完善的评价程序和评价方法，并用法规的形式确定其在决策过程中 的地位和作用。 国外对科技成果奖励的研究由来已久，无论在理论研究还是实践探索方面都 取得了重要进展。2 0 世纪4 0 年代以来，一批新兴交叉学科陆续兴起，如科学学、 管理科学、系统工程等。在上述各种交叉学科领域的研究中，对科技成果奖励都 有不同程度的涉及。如美国心理学家亚当斯的“公平理论”【l l 、赫茨伯格的“激 励论”【2 l 、马斯洛的“需求层次论” 3 1 等。但这些还不能称为对科技成果奖励的 专门论述。对科学奖励最早做出系统研究的是美国社会学家默顿。在其著名论文 科学发展的优先权中，默顿根据对科学发现优先权之争的全面考查和分析， 提出了“科学奖励系统”的概念，并基于科学目标对独创性的强调和科学规范与 科学奖励之问的互动关系这两个方面，提出了科学奖励系统理论【4 1 。默顿等科学 社会学家建立和发展的科学奖励系统理论揭示了科学奖励的本质，具有很高的理 论价值和实用价值，标志着专门科技成果奖励研究的正式形成，在科技奖励研究 的历史中意义重大。 西方发达国家在科技成果奖励以及奖励的评价方面做了大量的工作，其中比 较有代表性的有美国、法国以及r 本。科技成果奖励评价在美国已经是通过立法 保障的、制度化的、经常性的行为。其评价活动内容丰富、形式多样，科技成果 评价的政策体系和管理办法也相对成熟和完善。美国科技成果奖励评价活动对决 策的支持起始于2 0 世纪6 0 年代中期美国国会。从世界各国的评价活动看，美国 历史最长、评价内容最全面。早在1 9 3 3 年，美国通过了“政府绩效法案( g p r a ) ”， 据以指导整个国家的科技评价体制的建设i5 1 。科技成果奖励评价在法国是国家发 挥科技管理职能的个重要手段。法国的科技成果评价制度规定了其评价框架的 特有形态，即评价的机构化。从2 0 世纪6 0 年代开始，顾问委员会负责研究形势 和政策的评价。自2 0 世纪8 0 年代初开始，规定评价工作主要集中在国会科技选 择评价局和法国国家科学评价委员会这两个独立的机构进行。后来法国的科技 规划与指导法对科技成果评价的要求更加规范、客观【们。日本的科技成果奖励 评价机构均需依法设立，不能随意设立和撤销。2 0 世纪5 0 年代日本经济开始起 4 飞的时候，政府和企业就把科技成果评价作为管理和推进研究丌发活动的手段。 各种技术评价工作是根据产业发展和技术引进而丌展的，并建立了科技评价体系 及其支持系统。进入2 0 世纪8 0 年代，政府决定在同本科技政策的最高决策机构 即科学技术会议政策委员会下设立科技评价分委员会。到2 0 世纪9 0 年代，同本 政府根据国际形势的变化，相继颁布了一系列与科技评价有关的法律法规。1 9 9 5 年f 1 本政府颁布了科学技术基本法，明确了科技评价的地位；1 9 9 6 年制定了 科学技术基本计划；1 9 9 7 年8 月，日本科学技术会议审议通过了国家研究 开发评价实施办法大纲指针，极大地推进了只本开放型研究评价体制的建设，增 加了科技成果奖励评价的透明度和公开性，使科技评价发展到一个新的阶段【7 】。 我国对科技奖励的正式研究起步较晚。2 0 世纪8 0 年代初，我国才开始有一 些学者对科技奖励进行零星的研究，还没有形成专门的研究队伍。从8 0 年代中期， 我国科技奖励的研究形势开始发生变化，越来越多的学者投入到科技成果奖励研 究中来，奖励评价方法也随之开展起来。1 9 8 5 年5 月2 2 日，国务院批准成立了 国家科技奖励办公室。此后，专门的科技成果奖励工作系统在各省市和国务院各 部门都相继建立起来。基层的科技成果奖励工作也发生了很大的变化，有的建立 了专门的科技奖励机构，有的则由专门的科技管理人员负责科技奖励工作。1 9 8 6 年，我国科技奖励工作系统正式建立，一批科技奖励的专门研究队伍也随之形成。 在2 0 多年时问里，我国学者和政府管理部门对科技成果评价理论和方法进行了很 多有益的探索和研究，开展了大量卓有成效的工作，在理论和实践上都取得了一 定程度的创新和突破【8 l 。 2 2 几种经典科技成果奖励评价方法评述 随着社会的发展，科技推动生产力，科技推动社会进步的作用日益明显，科 技成果越来越受到人们的普遍关注，科技成果奖励也逐渐成为实施国家人才和创 新战略的重要组成部分，奖励方法的研究也成为各国政府、科研管理部门和科研 工作者共同关心的问题。科技成果奖励评价方法发展到目前为止大体可以分为三 种类型：定性方法、定量方法以及定性与定量相结合的方法。定性方法主要包括 同行评议法、德尔菲法；定量方法主要有文献计量学方法；定性与定量相结合的 方法主要有层次分析法和模糊综合评价法。其中又以德尔菲法、层次分析法和模 糊综合评价法最为经典，至今仍活跃于经济管理、科研、教育等各个领域。 同行评议法，顾名思义，是指“由从事该领域或接近该领域的专家来评定一 项研究工作的学术水平或重要性的一种方法”p 】，它是最早用于评价学者及其学 术成就的一种测度体系。从希腊哲学家和宗教陪审团的工作起，学术成就往往就 由从事同一领域研究的人们来评定【l o 】。随着科学技术在社会生产中地位的提高， 5 科技成果的评价也逐渐成为人们共同关注的问题，而同行评议法也发展成为一种 更完善的、结构化的评价方法，是目前进行科技成果评价时应用的最为普遍的方 法。它通常在以下几种情形下采用：( 1 ) 涉及还没有丌发完善或还没有实际丌发 的新技术时，通常缺少或没有历史数据。在此情况下，专家的意见是仅有的评价 依据；( 2 ) 在某些情况下，当人们的主观因素比技术因素更加重要时，专家的意 见是更令人信服的评价依据。同行评议法一般包括通信评议、专家组会议评议、 通信与专家组结合和实地考察几种【l l l 。1 1 2 j 。形式虽然不同，但每个同行评议专家的 意见均通过对其填写的评审表表达。同行评议法简单易懂，容易进行，由学科和 相关领域专家学者提供判断意见，从而对科研成果进行了一定的质量控制。现行 的同行评议法一般采用由若干专家组成的专家组来进行评判。虽然增加了专家人 数，提供的信息增多，可以从更广泛和不同的角度来分析问题，从而减少风险， 但是由于专家受个人知识水平、对所评价成果的熟悉程度、评价经验、个人偏好 等因素的影响，其做出的评价决策往往带有很强的主观性。因此有必要对专家的 评价行为进行一定的约束，使评价结果更趋于理性，更令人信服。 一般的专家咨询方法中，专家组成员，特别是那些资历相对来说较低的成员 不能充分发表自己的意见，而且多次反复的讨论对取得正确的意见通常作用不大， 为克服这些弊端，2 0 世纪5 0 年代末，美国兰德公司的戈登( t g o r d o n ) 和海尔 默( o h e l m e t ) 提出了用于进行问题决策的德尔菲法。日本受到启发，从1 9 7 1 年开始采用大规模德尔菲调查法，每五年进行一次【1 3 】。德尔菲法的基本思想是通 过函调方式，让专家对评价工作组事先拟定的问题自由发表意见，经统计整理后 再反馈给咨询对象，让他们在此基础上再次回答同样的问题，回答没有把握的人 会根据整理资料调整自己的意见，因而意见会趋于一致。 经典德尔菲法是指兰德公司开发的德尔菲法。它一般选择1 5 个左右熟悉有关 领域的专家，进行4 轮咨询：第一轮调查向专家组提出的问题没有固定的格式和 内容，所提问题不必过于具体。该轮调查结果回收后的主要工作是对专家意见的 整理归类，经归纳加工而成的各成果就是待评成果；第二轮调查要求专家对待评 成果进行再评价，并说明理由。该轮调查结果回收后的工作是对专家的评价进行 统计分析，然后将统计结果附上必要的说明反馈给专家，进行第三轮调查；专家 在得到第二轮调查的统计结果和有关说明后，由于信息的增多，会对自己原有的 判断做出修正。如果专家新的评价结果明显发生变化，则要说明原因，还要提供 必要的参考资料来说服其他专家，就像面对面的小组讨论，只是以匿名方式进行。 就这样反复操作下去，直至专家意见相对集中。若经过多次调查，专家意见离散 度仍较大，则分析各方面原因，采用其他方式进行综合分析，得到最后评价结果。 在实际的评价活动中，很少采用经典德尔菲法，而主要采用有大量专家参与 的大规模德尔菲调查法。它是由经典德尔菲方法派生出的一种方法，最早由日本 6 采用，随后德国、英国、法国和韩国等国家和地区相继采用大规模德尔菲调查法 【1 3 】。与经典德尔菲法相比，该法的参与专家人数大大增加，通常会邀请来自政府、 企业、高校、科研机构和社会各方面的专家参与评价活动。另外大规模德尔菲法 在评价程序上也有不同，它通过成立成果评价专家委员会束拟定待评成果清单， 代替经典德尔菲调查的第一轮调查。由于大规模德尔菲法调查成本较高，周期较 长，调查一般只进行两轮，最后组织高层专家对调查的结果进行审核和论证，形 成最终评价结果。 德尔菲法简单方便，易于操作，能够获得大量的反馈信息，使专家的意见逐 步集中，同时由于该法是匿名进行，专家们可以畅所欲言，完全表达自己的意见， 而不受专家组其他成员的直接或间接影响，可以相对公正地反映专家组的一致性 意见。但如同同行评议法，德尔菲法也不可避免地带有一定程度的主观性，使得 对评价对象的判断会产生一定的偏差。同时，由于德尔菲法是通过反复不断地向 专家咨询以获得最终意见，因此它的周期较长，当就某一问题向专家反复咨询时， 容易造成专家的厌烦情绪，从而导致专家意见过于草率。 文献计量学是2 0 世纪6 0 年代发展起来的对科技成果( 特别是基础和应用基 础研究) 进行评价的一种定量分析方法。一些专家认为，对于基础性研究来说， 由于研究人员的科学贡献和学术影响主要是通过论文的交流来实现，因此评价一 项科技成果的价值，关键是要看成果完成人是否在国际著名学术杂志上发表相关 论文，以及论文被同行引用的情况。引用频次越高，证明它们越受承认【1 ”。可以 说它是对科技期刊中发表文章的数量，和在这些期刊中其他科学家引用这些成果 的情况进行统计【l0 1 。相对于我国来说，西方发达国家更早重视运用文献计量学方 法对科技成果进行评价。大量的文献计量学和引文分析活动是由欧洲的一些机构 开展的。一些美国的机构则是文献计量学商业应用的先锋。在这一领域有两大集 团从事了大部分的综合分析：费城的i s i ( 美国科学情报所) 和新泽西的c h i 研 究公司。i s i 由尤金加菲尔德和亨利斯莫尔建立于1 9 5 8 年，这个公司通过分析 世界上2 5 0 个学科的8 0 0 0 余种期刊和另外8 0 0 0 余种论著以及会议论文集( 这些 文献分布在自然科学、生物科学、社会科学以及艺术和人文科学) ，出版发行了目 前被认为具有不可替代的权威地位的大型文献数据库科学引文索引 ( s c i ) 。c h i 由内林和他的同事创建于1 9 6 8 年。这家公司注重引文分析的技术 方面，它强调专利和导致专利的科学【1 们。现阶段，文献计量学的指标主要有三种： ( 1 ) 学术论著的公开发表与出版以及出版物的级别，即期刊的影响因子；( 2 ) 学 术论著的传播与反响程度( 被转载、摘录、被权威检索工具收录情况) ；( 3 ) 学术 论著的被引用( 或应用) 与被( 综述文献、权威评论刊物) 评论量。对该指标的 统计即引文分析，一般以被引频次为具体评价指榭“l 。 文献计量学在科技成果评价中的应用已经越来越受到我国科研管理部门的重 7 视。目前，我国已建立起数个大型数据库，如中国科技信息研究所的“中国科技 论文引文数据库”、中国科学院文献情报中心的“中国科学引文数据库”等。 与过去那些主观随意性的评价方法相比，文献计量学方法无疑是一个进步。 由于它是以登载论文刊物的权威程度、论文被引次数等客观指标作为标准，摆脱 了人的主观思维以及其他的一些非客观因素的影响，因此这种方法更加的科学严 谨，评估结果也更令人信服。但文献计量学方法也存在缺陷。首先，它是以被引 次数作为标准，认为被引次数越多，越受承认。但是在某些情况下，有些成果是 作为反面事例被加以引用的，而简单的将被引次数作为衡量标准显然是有欠考虑 的；其次，在运用文献计量学方法对几种科研成果进行比较评估时，要注意成果 之间的可比性。因为不同的学科文献被引情况也是不同的。这是由学科自身的性 质决定的。例如数学论文的被引次数明显低于经济类论文的被引次数。因此将这 两门学科的研究成果用文献计量学方法加以比较是没有意义的。也就是说，文献 计量学方法只适用于同类学科内部的成果评价；再次，该方法在成果统计上有时 间的滞后效应。因为论文发表或著作出版后通常要等若干年才能验证其真实价值， 因此不可能及时对成果作出评价j 。 层次分析法( t h ea r a l t i ch i e r a r c h yp r o c e s s ) i s 】【1 9 是由美国运筹学家t l s a a t y 在2 0 世纪7 0 年代创立的一种多目标多准则的决策方法。它将评估目标分解成一 个多级目标的递阶层次结构，在同一级( 或同一层次) 上，将各指标进行两两比 较，按其对上一级指标相对重要的程度写成判断矩阵，由同行专家按该法计算出 每项指标相对权重，并进行一致性检验，最后计算方案层因素( 最末级指标) 相 对于最高层次即系统目标的权重并检验其一致性，其综合评价结果为各方案指标 的线性加权。层次分析法具有结构清晰、适用性、系统性等特点。但是它也存在 一定的局限性。首先，层次分析法应用的关键是判断矩阵的构造，这依赖于专家 的咨询意见，而方法本身也并没有考虑对专家评价结果的质量进行测度，因此往 往存在着较大的主观性；其次，层次分析法的最终结果只是对方案的粗略排序， 无法令人完全信服。随着专家学者对科技成果奖励评价方法研究的不断深入，层 次分析法逐渐被作为确定指标权重的一种有效方法加以应用。 模糊综合评价法属于模糊数学方法，它引入隶属函数，实现把人类的直觉确 定为具体系数的模糊综合评价矩阵中，在论域上评价成果属性的隶属度，并将约 束条件量化表示，进行数学解答，克服传统数学“唯一解”的弊端，根据不同可 能性得出多个层次的问题解，符合现代管理“柔性管理”的思想【2 0 】- 【2 3 1 。 模糊综合评价法根据人们的思维逻辑，将专家们的定性分析与定量研究结合 起来，较之以往单纯的定性分析更进一步，是一种较为科学的评价方法。但该方 法仍然不可避免地存在一定的局限性。首先，简单的将模糊综合评价向量，即隶 属度向量作为项目的最终评判依据，显然是欠妥的。因为在某些情况中，虽然向 量中有最大取值，但是它与其他元素相差并不大，而在这种情况下，将待评判成 果归入某一等级过于武断：同时，仅仅考虑隶属度也会带来大量信息的丢失，使 评价结果失真；其次，模糊综合评价法中隶属度向量的得出是以指标权重为基础 的，由此可见指标权重的重要性，但该法本身并未给出权重的具体计算方法；再 次，模糊综合评价法是以专家参与评判为前提的，专家往往受知识结构、经验等 因素的影响，使得评价结果带有很强的主观性，而且评价质量也有好有坏，因此 有必要对专家的评判行为进行一定的约束，对专家赋予一定的权重，从而使评价 结果更加真实、可信。 9 第3 章科技成果奖励评价指标赋权方法研究 我国不少专家学者对科技成果奖励评价方法进行过探讨，大部分的研究工作 是借鉴国外已有相关成果，特别是对层次分析法和模糊综合评价法的应用，并在 此基础上进行进一步的发展研究。遇今、石柱【2 4 】在层次分析法的基础上，提出用 优序法对全部方案进行排序，进而得出最终评价结果。关天云1 2 5 】提出利用模糊综 合评价法对科技项目进行评审，采用模糊隶属度理论把定性指标定量化，同时运 用德尔菲法或根据项目特点给出指标权重。刘文田，丁浩【2 6 】提出在模糊综合评判 的基础上，利用灰色系统理论中的关联分析法对科技成果进行综合评价。 综观已有的相关研究，科技成果奖励评价问题包含了两大和核心因素：指标 集和专家集。因此，对该问题的研究也就转化为对这两个主要因素进行研究。具 体来说就是研究指标和专家的赋权及合成方法。传统的科技成果奖励评价方法( 如 同行评议法、模糊综合评价法等) ，都没有专门详细地考察指标权重的问题，即使 涉及到了指标权重，大多只是由权威性的专家按指标的重要程度主观给出。实际 上，科技成果奖励评价的正确与否，不仅受到指标本身的影响，在很大程度上还 受到每个指标相对重要程度的影响。在综合评价中，权重系数的确定非常重要， 它直接影响了综合评价的结果。随着多指标综合评价方法在管理、决策等领域的 深入研究，指标的权重问题也越来越受到专家学者的重视。不少学者在对传统的 评价方法加以改进的同时，从不同角度出发，构造出各种指标权重的确定方法。 有学者提出用专家意见法确定所研究问题的指标权重系数，通过向相关领域的权 威专家发放调查表咨询指标权重，然后再将所有专家的意见进行简单的算术平均， 即得指标最终的权重系数 2 ”。这种完全依赖于专家的定性方法显然带有很强的主 观性，所得结果难以令人信服。还有学者从指标信息含量等方面提出了熵权法等 一系列权重确定方法【2 8 】。目前比较常用的是美国运筹学家t l s a a t y 于2 0 世纪7 0 年代中期提出的层次分析法( a h p 法) 。层次分析法作为一种经典的评价方法到 目前为止仍活跃于管理决策领域。随着更多决策方法的出现，层次分析法更多的 时候作为一种指标权重的确定方法被广大学者加以应用。 笔者认为一套好的指标体系不仅要求每一个指标本身包含有足够多的信息来 对所研究问题进行解释，而且要求不同的指标必须从不同的角度反映问题的实质， 同时还能体现科技成果的不同功能。因此可以从指标信息含量、指标之间信息的 异质性、指标功能的相对重要性三个方面来考虑指标的权重问题。 1 0 硕l 学位论文 3 1 基于变异系数的指标信息含量赋权方法研究 3 1 1 变异系数权数的理论与方法 对多指标综合评价而言，指标体系中的各指标所包含的信息量是不同的，即 各指标对待评成果的分辨能力是有区别的。某些指标在各待评成果之问差异较大， 其分辨能力较强，包含的信息量就多；而某些指标在各待评成果之间差异较小， 其分辨能力较弱，包含的信息量就少。一般来说，如果某指标包含的信息量越多， 它在综合评价中的作用就越大，理应赋予较大的权数；反之则应赋予较小的权数。 特别地，如果某指标在各待评成果之间根本没有差异，即从评价角度来看不包含 任何信息，它在综合评价中将毫无作用，当属被剔除之列，理应赋予零权 2 们。 基于上述认识，信息量的大小反映了各指标变异程度上的差异。因此，如果 将这种差异加以量化，就得到了相应的信息含量权数。方差( 标准差) 是衡量各 指标变异程度的有效尺度。具体计算方法如下： 设指标体系包含厅个指标( 而，工：，) ，有f 个待评成果。令 则各指标的变异系数为： i 。= ；窆以 o = 1 ，2 ，胛) l l l s ! 窆( x f i ；) ：( f ：l ，2 ，m ) f - l 巧2 砉”1 ，2 ， 将巧归一化处理，即得各指标的信息量权数一为： o = 1 , 2 ，”) 3 1 2 实证分析 以我国国家科技部成果奖励处对某次国家科技进步奖( 技术开发项目) 的评 价为例，对本文研究的方法加以应用。在此次成果评价中，共有2 4 位专家对2 5 项成果评分，评价指标有5 个：技术创新程度、技术经济指标的先进程度、技术 创新对提高市场竞争能力的作用、已获经济效益、推动科技进步的作用，分别以五， 如，黾，毛，屯表示，评分范围为o 一5 分。权数计算过程与结果如表3 1 。 # 酗 ； 科 科技成果_ 奖励评价方法研究 表3 i变异系数赋权方法计算过程表 标准差 基丁变异系数的 评价指标指标代码均值标准差 系数 信息含鼙权数 技术创新程度 而 2 8 7 l 0 4 3 4 0 1 5 1 o 1 9 l 技术经济指标 的先进稃度 x 2 3 0 8 00 3 9 8o 1 2 90 1 6 3 技术创新对提高市 场竞争能力的作用 而 3 0 8 00 4 6 3o 1 5 2o 1 9 2 已获经济效益 x 4 3 0 3 50 5 5 70 1 8 40 2 3 3 推动科技进步的作用 3 0 3 60 4 3 8o 1 7 40 2 2 0 由此得到标准化的指标信息含量权数向量： 国1 = ：，珊：，；) = ( 0 1 9 1 ，0 1 6 3 ，0 1 9 2 ，0 2 3 3 ，0 2 2 0 ) 变异系数法是一种动态的客观赋权方法，指标权数随着评价客体范围、评价 指标组合的不同而发生变化【3 0 1 。变异系数赋权方法除了具有明显的动念性之外， 还具有简便易懂等特点，在科技成果奖励评价中具有很强的实用性。 3 2 基于指标信息异质性的赋权方法研究 3 2 1 指标信息异质性权数理论与方法 虽然多指标评价决策在现阶段决策管理等领域占据着越来越重要的地位，但 并不意味着所采用的指标越多越好，而是在尽可能精简的前提下，能充分地对问 题进行解释。不同的指标能够从不同的角度揭示所研究问题的本质。这样不仅能 减少因指标重复带来的繁重、冗余的工作量，而且还能更加精确地研究问题。因 此在考虑指标体系的权重时，有必要对指标问的异质性进行考察。本文将指标间 的相关系数作为衡量指标信息异质性的标准。当某个指标与其他指标的相关系数 小时，则认为该指标能从某个角度对问题进行独立的反映。因此，对该指标应赋 予较大的权重；相反，则认为该指标没有太大的价值，应赋予较小的权重。 令砖”表示在第k 个专家的评价结果中，指标而与x ，的相关系数。构造n 个 指标的相关系数矩阵r 仙) ： r ( o ： 睹) 墙) ，轻 ，窭 砖 ，! ： ，磐y 建，竺 将r ( t ) 矩阵按列求和，得到第后个专家评价意见中各指标与其他指标信息相关程度 1 2 ，喜，) 。将t 个专家向量中对应的元素进行几何平均， 可得到各指标与其他指标相关程度的综合向量， ， nn 、 叫，l ，综合 卢l，= l i m l 向量中每个元素值越大，表示指标_ 与其他指标的信息重复的越多，其权 数应越小。因此，可定义信息异质性权数为 一 m 川2 喙壶轰 将其o - - g ，得到标准的异质性权数2 = 簖，蛾2 ，：) 。 3 2 2 实证分析 利用专家1 的评分数据计算5 个指标的相关系数矩阵r ( 1 ) ： 心40 。：1 4 ：= 裟嚣 r 0 ) = l0 5 0 00 5 7 1 10 6 4 50 7 9 0 臆麓篙燃点罕 将矩阵r ( 1 ) 按列求和，得到第1 个专家评价意见中各指标与其他指杼信息相 关程度的向量l 窆，； ) ，窆，掣，窆艘l - 0 3 6 0 ，3 6 2 0 ，3 5 0 6 ，3 3 8 9 ，3 8 9 3 ) 。同理可计 l - ij ；li - i 一 算出其他2 3 位专家的相关系数矩阵r ( ”，r 0 ) ，r ( “) 以及相应的指标信息 相关向量，此处不再罗列。 将2 4 位专家指标信息相关程度向量中对应的元素进行几何平均，得到各指标 与其他指标相关程度的综合向量：0 5 6 3 ，4 4 5 5 ，3 6 1 3 ，3 4 5 5 ，3 7 0 0 ) 。因为综合向量中 每个元素的值越大，表示其对应的指标与其他指标的信息重复的越多，其权数应 越小。因此，可计算出信息异质性权数为： ，、r1 11 li 、 舻p - 哆，一，2 【磊石，石厨i 面，3 4 5 5 ，历丽j = ( 0 2 8 1 ，0 2 2 4 ，0 2 7 7 ，0 2 8 9 ，0 2 7 0 ) 将其归一化，得到标准的异质性权数： 国2 = ，2 2 ，) = ( o 2 1 0 ，0 1 6 7 ，0 2 0 7 ，0 2 1 6 ，0 2