（系统工程专业论文）基于物元分析理论的基金项目评审研究.pdf

大连理工大学硕士学位论文 摘要 随着科学基金在广大科技人员心目中地位的不断提高，基金的申报数量逐年上升， 基金项目评审的公正与客观愈加受到入们的关注和重视。评审专家的合理选择、项昌评 价的客观全面是基金项目评审中的重点研究内容，本文的目的就在于通过对专家的评价 以及专家与项目的相关度分析，合理地选择项目评审专家；并通过建立项目的综合评价 模型，客观地评价申报项目，从而保证基金项目评审的公正与客观。 基金项目评审系统是基金项目评审工作有效实施的重要手段，如何完善系统功能， 提高系统的运行能力等是建立基金项目评审系统的具体要求，要保证系统的有效运行， 提高基金项目评审工作的效率与基金项目评审的公正与客观，就需要有一套相应的理论 为基础。 首先，本文通过对基金项目评审工作的分析，结合实际项目经验，提出了基金项目 评审中有待解决与提高的若干关键问题，分析了这些问题的研究内容与意义。 然后，根据这些问题的具体需求，以物元分析理论为基础，提出了项目与项目之间 的相似度计算方法以及专家与项目之间的相关度计算方法，并建立了以专家评价指标体 系为基础的专家综合评价模型和以项目评价指标体系为基础的项目综合评价模型。并将 这些理论引入到基金项目评审工作中，提出了基金项目评审工作中项目资格审核、遴选 评审专家、顼目综合评价以及项目整合的具体方法，并通过实例验证了本文理论方法的 有效性与实用性。 最后，本文设计并运行了基于以上理论的基金项目评审系统，提出了基金项目评审 系统的体系结构，并给出了辽宁省基金项目评审系统的数据库实现与功能实现的部分示 例。 关键词：科学基金；项目评审；项目整合；综合评价；物元分析 基于物元分析理论的基金项目评审研究 f u n dp r o je c te v a l u a t i o nr e s e a r c hba s e do nt h em a t t e r e l e m e n ta n a l y s i s t h e o r y a b s t r a c t t h ef a i ra n do b j e c t i v eo ft h ef u n dp r o j e c te v a l u a t i o ng e tm o r ea t t e n t i o na l o n gw i t ht h e r i s i n go ft h es c i e n c ea n dt e c h n o l o g yf h n dp o s i t i o na n dt h er i s i n go ft h en u m b e ro ff u n d p r o j e c t s t h ek e yr e s e a r c ho f f u n dp r o j e c te v a l u a t i o ni st h er e a s o n a b l es e l e c t i o no fe v a l u a t i o n e x p e r t sa n dt h eo b j e c t i v ea n dc o m p r e h e n s i v eo fp r o j e c te v a l u a t i o n t h ep u r p o s eo f t h i sp a p e r i st os e l e c te x p e r t sr e a s o n a b l eb yt h ee x p e r te v a l u a t i o nm o d e la n dt h ec o r r e l a t i o na n a l y s i s a b o u te x p e r t sa n dp r o j e c t s ，a n de v a l u a t ep r o j e c t so b j e c t i v e l yb yt h ep r o j e c tc o m p r e h e n s i v e e v a l u a t i o nm o d e lw h i c he n s u r et h ef a i ra n do b j e c t i v eo f t h ef u n dp r o j e c te v a l u a t i o n f u n dp r o j e c te v a l u a t i o ns y s t e mi st h ee f f e c t i v em e a n so ft h ef u n dp r o j e c te v a l u a t i o n w o r k ，h o wt oi m p r o v et h es y s t e mf u n c t i o na n di m p r o v et h eo p e r a t i o no ft h es y s t e mi st h e r e q u i r e m e n to ft h ee s t a b l i s h i n gf u n dp r o j e c te v a l u a t i o ns y s t e m t oe n s u r et h ee f f e c t i v e o p e r a t i o no ft h es y s t e m ，i m p r o v et h ee f f i c i e n c yo ft h ef u n dp r o j e c te v a l u a t i o nw o r ka n d e n s u r et h ef a i ra n do b j e c t i v eo ft h ef u n dp r o j e c te v a l u a t i o n ，w en e e dac o r r e s p o n d i n g t h e o r e t i c a lb a s i s f i r s t ，b a s e do nt h ea n a l y s i so ft h ef u n dp r o j e c te v a l u a t i o nw o r k ，a n dc o m b i n i n gw i t h a c t u a lp r o je c te x p e r i e n c e ，t h i sp a p e rp u tf o r w a r ds o m i ；t ob ei m p r o v e da n ds o l v e dp r o b l e m s ， a n da n a l y z e st h er e s e a r c hc o n t e n ta n dt h em e a n i n go f t h e s ep r o b l e m s t h e n ，a c c o r d i n gt ot h es p e c i f i cn e e d so ft h e s ep r o b l e m sa n db a s e do nt h em a t t e r - e l e m e n t a n a l y s i st h e o r y ，t h i sp a p e rp u t sf o r w a r das i m i l a r i t ym e t h o do fp r o j e c t sa n dac o r r e l a t i o n m e t h o do fe x p e r t sa n dp r o j e c t s ，a n db u i l d sae x p e r te v a l u a t i o nm o d e lb a s e do ne x p e r ti n d e x s y s t e ma n dap r o j e c te v a l u a t i o nm o d e lb a s e do np r o j e c ti n d e xs y s t e m t h i sp a p e rp u t st h e s e t h e o r i e si n t ot h ef u n dp r o j e c te v a l u a t i o nw o r k ，a n dp r o p o s e st h em e t h o d so fp r o j e c t q u a l i f i c a t i o na u d i t ，r e v i e we x p e r ts e l e c t i o n ，p r o j e c tc o m p r e h e n s i v ee v a l u a t i o na n dp r o j e c t i n t e g r a t i o n ，a n dp r o v e st h et h e o r e t i c a la n dp r a c t i c a lo f t h e s em e t h o d sb yt h ea c t u a lp r o j e c t f i n a l l y , t h i sp a p e rd e s i g na n di m p l e m e n taf u n dp r o j e c te v a l u a t i o ns y s t e mo ft h ea b o v e t h e o r y ，a n dp u t sf o r w o r dt h es t r u c t u r eo ft h ef u n dp r o j e c te v a l u a t i o ns y s t e m ，a n dg i v e ss o m e p a r t i a le x a m p l e so f t h el i a o n i n g p r o v i n c ef u n dp r o j e c te v a l u a t i o ns y s t e m k e yw o r d s ： s c i e n c ef u n d ，p r o j e c te v a u a t i o n ，p r o j e c ti n t e g r a t i o n ，c o m p r e h e n s i v e e v a l u a t i o n ，m a t t e r e l e m e n ta n a l y s i s i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 学位论文题目：甚圣丝堑玺妇逛鱼鱼丝垒：! 垒望! 圣窒墨叠盘 作者签名： 垄嗡峰日期：驾 年j 上月j 日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目i 作者签名： 导师签名： 日期：单年旦月卫日 魄让学且月咎日 大连理工大学硕士学位论文 1 绪论 1 1 研究背景 国家自然科学基金委员会的成立以及全国各行业科学基金组织的相继兴起，把竞争 机制引入到科技工作当中，有效地促进了我国科技与经济的发展，成为我国科技投入的 重要途径。因此，不断改进我国科学基金的评审工作，加强我国科学基金的有效投入， 是科学基金管理工作中最基本和最重要的任务，也是科学基金管理工作者不断探索与努 力实践的课题。 以“政府拨款、宏观引导、自由申请、民主评审”为主要特征的科学基金制是发达 国家资助基础研究最有效的途径之一n 。我国1 9 8 2 年试行国家自然科学基金，1 9 8 6 年 成立国家自然科学基金委员会，此后，许多省( 市) 相继建立地方科学基金，并取得不断 发展。这标志着以国家自然科学基金为主、各行业和地方科学基金为辅的科学基金体系 在我国已经建立起来，我国对基础研究和应用基础研究的支持进入科学基金制的主渠道 脚。伴随着科技体制改革而诞生的科学基金制，经过十多年的成功实践，已初步建立包 括咨询、决策、执行、监督四个系统相协调的管理体系，在资助项目、培养人才、稳定 基础研究队伍、提高研究水平等方面起到了重要的推动作用，成为我国支持基础研究的 主要渠道之一1 。 近几年省级基金项目的立项评审工作日益受到广大科技工作者和各级基金委员会 的关注，申报数量逐年上升。基金项目越来越受到各级行政机关的重视，基金委员会也 设法将有限的资金投入到有希望取得较大成果的项目中去，科学基金在广大科技人员心 目中的地位不断提高。可以预见，随着高等教育的不断发展，高校数量的迅速增加，科 研力量的不断加强，申报省基金的竞争也将越来越激烈，其项目评审的公正性将成为广 大申报者密切关注的问题。因此，加强基金项目的评审管理，努力做到“依靠专家，发 扬民主，择优支持，公正合理 ，对于提高资助基金项目的研究水平和应用价值，以及 提高投资绩效，发展本省经济，具有十分重要的意义。 随着计算机技术及网络技术的不断发展，基金项目管理工作的自动化程度不断提 高。许多省( 市) 相继推出了各自的基金项目管理系统，提高了管理水平和工作效率，减 少重复劳动和工作误差，基金项目评审工作的自动化程度也得到了进一步的提高。2 0 0 2 年，辽宁省科技基金委员会率先推出了基金项目网上评审系统，标志了基金项目评审工 作向网络化进军的一个新趋势。 基于物元分析理论的基金项目评审研究 另外，由于各省科技工作的重心不同，各省科技基金资助的主要方面不尽相同，而 且同一个省不同年份的资助重点也不一样，这就需要基金项目评审系统具有一定的灵活 性，可以根据不同的需求，采用不同的项目评分标准，以实现不同的资助目的。 综合以上分析，为了达到提高科学基金资助项目水平、增强科研成果储备的最终目 的，需要进一步提高基金项目管理工作，特别是加强省科学基金项目立项评审的管理工 作。而传统的工作方式与评价方法已经不能满足现有的需求，亟待改进。目前，基金项 目评审的网络化已成为一种新的趋势，基金项目评审系统的科学性与灵活性的提高也是 一个亟待解决的重要方面。 1 2 课题来源、研究目的和意义 大连理工大学系统工程研究所党延忠课题组于1 9 9 9 年开始对辽宁省科技厅科技基 金项目管理系统进行研究、分析、设计，从最开始的辽宁省科技基金申报系统发展为辽 宁省科技基金项目管理系统，到如今的辽宁省科技基金公共管理平台，经历了无数次的 研究、探讨与完善。 在参与辽宁省科技厅科技基金项目管理系统的设计与开发工作中，我们全面的了解 了科技项目评审的全过程，并丌始思考在实践中遇到的各种关于目前科技项目评审同行 评议方法存在的问题。 在项目审核工作中，大多数都是对申报项目的简单形式审查，而没有对申报项目进 行深层次的分析，出现不少对某一研究内容重复资助的现象，不仅浪费了基金资会，还 浪费了大量的人力物力资源。因此，如何发掘研究内容重复的项目是提高基金资助效力 的基础之一。 在项目评审时，经常会出现某些专家抱怨分配给他的项目和他研究的方向不相关， 无法进行评审的情况，表明了为项目分配评审专家的算法具有一定的缺欠，如何准确的 为项目分配评审专家是科技项目评审工作一直追求的目标。 在项目评审结果的汇总过程中，可以发现对于同一个项目，专家评审的结果可能大 相径庭，而且常常出现有些不负责任的专家对所有评价指标全打一个分数的情况，还有 某些专家由于人际关系对其评审的项目特殊照顾的情况等。这些情况都反映了评审专家 的良莠不齐，因此，如何建立科学与可行的专家评价体系，以便选好、用好专家，是当 前亟待解决的问题。 在项目评价中，常觉得对项目得分的简单计算无法全面客观的评价项目的综合水 平，另外，由于某些地域或科研单位的研究能力整体水平较高，受资助的项目也多，而 大连理工大学硕士学位论文 某些地域或科研单位的研究能力比较差，而常年得不到资助，这样不利于地区的平衡发 展，因此，建立健全项目的综合评价指标体系也是科技项目评审工作的重点内容。 在对申报项目进行综合排序后，发现有些应用前景很好的项目由于其他方面的不足 而不能列入资助项目，常为这样的项目感到惋惜，如果能有某种方法使这样的项目在不 足的方面得以补充而受到资助的话，那么这样的研究一定能够创造出更大的经济与社会 价值。因此，针对这种需求而进行的项目整合是科研项目综合发展的必然趋势。 综上所述，对申报项目的深入审查、对项目评审专家的有效分配、对评审专家与申 报项目的综合评价以及对项目的整合研究是本文研究的重点，其在科技项目评审中具有 重要意义。 1 3 国内外研究现状分析 1 。3 1 科技项目评价概述 科技项目评价是针对特定的目的，由专门的机构根据国家或行业的有关科技政策、 法规和相关资料，本着客观、公正、科学、可行的原则，按照规定的程序，运用科学的 方法和手段，对科技项目进行研究、分析、和判断的过程科技项目评价主要涉及主体、 客体、目的、程序、标准和方法等基本要素。科技项目评价是在科技项目管理中建立竞 争、激励与监督机制的基础和前提，是科学决策、确保科技任务完成的可靠依据，是判 断科技项目实施绩效、成果水平的重要支撑，提高科学技术管理水平的重要手段和保障。 评价方法则是指具体实施评价工作的技术、手段和工具晦1 。 对科技项目评价方法的研究，是一项集评价理论、评价方法与具体操作系统为一体 的综合性研究项目。科技项目评价是针对特定的目的，由专门的机构根据国家或行业的 有关科技政策、法规和相关资料，本着客观、公正、科学可行的原则，按照规定的程序， 运用科学的手段，对科技项目进行研究、分析和判断的全过程。科技项目评价是科学技 术管理体系中的重要环节，它既是管理过程的出发点，又是管理过程的归宿，对于加强 科技项目的管理，提高科技资源配置的有效性和投资效益有着重要的作用7 。 自2 0 世纪5 0 年代以来，国际上对科技项目评价方法的研究和实际应用方面都取得 了一些成绩，项目评价与决策已经发展成为一门新型综合性科学。但由于科技项目本身 固有的属性( 如技术的不确定性、效益的不易判断性、项目的多样性以及项目产出的复 杂性等) ，以及在科技项目评价实践活动中各基本要素缺乏统一的规范，使得建立起一 套系统化、科学化的科技项目评价方法变得非常困难呖1 。 从国内外的科技项目评价实践来看，目前评价研究的重点是制定规范的评价程序， 针对特定的评价对象选择适用的评价模型和数据处理方法，以及对经典的评价方法加以 基于物元分析理论的基金项目评审研究 改造，以适应特定的评价对象h 1 。随着科技的不断发展，通过总结经验教训，对原有科 技项目评价方法及评价指标体系等进行修订显得尤为迫切。 根据多年的实际经验，本文认为科技项目评价的重点在于对影响评审结果的多方面 因素进行分析评价，包括对申报项目的应用前景、项目的研究内容、项目研究人员的能 力等方面进行评价，以及对评审专家的选取，评审权重的确定：建立项目评审的综合评 价指标体系以及确定具体的评价方法等。 1 3 2 科技项目评价方法的分析比较 国内外常用的科技项目评价方法可以分为定性的和定量的两类，其中定性的方法主 要有：同行评议法( 专家会议法) 、专家咨询法( d e l p h i 法) 、指标评价法以及面访与问卷 法，定量的方法主要有：经济评价法、层次分析法( a h p 法) 、多属性和多目标决策方法 以及模糊综合评价法哺。1 剀。本文主要从管理学角度出发，对同行评议法、综合评价方法 中的d e l p h i 法、层次分析法以及数学方法中的模糊综合评价法进行分析比较，并对其 在科技项目评价应用中的优劣势进行分析，在此基础上，提出本文对科技项目评价所采 取的方法为基于物元分析理论的综合评价方法。 下面对常用的评价方法进行比较。 ( 1 ) 同行评议法 同行评议法从广义上是指充分依靠科学家群体进行民主管理，引入竞争机制，择优 支持，从而使得知识生产的要素得到优化配置的一种方法。从狭义上来说，同行评议是 某或若干领域的专家采用一种评价标准，共同对涉及相关领域的一项事物进行评价的 活动，其评议结果对有关部门进行决策有重要参考价值。对于科学系统，其评价对象为 一项知识产品一人们进行知识生产活动所得产品。知识产品可分为精神产品( 如论文、 论著、新工艺、新方法) 和物质产品。如果仅就科技项目立项进行评审( 例如我国国家自 然科学基会委员会和美国国家科学基金会的基金项目) 而言，同行评议可以理解为，由 科学系统中的同行专家组成的群体根据一定的标准，对提交的申请项目进行评议，这样 评议得出的结果可以作为有关部门确定资助项目( 科学资源的分配) 的重要依据川。 现阶段，同行评议主要在以下五个方面应用较为普遍：评审科技项目的申请； 评审科学出版物；评定科研成果；评定学位与职称；评议研究机构的运作。同行 评议在这五个方面应用的本质是相同的n 副。 在科研项目立项的评审中，同行评议按照其运作方式通常有四种类型n 劓：通信同 行评议；专家小组( 或委员会) 同行评议；现场同行评议；内部同行评议。在上述 大连理工大学硕士学位论文 四种同行评议方法中，就评议一份待评项目的申请书而言，通信同行评议是最为经济的 方法。 虽然同行评议的方法被经常使用，但并没有被人们认为是“绝对公正 。同行评议 由参与评议活动的专家和他们用以评价事物的标准构成，在评议过程中难免会出现人情 关系网、“马太效应等问题n 利，这些问题己越来越被人们所注意。在美国和英国都曾 发生过对同行评议的不信任案，甚至要求国会出面调查同行评议的不公正性。美国试图 用科学选择理论和引文计量法来取代同行评议过程中难以克服的这些缺点。而且有专家 学者提出，同行评议在研究领域中并不是可以同等适用，在对基础型研究或一些耗时比 较长的研究中，其最终的研究成果是不可预测的，而且是难以量化的，基于同行专家自 身的经验、性格和对研究方向的把握等原因，不同的专家会做出不同甚至是截然相反的 判断瑚。 为了保证同行评议制的正常运行，有必要对同行评议专家制定某些约束性的规定。 在选择同行评议专家时应考虑诸多的因素，例如他们的专业技术水平、分布区域以及个 人品质、职业道德等社会因素。另外，由于国外为同行评议法设计的许多指标系统与我 国国情有较大的差别，应用时应十分慎重n 副。 ( 2 ) 综合评价法 综合评价法是对多种因素所影响的事物或现象进行总的评价。它的基本思想是首先 根据综合评价的目标，对客观事物的影响因素进行分解，以构造不同层次的统计指标体 系，然后对这些指标进行指标赋值并确定其权重系数，最后采用综合评价模型进行综合， 得到综合评价值，以此进行排序和评价u 6 。1 7 1 。 目前应用综合评价方法主要面临两个问题喳1 ：一是如何选择合适的评价指标，确定 评价指标的体系结构；二是如何进行指标权重的确定。指标赋值和指标权重系数的确定 构成了综合评价方法的两大内容。在指标体系构成以后，指标赋值用于将量纲不同、单 位不一致、对总目标作用大小不一、不能直接相加的指标值过渡到可直接相加汇总的指 标值。指标权重系数依据各层指标对总目标评价贡献份额的大小来确定。目前指标权重 的确定主要存在两种办法聆，： 一是客观判断法。客观判断法的思想是：从评估对象的数据出发，根据数据本身的 信息进行提取分析，确定权系数大小。而数据的信息是指：如果某评价指标对应的数据 相差不大( 方差小) ，则此项指标对区分评价对象贡献不大，所以相应的权重就小。而如 果某评价指标对应的数据相差很大( 方差大) ，则说明此项指标对区分评价对象贡献很 大，所以其对应的权重就大。这种权重的确定办法，可以使最终的综合评价得分尽可能 基于物元分析理论的基金项目评审研究 分散，有利于对评价对象进行评价和排序。这种方法的缺点是过分依赖于客观数据，忽 视了专家私人信息的重要性。 二是主观判断法。主要是通过利用专家自己所掌握的信息，对测度评价对象好坏的 各个指标进行打分，从而获得各指标的权重。此类方法的优点是：可以充分利用专家的 私人信息，把握住对评价对象评价的本质性问题，同时还可以起到政策导向等功能。但 其缺点是主观性较强。此类方法中，具有代表性的有专家咨询法( d e l p h i ) 。 专家咨询法( d e l p h i ) 是一种主要依靠人的经验、知识及综合分析能力的直观型预测 方法。由美国蓝德公司于5 0 年代首创，后来推广到了决策中；联邦德国创造学学者格 什卡将其主要原理和程序借用于寻求创意上，提出了“德尔菲构想法”。其主要内容是： 就某一创新问题挑选5 - 2 0 名有关专家做函询调查，征集创意对象。要求复函时间为半 个月左右，受到全部复函后，组织者将专家们提出的构想概括、整理，删去重复的内容， 归纳成一份综合的构想概括表，然后将此表重新邮寄给专家，请他们能在别人所提创意 的启发下提出新的构想或对自己己有构想进行补充、修改和完善根据情况需要，以上过 程重复若干轮次最后一轮次，拟出数条评价标准，连同整理后的构想一起寄发给专家， 请他们据此对各条构想做出自己的评价。全部意见返回后，即可参考大多数意见做出最 后的选择u 圳。 专家咨询法适用于科技项目评价指标的确定。 ( 3 ) 层次分析法 层次分析法( a n a l y t i ch i e r a r c h yp r o c e s s _ a h p ) 是多目标决策的方法之一，由美国 匹兹堡大学教授萨蒂( tls a a t y ) 于7 0 年代提出，尤其适用于决策结果难于直接准确计 量的场合。其基本步骤为：首先把问题条理化、层次化，根据问题的性质和要达到的总 目标，将问题分解为不同的组成因素，并按照因素间的相互关系、影响以及隶属关系， 将因素按不同层次聚集组合，形成个多层次的分析结构模型，并最终把系统归结为目 标层( 实施评价的出发点或目标) 、准则层( 评价的标准) 、指标层( 评价的具体指标) 和方 案层( 待评价事件) 4 个层次；再选择1 - 9 个比率标度方法判断数量化，构造出比较判断 矩阵；最后通过数字计算并进行一致性检验后可得出指标层的相对重要权重值或方案层 相对优劣的排序值层次分析法适用于指标权重的确定“引。 层次分析法( a n a l y t i ch i e r a r c h yp r o c e s s _ a h p ) 是从定性分析到定量分析综合集成 的一种典型的系统工程方法，针对多层次结构的系统，用相对量的比较，确定多个判断 矩阵，取其特征跟所对应的特征向量作为权重，最后综合出总权重，并且排序，得出结 论。 大连理工大学硕士学位论文 在近年来提出的确定权重的主要方法中，a h p 将人们对复杂系统的思维过程数学化， 将人的主观判断为主的定性分析进行定量化，将各种判断要素之间的差异数值化，帮助 人们保持思维过程的一致性，适用于复杂的模糊综合评价系统，是目前一种被广泛应用 的确定权重的方法。a h p 在实用中存在的主要问题是如何构造、检验和修正判断矩阵的 一致性问题和计算判断矩阵各要素的权重巧1 。 该方法的可靠度比较高，误差小，评价对象的因素不能太多( 一般不多于9 个) ，否 则结论不准确，所以主要适用于成本效益决策、资源分配次序、冲突分析等肺1 。 目前已提出的处理方法的主要问题是主观性强、修正标准对原判断矩阵而言不能保 证是最优的或只对判断矩阵的个别元素进行修正，但至今尚没有一个统一的修正模式， 实际应用时多数是凭经验和技巧进行修正，缺乏相应的科学理论和方法指导嵋1 。 在科技项目评价中，运用a p h 确定指标权重一般分为五个步骤1 ：建立问题的递 阶层次结构；构造两两比较判断矩阵；进行层次因素( 指标) 单排序数值的计算； 进行a p h 判断矩阵一致性检验；计算各层指标的组合权重。 ( 4 ) 模糊综合评价法分析 模糊综合评价法( f u z z yc o m p r e h e n s i v ee v a l u a t i o n e f c e ) 属于模糊数学方法，是 把定性分析和定量分析综合集成的一种常用方法，该方法引入隶属函数，实现把人类的 直觉确定为具体系数的模糊综合评价矩阵中，在论域上评价对象属性值的隶属度，并将 约束条件量化表示，进行数学解答，克服传统数学“唯一解”的弊端，根据不同可能性 得出多个层次的问题解，符合现代管理“柔性管理 的思想哺1 。 目前模糊综合评价的研究难点之一，就是如何科学、客观地将一个多指标问题综合 成一个单指标的形式，以便在一维空间中实现综合评价，其实质就是如何合理地确定这 些评价指标的权重晡1 。 由于对科技项目评价产生影响的相关因素较多，且评价标准与影响因素本身没有严 格的界限可分，具有模糊性。又由于评价是根据明确的目的来测定对象的属性，并将这 种属性表示为主观效用( 满足主观欲望的程度) 的行为。模糊综合评判能将专家在评价过 程中的不确定的思想和定性的看法定量化，并吸收众多专家的意见，经过数学变换作出 合理的判断。因此，对科技项目的评价宜采用模糊综合评判法3 。 模糊综合评价已在工程技术、经济管理、决策中的专家系统和消费者的偏好识别等 社会生活中得到广泛应用。 ( 5 ) 其他评价方法分析 经济评价法属于技术经济评价法，主要通过价值分析、成本效益分析、价值功能分 析、采用n p v 、i r r 、t 等指标来计算比较得出结论。该方法含义明确，可比性强，但建 基丁物元分析理论的基金项目评审研究 立模型比较困难，数据难以预测，结论可能失真，所以主要适用于大中型投资建设项目、 企业设备更新和新产品开发效益评价等坤3 。 多属性和多目标决策方法属于多属性决策方法( m o d m ) ，主要通过化多为少、分层序 列、直接求非劣解、重新排次序法来排序和评价。对评价对象描述比较精确、可以处理 多决策者、多指标、动态的对象，但是无法涉及有模糊因素的对象，所以主要适用于优 化系统的评价与决策、应用领域广泛呻1 。 通过以上对评价方法的分析比较，可以看出定性的方法操作简单，可以利用专家的 知识，结论易于使用，但由于主观性比较强，多人评价时结论难以收敛，所以主要适用 于战略层次的决策分析对象，如不能或难以量化的系统m 1 。定量的评价方法中层次分析 法、模糊综合评价法以及多属性和多目标决策方法用起来需要有很高的专业知识，一般 对进行评价的人员要求很高。 其中在定性的研究的时候，评价指标的制定是一项很复杂的工作，一般而言，指标 的范围越宽，数量越多，则方案的差异越明显，越有利于判断和评价，但指标的确定也 就越困难。因此，在确定指标时需要有关人员在全面分析信息的基础上拟定草案，经过 广泛的征求专家的意见和有关部门的意见，反复交换信息，进行统计处理、综合归纳和 模拟试评价，最后才能确定指标评价体系。在进行定量的研究的时候，会遇到数据难收 集、评价结果不精确、模型建立比较困难等问题哺1 。 不同的评价方法，评价的侧重点和落脚点也不尽相同。不同方法的结合使用可以互 相弥补不足，同时又恰到好处的发挥各自的优点，使得综合评价更具有科学性、客观性 和准确性。针对同一个科技项目，采用不同的评价方法可能会得出不同的评价结果。因 此，在实际的评价工作当中，除了需要有较高的评价水平外，还要求评价工作者对评价 对象及其业务流程比较熟悉，对其本质属性有较深的了解，掌握各种评价方法的优点和 不足，能依据从评价工作中获得的实践经验结合特定的情况，根据评价准则，发挥某种 评价方法的长处，避免某种方法的短处，灵活地进行取舍，设计出较为合理、适用的评 价方法n 9 吨。 要对复杂对象系统进行有效的综合评价，就必须将评价专家( 群体) 的经验和知识、 评价指标的数据信息、多种综合评价方法有机结合起来，从而构成一集成式综合评价体 系2 2 2 3 】。 大连理工大学硕士学位论文 1 4 研究对象及主要内容 1 4 1 研究对象 本文的选题来源于辽宁省重点基金项目“基于网络的辽宁省科技基金项目管理系统 研究 ( 2 0 0 2 2 1 6 6 ) 和“基于网络的辽宁省科技基金公共管理平台研究 ( 2 0 0 4 2 1 5 7 ) ，目 的在于建立合理的专家遴选原则与项目评价方法，并以此为基础构建基金项目评审系 统，实现基金项目评审的公正与客观。 项目是项目评审的对象，专家是项目评审的主体，因此，对基金项目评审的研究主 要是对待评项目与评审专家的相关研究。本文通过物元表示法来客观的表述项目与专家 的信息，并通过物元分析法对项目与专家进行评价，研究了项目之间的相似度模型、专 家和项目的相关度模型、专家的评价模型以及项目的评价模型，并以此为基础，建立了 基于物元理论的基金项目评审系统。 1 4 2 主要内容 本文共分为五章，每章的主要研究内容如下： 第一章是绪论，介绍了本文的研究背景、课题来源、研究目的和实际意义，综述了 科技项目评价方法的国内外研究现状，然后提出了本文的研究对象和主要内容。 第二章通过对基金项目评审工作过程的分析，结合实际项目经验，提出了基金项目 评审中的若干关键问题，并深入分析了这些问题的研究内容与意义。 第三章以物元分析理论为基础，同时结合基金项目评审的实际应用背景，提出了项 目相似度算法和专家一项目相关度算法，建立了专家评价指标体系和专家综合评价模型， 以及项目评价指标体系和项目综合评价模型。 第四章将本文理论引入到基金项目评审工作中，提出了基金项目评审工作中项目资 格审核、遴选评审专家、项目综合评价以及项目整合的具体方法，并进行了实例验证。 鉴定了本文理论在基金项目评审中实施效果，确立了本文理论的实际应用基础。 第五章是基金项目评审系统的构建与实现部分，提出了基金项目评审系统的体系结 构，并给出了辽宁省基金项目评审系统的数据库实现与功能实现的部分示例。 基于物元分析理论的基金项目评审研究 2 基金项目评审中若干关键问题的提出 2 。1 基金项目评审的工作过程分析 科技项目评审工作是在项目申报上来后，对项目进行全面审核并最终确定预资助项 目的工作，科技基金项目评审工作的全过程( 如图2 1 所示) 可以分为四个阶段：信息采 集阶段，评审前期阶段，评审阶段，及评审后期阶段。 图2 1 基金项目评审l ：作过程 f i g 2 1f u n dp r o j e c te v a l u a t i o np r o c e s s 信息的采集包括专家信息的采集与项目信息的采集，专家信息分为专家自然信息和 专家能力信息，项目信息主要是受理项目的自然信息与隐含信息。为项目分配专家时， 依据所采集的专家信息，以定的算法得出专家信誉度，依据所采集的项目信息，在同 一学科专业内，选择信誉度高的专家进行评审工作。评审前期阶段主要包括根据当年的 政策方针和资助重点确定各项指标权重，进行项目的初审工作，并依据相应的匹配原则 与算法为项目分配评审专家等。项目评审阶段主要包括，分配项目的专家通过网络对所 分项目评审进行确认，对可以评审的项目进行审核后填写评审意见表，将评审意见反馈 到基金中心，其间，基令中心针对项目评审情况进行调控，以确保项目评审工作的顺利 进行等。评审后期阶段主要是基金中心对项目评审结果进行汇总，依据相应的评价算法， 对项目进行综合评价，进行项目的整合并最终确定预资助项目。 2 1 1 信息采集阶段 ( 1 ) 项目信息采集 项目信息采集主要是对申报项目的信息进行挖掘、整理与存储的过程，这旱的项目 信息既包括项目的基本信息如项目的申报领域、所属学科等，也包括对项目材料内容进 行信息挖掘整理出来的信息等，按照系统的数据规范对这些项目信息进行统一的编码后 存储于系统的项目信息库中。 ( 2 ) 专家信息采集 专家信息采集主要包括专家自然信息的采集和专家能力信息的采集，专家的自然信 息是专家的基本情况信息如专家的年龄、适评专业等，专家的能力信息是专家和项目评 审有关的一些信息如专家的评审次数、专家评审结果的准确程度等。 大连理工大学硕士学位论文 2 1 2 评审前期阶段 评审前期管理是在项目评审前基金中心需要做的准备工作，主要包括设置指标权 重、对评审项目进行初审和分配评审专家等。 ( 1 ) 设置指标权重 基金管理部门根据本年度基金资助的政策方针与资助重点确定各项项目评审指标 的权重，包括项目评价指标权重的设置、资助领域权重的设置、申报单位权重的设置以 及地域权重的设置等。 ( 2 ) 项目初审 由于基金项目的申报量逐年增加，项目质量参差不齐，所以，基金管理部门在为项 目选择评审专家之前，首先要对基金项目进行初审工作，拿掉一些不规范、低质量、没 有资助价值的项目，从而为项目评审专家减轻负担，并减少相关的费用支出。项目初审 工作主要分为以下几个方面： 项目申请部门的严格把关。项目初审工作首先就是要求基金项目申请部门对本单 位申请的项目进行严格把关，确保本单位申请项目的质量。 形式审查。经过项目申请部门的严格把关后，基金管理部门要对申请上来的项目 进行形式审查，即对项目申请人的申请资格，申请项目是否符合规定要求等进行审查， 对不符合要求的项目取消其参加项目评审的资格。 与以往资助项目相似度计算。将当年申请的项目与以往受资助的项目进行相似度 计算，若与以往受资助项目相似度高，则说明此类研究已经受到过资助并已取得相应的 成果，则此类项目不予参加评审。 对项目的初审首先要对申报项目进行形式审查，拿掉不符合申报规定要求的一些项 目，然后将当年的申报项目与往年的受资助项目进行相似度分析，对于与往年受资助项 目相似度大于一定值的申报项目，认为其研究内容已受过资助并取得成果，没有必要再 重复研究，故取消其评审资格。 ( 3 ) 分配评审专家 分配评审专家就是通过待评项目与相应领域专家的相关度计算，确定各待评项目的 评审专家，这里不仅可以根据项目的学科专业和专家的学科专业来进行匹配，还可以根 据项目的研究内容与专家的相关描述来进行匹配工作。将专家分配完成后，就可以进入 项目评审阶段。 2 1 3 项目评审阶段 确定了各待评项目的匹配专家后，将全体专家信息进行统计后，通知相应的专家在 基于物元分析理论的基金项目评审研究 某一时间段对所分配的项目进行评审，进入项目评审阶段。项目评审阶段的管理主要是 在项目评审过程中对专家反馈和评审进度的管理。 ( 1 ) 专家反馈管理 专家反馈管理就是对专家在评审过程中的信息反馈进行处理，例如，若评审专家认 为分配给他的项目中有不适合自己评审或没有能力评审时，可以将相应的项目返回给基 金管理部门，基金管理部门将对专家返回的项目再次进行专家分配等。 ( 2 ) 评审进度管理 对评审进度的管理是对整个评审过程的把握，确评审工作顺利进行，如对于迟迟没 有登录系统评审项目的专家进行催促，若仍不参与评审则取消其评审资格，并记录在案 作为专家评价的一项依据，对其所分配项目则另行分配专家。 2 1 4 评审后期阶段 评审后期管理是在网络评审后基金中心对评审结果进行综合评价、进行项目的整合 并确定预资助项目等一系列工作，主要包括项目评价管理、项目整个管理和项目资助管 理。 ( 1 ) 项目评价管理 项目评价管理中，首先对各个评审项目的专家评审结果进行汇总，根据项目的综合 评价算法计算出各评审项目的综合得分，确定其隶属于的评价等级；然后对项目的评价 结果进行加权与定性综合后，进行项目评价结果排序，确定各项目的优良等级。 ( 2 ) 项目整合管理 在项目整合管理中，基金中心根据排名靠前的项目相似度计算，考虑到人文、地域 等因素，将一些应用前景不错的项目进行整合成为一个大的项目，重点资助。在对项目 进行综合评价的过程中，我们可以看出某些项目在某些评价指标代表的方面能力较强， 但由于其他方面的弱势使得其综合得分较低，属于不予资助的范围。比如，有些项目的 应用前景比较好但研究能力略差，有些项目研究能力较强但研究内容不好等。对于这样 的项目，基金管理部门可以进行有目的地整合，将几个研究内容相近、排名比较靠前的 项目整合起来，发挥每个项目的优势，进行优势互补，使这样的项目得以资助。 ( 3 ) 项目资助管理 项目资助管理中，基金中心根据项目评审的综合结果与项目整合结果确定当年的预 资助项目，送与领导审核后确定当年资助项目，并编写资助计划。 2 2 基金项目评审中的若干关键问题 通过基余项目评审的工作过程分析，我们总结出基金项目评审中的一些关键问题。 大连理工大学硕士学位论文 这些问题是在具体实践中总结出来的，是基金项目评审中的普遍问题与关键问题，也是 最难解决的问题。 2 ，2 。1 项目审核中的项目相似度问题 通过前面的分析，在项目初审中不仅要对申报项目进行形式审查，还要对申报项目 与以往资助项目之间进行相似度计算，确定申报项目与以往资助项目的相似程度，从而 判断申报项目的研究内容是否已受过基金资助，这是对项目审核的深层次分析，需要相 应算法的支持。 2 2 2 遴选专家中的专家一项目匹配问题 在遴选专家时，以往采取的遴选方法主要是通过专家与项目的研究领域、研究学科 等基本信息简单的匹配，匹配的准确性不高，导致专家返回的项目数很多，因此，对专 家一项目匹配算法的改进是基金项目评审的工作需要，是提高匹配准确性、提高项目评 审质量的具体需求。 2 _ 2 3 项目评审中的专家评价问题 项目评审中对专家的考核是保证项目评审质量的基本措施，其最基本的方法就是建 立一套完善的考核标准和考核算法。对专家的评价首先要建立一个能够反映专家科研能 力与评审能力的评价指标体系，在此基础上采用综合的评价算法对专家进行评价。因此， 指标体系与评价算法的研究是解决专家评价问题的关键。 2 2 4 项目评审中的项目评价问题 对基金项目进行评审，最根本的目的就是对项目进行评价，项目评价的标准与方法 历来是项目评审研究的重点问题，要建立一套完善的项目评价体系，就需要完善项目的 评价指标体系和项目的评价算法。项目的指标体系要能够全面客观的反映项目的各个方 面，项目的评价算法要能够对项目进行定性与定量的分析。 2 2 5 项目资助中的项目整合问题