（企业管理专业论文）社会科学项目综合价值分析与软件开发.pdf

社会科学项目综合价值分析与软件开发 摘要 随着科学技术的发展，数字化时代的到来，对于研究课题的综 合效益和绩效评价，许多科研管理机构都在试图寻找一种比较客 观，公平的评价方法，并将其应用于计算机辅助人的管理。虽然社 会科学项目有着比自然科学项目更为复杂的特点，但是，在社会科 学迅速发展和自然科学基金项目定量化评审系统日臻完备的今天， 将定量分析法适当引入社科基金项目评审体系，不仅是必要的也是 可行的。如何对社科项目进行综合评价、在对项目评价过程中应该 建立哪些指标，采用什么方法对项目进行综合评价等的研究就非常 必要了，此外，是否能将这些评价方法与计算机相结合，实现用计 算机辅助科研管理机构对科研项目的绩效进行有效评价，以期对项 目的管理更加科学，客观，也是我们迫切需要解决的问题。因此， 本文中将对如何建立指标体系，确立指标的权重、如何更加合理的 选择项目综合评价方法等方面进行阐述，拟开发出一套适合科研项 目综合效益和绩效评价的软件系统。这对于科研项目管理机构和项 目申请、研究机构来说，都具有重大的现实意义。 本文共分为四个部分，主要内容包括： 第一部分对国内外科研项目综合绩效的研究情况进行了深入 的分析，并提出本文的研究目的和方法；第二部分主要是建立了社 会科学项目综合效益及绩效评价的指标体系，并根据社科项目的成 果大多都是论文的特点，建立了论文类成果的评价指标体系，并对 这两个指标体系进行了详细的分析；第三部分介绍了目前确定评价 指标权重的方法和本文的指标权重方法的选择；第四部分分别建立 了模糊综合评价和b p 神经网络两个模型，将其应用于社会科学项 目的综合效益和绩效评价当中；第五部分研究开发出一套社会科学 项目的评价管理系统，并随机选择了两个项目进行模拟评价，以证 明该系统的可操作性。 论文的创新点： ( 1 ) 将定性评价与定量评价指标进行综合分析，建立科学的评价 指标体系；运用模糊综合理论和b p 神经网络相结合的方法对社科 类项目科研绩效进行评价。 ( 2 ) 开发出一套社科类项目管理评价系统 关键词：社科项目，综合价值，绩效评价，软件开发 t h ec o m p r e n h e n s i v ev a l u ea n a l y s i sa n d s o f t w a r ed es i g no fs o c i a la n ds c i e n c e p r o j e c t s ab s t r a c t w i t ht h ed e v e l o p m e n to fs c i e n c ea n dt e c h n o l o g y ，t h ea d v e n to ft h e d i g i t a la g e ，t h e r e s e a r c h t o p i c s a n dt h eo v e r a l l e f f i c i e n c y o f p e r f o r m a n c ee v a l u a t i o n ，m a n y o ft h e m a n a g e m e n to f s c i e n t i f i c r e s e a r c hi n s t i t u t i o n sa r et r y i n gt of i n dam o r eo b je c t i v ea n df a i r e v a l u a t i o n m e t h o d s ， a n d a p p l i e d t ot h e m a n a g e m e n t o f c o m p u t e r a i d e d a l t h o u g ht h es o c i a ls c i e n c ep r o je c tt h a nas c i e n c e p r o j e c tm o r ec o m p l e xc h a r a c t e r i s t i c s ，b u tt h er a p i dd e v e l o p m e n ti n s o c i a ls c i e n c ea n dn a t u r a ls c i e n c ef u n d p r o j e c t sq u a n t i t a t i v e a s s e s s m e n tk e e pac o m p l e t es y s t e mt o d a y ，w i l lb e a p p r o p r i a t e t o i n t r o d u c e q u a n t i t a t i v ea n a l y s i s o fs o c i a ls c i e n c ef u n d p r o j e c t s a s s e s s m e n ts y s t e m ，n o to n l yi s n e c e s s a r yi s a l s of e a s i b l e h o wt o c o n d u c tc o m p r e h e n s i v ee v a l u a t i o no fs o c i a ls c i e n c ep r o je c ti nt h e p r o j e c te v a l u a t i o np r o c e s si nw h i c hi n d i c a t o r ss h o u l db ee s t a b l i s h e d ， w h a tt h ep r o j e c tm e a n sac o m p r e h e n s i v ee v a l u a t i o no ft h es t u d yi s v e r yn e c e s s a r y ，i na d d i t i o n ，t h ee v a l u a t i o no ft h e s em e t h o d sc a nb e c o m b i n e dw i t ht h ec o m p u t e r ，a n du s i n gc o m p u t e r a i d e dm a n a g e m e n t o fs c i e n t i f i cr e s e a r c hi n s t i t u t i o n so nr e s e a r c hp r o j e c t sf o re f f e c t i v e p e r f o r m a n c ee v a l u a t i o nw i t hav i e wt ot h ep r o j e c tm a n a g e m e n tm o r e s c i e n t i f i c ，o b j e c t i v e ，a sw e l la st h eu r g e n tn e e dt oa d d r e s st h ep r o b l e m t h e r e f o r e ，t h i sp a p e rw i l lb eh o wt oc r e a t eas y s t e mo fi n d i c a t o r st o e s t a b l i s hi n d i c a t o r so fw e i g h t ，h o wam o r er e a s o n a b l ec h o i c eo f p r o j e c t sc o m p r e h e n s i v ee v a l u a t i o nm e t h o d s ，e l a b o r a t e ，t od e v e l o pa r e s e a r c hp r o j e c tf o r t h ec o m p r e h e n s i v ee f f i c i e n c ya n dp e r f o r m a n c e e v a l u a t i o no ft h es o f t w a r es y s t e m t h i sr e s e a r c hp r o j e c tm a n a g e m e n t a n dp r o j e c ta p p li c a t i o n s ，r e s e a r c hi n s t i t u t i o n s ，i so fg r e a t p r a c t i c a l s i g n i f i c a n c e t h i sp a p e ri sd i v i d e di n t of o u rp a r t s ，t h em a i nc o n t e n t si n c l u d e ： t h ef i r s tp a r to ft h ec o m p r e h e n s i v ep e r f o r m a n c eo ft h ed o m e s t i c a n di n t e r n a t i o n a l r e s e a r c hs t u d yc o n d u c t e di n - d e p t ha n a l y s i sa n d m a k et h i st h ep u r p o s eo ft h es t u d ya n dm e t h o d so ft h es e c o n dp a r ti s - m a i n l yas o c i a ls c i e n c ep r o j e c t s a n dt h eo v e r a l le f f i c i e n c yo ft h e p e r f o r m a n c ee v a lu a t i o ni n d e xs y s t e m ，a n di n a c c o r d a n c ew i t ht h e s o c i a l s c i e n c e sm o s to ft h er e s u l t s o ft h e p r o j e c ta r et h e c h a r a c t e r i s t i c so fp a p e r ，ap a p e rl i k et h eo u t c o m eo ft h ee v a l u a t i o n i n d e xs y s t e m ，a n dt h e s et w oi n d i c a t o r ss y s t e mc a r r i e do u tad e t a i l e d a n a l y s i so ft h et h i r dp a r t o nt h ec u r r e n ta s s e s s m e n ti n d e xw e i g h t d e t e r m i n et h em e t h o d sa n dt a r g e t so ft h i sa r t i c l ew e i g h tm e t h o do f c h o i c e ；f o u r t hp a r t so faf u z z yc o m p r e h e n s i v ee v a l u a t i o na n dt w ob p n e u r a ln e t w o r km o d e l ，a p p l i e ds o c i a ls c i e n c ep r o j e c t sa n dt h eo v e r a l l e f f i c i e n c yo ft h ep e r f o r m a n c ee v a l u a t i o no ft h ef i f t hp a r to fas e to f r e s e a r c ha n dd e v e l o p m e n tp r o j e c t si nt h es o c i a ls c i e n c e se v a l u a t i o no f m a n a g e m e n ts y s t e m s ，a n dr a n d o ms e l e c t i o no ft w oi t e m st os i m u l a t e e v a l u a t i o nt op r o v et h a tt h es y s t e mo p e r a b l e a m o n gt h ei n n o v a t i o n s ： ( 1 ) q u a l i t a t i v ea n dq u a n t i t a t i v ee v a l u a t i o n o fac o m p r e h e n s i v e a n a l y s i so fe v a l u a t i o ni n d e x ，t oe s t a b l i s has c i e n t i f i ce v a l u a t i o ni n d e x s y s t e mf o ru s ef u z z yc o m p r e h e n s i v et h e o r ya n db p n e u r a ln e t w o r ko n t h em e t h o do fc o m b i n i n gs o c i a ls c i e n c er e s e a r c hp r o j e c t st oe v a l u a t e p e r f o r m a n c e ( 2 ) d e v e l o p e d as o c i a ls c i e n c ec l a s sp r o je c tm a n a g e m e n t e v a l u a t i o ns y s t e m k e yw o r d s ：s o c i a ls c i e n c ep r o j e c t s ，c o m p r e h e n s i v ev a l u e ， p e r f o r m a n c ee v a l u a t i o n ，s o f t w a r ed e v el o p m e n t i v 丰十会科学项目综合价值分析与软1 ，i ：开发 原创性声明及关于学位论文使用授权的声明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行 研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他 个人或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律责任 由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人完全了解陕西科技大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部f 】或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权陕西科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名 社会科学项日综合价值分析与软什开发 1 绪论 1 1 研究背景 国家“十一五”规划纲要中明确提出，必须提高自主创新能力，把增强自主创新能力 作为科学技术发展的战略基点大力提高原始创新能力、继承创新能力和引进消化吸收再 创新能力。从国家创新系统的角度看，国家创新系统即国家技术创新系统，是由一个国家 的公共和社会机构组成的网络其活动的目的是为了创造、扩散和使用新的知识和技术， 包括知识创新等4 部分。其中，企业是技术创新的主体，政府机构、科研机构和高等院校 是这一系统中的要素。创新由企业完成，研究机构、高等院校和中介机构等为企业最后完 成创新提供各种支持。要重视企业、高校、研究机构、政府等创新主体之间的分工、联 系与互动，充分发挥各主体的作用。 科学基金制是在我国的知识创新系统中，政府行为占主导作用，有力地推动科研机构 和高等院校的科研人员进行知识创新、知识传播与人才培养的一种科学制度。我国自从 1 9 8 2 年设立国家科学基金和1 9 9 1 年设立社会科学基金以来形成了以国家科学基金为主 体，地方科学基金和行业科学基金为两翼，基层科学基金和民间科学基金为补充的科学基 金网络体系，在科技经费管理、优化资源结构、引导公平竞争加快青年人才培养等方面发 挥了积极作用。科研项目绩效评估作为项目管理中一个重要环节，是评价基金资助项目成 果提高基金使用效益的手段，同时也是学科资助政策调整、学科建设和评价管理水平的依 掘之一。 1 2 研究目的 科学研究项目管理中，对于研究课题的综合效益和绩效评价在国外已经有非常成熟 的模式和方法，尤其是西方发达国家，其科学、严密的项目评价机制保证了立项、过程 管理和验收活动的客观性、公正性，保证了项目目标的有效实现，对项目过程管理实行 全生命周期的管理模式，并采用先进的信息化手段进行管理和沟通。 在我国，科研管理机构要公平、公正、公开的对各基层单位上报的项目进行合理有 效的评价，决定资助的项目。因此，对科研项目的综合评价至关重要。而我国在这方面 的研究虽然也有一些新的评价方法，但从应用情况看，目前没有一种对于科研管理部门 来说是比较实用、切实可行的。 随着科学技术的发展，数字化时代的到来，许多科研管理机构在对项目进行综合评 价时也运用了数字化的方法。但是，目前多数项目管理机构主要把工作的重点放在了项 目的前期管理，也就是项目如何申报等方面。在如何对项目进行综合评价、在对项目评 价过程中应该建立哪些指标，采用什么方法对项目进行综合评价等领域的研究都有待进 一步的探讨。由于社会科学有着许多比自然科学更为复杂的特点，诸如社会现象的偶然 陕州科技人学硕十学何论文 性、随机性、模糊性等等，因此较难量化。但是，从总体上看，社会科学也是可以进行定量 分析的，并且可以制订出定量化的评价指标体系。所以，在社会科学迅速发展和自然科学 基余项目定量化评审系统同臻完备的今天，将定量分析法适当引入社科基金项目评审体 系，不仅是必要的也是可行的。因此，本文中将对如何建立指标体系，确立指标的权重、 如何更加合理的选择项目综合评价方法等方面进行阐述，拟开发出一套适合科研项目各 个阶段管理评价的软件系统。这对于科研项目管理机构和项目申请、研究机构来说，都 具有重大的现实意义。 1 3 国内外研究现状综述 1 3 1 国外研究现状 科技计划项目管理与评估国外研究始于2 0 世纪中期，从对美、英、法、德等发达国 家的科技计划管理模式研究中发现，各国项目计划虽因战略目标、所属部门、涵盖的研 究领域不同而在计划项目的管理上有所不同，但是基于项目管理理论的科技项目管理模 型较为一致，通常都包括以下几个环节：项目申请，立项评审，签约，过程管 理与中期评审，项目验收，后续管理。 这些国家科技计划项目管理呈现出以下特点：国家通过宏观立法支持、配套各项科 技计划的实旌；科学、严密的项目评价机制保证了立项、过程管理和验收活动的客观性、 公f 性，保证计划目标的有效实现；项目过程管理实行全生命周期的管理模式；严格按 照法律法规和项目合同对违规行为进行处理；计划项目管理采用先进的信息化手段进行 沟通。 随着经济国际化和经济科技化进程加快，以及科技的飞速发展，科技评估活动已成 为科技计划、科技成果和科技项目实施管理的重要组成部分，并引起了各国政府的高度 重视。目前国外常用的科技项目评价方法可以分为定性的和定量的两种，其中定性的主 要有：专家会议法( 同行评议法) 、d e l p h i 法、指标评价法以及面访与问卷法；定量的 主要有：经济评价法、层次分析法、多属性和多目标决策方法以及模糊综合评价法。 定性分析中专家会议法( 同行评议法) 主要是某一或若干领域的专家采用一种标准， 共同对涉及的相关领域内的一项事物进行评价，其结果对有关部门进行决策有重要的参 考价值：指标评价法征求专家、业务机关和有关人员的意见和建议或在实践中检验，形 成评价的指标体系，对评价的对象进行评定：d e l p h i 法征询专家，用信件背靠背评价、 汇总、收敛；面访与问卷法对评价对象或是使用该项目的对象进行单面会谈或是问卷回 收、汇总、收敛。 2 0 世纪5 0 年代中期，r 。d l u c e 提出字典法，用以对有限方案的排序，期间专家评 分法丌始应用于系统综合评估，即在定量和定性分析的基础上，以打分的方式作出定量 的规范化评估，结果具有较强的数据统计特征。1 9 6 4 年a u n a n n 针对多目标的综合评估 2 社会科。t ：i 一9 1 目综合价值分析与软什开发 ( 决策) 问题，提出效用函数概念，对价值的存在性和可度量性，多目标总体价值或效 用的可分解性和可合并性，偏好与价值的关系等方面进行研究，奠定了多属性系统综合 评估的理论基础。 2 0 世纪7 0 年代中期，美国著名运筹学家t l s a a t y 提出划时代意义的层次分析法 ( a n a l y t i c a lh i e r a r c h yp r o c e s s ) 。该方法的核心问题是排序问题，其基本思想是先按照问 题要求建立一个描述功能或特征的内部独立的递阶层次结构，通过两两比较目标( 或方 案、准则、因素) 的相对重要性，给出相应的比例标度，构造上层目标对下层相关目标 的判断矩阵，已给出相关目标对上层目标相关重要性的序列，充分体现出决策者在决策 过程中分解、判断、综合等基本特征。由于具有系统性、简便性等特点，该方法得到深 入研究与广泛应用，成为科技项目评估中的常用方法。1 9 7 8 年，美国t e x a s 大学著名运 筹学家a c h a m e s 教授，w w c o o p e r 教授和e r h o d e s 首先提出数据包络分析法( d a t a e n v e l o p m e n ta n a l y s i s ，d e a ) ，以评估具有相同类型的有限多个单位之间的相对有效性。 这是一种纯技术的、求解非确定性系统综合评估问题的方法，开辟了运筹学崭新的研究 领域。 “ 2 0 世纪9 0 年代，系统评估方法有取得长足的发展。从广义上讲，涌现出许多应用 其他领域知识的新的评估方法，如灰色系统评估法、人工神经网络法、物元分析等等。 就深度而言，方法应用的同时，实现了技术上的改进和理论上的突破。 从大量的文献调研可以看出，国外在科技项目评估的理论、方法及应用方面都取得 了很大成效，已形成较为完善的评估程序与评估方法，并以法规形式确定了评估在决策 过程中的地位和作用。 1 3 2 国内研究现状 在目前我国的科技发展环境下，我国政府科技计划的管理例如8 6 3 计划、9 7 3 计划 等，已经逐步与现代项目管理的理论与思想接轨，在项目管理模式的探索中取得了一定 的成就。在管理框架与内容方面，我国的科技项目管理与发达国家较为类似和接近。主 要表现在：管理过程模型包括了项目申请与评审、立项、签约、中期评估及过程监控、 项目验收与结题以及后续管理等。对科技计划的管理发挥了管理活动的计划、组织、 领导和控制职能，并旨在有效并高效地实现科研目标。管理制度和政策制定只趋完善。 例如，由预算制向决算制的转变、成立专家小组进行评审、评估，以及对科研者资质的 要求等等。 在科技计划项目评价方面，我国自2 0 世纪6 0 年代开始项目系统工程的研究工作， 在人口控制、工程技术等相关领域取得了许多成果。2 0 世纪8 0 年代，我国学者在模糊 综合评价方面作了较深入的理论探讨和应用研究，具有代表性的是王世定的多目标问题 群众评价的模糊加权法、张斌的多目标评价的模糊集对分析法，并在多个领域得到了较 陕两科技人学硕十学位论文 好的应用。该方法对处理定性信息较多的评估问题不失为一种成熟且有效的方法。 近年来，我国在科技计划项目方面也进行了一些评估理论的研究与探索，如国家攻 关计划项目评估、“8 6 3 ”计划项目评估、高新技术丌发区项目评估等。评估的基本程序 与国外基本类似，但在指标体系、评价方法、规范性、独立性、信息化等方面存在明显 差距。这也反映出我国的科技计划项目评估工作尚处于探索阶段，评估缺乏经验。 就评估的理论方法，特别是评估模型的发展而吉。，2 0 世纪6 0 - - - , 7 0 年代发展较为迅 速，包括d e l p h i 法、模糊综合评判法、层次分析法在内的经典评估模型都是这一时期的 产物。近十年来，我国在这方面的研究虽然也有一些新的评估方法与模型问世，但从应 用情况看，都没有超越原有的经典评估方法与模型。主要原因在于，一是新的评估方法 在理论上未取得重大突破，没有完全克服经典方法中存在的局限性；二是选用的评估方 法存在理论与实践相脱节的现象，也就是在实际评估中未能取得原有的预想效果，从某 种程度上讲，未能“经得起实践的检验”。 1 4 本文的研究意义 科学研究项目绩效评估2 0 世纪五、六十年代在世界各国开始兴起，而在发达国家尤 其被重视。各发达国家纷纷出台关于科学研究活动的综合效益和绩效评价政策和方案、 措施，增进基础研究与国家战略目标的关系。为了合理公正地评价科研活动，各国根据自 身情况建立了不同的衡量指标和指标体系，在科技项目评估的理论、方法及应用方面都 取得了很大成效，已形成较为完善的评估程序与评估方法，并以法规形式确定了评估在 决策过程中的地位和作用。同时，国内很多学者丌始对我国的科研活动现象进行描述和分 析研究，并提出很多关于科研管理的建议和改进方法。 但是，这些建议和方法被真j 下运用到现代科研管理中的并不多，其主要原因是由于 这些方法在现有的工作模式和条件下，需要耗费大量的人力、物力，且没有一种管理和 评价方法被公认为是客观、准确、有效的。随着数字化时代的到来，计算机科学技术的 发展，如何将计算机应用到科研项目管理的评价过程中，实现自动管理与人工管理相结 合的科研项目管理模式，使工作人员从繁重的日常工作中解放出来，提高科研项目管理 的效率，已成为各个科研项目管理机构工作中必须要解决的问题。本文在研究现有综合 评价理论的基础上，对其评价方法和评价指标体系进行了改进，提出自己的评价指标体 系和评价方法，开发出一套科研项目管理评价系统，并将其应用到社会科学项目的管理 中，使社科类项目的综合评价处于全过程的计算机动念管理中，对于科研项目管理机构 进行科研项目绩效评价，具有重大的现实意义。 社会科学项目综合价值分析与软什开发 1 5 本文的主要研究方法及创新点 1 5 1 主要研究方法 ( 1 ) 以模糊数学为研究工具，通过构造模糊综合评判系统将定性分析指标与定量分 析指标统一进行综合研究，科学地评价项目综合价值与绩效； ( 2 ) 研究应用神经网络方法，对项目未来社会效益，经济效益进行模糊预测评估的 方法； ( 3 ) 研究用a s p 等开发工具实现上述模型的软件开发。 1 5 2 创新点 ( 1 ) 将定性评价与定量评价指标进行综合分析，建立科学的评价指标体系：运用模 糊综合理论和b p 神经网络相结合的方法对社科类项目科研绩效进行评价。 ( 2 ) 开发出一套社科类项目评价管理系统 陕曲科技火学硕十学何论文 2 社会科学项目绩效评价指标体系的构建 2 1 社会科学项目绩效评价的内涵 绩效是人们实践活动所产生的、与劳动耗费有对比关系的、可以度量的、对社会有 益的结果。社会科学项目绩效是指各地区社科项目在获得立项批准到应用期间，根据事先 制定的阶段目标所达到的，可以予以指标度量的计划完成程度以及所产生的对社会发展 和经济进步有推动作用的预期成果。主要包括： ( 1 ) 人员绩效。指在完成计划项目的过程中对人员的投入和培养以及项目完成后人 员的专业素质提高情况，包括科技人员的投入、研究生培养等。 ( 2 ) 学术绩效。指在计划项目研发过程中取得的系统的专门学问，包括发表的论文、 会议报告、出版的著作和获得的各层次科研奖励。 ( 3 ) 社会绩效。指计划项目研发过程中取得的社会公认度，包括论文被引用情况、 会议报告被政府采用情况、专利申请情况、项目成果的形式和水平以及项目的应用情况 等。 ( 4 ) 经济绩效。指计划项目研发的过程中和应用后所取得的经济效益，包括新增产 值、新增销售额、新增利税、出口创汇、新增净利润、节约资会等。 社科项目绩效评价，是指由科研管理部门组织的，由具有相关专业知识的人员组成评 价小组，遵循一定的原则、程序和标准，运用科学、规范的方法，对社会科学项目的经济绩 效、社会绩效、人员绩效、学术绩效以及目标实现程度、经费的使用管理等方面进行综 合评价考核，并通过分析评价找出成败的原因，总结经验教训，同时通过及时有效的信息 反馈，为提高未来社科项目的管理水平提出建议，从而达到提高政府科技投资效益的目的， 为宏观决策及其实施提供科学依据。 2 2 社会科学项目绩效评价的意义 社会科学项目绩效评价是政府部门安排社科项目、调整投入方向、确保财政资金使 用效果的手段，是政府加强财政支出管理，推动科学研究进步的有力措施，具有多重意义。 其总的目的在于优化资余分配，调整项目计划和研究机构的方向，提高对社科项目的管理 水平和科学研究的效率。具体体现在以下方面： ( 1 ) 为改善决策和管理服务。社会科学项目绩效评价具有为社科项目管理提供咨询 服务的功能。通过评价，项目管理部门可以及时发现项目实施过程中出现的问题，总结经 验教训，以改善今后的立项决策和管理。同时，评价报告中的结论也可作为资源调整和优 化配置的依据。因此，评价结论可能对决策的形成产生重要影响，但评价不可能代替决策， 因为决策是一个复杂的过程，往往涉及众多因素，例如科技产业政策、院所改制、单位资 信情况等。 6 丰十会科学项目综合价值分析与软什开发 ( 2 ) 对项目执行单位进行监督。评价虽然带有事后监督的性质，但它作为项目执行 整个过程监督的个环节，可以对项目执行单位形成外部约束。监督的内容主要包括：项 目有没有按原计划进行，技术方案有无重大调整，资余使用是否符合规定用途，借款能否 按期偿还，是否达到了预期效果等等。 ( 3 ) 社科项目绩效评价的过程也是一个学习的过程。对项目的评价虽然是一种后评 估，但通过对项目的目的、执行过程、效益、作用和影响的分析，总结正反两方面的经验 教训，使社科项目的决策者、管理者、参与者和评价者学习到更加科学的方法和策略，提 高决策管理水平。 2 3 社会科学项目绩效评价指标体系的建立 2 3 1 社会科学项目绩效评价指标体系建立的原则 建立完善的评价指标体系是科学、合理、公正地评价项目绩效的重要保证，是准确评 价项目绩效的一种有效方法。因此，在进行评价指标体系的设计时，应从实际出发，做到既 科学，又切实可行，并应恪守以下原则： 1 客观性原则。指标体系应能准确反映项目的绩效，要克服主观因素的影响，对各种 评价指标的定义要清晰、准确。 2 系统性与层次性统一原则。指标的选取既要符合系统特点，尽可能照顾到系统的主一 要方面，又要认识到系统指标不是简单堆砌，应有一定的层次性。 ， 3 简明科学性原则。评价指标体系必须能够明确地反映目标与指标间的相关关系， 指标体系的大小也必须适宜。评价指标体系过大，指标层次过多，指标过细，会将评 介过程 集中在细小的问题上，增加评价的工作量，且往往会扭曲评价的结果：评价指标体系过小， 指标层次过少，指标过粗，又不能充分反映被评价对象的整体状况。 4 多类型多层次设置原则。由于项目类型以及承担科研的部门的不同，指标体系的设 置要适应不同项目评价的需要，不同类型的项目要根据不同的标准和考核依据来设置指 标，同时要充分考虑不同类型项目、不同类型成果之间横向比较的需要，既要能反映出不 同类型项目的整体绩效也要能反映出项目在某一层面的绩效。同时应注意不同类型、不 同层次指标之间的衔接。 5 可操作性原则。在遵循全面系统性原则的基础上，对指标应尽可能简化，可操作性 原则包括两层含义：一是资料数据的易得性：二是指标容易量化，对定量指标要保证其可 信度，对定性指标应尽量适用，或选择那些能问接赋值或计算予以转化的定量指标。同时 能够便于他人进行操作和利用。 2 3 2 人文社会科学项目绩效评价指标体系 在传统的评价指标体系中，出现了大量的难以取得和难以量化的指标，导致项目实施 陕州科技人学硕十学位论文 的结果不能被很好地反映出来。因此，本文在评价指标体系中遵循了上面的五大原则，从 指标容易获取和量化的角度建立用于总体评价的社科项目绩效评价指标体系。社会科学 项目绩效评价指标体系由4 个一级指标、1 1 个二级指标和4 3 个三级指标构成，具体内容 见下表。 8 社会科学项目综合价值分析与软什开发 - m ：- - - s _ 口l l - _ l _ - i 。_ _ - - l l _ 。- _ - l - - _ i - _ _ - - _ - _ - _ - - _ _ - - _ l - 。_ _ _ 一 表2 - i 社会科学项臼绩效评价指标体系 t a b l e2 - 1s o c i a la n ds c i e n c ep r o j e c tp e r f o r m a n c ee v a l u a t i o ni n d e xs y s t e m 一级指标二级指标三级指标一级指标二级指标三级指标 科研人员总量科技人员总量发表论义总数 院l j 人数s c i 收录论义篇数 币南级职称人数e i 收录论义篇数 副扇级职称人数 国内核心刊物论义数 论文 中级职称人数 s c i 、e l 占发表论义总数 的比重 科研人员职别 国内核心论义占发表论文 初级职称人数 总数的比垂 j e 他人员人数人会报告篇数 中级职称及以下人会议于i i 告 员人数占科技人员 i s t p ( 科学技术会议 总量的比重 录索0 l 收录论义数) 人员绩敛培养博，l ：研究生人 学术缋效 数 论著专著数 培养侦i ：研究生人 数 编著数 培养奉科人数固m ：级奖数 人才培养培养人专人数围缘级特等奖数 困家级一等奖数 获奖固家级二等奖数 培养其他人数固家级三等奖数 省级奖数) e 他奖数 论义被- j i 用数新增产值 对困家口法及宏观 政策起主导作用告新增销售额 论文r j i 用 篇数 经济绩效效益转化 新增利税 专利申请u 创汇 字l ：会绩效 国家专利 净干| j 淄 每万兀绛费支新增 专利授权纯利润 专利授权与专利申 请的比值 成果水、r 成果形式 成果所处的阶段 9 陕两科技人学硕十学位论文 2 3 3 论文类成果评估指标体系 发表论文是科研绩效最重要的表现形式，对基础研究而言，发表论文也是衍生其他 绩效形式的基础。一篇论文投向不同期刊的同时，实际上就是接受了同行评议。对国际 期刊来说，其评议人是具有国际性的同行；而对国内期刊来 兑，也是国内优秀的同行专 家，因此其评议是可以信服的。出于各期刊权威性差别非常大，因此各期刊的审稿标准 也不同，我国著名科学家邹承鲁先生曾结合自己担任各种期刊编委的感受，认为影响因 子较高的期刊其审稿标准相对来说也较高，所以说对不同的期刊论文在定量时要给予一 定的权重，即在强调论文数量的同时，还要考虑论文的质量。目前对论文赋予权重可以 借鉴的定量数据主要是美国科学信息研究所出版的和中国科学引文数据库出版的中国 科技期刊引证报告。期刊引证报告( j c r ) 采用影响因子加权的方法，可以对论文产出 进行定量的计算。但影响因子加权的方法有一个问题，即如何看待综合性期刊的问题， 在j c r 中虽然综合性期刊有许多，但影响因子高的期刊较少，主要是( ( n a t u r e ) ) 。 ( ( s c i e n c e ) ) ( ( f a s e b j ) ) 和( ( p n a su s a ；( ( n a t u r e ) ) 和( ( s c i e n c e ) ) 是真j 下意义上的综合 性期刊，也是公认的权威期刊，我国每年在这两种期刊发表的论文也较少，因此各学科 只需对这两种期刊单独设定权重：而( ( f a s e bj 和p n a s 刊登的基本是同生物化学、 分子生物学、免疫学、生物物理等内容有关，这些学科联系较大，因此可以等同对待。 一篇论文作者的贡献，主要有学术思想的贡献与实验的贡献。对基础研究而言，学术思 想上的贡献至关重要，爱因斯坦曾说过：提出问题往往比解决问题更重要。一篇论文一 经发表，其署名形式实际上就向科学共同体发出了一个信号，即谁是组织者，谁是执行 者，谁又是合作者。关于论文实验的贡献一般从论文的署名中就不难发现其差别，这些 贡献往往是来自研究生和助手；而对于论文学术思想的贡献则恰恰是论文的通讯联系人。 如果当一篇论文没有注明通讯联系人时，其第一作者实际上就是通讯联系人，他常常是 论文学术思想的贡献者，有的同时也是论文实验的主要贡献者。 论文类人文社会科学研究成果与专著类成果在评估方面是同质的，评估的核心指标 是学术创新或理论创新。在一定程度上，可以说学术论文在创新方面的要求比学术专著的 要求更高，但在理论的体系性或完整性方面的要求就较为淡薄一些。选题来源、难易程度、 成熟程度、成果价值、出版层次、转载反响、获奖层次指标，与学术创新或理论创新指标 也具有关联性作用，尤其是选题来源、出版层次、转载反响、获奖层次、会议入选层次五 个硬指标，能与专家在创新程度指标的评估形成一种有益的互补。考虑到学术论文是参加 学术会议的主要交流方式，设一“会议入选”指标是非常必要的。这是学术论文区别于其 他研究成果的特点。 l o 社会科学项目综合价值分析与软1 ，1 ：开发 表2 _ 2论文类成果评价指标体系 t a b l e2 - 2p a p e r sc a t e g o r yr e s u l t se v a l u a t i o ni n d e xs y s t e m 序号指标评价指标内容 海外资助课题其他国家级立省级立项课题省级以下立项 选题 或国家社会科项课题 课题 1 来源 学规划立项课 题 研究问题l 分复问题较复杂：研 问题4 i 太复杂：调研 问题1 i 复杂：调 难易 杂：理论难点多：究难度和资料搜 难度和资料搜集、处 研难度和资料搜 2资料搜集o j 处理集、处理雉度较 程度 困难：学科跨度大：多边缘学科 理难度小人： ：会科 集、处理难度小： 学内三个学科研究 人 研究 单学科研究 提新的理论观理论i ：有革要的 提 f l 新的理论观点 提f j ；具有启发性 点或学说：红某创见：学科建设对比已有研究仃所深 一重人领域耿得l ：和：某方面或领 入：对奉专业某方面 见解：为进一步 3 创新程度 突破性进展：研域做i i ：一定负的研究有一定的促进 的研究提供j ，新 究方法【：自重人献：研究方法 ： 作用：自独到的研究 建树取得一定的突破视角 资料 资料准确：逻辑柏：资料、硼f 究方 理论前提、资料、 严街，概念1 9 j 确：法、概念和逻辑在资料、研究方法、 成熟和完 研究方法科学理略有欠缺，理论 概念和逻辑等方面何 方法、概念、逻 4 备程度 论前提科学：0 l前提科学：- j l 证久缺：，j i 自f 皋奉) ；! l ! 范 辑柯草人欠缺： 证规范 较舭范育个别某砦方面何遗漏 啊 遗漏 ，j l 证小太) ! i ! 范 对解决关系到社 对解决某重型领 会发腱的蕈人理 域的礼会发展的对解决某一领域中的 论或现实问题自 较为重要的理论 一般件理论或现实中 对社会发展的仰 5成果价值 或现实问题仃推的问题何 f | 进作用 推进作用：对某 一社会领域自巨 进作用：对某一对某一社会领域有关 用较少 。 孝 ：会领域自重要键忡的推进作用 人的贞献 负献 山版 世界级学术刊 两报一刊理论 6 物、中固 i ：会科 版，国家学会或其他核一i ) , f l j 物或国家 层次 学院院级以l ：学 足皋会会级权威级报纸 j e 他省级版社 学术刊物 术刊物 国外转载、评论 e 他困家级： , f w j 转载或引或被译成外文 伞文转载：国家 其他围家级报刊或书 省级学术报刊或 7 级报刊进行学术 籍部分转载，省级学 川 版：新1 仁文摘术报刊或书籍伞义转 书籍部分转载： 再学术版转载 订论j i 发学术热 点讨论 载：重要学术蚓肫 个别学术| 口f 、；：f 固家级奖励( 国部委级奖励( 教 省市级奖励( 政府奖 地市级政府奖 获奖 家礼会科学成果育部 l ：会科学成或省市 l ：会科学成果 8 励、单位成果奖、 层次 奖、困家五个一果奖、中困 i ：会奖、省五个一t 程 t 程奖等)学院奖等) 奖) 、困家学会级奖励 厅局级奖励 9 会 义入选 困m ：性学术会议伞固性学术会 义省际学术会议省级学术会汉 陕曲科技人学硕十学位论文 3 社科类项目评价指标权重确定与项目综合价值评价方法 3 1 权重分配方法设置的基本原则 在建立的指标体系中，各评价指标对评价结果所起的作用是完全不相同的，有些指 标对评价结果所起的作用大，评价结果对其敏感度较高，有些指标对评价结果所起的作 用小，评价结果对其敏感度较低。所以在指标体系确定之后，还要确定各个指标的权重。 权重是表征某一指标在整个指标体系中所具有的重要程度，它是指标体系的重要组成部 分，合理的计算各指标权重对保证指标体系科学化至关重要。权重的确立直接影响着评 价的结果，权重值的变动可能引起被评价对象优劣顺序的改变。因而，科学的确定评价 指标权重在多指标评价中是举足轻重的。即某指标越是重要，则该指标的权重系数越大： 反之，权重系数就越小。按统计学中的归一化原理，同一级指标的权重之和等于一。 目前，计算指标权重的方法很多，基本上可以归纳为两大类：主观赋权法和客观赋 权法。 ( 1 ) 主观赋权法评价者根据客观环境对指标重要程度给出人为的评价。其特点是各评 价指标的权数值是由专家根据自己的经验和对实际的判断主观给出的，专家根据实际问 题，合理确定各指标体系之i 日j 的排序，虽然不能准确的确定各指标的权数，但是它可