双一流建设背景下高校科研评价指标权重关系研究

1、    “双一流”建设背景下高校科研评价指标权重关系研究    摘要：结合“双一流”建设，通过文献研究及问卷咨询，探索构建高校科研评价指标体系。利用层次分析法对指标权重赋值，分析各项指标在科研评价体系中的重要度，为高校提升科研质量，促进科技创新、成果转化提供参考。关键词：科研评价;指标权重;层次分析结合以往的研究基础，在高校“双一流”建设背景下，科研评价体系亟待改革完善。建立有效合理的高校科研评价体系，对高校加快 “双一流”建设和提升综合实力意义重大。国家正推动改革科技评价制度，建立以科技创新质量、贡献、绩效为导向的分类评价体系，正确评价科技创新成果的价

2、值。在国家政策导向下，高校如何在實践中将政策落地，形成具体的框架体系，需结合实际进行系统深入的研究分析。本研究主要应用问卷咨询和层次分析法，探索构建兼顾指标权重的高校科研评价体系。通过各项指标权重大小，分析其在科研评价体系中的重要度，为高校提升科研质量，促进科技创新、成果转化提供参考。1研究方法结合文献分析、调研成果及国家现行政策，通过设计问卷，咨询专家对科研评价指标的建议，再采用定性和定量结合的层次分析法（analytic hierarchy process，ahp）确定科研评价指标权重，优化评价体系。层次分析法为美国运筹学家匹茨堡大学萨蒂（t.l.saaty）教授提出，其基本原理是充分利用

3、人的经验和判断，对定量和非定量因素进行统一测度，通过两两比较方案或目标的相对重要性，构造判断矩阵，计算判断矩阵的最大特征根和特征向量，进而得到方案或目标相对重要性的定量化描述1。ahp是将人的主观判断用数量形式表达和处理的方法，尽量减少个人主观臆断所带来的弊端，使评价结果更可信2。2具体步骤2.1评价指标的筛选及确定通过查阅大量文献，结合高校科研评价的特点和实际情况，初步形成评价指标体系的框架，完成第一轮咨询问卷的设计、发放和回收。 本轮咨询问卷主要面向从事科研和科研管理的人员，共计130位，其参与积极性高，学科领域背景覆盖面广。咨询专家的年龄在30岁以上的人数比例达90%，超过97%的咨询专

4、家具有博士研究生学历，超过77%的咨询专家具有副高及以上职称，90%以上为从事一线科研的人员，从事10年以上本职工作的人数比例大于40%。图1的结果表明，专家对咨询问卷中指标的认可度均在50%以上。特别是对于纵向项目经费、国家级纵向项目、论文、国家级奖励、省部级奖励、专利技术实施许可或转让这几个指标，参与问卷咨询的专家认可度均达80%以上。咨询专家还对指标内涵及细化提出建设性意见，经综合分析，确定细化横向项目、学术交流、科研基地、成果转化四个方面的分类。2.2基于层次分析法（ahp）的指标权重确定2.2.1建立层次结构模型在初步构建层次结构模型及高校科研水平评价指标体系的基础上，经征询专家意见

5、后进行了优化。层次结构共分为三层，顶层为目标层，该层为本研究的研究目标高校科研评价指标体系，中间层为准则层，包括科研经费、科研项目、学术交流、科研基地建设、高端人才队伍、科研成果、科技奖励和成果转化8个维度，底层为指标层，该层为具体反映各维度的26个指标，见表1。2.2.2构建判断矩阵在构建层次结构模型的基础上，邀请30位从事科研及管理的专家采用saaty1-9标度评分标准进行赋值3，构建判断矩阵。30位专家中男性为24人，占比80%;年龄结构分布较为平均，31-40岁12人，41-50岁10人，51-60岁8人;拥有博士研究生学位的专家为28人，占93.33%;拥有正高级专业技术职务的专家2

6、5人，占83.33%;28位专家从事教学科研工作，占93.33%;10年以上从事本职工作的专家23人，占73.33%。通过综合30位专家的评价结果，能够更为科学合理地反映高校科研评价的指标权重。2.2.3一致性检验对判断矩阵均需进行一致性检验，验证判断矩阵求出的权值的合理性。一致性和随机性检验公式：ci为一致性指标（consistency index），ri为平均随机一致性指标。当cr<0.1时，认为判断矩阵的一致性可接受，否则需要对判断矩阵进行调整4。本研究构建的判断矩阵均满足，通过一致性检验。2.2.4计算指标权重在构建判断矩阵的基础上，将数据代入matlab程序，对准则层及指标层相

7、对上一层的权重进行计算，分别得出30位专家的赋权。再按准则层和指标层分别对30位专家的赋权进行平均，得到准则层权重最终值和指标层的单层权重最终值，见表1。根据准则层权重及各指标单层权重，计算出各项指标的综合权重，结果如表1所示。3.指标权重分析根据本次高校科研评价指标的权重结果分析，各指标对高校科研水平的贡献度是不同的。（1）准则层相对权重值结果分析表1表明，层次分析法结果显示高校科研评价指标体系的准则层（b）权重排序为b8>b5>b6>b7>b4>b2>b3>b1，即成果转化>高端人才队伍>科研成果>科技奖励>科研基地>

8、科研项目>学术交流>科研经费。科技成果转化（b8）、科研成果（b6）权重值分别为0.1737和0.1689，在准则层位居第一、第三，体现科技成果及其转化在助推创新驱动发展中的重要作用。完善科研成果评价机制，可以从导向入手解决科研成果转化问题。论文、专利等指标在评价体系中占有一定比重，但是改变学术评价的“唯论文”等指挥棒是科研评价体制改革的关键环节。除了以专利技术实施许可或转让收益金额来体现科技成果转化效能，如何将社会效益评价和经济效益评价有效纳入科研成果评价，关注技术创新及其与科学的衔接，更是一个值得探讨的问题。高端人才队伍（b5）的权重值为0.1724，仅次于科技成果转化。所有科

9、技活动都是由人来实施，人才必然是产出科研成果、实现科技成果转化的主体。但需避免以“帽”取人，应对素质和能力进行全面甄别、考量。科技奖励（b7）也占有较高的比重，权重值为0.1653。科技奖励是对科研成果价值和作用的认可，具有重要的导向和激励作用，直接关系到科技工作發展，关系到创新型国家建设战略目标的实现。但同样不能过度推崇奖励，导致科研的动机偏离科研本身。科研基地（b4）的权重值为0.1286，体现出科研基地是科技创新体系的重要组成部分，是科技创新、学科建设、人才培养以及参与市场竞争的重要平台和载体。在“双一流”建设背景下，加强科研基地建设，对于促进学科持续性发展具有重大意义。科研项目（b2）

10、、学术交流（b3）、科研经费（b1）是专家认为对高校科研水平影响力较小的因素，权重值分别为0.0686、0.0658、0.0568。科研项目和科研经费主要是科研投入的指标，若单纯考量项目及经费，不能对科研水平进行有效地评价。因此在整个科研评价指标体系中，将科研投入及科研产出同时考虑，并且赋予相应的权重，才能全面合理地进行评价。（2）指标层相对权重值结果分析根据层次单排序结果，有以下特点：纵向科研经费（x2）的相对权重值为0.6567，几乎为横向科研经费（x1）的相对权重值的两倍;科研项目中，横向科研经费数额高的项目总体上比纵向项目占更大的权重;相对于科研成果（b6）准则层，行业技术标准（x20

11、）较科技论文（x17）的权重值更大，具有更高影响力;国家级奖励（x21）的权重值远大于其他奖励类型的权重值，在奖励中具有最大影响力。（3）指标综合权重值结果分析指标综合权重值是利用层次分析法得到的最终量化数据，为构建全面合理的科研评价体系提供参考。从层次总排序结果来看：国家级奖励（x21）、国家级科研平台（x12）、院士（x14）、专利技术实施许可或转让收益200万（x24）和技术标准（x20）为影响高校科研水平前5的指标;横向项目（1000万>单个项目经费500万）（x7）、国家级纵向项目（x3）、横向项目（500万>单个项目经费200万）（x8）、省部级纵向项目（x4）和市级纵向项目（x5）为对高校科研水平影响力最低的5个指标。综上，层次分析的结果表明，影响高校科研水平的重点因素为成果转化能力，高校应加强科技成果转化，为解决国家社会经济发展过程中的难点、热点问题贡献力量。本研究所构建的评价指标体系及指标权重，尚待实际测试应用以进一步优化，以期为学校科研评价及考核管理等提供思路。参考文献：1王英凯.基于德尔菲法和层次分析法原理的科研项目评价模型.山西财经大学学报，2001，23：148-1492邓雪，李家铭，曾浩健