高等学校科研论文定量评估机制研究.pdf

2 0 0 6年第 l 0期 科技管理研究 2 0 0 6 N 0 1 0 S c i e n c e a n d T e c h n o l o g y Ma n a g e me n t Re s e a r c h 文章编号：1 0 0 0 7 6 9 5 ( 2 0 0 6 )1 0 0 1 3 9 0 4 高等学校科研论文定量评估机制研究 马 占新 ，周林平 ( 1 内蒙古大学 经济管理 学院； 2 内蒙古大学 科技处，内蒙古呼和浩特0 1 0 0 2 1 ) 摘要：科学、高效的评估机制是高等学校实现科研管理制度化 、程序化、科学化的基本前提和根本保证。在对 目前高等学校科研论文定量评4 _r - 作仔细分析的基础上，指出了一些评估方法存在的不足及其根源，并以系统 科学的原理为基础提出了高校科研论文定量评估方法制定中应坚持的基本原则和必要的工作程序。 关键词：综合评价；定量评价；系统工程 ；科学研究 中图分类号：N 9 4 文献标识码 ：A 科学 、高效的评估体制是高等学校实现科研管理制度 化、程序化、科学化的基本前提和根本保证。由于科研论 文定量评估工作涉及的学科广泛 、专业性强、计量困难等 一 系列问题 ，因此，一直以来都是科研管理中的一个难题。 ( 2 0 0 2 年国家自然科学基金项 目指南 中也明确指出科技 评价问题 目前还是一项 “ 长期期望解决的重要的基础性与 应用性研究”课题。根据 中组部、人事部 、教育部有关 文件精神，目前各高校都在进行教学 、科研、分配制度等 多方面改革，不可否认的是科研论文定量评估已经被应用 到许多科技评价工作 中，并在高校改革的许多方面发挥作 用。该项工作的好坏直接影响到教师定 岗的合理性 、科研 成果奖励的公正性、激励机制的有效性和科研导向的正确 性等一系列问题 ，并最终影响到学校建设的整体和大局。 事实上，对科研论文评估标准的制定是一项复杂的系统工 程，它的系统性一方面表现在要从整个学科体系的高度来 研究科研论文评估问题；另一方面，表现在科研论文评估 要从学校教学和科研工作的整体 出发 ，统筹全局。因此， 以下将仔细分析目前普遍使用并对科研论文定量评估有重 要影响的一些主要特征指标 ，指出这些指标在实际应用中 存在的主要缺陷，剖析一些评估方法存在的不足及其根源。 同时，以系统科学的原理为基础 ，提 出高校科研论文定量 评估方法制定中应坚持的基本原则和必要的工作程序，希 望能对促进高等学校科研成果评估有所裨益。 l 科研论文评估指标与科研论文水平相关性分析 定量方法是科研论文评估的重要手段之一 ，也是定性 与定量评估方法相结合的基础。为了进一步促进和完善高 等学校科研成果定量评估工作的水平 ，增强高等学校科研 评估工作的有效性。以下将对科研论文评估有重要影响的 一 些特征指标进行研究和剖析，并寻找科研论文评估指标 与论文水平之间的关系，为科研论文评估方法的制定提供 必要的参考。 1 1 论 文是 否被 S C I 、E l 收 录与科研成 果水 平的关 系 在国际上有一定信誉的 S C I 收录与引用数据，按美国 国家科学基金委的看法，它适合于评价科研机构或大量科 学家群体 ， 而不适合于评价研究人员个人 。但 目前许多 高校在科研成果评估工作中常常把科研论文是否被 S C I 、E l 收录作为评价的重要尺度之一。比如职称评聘、岗位定级 、 科研奖励 、基金申报以及研究生导师申报等。那么，论文 被 S C I 或 E I 收录的多少在科研成果定量评估 中究竟能反映 怎样的结论呢?为了回答这些问题，以下选取 5个具有代 表性的学科进行统计分析，其中包括 3个传统基础学科 数学 、物理、化学，1 个新兴学科系统科学，1 个 文理交叉学科管理学。 表 1 中国科技期刊引证报告 ( 2 0 0 0年版 ) 中期刊被 S C I 及 E I 收录情况 为简单起见，假设各期刊中发表的论文数相同，则由 表 1可以估计表 2中的数据如下： 表 2 2 0 0 0年中国科技期刊中论文被 S C I 及 E I 检索系统纳入考察范围的比例 收稿 日期 ：2 0 0 6 0 2 2 2 基金项目：国家自然科学基金资助项 目 ( 7 0 5 0 1 0 1 2 ) ；内蒙古自治区自然科学基金资助项 目 ( 2 0 0 3 0 8 0 2 0 1 0 1 ) ；内蒙古 自治区高等学校 科学研究基金资助项目 ( N J 0 3 l l 2 ) ；内蒙古大学5 1 3 人才计划资助项 目 维普资讯 l 4 0 马占新等：高等学校科研论文定量评估机制研究 从表中的数据不难得到以下结论： ( 1 )如果将 上述 5个学科对应的数据取平均值，可得 到未被 S C I 检索系统纳入考察范围的发表在 中国科技期刊 上的论文比例是 8 7 3 4 ，未被 E I 检索系统纳入考察范围 的论文 比例是 9 3 5 8 ， 如果再加上 中国科技期刊弓 I 证报 告 ( 2 0 0 0年版) 以外的期 刊，这个 比例还可能会更大。 由此可见，被 S C I 和 E I 检索系统纳入考察范 围的论文仅仅 是一小部分，而大部分论文没有被纳入考察范围。 由此可以对科研成果评估提 出许多决策依据。比如： 1 )不能简单地以 S C I 和 E I 收录论文数量来评价研究者个 人或小数量研究者群体。如果用 S C I 和 E I 收录论文数量作 为评价标准时，还必须对发表在非 S C I 和 E I 收录期刊上的 论文寻找对等的评价标准。2 )在评价科研机构或大量科学 家群体时，以科研论文被 S C I 和 E I 收录的数量作为评价标 准实际上可以看成是对科研论文的抽样分析。 ( 2 )在不同学科 中，S C I 和 E I 检索系统考察的范围不 同，比如数学、物理 、化学、系统科学 、管理学科中被 S C I 检索系统纳入考察范 围的比例分别是 4 1 7 ，2 0 6 9 ， 3 8 4 6 ，0 ，0 ；被 E I检索系统纳入考察范 围的比例 分别是 0 ，1 7 2 4 ，3 8 5 ，1 1 。0 。 由这一结论可以看出，被 S C I和 E I收录论文的数量适 合于同一学科内部 比较，并不适合于进行学科问的横向比 较 。 ( 3 )S C I 和 E I 收录论文数量不是对评价所有学科的基 础研究都适用，比如对于管理科学的基础学科，国家自然 科学基金委 l 8种重要刊物中被 S C I 和E I 收录的比例分别仅 为 0 和 5 5 6 。 1 2 在中文核心期刊 目录及其统计数据使用过程中应该注 意的几个 问题 ( 1 )首先，核心期刊中的排序不可能绝对准确。由于 统计工具 ( 检索性期刊或数据库 )总是存在这样或那样的 问题 ，筛选方法总是有这种或那种缺陷，因此，实际筛选 出来的核心期刊只能从总体上大致反映学科期刊的状况， 核心和非核心只是一个相对概念 J 。 ( 2 )在使用中文核心期刊时不要过于机械化。科研管 理和评定人员在制定标准和进行评估前 ，应深刻领会检索 工具与评价 目标之间的深层次关系。根据评价的对象和 目 标的不同，对评定专业、学术级别等具体情况制定出适合 的标准 、中文核心期刊只是一种重要 的参考工具，而不要 无选择地搬用 。 ( 3 )学科分类与科研成果评估具有紧密联系。在科研 成果评估过程中要注意到学科分类的不同对评估结果可能 造成的影响，要考虑到学科特征及其发展的不平衡。 1 3 杂志水平与科研论文水平的关系 由于考虑到定量评估方法在科研论文评估过程中的易 操作性，一些科研管理部门在科研成果评估过程中常常依 据科技期刊的某些特征指标对其分类 ，并应用期刊分类来 估计论文水平。比如 以下是一种常用的科研工作量的核算 公式 。 发放的津贴总数 = ( 发表在某级别期刊上一 篇论文的津贴数 X 该级别论文数量) 这种方法实际上是用杂志的级别来划定论文的质量， 用发表论文的数量来衡量科研工作的总和的。本质上这是 一 种加权和的计算方法。而这种方法合理与否的关键在于 一 份杂志的质量可以在多大程度 反映论文质量。 ( 1 )科技期刊质量与发表在该刊上论文水平的关系。 假设图 1中的曲线表示投于某 一科技期刊的论文数量 与质量的关系曲线 ，1 表示该刊论文被录用的最低水平 ，因 此 ，一篇论文如果能被该刊发表说明该论文至少达到了水 平 l 。图中的虚线 L将所有论文分成录用和未被 录用两部 分。根据录用的比例不同，虚线 L在横轴上的位置也不同。 因此 ，从图中可见科技期刊的质量反映的是发表在该刊上 论文的最低水平和平均水平 ，一篇特定论文的实 际水平 ， 实际上是以一定概率出现在 L的右侧区域。 论 文 数 论 文 水 平 图 1 某一期刊论文质量与数量分布图 ( 2 )运用科技期刊等级划分科技论文水平的前提条件。 在科技论文评估过程中常常根据科技期刊某些特征指 标对其进行分类和定级 ，然后根据每类期刊 的级别来估计 论文的质量。实际上，这种做法存在的合理性是有前提条 件的。即只有在以下 4个条件得到满足时 ，科技期刊的级 别与发表在该刊的论文水平之间才存在正 比关系。这 4个 条件是 ：1 )科技部门对杂志的质量估计和定级是正确的； 2 )投稿人对 自己待发表论文水平和学科内所有期刊的水平 的把握是准确的；3 )评审专家的评审是准确和公平的；4 ) 投稿人坚持的投稿原则是把待发表论文投到可以录用的最 高级别的杂志上。 论 丈 数 I s ： ： S 2 S 3 。 、 图2 论文类与期刊类分布图 假设图 2是某一学科内所有科技论文的数量与质量分 布图，如果该学科 内所有期刊根据水平分为 S 。 ，S ，S ： ， S ，S 共 5类，则在上述 4个：条件得 到满足时，S 类期刊 上发表的科技论文正好是那些学术水平在 1 和 l ： 之间的所 有论 文。 从图 1中的分析可见，学术刊物的质量 可以反映发表 在该刊论文的最低水平上，而不是论文本身的水平 。即从 概率分布的角度看，级别较低的期刊上也可能有高水平论 维普资讯 马占新等：高等学校科研论文定量评估机制研究 l 4 l 文出现 ，闪此，刊物的重要性仅是评价论文水平的一个重 要指标。同时，由于保证期刊级别与论文水平成正 比的4 个条件根本不可能同时成立，因此，在科研论文评估过程 中应该采取多种方法综合分析 ，避免教条主义 、绝对化和 简单化的思想。 2 科研论文评审标准制定过程中坚持的基本原则 高等学校科研论文评价标准的制定不仅关系到学校改 革和发展 的大局，而且也是一项极其复杂的工作，因此， 在标准制定过程中必须坚持以下基本原则。 目的性原则 ：教学和科研是高等学校的两大主题 ，一 套科学 、有效的评估体制是高等学校保持 良性发展的根本 保证。为了推动高校科研工作高效快速发展 ，在科研评估 过程中必须树立人才是第一资源的思想，坚持 以人为本的 原则。比如在激励科技创新成果这一子 目标下，应该 明确 激励谁 ，为什么激励 ，怎样激励，激励的尺度多大等一系 列问题。只有 目标明确 、指标合理 ，科研评估工作才能收 到预期效果。 整体性原则：科研成果评估不仅要考虑学科 内部 的关 系，同时也要考虑到学科间的关系；不仅要考虑科研成果 的具体形式，同时，还要考虑到人在学科发展 中所发挥的 作用。科研评估工作的好坏不仅关系到科研评估本身 ，而 且 ，还关系到学校发展的一系列改革措施的顺利进行。比 如职称评定、人员定岗、分配制度、评优评奖等都和科研 业绩有关 ，不科学或不适应学校发展的评估体制都会导致 一 系列连锁反应 ，有些甚至还会产生阻碍作用。因此 ，科 研评估工作要从学校整体发展的大局出发，进行统一规划。 导向性原则：科研评估制度具有一定的导向性，因此， 应仔细研究 2 l世纪科学发展的前沿和趋势，使评估制度的 建立符合时代发展的需要。同时，还要注意到学科交叉以 及新兴学科的发展，加大对原创性科研成果的支持 力度。 使评价标准在最大程度上符合学科发展的实际情况和总体 趋势。任何背离了学科发展趋势和要求的评估体制都会对 学科的发展产生阻碍作用。 激励性原则：科研成果评估过程中应注意 以人为本的 原则，进行科研评估的目的之一就是要充分调动广大科研 工作者的积极性和创造性 ，使科研成果和科研人才能够呈 现百花齐放 、人才辈出的局面。因此，在制定规则时应采 取积极的激励政策 ，适时适度地确定好奖励成果的范围、 额度、学科等多方面因素，使评价准则能在最大程度上调 动广大科研工作者的积极性和创造性。 可操作性原则：科研成果的评估要考虑到可操作性， 因为一个学校的人力 、物力和财力是有限的，在坚持科学 性的前提下，如何提高科研评估效率 、有效节省评估资源， 也是一个值得深入研究的问题。比如校际资源共享 、优化 评估程序、减少重复性工作等都可以提高评估的效率。 同发展 ，科学将高度社会化 、社会将高度科学化 ，这给 科研成果的评估问题带来了新的挑战。特别是对高等学校 而言，科研成果的评估关系到学校建设的众多方面 ，这是 一 项系统工程 ，不可孤立地考虑。以下从系统工程的方 法出发 ，尝试给出了定性与定量综合集成的科研成果评估 标准的制定程序。 定 性 ： 分 析 ， 预 测 其 童 E一9 源 提 供 建c义 和 参 考 ， ， 判 i m 嗡 舞 睡 数批 ： 钳或没l I_ 特代数赫 ： J 确 题 阶段 建模 计尊 阶段确定 新的指标体系分析 结 粜阶 段 图 3 科研成 果评估方 法的制定程序 ( 1 ) 目标 、问题与宏观定性分析。1 )研究各个学科的 总体水平 、学科特点 、主要特征 、成果形式等一系列与科 研成果评估有关的重要问题，总体把握学科发展的总体趋 势和基本方向。2 )围绕学科发展的基本状况 ，结合学校发 展的实际，确定评价的总体 目标和基本任务。3 )明确评价 的总 目标和子 目标，分析所有与目标评价有关的因素，并 确定因素的性质、建立层次结构、找出重要关系、发现可 控因素和不可控因素。4 )通过使用所有可获得的信息 ( 例 如 ： 其他院校的工作或经验，有关专家、学者的建议，国 内外可供决策的资料和数据等)对 已完成和将要进行的工 作做出定性分析，考查其合理性。 ( 2 )指标、建模与计算。对众多学科内纷繁复杂的科 研成果制定 出定量评 价的方法，这是一项系统性 的工作 ， 需要集成各学科专家 以及科研管理人员的知识、经验、分 析力和洞察力，因为它不仅涉及学科内部的分析，也涉及 学科之间的比较 ；既涉及学科 自身发展，也涉及学校整体 建设。因此，在这一阶段要根据评价的总体 目标 ，以定性 分析的结果为指导，全面建立评估指标，收集相关 的数据 资料 ，确定合适的计算方法，并对 已有的工作进行全面分 析，其中关键的一点是考察选取的指标和采用的方法是否 能够真正反映评价 目标、计算的结果是否符合客观实际。 ( 3 )评估方案的公开论证。科研成果评估办法的草案 产生后，必须组织广泛的探讨和公开的听证和论证，接受 各方面的意见和建议 ，进行反复酝酿、精心设计。其 中决 策领导小组应由学术领导小组和行政领导小组构成 ，两个 小组应分清责 任、各施其责，即要紧密配合、协调工作 ， 同时又要接受广泛的监督，这样才可能制定出有效的评估 体系。 当然，完善科研评估方法需要采取多种措施和方法进 行综合评估。比如规范科研论文的审稿制度 ；实现评审意 见公开，由编辑部对发表在本刊的论文做出公开评述；发 挥全国性 、地区性科研组织或学会 的作用等。这些方法都 可能会对科技论文评估产生积极作用 。 3 科研成果评估标准的制定程序4 结束语 当今世界，自然科学 与社会科学等 门类科学的交叉、 在坚持科学性 的前提下 ，如何实现科研评估的高效性 综合将形成强大 的潮流，科学与技术相互渗透、转化和协 维普资讯 1 4 2 马占新等 ：高等学校科研论文定量评估机制研究 是一个值得深入研究的问题，完善以文献计量和数据分析 为基础的定量评估方法 目前仍然是科研成果评估 的有效途 径之一 ，也是定性与定量相结合的一个重要组成部分，将 对完善现有科技成果评估工作产生积极的作用。 参考文献： 1 国家自然科学基金委员会，2 0 0 2年国家 自然科学基金项 目指 南 s 国家自然科学基金委员会， 2 0 0 2 2 俞汝勤营造宽松学术环境倡导优良学风 N 人民政协报， 2 0 O 4 一I l一2 4 3 吴彤S C I 不能简单说 “ Y e s ” 或 “ N 0 ” J 新华 文摘， 2 0 0l( 1 1 ) ：l 5 1一l 5 3 4 戴龙基中文核心期刊要目总览 M 北京 ：北京大学出版 ( 上接 第 1 3 6页) 人员是出还是进?事实上只要获聘人员具备岗位的任职条 件，又有完成岗位任务的能力，就应该获得高校聘任 ，担 任相应的任务 ，这就是岗位聘任制的实质所在。这不仅要 求高校必须拥有人事 自主权 ，还要求我国建立合理的高级 人才流动机制 ，使人才在流动过程中不会受到诸如户 12 1 、 档案、人事关系、社会保险等的制约，提高人才的使用效 率，在各种项 目负责制的短期合约中，高级人才的租赁制 度也是一条可以尝试的途径 。 目前，在各高校中普遍存在着 “ 事业编制” 、“ 长期合 同管理”、“ 短期合同管理”、“ 人才中心挂靠”等人员管理 模式。2 0 0 4年深圳市对事业单位更是推出了 “ 雇员管理” 模式。多种人员管理模式的存在 ，说明了高校管理 的复杂 性 ，也说明了 目前国家大一统的正式编制管理已经严重落 后于高校的发展，应该在政策上给高校松松绑 ，让高校拥 有真正的用人 自主权。 3 3落实岗位 自设制度 在高校推行岗位聘任制度是利国利民的大事，这点从 北京大学人事制度所受到的关注程度可见一斑。岗位聘任 中的岗位设定原则是因事设岗，由于各学校的实际情况不 同，可能会设定 出不同比例的岗位，甚至有的学校还会按 照原来的 “ 因人设 岗”原则进行岗位设定，但笔者认为， 只要真正能够落实岗位 自设制度，在岗位设定中没有政策 的干预 ，“ 高职低聘” 、“ 低职高聘”等现象必然会跃然纸 上 ，并促使 “ 因事设