学术评价中的同行评议问题探究

1、学术评价中的同行评议问题探究关于学术评价中的同行评议问题已有一些讨论，这里有必要继续讨论怎么样把同行评议做得更好的问题。我们说，科学的学术评价是社会需要，是学术发展的需要。随着社会科学、技术进步与经济、文化的发展，有大量的科学研究成果不断涌现。由于人们时间、精力、财力的限制，不得已有选择的利用这些现有的、或者有一定价值的成果。有选择就有评价，社会和学术界大量选人、选物等各类选择的需求，推动了科学评价的产生和发展。由于科学评价的复杂性，评价结果往往难以令人满意，因此，经常会遭到这样那样的非议。但是，不管人们是不是喜欢，这个科学评价其实是无处不在的，并且已经成为当今社会关注的热点问题。科学评价实际

2、上是一件特别复杂的事情，它的复杂性表现在评价对象、评价主体、评价目的、评价方法等诸多方面。评价对象是复杂多样的，在科学研究领域，评价的对象是知识产品，知识产品可分为精神产品和物质产品，精神产品包括论文、论着、课题、新工艺等等，物质产品包括新工具、新产品等等。关于评价主体即谁来评价，也是五花八门，有管理机构的评价、资助机构的评价、服务机构的评价，有政府评价，也有民间评价等等。评价目的也各不相同，政府机构可能有奖惩之类的评价，管理部门可能有职称评定之类的评价，资助机构有基金评审之类的评价，有些民间机构有选刊、选文之类的评价等等。这些评价都是很难的事情，因此为达目的，评价方法也是有多种多样，归纳起来

3、可以分成三类：定性评价、定量评价和定性与定量相结合的评价。我跟大家讨论的是定性评价当中同行评议的地位和作用。同行评议实际上是定性评价中的一种代表性的方法，这是历史最悠久的、最传统的方法，也是最重要的科学评价方法。这种方法其实是一种主观的评价方法，大家都知道有缺点，但是至今还没有找到可以替代它的更好的办法。目前在学科评价、职称评审、项目资助、论文发表、机构评估等科研活动中，同行评议是被国内外使用最广泛、最基本的一个方法。同行评议的主体是同行，评价的标准是一种事先制定好的有效评议的范式，有一个同行，然后再有一个标准，就可以进行评价活动。同行评议有很多优点，它是决策民主化的一种手段，可以避免决策上的

4、主观臆断，如果有一个同行的组织进行评议，可以避免少数决策者的主观臆断。同行评议采取大致相同的范式来评价同一个事物，使得评价结果有效度，不会出现风马牛不相及的重大失误，这也就是为什么同行评议会为大家共识，一直都在使用的一个重要原因。但是同行评议也不是完美无缺的。我觉得在以下方面同行评议还是存在问题的，有欠缺的。首先，同行评议可能欠客观，因为它是一个主观的判断，这个主观判断容易受到专家的学术视野、学术喜好、知识结构等的影响，所以评出来的结果可能有时候会欠客观。第二，同行评议可能欠公正，因为由于竞争关系、人情关系这些因素的影响，难以保证所有专家都是公正的。尤其在我们中国现在人情很泛滥的社会环境，更可

5、能会出现欠公正的结果。第三，也可能欠合理，因为评价标准和程序是机械的，大家都要执行。比如有的期刊在审稿时规定必须有十篇参考文献，没有十篇就不要了，可能他就没有十篇，但是是一篇好文章，你就不采用它了？ 这样就会产生一些不合理的现象。还有一些专家带有歧视的眼光，看不上你的成果，还有热点追逐等现象，这些都会影响合理评价。再就是同行评议的可控性比较差，难以控制越规行为，比如说它欠公正、欠合理，怎么样来控制，也是比较困难的。此外，同行评议的成本高，要花费大量的经费，还要花费专家们大量的时间和精力，但即使这样，不一定能做得好。有些欠缺是同行评议固有的，比如专家的知识局限性是固有的，有的是社会风气和社会环境

6、造成的，这些问题无法或不易克服，因此同行评议的结果往往会不尽如人意。可见，作为定性评价方法代表的同行评议，我们看到它并不是完美无缺的，是存在局限性的。那么怎么办？ 如何解决这些问题？ 就需要改进，如何改进？ 于是定量评价方法被引入，并逐步发展起来，起到了较好的作用。什么是定量评价？ 定量评价实际上是将研究成果的一些特征进行数量化，并且根据数值的大小来评价对象的水平高低和质量优劣。SCI 创始人加菲尔德通过引文分析，对评价的基本因素的准确性、稳健性、功能性等进行了分析后认为，就自然科学与社会科学而言，文献计量学方法明显优于同行评议。大家都知道，定量评价在客观性、具体性、准确性、可操作性等方面比定

7、性评价更具有优势，但是学术成果的内容有些是不能量化，或者是很难量化的，在人文社会科学方面更是如此，加上各种因素产生的无效引用，也会使得定量评价的有效性大打折扣。所以定量评价也会出现严重偏差，我们在做评价的过程当中发现，有些定量评价最后得出的结果一看就有问题，有偏差。可见定量评价也不是完美无缺的方法，上面已经分析过定性评价的陷缺。所以，现在越来越多的提倡定量评价和定性评价相结合的评价方法。怎么样来完善定量评价和定性评价相结合的评价方法呢？ 我觉得可以从以下几个方面来下工夫。首先要进一步完善大家都在用的、特别经典传统的同行评议机制，可以从这几个方面来考虑：一是要完善专家遴选机制，比如对专家系统的知

8、识结构、学术水平、研究道德修养、评议水平等等都要进行评议，使之组成优秀的评价专家队伍。二是要制定细致的评价程序，并且严格执行，在同一个标准里面进行评价。三是要完善监督机制，就是这个评价的机构以及评价出来的结果要有人来监督。使评价主体更加鲜明，而不是自己找一找就行了。所以只有有了好的评价主体才能有好的评价结果，这也是同行评议机制的进一步完善。第二是在大数据时代，可以引入网络同行评议的方法，开放获取同行评议和公众评议，好处是能够缩短评议的周期，能够突破地域和专业的限制，实现评议过程和结果的网上查询，提高公开和公正程度，网络评议也是对于同行评议的一种完善。但是，网络的公众评议也有一定问题，比如，其有

9、效性、可靠性是要下大工夫来解决的。大家都知道网络资源有很多问题，能不能保存，是不是可靠，有没有效果都有很多的问题。所以网络评议现在刚刚开始，大家都在做，今后有待大家共同想办法解决它存在的问题，提高它的效率。三是要提倡定量和定性相结合的评价方法，同行评议和定量评价这两种方法并不是互相对立的，而是相互联系、互为基础的。现在的定量评价本身就含有同行评价的成分，引文是通过同行评议，经过深入研究认为有效才引用。文摘、转载这方面的数据，那是经过了刊物转载，经过专家们认真的评议优选出来的。所以我觉得这些东西本身就是同行评议的结果，是互为基础的。同行评议的过程中其实也用到了量化的方法，设置好几个指标，由专家来

10、打分，最后得出结果就是一种量化。因此，定性评价和定量评价是互相联系、互为基础的。所以，我认为，同行评议和定量评议是可以优势互补的，同行评议要充分发挥专家的特长和优势，科学计量可以给专家评议的主观判断提供客观的数据，所以是相辅相成的。通过以上分析可以得出这样的结论：对于类型多样、因素复杂的学术评价，未来的评价应该是科学计量和专家智力的组合，没有最好的方法，只有最合适的方法，没有普遍的标准，只有特定的标准。任何评价机制都不会是完美无缺的，无论你选择哪种方式都会存在这样或者那样的缺陷，评价机构应该根据评价目的和客观条件选择最合适的评价方法才能够取得比较理想的评价结果。我们国家不少评价项目采用不同的评

11、价方法，都能够达到比较好的研究目标，得到学界认可的具有参考价值的评价结果，所以各种有效的评价方法才能得到认可。原发期刊、文摘期刊等的审稿、选稿一般都采用同行评价的方式，因为这样的审稿没有定量数据可统计，即定量评价统计不到，所以，审稿、选稿作为一种评价，严格地说，就是一种同行评议。而对期刊的评价一般都采用定量和定性相结合的评价方法，比如：中国人民大学人文社会科学学术成果评价中心和中国人民大学书报资料中心研制的‘复印报刊资料’重要转载来源期刊（2014 年），采用的方法是，定量和定性相结合的方法来评价，定量的结果请专家来评判，然后提出 10% 不建议优选的名单，最终推出了2014 年中国人民大学书报资料中心的 747 种来源期刊。北京大学图书馆研制的中文核心期刊要目总览（2011 年版），采用定量结果请专家评审，提出不入选名单和增补入选名单，最终评出 750 种人文社会科学核心期刊。中国社会科学院中国社会科学评价中心研制的中国人文社会科学期刊评价报告（2014 年），对中国人文社会科学引文数据库;733种来源期刊，用定性和定量相结合的方法，以专家的意见为主进行了学科的分类排序。其实，这次全国中文核心期刊也是采用定量和定性相结合的方法来评定，定量评价的结果