第8章_学术评价规范

1、第8章 学术评价规范 8.1 学术评价的含义n所谓学术评价是指根据一定的标准，采用一定的方法，对学术机构或人员的学术目的、学术过程、学术成果、学术媒体而展开的价值判断活动。换言之，学术评价是指衡量学术活动及其相关事项的作用、影响或价值。 n学术评价的行为者由评价委托方、受托方和被评价方三者组成。n委托方是指提出评价需求的一方，主要是各级政府部门、学术管理部门或其他负有学术活动职责的机构、学术共同体、学者个人等，如教育部、自然科学基金委员会、社会科学基金委员会、中国物理学会、南京大学和冯端院士等；n受托方是指受委托方委托，组织实施或实施评价活动的一方，主要包括专业的评价机构、评价专家委员会或评价

2、专家组、专家个人等，如南京大学中国社会科学研究评价中心、国务院学位学科评议组等；n被评价方是指申请、承担或参与委托方所组织实施的学术活动的机构、组织或个人及其成果等。 8.1.1政府部门n政府部门在学术研究中扮演着重要的角色，既是资助者又是受益者。政府部门为了提升自己在科学、经济、国防等方面的国际竞争力，为了制定切实可行的行政策略，优化和规划政府行为，需要大量的学术成果为己所用，因而政府部门会主动公布学术研究课题并提供大量经费，供学者研究。反之，学术研究强大的生命力也就在于它对实践的指导，无论是自然科学还是人文社会科学，只有正确回答自然界和人类社会发展中的重大理论问题，才能体现自身的价值。政府

3、部门为了检验她所布置的任务完成情况和经费使用的合理性，常常于事前、事中组织对各项目进行学术评价。项目完成后，其研究成果是否可行，是否会产生预期效果，政府部门也会根据评价专家或机构意见对项目进行评价。8.1.2科研管理部门n科研管理部门是数量最多的评价委托方。为了评定奖励、评定职称、课题申报、学位评定甚至人事调整都要涉及到学术评价问题。这类评价大多由科研管理部门通过评价中介进行。如南京大学科技处在奖励评审中，通过评价专家委员会根据既定条件去衡量全体对象相对位次，排列前位的就给予奖励；在职称评审中，将对象在一定时期内的所有学术成果按一定规则与既定条件相比较，大于既定条件者给予晋升职称，否则，不予晋

4、升。 8.1.3学者及学术共同体n学者及学术共同体作为评价委托方可以请求其他评价机构或评价专家对其学术水平和成果水平进行评价。作为受托方，即评价方，主要以两种方式进行评价，一是作为评价专家或评价专家委员会来评价，二是通过学术争鸣和学术引用的形式来表现。8.1.4社会大众n社会大众对学术活动及其成果的评价是一种总体性的抽象评价。由于他们不具备专业知识，因此他们一般不会对某项具体成果提出独到的贴切的专业见解，但能从整体上给出一种满意或不满意的评价。尽管其评价不可能科学、确切，甚至其中会存在很严重的偏见，但却会关注其成果在实际应用中的效果。社会大众的评价作为一种社会舆论潮流，往往会形成无形的压力，它

5、会直接或间接影响政府对学术研究的资助力度，影响着成果的生存和发展。 8.2 学术评价的类型n8.2.1 国家学术实力评价n国家作为学术评价对象，主要反映的是一个国家在某些学科、某些专业在国际上的位次，它在学术研究方面所具有的国际竞争力，这也是评价综合国力的一个重要指标。如，我国自行研制的“神舟”五号载人飞船成功的发射与回收，就标志着我国在载人航天技术上继苏联、美国之后成为世界第三大航天大国。这就是我国在航天领域的学术评价。又如，美国在IT领域引领世界潮流和方向，处于领先地位，这也是对美国在IT领域中的评价。再如，甲骨文研究领域，中国的学术水平就处于世界领先地位。8.2.2 学术计划评价n学术计

6、划是指对国家或地方重大学术计划（含“工程”和“专项”）的设立和实施效果进行的评价，其目的是为改进学术计划的决策与管理、优化资源配置提供依据。它包括前期评价、中期评价和绩效评价。前期评价主要是对拟设立的学术计划的必要性、可行性及其定位、目标、任务、投入、组织管理等进行评价，为战略决策、计划设计和组织实施提供依据。中期评价主要是对科学技术计划执行中的进展情况及存在的问题进行评价，为计划的后续安排和调整提供依据。绩效评价主要是对计划目标的实现程度、完成效果与影响、经费投入的效益、组织管理的有效性等进行评价，为科学技术计划的滚动实施、调整或终止提供依据。8.2.3 学术项目评价n学术项目评价是指对某学

7、科或跨学科专门研究课题的设立和实施效果进行的评价。它包括战略性基础研究项目、自由探索性基础研究项目评价、应用研究项目评价、学术实体化项目评价、社会公益性研究项目评价、学术条件建设与支撑服务项目评价。8.2.4 学术机构评价n学术机构评价主要是指对科研院所、高等学校、课题组等的创新体系建设、管理制度、发展目标与定位、研究与发展能力、人才队伍建设、条件建设与服务水平、运行机制与创新环境建设以及产出绩效等方面的评价。它包括基础研究机构评价、社会公益类研究机构评价、应用开发类机构评价。8.2.5 学术人员评价n学术人员评价主要是指对研究人员、高校教师等专业人员的代表作和业绩、创新潜力和学术道德等的评价

8、。它包括基础研究工作的人员、应用研究工作的人员、成果转化与产业化工作的人员、条件保障与实验、图书管理人员的评价。学术工作的标准 n知识 n明确目标 n适当的方法和程序 n创造性使用资源n有效而良好的交流 n重要成果 8.2.6 学术成果评价n学术成果包含的内容很多，按照不同的标准，可以将学术成果分成各种类型。比如，按照学术成果的内容性质上分，可有基础研究成果（战略性基础、自由探索性基础）、应用性研究成果；按照成果的复杂程度上分，有硬科学研究成果、软科学研究成果；按照成果的内容学科上分，可有自然科学成果、人文社会科学成果；按照成果的出版方式上分，有记录型成果（文献、网络作品等）、实物成果（产品、

9、软件、广告作品、新闻成果等）；按照文献成果的级别上分，有研究型成果、资料工具型成果；从文献成果的出版形式上分，有文章（论文）类、图书类、研究咨询报告类等。 不同的成果类型可以按照不同的评价标准及指标来衡量n自然科学基础研究成果应以在基础研究领域阐明自然现象、特征和规律，做出重大发现和重大创新，以及新发现、新理论等的科学水平、科学价值作为评价重点。在国内外有影响的学术期刊上发表的代表性论文及被引用情况应作为评价的重要参考指标。n应用技术成果应以运用学术知识在科学研究、技术开发、后续开发和应用推广中获得自主知识产权，促进生产力水平提高，实现经济和社会效益为评价重点。应用成果的技术指标、投入产出比和

10、潜在市场经济价值等应作为评价的重要参考指标。n软科学研究成果应以研究成果的科学价值和意义，观点、方法和理论的创新性以及对决策科学化和管理现代化的作用和影响作为评价重点。软科学研究成果的研究难度和复杂程度、经济和社会效益等应作为评价的重要参考指标。n人文社会科学研究成果又可分成各种类型，都需要分别评价。 以广告作品和新闻成果为例n其标准应该由如下几方面构成：n该类作品是否构思新颖 n该类作品是否恰当地使用了先进技术 n该类作品是否具有良好的社会效果 8.2.7学术媒体评价n学术媒体评价是指期刊、报纸、网络等学术性载体在传播学术时所产生的影响和形成的地位，以及他被学术共同体认可的程度。它包括学术期

11、刊评价、学术网站评价等。如通过影响因子、被引量、期刊被引半衰期、被摘量、被索量、他引量、转载或下载量、获奖或被国内外重要检索工具收录等评价指标确定的核心期刊或核心网站便是对学术载体的一种评价形式。n在学术媒体评价中，影响因子、被引量、半衰期这三个指标具有重要作用。n影响因子（impact factor）是指某刊论文的平均被引率，即某刊某年的影响因子等于该年引用该刊前两年论文的总次数与前两年该刊所发表的论文总数之比。影响因子可以消除因期刊载文量不同和质量不等的论文对期刊被引率的影响，使各类型的期刊具有一定的可比性。n被引量（cited number）是指某篇论文被其他论文引用的次数。期刊被引量是

12、指某刊的论文被其他期刊的论文引用的次数。n期刊被引半衰期（cited halflife）指某期刊现尚在被引用的全部论文中较新的一半的年代跨度。它可测度期刊文献老化的速度。文献的半衰期受学科的内容、性质等因素的制约。一般来说，比较稳定的学科，其期刊半衰期要比正在经历重大变化的学科，或者说发展较快、较活跃的学科的期刊半衰期长；基础理论学科的期刊半衰期要比技术学科的期刊半衰期长；历史悠久的学科期刊半衰期要比新兴学科的期刊半衰期长。8.3 学术评价的原则n8.3.1目的性原则n学术评价的目的不是为了评价而评价，而是为了营造百家争鸣、百花齐放的学术氛围，客观公正地给予被评价对象做出恰当的学术定位，促进学

13、术研究的蓬勃开展，为顺利实施学术研究和学术研究成果在社会实践中实施提供强有力的科学依据。如评奖评优、评定职称、项目实施等。如果学术评价以后，没有达到上述目的，反而给学术研究带来消极影响，那就失去了学术评价的意义。 8.3.2定性定量原则n由于学术评价是就评价对象的学术能力、学术贡献、学术成就、社会贡献、学术影响等方面而展开的评价活动，这些方面有些可以定量测试，有些则很难用精确的数据来表示。因此，在学术评价时还必须坚持定性定量相结合原则。n定性评价是指评价者根据其价值观与历史观对研究成果进行概括性评价，如优、良、中、差等。同行评议（peer review）是定性评价的一种主要方法。 n定量评价是

14、指评价者根据数据对研究成果进行具体精细的评价，即评价者将自己对评价对象的定性认知，在委托方授权范围内实行打分的方法，给出定量化的数据，有十分制、百分制、贝克标尺等 。2004年年底中国科学院各研究所采用以下几种评价方式 n第一种是用定量指标进行评价，按不同权重计算各个指标的得分，如分为成果、论文、专利等指标。 n第二种是相对软性的评价方式，如组织学术报告会等，在报告会上讲一讲自己所做的贡献与成果，同行之间互相提问，有的研究所可能还会请所内若干专家组成一个委员会评评等级。 n第三种是请国内外专家进行比较规范的定性评价，包括现场评价与通信评价，这种评价主要针对课题组或学科带头人。 n第四种是定性与

15、定量相结合的评价。 8.3.3分类评价原则n学术评价作为一种手段去衡量评价对象的学术能力或学术功效，它必须有一把尺子或者一个标准去测量对象，但对象是复杂多样的，这就需要尺子或标准能随之而变化，即必须按类评价。通过分类使评价对象具有横向可比性、评价活动更具有针对性、评价结果更准确。 8.3.4质量原则n评价是对研究成果质量的评价，强调创新、效益和效率。质量是一切学术成果的生命线，学术研究必须要重视质量。 n质量就是创新、效益和效率，即学术研究成果要有理论的或现实的价值。创新是学术发展的不竭动力。8.3.5公开、公正、公平的原则n公开的含义包括：n事后适度公开评价者。无原则的公开会给评价者带来人为

16、的干扰，产生不必要的纠纷和矛盾；n广泛公开评价程序、方法或指标体系，使评价主客体都清楚自己所应遵循的学术规范；n评价的目的和时间要公开，使评价主客体信息尽量对称，都明白各自的努力方向；n评价结果及时公开，这便于接受公众裁判，便于被评价者及时申诉。 n公正，指评价者应该根据预先确定的方案客观地给予评价对象以评价，不将自己的个人情感、喜好、学术观点、不正之风、舆论误导等因素带入评价中去。这些因素往往会使评价者产生偏见，从而影响他的立场和判断。为此，必须首先建立评价规则，以规范评价者的行为；n其次，建立专家库，在评选前的适当时间内随机选择专家，以避免评价主客体之间的私下接触；n再次，建立信息畅通、规

17、范有效的监督体系，接受申诉并负责查处。这要求评价者对评价对象要有较透彻的了解，在评价中不能放大，也不能缩小，尽可能量化。 n公平，有两层含义：一是指评价客体在公平的地位上接受评价，不为性别、民族、学历、地位、区域、学科等外界条件所左右；n二是允许评价客体有充分的答辩和解释的时间和权利，这有利于增加评价的民主性、科学性，在一定程度上可以消除评价的主观性影响。评价的组织者应该充分重视被评价者的辩解，并将处理结果公开。 8.3.6相对性原则n由于学术研究的特点、对象、评价主体、评价对象的复杂性，因此，其准确评价需要相当长的时间和反复的实践。但现实又要求评价者在一定时间内作出结论，故其评价具有相对客观

18、性和公正性。学术评价只有针对一定的参照系在一定的时空范围内才能进行，而且只有结合评价目的、学术背景、社会发展要求的评价才有意义，只有坚持和承认结果的相对性，才是科学的，不存在绝对等级的评价结果。从学术评价的角度看：目的、标准、评价者、参照系、背景等参数，只要有一个发生变化，针对同一对象的评价结果就可能发生变化。 84 学术文献评价的一般标准n学术文献主要是指学术论文、专著、参考工具书、教材、研究报告、咨询报告等，它是最常见、最主要的学术成果，是学术成果评价及学术评价中最重要的内容，因为学术机构、学术人员的评价最后都要集中到以学术文献为主的学术成果评价上来。 8.4.1 选题是否恰当、前沿、有意

19、义，发现程度、难易程度等（加权系数15%）n在考察选题时应该注意以下几个问题：n选题是否经过调查研究。这里的调查研究包括社会调研和文献调研两类。n选题是否具有针对性。针对性是指选题是社会发展进程中和学术研究中遇到的和需要解决的问题。这样的选题一旦得到解决，就能够丰富学术理论，解决学术研究本身所遭遇的理论和实际问题，推动社会经济和学术进步。n选题是否符合科学性。科学性是指选题不能违反一般的社会和自然法则。否则，这样的选题就毫无意义。n选题的难易程度。 842观点或论点是否明确、独到、新颖等（加权系数5%）n应该着重注意以下几个方面的问题：n观点是否明确。无论正确与否，都应该有明确的观点。只有观点

20、明确，才可以展开有针对性的论证，否则，学术研究就变成了无矢之的，也就失去了评价的意义。n观点是否独到。所谓独到，就是和别人不一样。具有独到的观点是开展学术研究的必要条件，没有独到的观点就失去了学术研究的价值。n观点是否新颖。新颖就是超出现有，或者说现在还没有。如果提出来的观点是现在已有的，没有任何新意观点的研究也只是徒劳无益的。n观点是否科学。观点明确也好，新颖、独到也罢，如果不符合科学性原则，那么再好再新的观点除了哗众取宠外没有任何可值得研究的价值。 843方法是否有创新、突破、改进、应用等（加权系数20%）n在考察学术研究的方法时应该注意到如下一些问题：n是否有创新。创新，就是在学术研究中

21、采用了前人没采用过的、现在还不存在的研究方法。n是否有突破。突破指在学术研究中，利用现有的方法解决了原来没有解决的问题，或者使用了其他的研究方法解决了同样的问题。n是否有改进。改进就是仍然使用原来的方法，但在某些具体细节上做了调整和改动，简化了研究过程，使结论更清晰。n是否有应用。有的方法在一些领域有应用，但在另一些领域尚未应用，如果你在学术研究中，能够将此研究方法应用于尚未应用的方面，就很有意义。n是否正确和最优化。 844论证是否有力、理由充足、内容详实、逻辑性强等（加权系数15%）n考察论证时都应该注意如下几方面问题：n论证是否有力。论证是否有力包含三方面含义：一是论者所提供的论据是否属

22、实；二是论据能否切中问题的要害；三是选择的方法和角度是否合适。n论证的理由是否充分。指所提供的论据是否涉及到所提学术观点的各个层面，要求不存在论证死角；依据的学术理论是否和学术观点相关，要求没有理论缺陷，不能顾左右而言他。n论证内容是否详实。论证内容详实是论证的关键所在，也是学术研究文本写作的主体部分。详实论证主要有三个方面：一是论据充分。二是说理充分。三是层次分明。n逻辑性是否很强。逻辑性在这里是指学术研究中学者思维所具有的内在的规律性。 8. 4. 5资料是否丰富、准确、引用和注释规范等（加权系数10%）n考察时应该从以下几个方面入手：n资料是否丰富。在学术研究的每个阶段，都涉及到资料，资

23、料是否丰富将直接影响到学术研究的进展程度和完善程度。n资料是否准确。在做学术研究时，也并不是资料越丰富越好，最重要的是所掌握的资料是否切题，是否和学术研究紧密相关，是否能够在研究中派上用场。n资料的引用和注释是否规范。n引用资料必须注释 n引用注释必须规范 n引用注释必须全面 8. 4. 6用词是否专业、规范、流畅、准确、生动等（加权系数5%）n考察用词，应该从以下几个方面展开：n用词是否专业和规范。每一学科都有其系统的概念、术语和约定俗成的代号、符号等，在学术研究中使用专业词汇是学者的基本功之一。用词专业，一指所使用的词都是合乎规范的专业词汇，二指用词恰到好处。用词规范，一指用词符合学科发展

24、要求和学术共同体的共识，不是随意杜撰的词汇；二指不随意使用缩略语、组合词等。n用词是否流畅和生动。用词流畅和生动，是学者素质、水平的体现。它却直接决定着文本的优美程度，影响着文本的可读性，进而影响着学术研究成果的传播速度和应用广度，影响着学术研究的价值实现。n用词是否准确。用词准确是指准确地使用相关学科的词汇，精确地表述学者的学术思想和观点，这是学术写作的核心。 8. 4. 7影响：是否有正面反响、被正面引用、转载、文摘、索引、评论、获奖、推动本学科程度、发表期刊或出版社影响等（加权系数15%） n应着重考察以下几个方面：n学术评价是否有正面反响。 n学术研究成果是否被正面引用。 n学术研究成

25、果是否被转载。转载是指一个载体全文登录另一载体的学术研究成果。 n学术研究成果是否被文摘。 n学术研究是否被索引。 n学术研究是否被评论。 n学术研究成果是否获奖。 n学术研究是否能推动本学科的发展。 n学术研究成果是否发表于重要期刊或由重要出版社出版。 8. 4. 8效益：是否被有关机构采用、对经济和社会的推动、思维方式改变、精神财富创造等（加权系数15%）n。效益的表现形式有：n学术研究是否被有关机构采用。 n学术研究是否对经济和社会起到推动作用。 n学术研究是否改变了人们的思维方式。 n 学术研究是否创造了精神财富。 85各类型文献评价的具体标准n851 基础研究文献的评价标准n基础性科

26、学研究文献主要是以认识和探索人类社会及其自然界的运动规律为目的，很少考虑应用研究。 n简言之，就是纯理论研究，开展的实验研究也是为了获得新理论，这些理论一般不会也不能立即投入实际应用，必须假以时日，等待技术和工艺的进步。n评价基础研究，关键是看是否有原创思想。基础研究又分为战略性基础研究和自由探索性基础研究。 （1）战略性基础研究文献n战略性基础研究文献是以解决科技、经济、社会发展中提出的具有重大的影响、普遍意义和广阔应用前景的学术问题为目标，探索新理论，寻求新方法，开拓新领域，为我国小康社会的可持续发展、科学发展提供理论依据和知识储备。 n该研究是否是社会发展和国家安全中重大基础科学问题。

27、n该研究是否具有学科前沿的原创性创新和集成性创新。 n该研究是否为解决国家重大需求作出了实质性的贡献。 （2）自由探索性基础研究文献n自由探索性基础研究，就是指没有外界的干扰和束缚，随着研究者自身的兴趣和爱好，针对学术领域存在的问题而进行多纬度求证。 n是否有新发现。n是否有新概念。 n是否有新理论。 n是否有新方法。 852应用性研究文献的评价标准n应用性研究文献主要是运用现有的基础理论，围绕学术领域和现实生活世界中存在的问题，研究如何将理论知识转化为解决实际问题的技能、方法和手段，探索、开辟实际应用的新领域，使理论和实践紧密结合。 n该项成果是否紧密结合了经济建设和社会发展的需求。 n该项

28、成果能否推动知识的发展。 n该项成果是否带来直接经济效益和社会效益等。 853资料工具性文献的评价标准 n资料工具性文献是指学术研究者或非学术研究者在进行科学研究、工作、学习、生活时借以参考、学习、借鉴、比照的基本资料、信息和文献。 n（1）该成果是否准确。 n（2）该成果是否权威。 n（3）该成果是否系统。 n（4）该成果是否连续。 n（5）该成果是否共享。 n（6）该成果在处理资料时是否手段先进、方法得体。 n（7）该成果对决策咨询的服务效果如何。 854人文社会科学研究文献的评价标准n对于具体的成果评价，应该从以下两方面着手： n（1）是否对提升人们的精神生活起着积极的促进作用。 n（2

29、）是否对改变人们的价值观念有着积极的促进作用。 86文献成果的分类评价n861文章类n从内容分，文章类可分成理论性论文、应用性论文、评论性论文（包括综述报告）、理论学习与社会实践总结与介绍性文章、书评、讲演与领导讲话、通讯、报道、专访等，这些成果类型间的学术性，一般呈阶梯式差别，即有创见的论文学术性最高，依次为应用性论文、比较研究论文、介绍性论文等。但学术层次相对低的文章的总体评价未必不能超过层次高的文章。（1）理论性论文研究成果评价指标的选择n反映论文内容评价指标 n创新性。创新性。创新是一个相对宽泛的概念，创新性主要是看从论文中的观点、见解、论证、角度、方法等方面，是否或多或少有所发现、有

30、所发明、有所创造、有所前进。n时效性。时效性。时效性主要成果推出的及时性。如有的论文从定稿到正式出版要有一年以上的时间，有的则只有三个月。n影响力。影响力。学术论文的影响可以用转摘和引用两个方面来体现。转摘可以通过转摘的刊物的质量来表现。引文方面则可以借助一些现成的索引工具，如SCI、SSCI、CSCI、CSSCI等来对论文被他人引用的情况进行数量上的统计，同时可以结合专家访谈、问卷调查等形式来获得一定的数据。n反映论文形式方面指标n写作规范。写作规范。不管是在正式的期刊上发表，还是在会议文献中收录，或者是学位论文，对于写作上都有一定的格式要求。如文章的基础组成部分、参考文献的著录、规范地引用

31、他人的研究成果、文字或图表的格式等等。n表达方式。表达方式。主要是看论文在论证过程中是否结构清晰、层次分明、逻辑性强、重点突出、语言精练。另外，在表达过程中有无采用图像、表格等直观的表达方式。n其他指标n论文的发表情况。论文的发表情况。如果是在正式期刊上发表的论文，要分析其所在刊物的质量级别（不是行政级别）。如果是在正式学术会议上发表，要看学术会议的层次。n获奖情况。获奖情况。如果论文在某范围内是获奖作品，要看其得奖的层次和级别。n转载、收录情况。转载、收录情况。如果论文被转载、收录，要看这些文摘、目录或书刊是否以质量为精选标准。n是否与人合作。是否与人合作。学术论文中有的是一个人独立完成，有

32、的是多人合作。有的是跨学科的合作、跨领域的合作，这些都要有一个科学的认识。n是否资金资助项目。是否资金资助项目。一般能够得到国家和省内有关资金资助的论文，对于国家的科技、社会、经济等影响力较大。 （2）评价指标相对重要性的确定n由于论文所在学科的特点不同、作者所在机构不同、评价的目的不同，所以对于上述指标的侧重点也是不同的。因此，在具体评价前要确定各项指标的相对重要性，即各指标的权重。确定权重的方法很多，一般大家多采用专家评审与层次分析法（AHP）相结合的系统分析法较为理想。其特点是便于把专家的直觉判断和分析者的定性推论直接而有效地结合起来，利用数据方法定量地确定各项指标的权重。n权重确定的具

33、体过程大体上包括设计权重专家意见表、选择专家、专家意见统计、构造判断矩阵、确定权重、一致性检验共六个步骤。（3）理论性论文的评价步骤n设计理论性论文评价表和理论性论文专家意见表。理论性论文专家意见表可以通过德尔斐法从有关专家方面来得到数据；另外一部分定量的数据可以通过有关机构来提供，如CSSCI可以提供人文社会科学领域部分核心期刊的论文被引情况和论文发表所在期刊的有关数据。n专家评分。专家评审一般采用记名评审的办法，参考评审的专家对有关资料进行衡量后，在设计好的意见表上给出自己的意见。n数据汇总及处理。当有关数据都收集起来后，就可以利用计算机等手段来对其进行处理，最后得到一个结果。n信息反馈。

34、当评价结果出来以后，要在一定范围内公开，听取不同意见，如果必要，可以对结果进行一定的修正。这样有利于评价体系的检验，有利于评价制度的确立，有利于以后评价工作的开展。862 著作类n（1）评价的指标的设计 （2）评价的步骤n把表中的指标划分为多个层次（如四个），首先要确定权重，然后把选题、主要观点、论证、资料收集、写作规范六个指标采用专家评审法来得到相关数据。同时把著作字数、出版社情况、出版周期、是否独立完成等资料进行统计。n对得到的数据进行汇总，按得分进行排序n公布评价数据，接受反馈信息。863研究咨询报告类n研究咨询报告类包括研究报告、咨询报告、调查报告等。主要衡量其实用性、可操作性等。n研

35、究咨询报告是咨询报务过程中最后形成的一种研究成果，它与论文类和著作类的研究成果有很多不同的地方。n咨询服务可以涉及各个领域和行业，范围广泛，而且目的性很强，通常要解决特定的问题。因而其研究成果即各种类型的研究报告更注意其实用性、可操作性。n研究咨询报告在评价时，要考虑更多实际的问题。但基本的评价方法还是要通过一定的评价机制，在一定的标准和原则下对其进行评价。 （1）评价指标n研究报告的重要性。主要是指研究报告所要解决的问题是一个什么范围的，是解决一个全国性的经济或科技问题，还是一个公司或企业的实际问题，或是一个部分急待解决的问题。n研究报告的难度。指最终研究报告推出时的难易程度。n成果的成熟性

36、。是指报告在推出的过程中，所采用的方法是否科学，方案是否可靠，论证是否充分，最后给出的结果是否准确等。n成果的可行性。指研究成果在实践中获得成功的几率，也是在实践中承担风险的范围。（1）评价指标n成果的适应性。是指最后的报告成果所适应范围的宽度。n报告的效益性。是指报告当中所提供的具体举措在实践中实施后，所产生的经济效益或社会效益。n报告的可操作性。一般在研究报告中要提到一些解决问题的具体方法，那么这些方法在实践中的实施是否可以达到少投入、多产出的效果，或者是指在实践中很容易实现。n报告推出的周期。一般来讲，这种研究报告都会有比较明确的时间限制，短则几个月，也可以长达几年。如果既能完成任务，又

37、能缩短时间，那是最理想的结果。（2）评价方法n，这种类型的成果在评价时，主要采取专家论证与实践检验相结合的办法来进行综合评价。n专家主要是从报告的理论方面进行一个科学论证，而实践是检验其可行性和可操作性。专家评价时首先确定一个具体的评价指标，然后让专家来打分，最后结合各位专家的结论来给出一个初步的分值。如果可行性较高，那么就用实践来进行检验，最后，通过实践来给出一个更有说服力的结论。其次，对于这种类型报告的评价一般是全过程的评价较为理想，即要有事先评价、事中评价和事后评价三个方面。只有这三个方面的综合评价才能更为科学和合理。 8.7 学术评价的注意事项n871 考核评审人的可信度n对于学术评价

38、而言，如果评价结果能真实反映被评价对象，则说明评审人可信度高，否则说明评审人可信度低。n这种“真实地反映”是相对的，只能是无穷地逼近真实而不可能就是真实。因此评审人可信度的高低，常常由另一种方法来确定，即由他的评价结果与其他专家评价的结果或与社会公认的结果相比较来确定，两者结果越相近，则说明评价者可信度越高，否则，说明评价者可信度越低。不能“真实地反映”评价对象，有两方面原因：一是评审人故意不正确地反映，二是评审人不能正确地反映。 n为了能客观公正准确地反映被评价对象，在整个评价工作过程中要进行两次评委可信度考核：第一次是在确定评委名单前，要根据社会反响、学术团体公认程度，来确定或剔除某些品行

39、不端的专家，从源头上保证评价的可信度；第二次是在所有评委评价结果出来以后，利用统计学的方法，分析并剔除那些异常结果。 872 实行严格的评审制度 n实行回避制，主要是由于公正的需求。尽管古来就有“外举不避仇、内举不避亲”之说，但是还应该尽量避免瓜田李下之嫌。 n实行专家定期轮换制，就是每隔一定的时间，将专家库中的专家逐步更换一些。这种更换有三种原因：n一是专家可信度比较低要更换，n二是专家年事比较高的要更换，n三是基于科学评价需要的正常更换。n对于第三种情况所谓的科学评价，有四层含义：n一是长期不更换，容易使同一专家组的同志形成利益集团，在评价时相互打招呼或给予照顾，容易滋生腐败；n二是长期不

40、更换的专家组，容易为外界所知晓，遇到评价时登门拜访、托关系、递条子、打招呼的会络绎不绝，既给评价专家带来很大的精神压力，也给他们的生活带来不便；n三是长期不更换，也容易使评价专家产生骄傲自满的情绪，使评价质量下降；n四是长期不更换，也会产生权力寻租现象。 n实行同行评议制。同行评议制是本领域专家代替科学外行或专业外行拥有对学术问题的决策权的制度。操作得当的同行评议制能够对学术研究发挥巨大的激励和支持作用，如果操作不当，也会带来一系列问题。 n不利的因素有如下几种情况：n一，同行评议对个人依赖性强，受评议专家的主观性影响大，而且这种主观性在（匿名）投票或打分时无法受到检验和监督，因为见仁见智，总

41、能说出一番道理，或者无须说出一番道理；n二，少数同行在较短的评议期内对研究者较长时间里完成的工作难以准确把握和评价，评议者个人的认识水平和偏好可能会抹杀一些非共识的创新性研究；n三，有时候同行评议可能会形成一个“熟人关系网” ，“这些问题加上媒体炒作、名人效应或其他一些非学术性因素，就很难对成果进行公正的评价” 。n实行外单位或国外专家评议制，这其实是一种变相的回避制。n有三种缘由要求我们实行外单位或国外专家评议制：n一是本单位的同事或国内同行在参与评价的同时，其自身也很有可能就是这些利益的利害关系人；n二是同事或国内同行常常不是有恩就是有怨，存在学术之争更是普遍现象；n三是国内同行或单位同事

42、评议，其评价视野也相对狭窄，不能站在国内同行甚至国际同行的制高点去评议，评议的结果不具备国际国内权威性。n实行评价意见反馈制，就是将评价结果告知被评价人，这个结果包含被评价者的优势、劣势、最后等级或名次。n实行反馈制，主要有四方面好处：n一是被评价者有权利知道自己的评价结果，这是对被评价者的起码尊重；n二是被评价者可以针对评价结果认真修改和审视自己的项目，使之更加完善；n三是在被评价者知道结果后，可以根据评价情况决定是否接受这种评价。如果不接受，则可以有申诉的权利和机会；n四是向被评价者公布结果，也是对评价者监督的一种形式，使评价者趋于谨慎和客观。n实行评价申诉制，就是给予被评价者足够的时间和

43、机会向上级科研管理部门或评价活动的组织者陈述自己所感受到的不公正评价，并且有权提出自己的要求。上级科研管理部门或评价活动的组织者可以酌情提议再次评价或提请更权威评价机构重新评价，或者给予充分的理由说明当前评价就是合适的评价。n实行申诉制：有利于实现被评价者的知情权；有利于加强组织者、评价者、被评价者的沟通和交流，共同促进学术研究的进步和发展；有利于加强评价者的责任心，对于品行不端的评价者有威慑作用。n实行结果公示制，就是将评价结果在一定范围内公开，接受社会和舆论监督。n如果说申诉制解决的主要是被评价过低的问题，那么公示制既可以解决评价过低也可以解决评价过高的问题。评价过低，被评价者自己会通过各

44、种方式申诉，而评价过高，则主要靠社会舆论去监督。没有公示制，则没有办法监督和制衡评价过高现象。因此，实行公示制，能够让社会或学术共同体对评价者进行监督，有利于他们进行客观公正的评价；实行公示制，也是宣传学术研究，倡导优良学术风气的有效途径。 873 采用匿名或具名评审方式n匿名的方式：由于评价专家对于组织者或被评价对象都具有模糊性，便于专家大胆地按照自己的真实意愿进行评价、给分，这样可以保证所获得的信息就是真实的专家评价信息。n这种形式对于论文评审比较合适。首先，论文篇幅比较小，所论述的问题比较集中，文章的优劣势一目了然，容易在比较短的时间内现场给出答案。匿名评价方式便于保护评价者，避免产生不

45、必要的矛盾和误会；其次，论文评审一般都是老师对学生、编辑对作者、专家对一般学者进行的活动，这里主客体双方不存在原则上的利益冲突，因此评价者的评价结果相对可信，被评价者也比较信服和认可。 n具名的方式。这种方式尤其适宜于重大项目的评审。n重大项目通常是研究小组或团队的行为，能否申请成功或通过评审，直接关系到集体的学术地位和荣誉。因此，为了集体的荣誉，集体通常会通过各种关系疏通评审专家，给专家以先入为主的印象，使专家在评价时主观上受到影响；n重大项目通常也是资助较多的项目，能否申请成功或通过评审，直接关系到评价客体的经济利益，因此评价者除了受各种社会关系的客观因素影响，其主观上也会产生恻隐之心而对

46、亲近者手下留情；n评价者面对重大项目，自身也会考虑该项目的运行对自己或自己所在研究团队的影响而违心地给出不恰当的评价。 n使用具名方式评价可以：n客观上制约评价者故意做出不公正的评价；n使感觉受到不公正对待的评价客体能够在组织者的组织下，和评价者面对面地进行商榷，以便于纠正评价结果；n在结果统计发现奇异数据时，可以和评价者充分交流，以评判结果是故意行为还是属于“非共识”行为；n逐步完善评价专家数据库。 874 宽容评价“非共识”项目及论著n在评审“非共识”项目时：首先要仔细考察评审专家正反两方面意见，找出相同点和不同点，然后加以科学分析，考察其立论新依据的事实是否客观存在，课题的立论、假设、实

47、验、推理之间在实质性环节上的关联性和逻辑上的自洽性，要从多学科、多角度、多时段进行考察，进行多元的思考后，再做出判断，如确有可能产生重大价值，则应给予支持；如感觉可能蕴涵重大价值但又不能确定，则需要再聘请其他专家继续进行评议。其次，对于非共识项目，组织者认为有必要，也可以让项目研究者面向评审专家组详细陈述，将研究的思路和可能的结果再重新阐释一遍。n当然也不能以“非共识”的名义无原则地通过任何没有基础的、虚幻的或有违科学常识的项目，更不可以过分夸大少数专家的意见而否定大多数专家的意见，也要反对项目研究者以非共识的名义提出非分要求而浪费组织者和评审者的时间和精力。 875 注重评价学术机构的整体水平n对于学术机构的外部评价，应强调考察它的开放性、流动性及资源共享程度。因为一个系统只有开放才能和外界交换信息、物质和能量，使自身不断发展壮大；一个机构只有保持一定的流动量，才能有足够的新鲜血液确保肌体具有青春活力。 n对于学术机构的内部评价，应重点考察其发展战略、学科优势与特色、国