“世界科学文献定性评价统计数据库”与引文定性分类下的学术文献计量评价方法

1、"世界科学文献定性评价统计数据库"与引文定性分类下的学术文献计量评价方法一. 开展学术文献评价的必要性和意义当今世界，随着科技创新成为社会进步的主要动力和国家竞争实力的体 现，科研评价也发挥出越来越多的社会作用，表现为其对科技创新的导向作 用、激励作用和学术话语权作用。因此，能否对科研工作和学术成果做出客 观、合理、公正的评价，在一定程度上甚至反映了一个国家科研管理的软实力。科研评价的根本目的在于控制研究活动质量！因此，科研评价的对象可以是 政策、计划、投资、项目、成果、人才、管理等各个科硏活动要素。当前”科硏 评价的主要方法包括同行评议、案例调研、文献计量和经济计量等多种

2、方法。学术文献是人们开展学术研究的信息载体和成果形式z-o优秀的学术文 献不仅本身应具有创新的观点、理念、理论、方法、数据、结论，还能反映甚 至引领该学科领域学术发展方向；同时，优秀的学术文献还具有让研究者个人 价值得到社会承认、进行社会整体性的知识累积、打破时空学术交流壁垒、推动 学术认知的提高和社会经济的发展等诸多社会意义。因此，从其产生开始，就 被赋予了客观折射作者学术成就、学术水平、社会贡献大小高低的特有展性。开展学术文献评价并不是最终目的，目的是为科研评价服务。开展学术文 献的评价，是科研评价的基础工作，为科研评价提供决策参考和客观支撑！二、问题的提出开展学术文献评价非常重要，但当前

3、学术文献评价体系存在三大本质性缺 陷：（1）同行评议组织模式与评价手段落后目前存在两个挑战：既受“同行”（专家群体）专业水平和主观评判能力的 挑战，也受“评议”（评价标准）的科学性和评议过程合理性的挑战，普遍而 言难以实现客观、公正、公平。一些创新程度高、有重大突破性研究结果的话 题，例如，陶瓷在传统的概念中是绝缘体，但在高温超导领域，陶瓷却能作为 高温超导材料；又比如，核聚变通常是在高温下发生的，清华大学的教授却率 先提出了 “常温核聚变”，即“冷核聚变”。像这样打破思维范式的东四，同 行评议在初始阶段也较难准确判断其学术价值。（2）引证文献来源的局限性受统计源覆盖面、代表性的影响，基于引文

4、统计的定量评价较难具备全面 的代表性。西方发达国家建立的统计数据库以西方国家的期刊、会议录等学术 文献为主，使他们在统计分析的结果上掌控了代表西方价值观的话语权，而对 发展中国家的评价明显发生偏差。（3）缺乏对引证数据的定性分析不区分引证者对被引文献持何种评价态度，一律给出被引频次统计数值， 以致学术评价机构无法据此给出论文的定性评价意见，并导致了单纯的“以数论 文”、“以刊论文”、“唯wos论”等形式主义倾向，以及种种学术不端行为， 严重损坏学术氛圉和创新激励机制。1）定性评价如何客观？高效？低成本？2）如何保证统计源的代表性、权威性?指标的科学性？数据的及时性、可靠性？3）文献计量统计如何

5、能反映较为准确的定性评价意见？被引频次和学术价值到底能否统一起来？影响因子到底能否反映每篇文章的质量？事实上，有些专家其论文发表的期刊并非国际顶级大刊，其论文的被引频次、下载次数等也并非在同学科内最高, 但其学术价值和应用价值一流。例如，我国著名的小麦育种专家、国家最高科技奖获得者李振声院士2003年和2007年 分别在中国农业科学和植物学报上发表了两篇论文。数据统计显示,第一篇水稻氮饥饿诱导基因的克隆与表 达分析至今在cnki被引2次，下载120次；wos被引3次；cscd被引0次；第二篇选择牵连效应分析:发 掘重要基因的新思路至今cnki被引1次，下载30次；cscd被引38次。如果不知道

6、李振声院士工作的创新性，光 看文献计量引次的统计结果，一般就会认为这不是两篇好文章。但实际上这些工作非常重要。我们说不要以刊论文，就 是为了避免上述认识误区。三、解决问题的思路因此，解决问题的思路，就要从如何把定性定量相结合的方法结合起来综合、细致地进行判断。国际上的同行评 议一般认为参与评议的人越多结果越公平，至少（at least）要有两个人来客观评议，但我们现在审稿一般只找两个人就 认为够了（ enough ）,这是不对的。所以说，优化的群体评议是非常重要的。那怎么为群体评议提供很好的支撐呢？中 国知网利用海量数据库和大数据思路提岀以下解决方案（见图1 ）:第一、基于网络平台的群体评议和

7、海量大数据支持的学术不端检测机制，来帮助评审者快速发现并剔除有学术不 端行为的文献；第二、通过基于大数据的分析,迅速界定论文创新点；第三、通过基于大数据的分析，迅速找出单篇文献特征化的引证动机。通过一段时间的努力，我们目前建立起了一套双 向六维的引文定性分类体系。所谓的“双向”，是指引文定性分类的内容可以分别从被引文献角度和施引文献角度进行分 析；所谓的“多维”，是指在双向视野下以多种维度对引文进行分类。例如,我们将文献的被引价值分为学术价值、社会价值或其他价值三大类。学术价值包括论文的创新性、重要性、科学性、先进性等。(1)创新性：研究观点、问题、对象、方法、结果、结论的创新等;(2 )重要

8、性：受关注范围、受关注程度、影响层次、影响面、前瞻性、排他性等；(3)科学性：设计的合理性；过程的可控性；数据的准确性；推论的逻辑性；资料的可靠性；事实的可重复性；(4 )先进性：概念、技术、方法、证据、形式的独特性、新颖性、全面性等社会价值包括应用性与历史性等。(1 )应用性：经济价值、伦理价值、文化价值。(2 )历史性：推动认知、指导实践、知识贡献。其他价值则包括语言水平与写作规范两类。我们将引证态度可以分为两大类五小类：(1 )实质性引用：分为肯定和否定两类态度。“肯定”是指支持、称赞、认可等情感倾向。“否定”是指明确表示批驳、质 疑等态度，也指“比较式否定，即部分肯定，部分否定”。(2

9、 )非实质性引用：分为“客观描述”和“敷衍性弓i用“两类态度。“客观描述”引用具体内容，但未表明对被弓i文献的态度。 “敷衍性弓闻”未弓i用具体内容，未标明对被弓i文献的态度。这样,就把原来看似一个笼统的引证数字，按不同的性质予以区分，对学术文献为何被引用的价值予以深度的揭示，可 以更好地反映其真实的学术价值。第四、开发国际同行参与的在线同行评议系统，吸纳国际同行对学术文献的评价意见。在论文创新点分析和引文动机分析分析的有力工具辅助下,开发定性定量相结合的评价方法,为同行评议提供有力的定 性判断辅助手段。这样，既克服同行评议的偏差，又为文献计量注入崭新内容，使学术文献评价高效、准确！四. 世界

10、科学文献定性评价统计数据库介绍内容挖掘技术和科学文献定性评价标准建立世界科学文献定性评价统计数据库的基本目标即在于通过大:一个国际首创的、可以支持客观公正定性评价我国和世界各国科学文献学术质量与国际影响力的大型数据库。该项目目 前已进入中期开发阶段，通过构建世界范围的学术文献全文数据库、引文数据库.专家学者库及国际同行评议平台，以 引文动机挖掘、分类与网上同行评议相结合，建立面向文献的国际评价体系，并提供科研项目情报跟踪、学术硏究方向、 学术热点等增值信息服务，在全球学术界和科硏管理界进行推广应用,形成具有我国自主知识产权和国际权威性的科学 文献学术评价新体系。这一项目的实施,将进一步完善我国学术期刊的国际影响力评价，并推动我国学术期刊的国际国 内更好地树立品牌、广泛传播。根据用户需求和管理需求，该项目可以产生不同的产品，为特定用户提供服务。包括：(1)宏观评价产品：对学科、国家和地区、机构、期刊的评价。形成世界学术期刊引证报告、中国学术期刊国 际引证报告、中国学术期刊影响因子年报、世界科