个化学研究小组H指数与标准文献计量学指标及同行评议之间的关系.ppt

147个化学研究小组H指数与标准文献计量学指标 及同行评议之间的关系,Author,ANTHONY F. J. VAN RAAN 荷兰莱登大学科学技术研究中心的科学计量学教授。 1945年生于荷兰，1969年毕业于Utrecht大学，主要学习数学、物理学、天文学（1999年Nobel物理学奖获得者Martin Veltman是他的理论物理学老师）。1973年获得Utrecht大学物理学博士学位。,Author,ANTHONY F. J. VAN RAAN Main research themes Quantitative analysis of science and technology, in particular the advancement and sophistication of citation-analysis based on bibliometrics as a powerful, objective tool not only in research evaluation, but also in the study of scientific developments in general; Development and application of a mapping methodology to create landscapes of scientific fields; this methodology has a generic character and is therefore widely applicable as a general knowledge discovery instrument; Development of the above mentioned methodology not only to map established scientific fields, but also to map research around socio-economic themes; Science as a self-organizing ecosystem, based on empirical work leading to the discovery of the fractal structure of science (published in Nature, 1990); A new model for the measurement of growth and differentiation of science that explains the fractal structure mathematically; A new model to explain the distribution of citing articles over publications in terms of a general two-step competition process that could also be used in economics to explain income-distributions;,Author,ANTHONY F. J. VAN RAAN 1995年他与美国著名科学社会学家Robert K. Merton一起获得文献计量学领域国际最高奖项 普赖斯奖。 本文发表于2006年Scientometrics第三期中,Introduction,同行评议 peer review 同行评议指某一学科或专业的科学家共同参加评议科研计划、科研成果的活动。 根据科研计划，如竞争性合同题的评议，它不是一个单位内的同行评议，而是在确定科研课题后，在全国或部分地区的研究单位、医学院校“招标”，然后组织国内或部分地区的同行评议 。,Introduction,Hirsch在2005年提出了Hirsch Index（h指数）这一概念： 某作者至多有h篇论文分别被引用了至少h次。 在某数据库中让论文按被引次数依次从高到低排列，直到某篇论文的序号大于该论文被引次数.那个序号减去1就是H指数。,序号 引文数 1 20 2 13 3 9 4 4 3 ,Introduction,根据hirsch的理论，H指数是对引文绝对卷数的计量值，因此也可以用h2对引文总数进行估计 但是Van Raan在2006年发表的论文中指出：H2对引文的总量估计将会偏低，因为它忽略了引文数少于h的文章。,P（c）=CS,Introduction,第一个用h指数作为标准的科学家排行榜是Hirsch在2005年做的一个对杰出物理学家的排行榜。 该榜中排名在首位的是Ed Witten,Introduction,H指数,可以将那些有稳定、持久、杰出贡献但没有得到应得声誉的研究人员从默默无闻中被解救出来！,Journals with the highest h-index for their 2001 papers,Introduction,表中的大部分期刊都是关于生物医学领域的，在表前20位中，除了两个跨学科杂志之外，还有两种物理学杂志（Physical Review Letters 和Astrophysical Journal)和一种化学杂志（Journal of the American Chemical Society） 这三种杂志尽管在它们各自的领域声望都很高，但是在按影响因子排列的期刊列表中，它们都是在100名之外的。这显示出h指数更加平衡的特点。,Introduction,h指数是怎样与基于高级文献计量学指数的引文影响指数相关联的？又是怎样与同行评议的结果相关联的？,材料和方法,本文在科研研究小组水平进行分析： 因为在科学研究中，尤其是自然科学研究中，研究小组是最重要的单位。 研究小组会被大学、研究和发展机构的内部结构制约（主要的科学家倾向于他们研究组的全部作品），不能像作者和期刊那样在数据库中直接应用。 抽取研究小组的相关指标，排除自引,材料和方法,本研究的数据来源涵盖了荷兰所有化学和化学工程的大学研究小组，共147个，1991-1998年发表的所有文献，约18000篇。 The (10) universities with chemistry departments covered by this evaluation study are Leiden, Utrecht,Groningen, Amsterdam UvA, Amsterdam VU, Nijmegen, Delft, Eindhoven, Enschede (Twente), and Wageningen.,材料和方法,引文统计： 从文献发表年开始，以3年为“时间窗”计算引文数量，例如文献发表于1991年，则计算引文是时期为19911993年。并且只考虑外部引文，排除自引情况。目的是为了聚焦与研究小组近期/当前研究表现的影响力 所有文献均来自于Citation Index，CI publication收录的杂志，不包括报告和书刊。,材料和方法,作者为了用定量数据支持同行评议的结果，做了广泛的文献计量学分析。 同行评议使用了3个等级来评价研究小组的研究质量：,5分优秀 4分良好 3分满意,同行评议框架,材料和方法,参与评估的研究小组涵盖了化学学科的所有领域，主要有分析化学、光谱学和显微镜学、计算机化学和理论化学、物理化学、催化、无机化学、有机化学和生物有机化学、生物化学、微生物学和生化工程 这些研究领域引文特征可能存在显著的不同。因此，为了对研究小组的影响力进行公证比较，需要应用针对研究领域的规范化标准，尤其是“王冠指标”（crown indicator）即CPP/FCSm,材料和方法,发表论文总数,他引总数,篇均他引次数,期刊引文得分,研究领域（或子领域）引文得分,王冠指标,材料和方法,材料和方法,Hirsch认为，以上指数是常用的文献计量学标准指数，但存在一定的问题，h指数能够衡量科学家个体的广泛影响，也能避免这些问题。另外，对于个体科学家来说，在wos上h指数很容易获得。 作者认为： P只度量了文献产量，而不是影响力 C和CPP尽管对文献计量学研究者来说可能能够通过数据系统直接获得，但对于依靠WoS的研究者来说获取是很困难的。 文献计量学小组花大量精力清理数据，校正科学家个体的名字错误等等，在研究组水平这些问题更加复杂。这些技术问题VAN RAAN（2005）和MOED（2005）已经讨论过了。,材料和方法,Hirsch认为如果个体科学家与其他很多人合著一些文章，C会被某些少数“big hits”的文章夸大。 C对高被引综述文章的评价与原始研究论文评价更加不适合。 CPP尽管能对不同时代的科学家进行对比，但也是有利于低产者、不利于高产作者。,材料和方法,综合考虑以上各个方面问题，作者强调了使用一组与以往指标不同的且体现领域标准化的指标的重要性 领域和文献类型标准化“王冠指数”CPP/FCSm,尽管合著和“big hits”的问题可能同时出现，但在研究小组的水平上，这个问题会弱化。综述文献的确比普通文献有更多的引文，但本文用“文献类型标准化”指数来解决这一问题。 对于高产低产的问题，作者强调科学家和研究小组因不同领域和研究类型而论文产量也不同。 Hirsch认为在估计p，c，cpp过程中，引文数大于y和最多有q篇引文的文章数可以忽略。它的缺点在于y和q的随意性，对科学家个体各有不同，需要进一步调整。,材料和方法,结果与讨论,h=0.42C0.45 H2比引文总数的量级稍微低一些。,H指数和文献总数也具有相关性，但小于h指数和引文的相关性,结果与讨论,王冠指标和引文总数的相关性很小,王冠指数与h指数的相关性也非常小,结果与讨论,以上结果说明h指数具有“规模依赖”，而王冠指数不是依赖于规模的。,结果与讨论,H指数和王冠指数与同行评议的结果在很大程度上具有可比性,结果与讨论,该小组的CPP/FCSm得分为1.02 所有h指数位于前25%的40个小组的CPP/FCSm平均得分是2.10 王冠指数比h指数能更好的反映研究小组较低的绩效水平,结果与讨论,这些小组的CPP/FCSm得分为1.70 所有h指数位于倒数25%的小组的