跨学科领域自然科学学术论文评价方法可行性研究.pdf

中国医科大学 硕士学位论文 跨学科领域自然科学学术论文评价方法可行性研究 姓名 金晶 申请学位级别 硕士 专业 社会医学与卫生事业管理 指导教师 何钦成 20090401 中文论著摘要 跨学科领域自然科学学术论文评价方法可行性研究 目的 应用系统综合的评价方法 数理统计学方法和科学计量学方法构建跨学科领 域自然科学学术论文影响力综合评价体系 该体系能在评价和比较跨学科门类 不同研究领域间学术论文影响力时较传统他引量 发表期刊影响因子 I F 值 更 具客观性 公正性 稳定性 以达到科学评价学术论文学术影响力的目的 为科 研绩效评估提供了参考依据 方法 本研究以2 0 0 1 年至2 0 0 6 年诺贝尔生理或医学奖获奖者突出贡献论文为参比 论文 并与其同研究领域的相关论文划分为论文样本集合 来考察通过综合评价 理论和文献计量学方法构建的综合评价体系 该体系通过论文他引量 发表期刊 影响因子及派生出的年均他引量 三年他引量 最大年度他引量和I F 值 年均他 引量 三年他引量同年均值比共8 项指标将学术论文纳入其发表时代 学科进展 研究热点 技术手段等背景之中考虑 综合反映学术论文的影响力 论文样本集 合各项指标经数理方法处理后 利用逼近理想解的排序法 T o P S I S 法 和因子分 析法得出综合评价值 将两种方法结果同传统他引量 I F 值 年均他引量评价结 果进行比较 验证该综合评价体系的客观性 公正性 同时 在综合评价体系下 利用S O M 神经网络聚类和K M E A N S 两种方法将论文样本集合聚类 将其结果 同T O P S I S 法和因子分析发结果比较 以这四种数理模型不同的方法考察该学术 论文影响力综合评价体系的稳定性 结果 得到在该学术论文影响力综合评价体系下T O P S I S 法和因子分析法结果 与 传统上使用的评价指标他引量等所得到样本集合评价结果相比较 在同一学科领 域内比较时 前者与后者评价结果秩次间具有正相关性 即不改变后者评价的总 1 体趋势 在多学科领域比较时 前者较后者在均衡学科间差异的基础上能更加提 升参比论文的显示度 T O P S I S 法和因子分析法综合评价值呈非常显著的正相关关 系 并且与S O M 聚类结果和K M E A N S 快速聚类结果间具有一致性 结论 本研究针对现有跨学科多领域论文学术影响力评价和比较中常以论文他引 量 发表期刊I F 值作为评价标准的片面性 构建了更趋公正性 客观性 稳定性 及科学性的多维度论文学术影响力综合评价体系 在该体系下应用T O P S I S 法和 因子分析法产生的综合评价值 在评价和比较同一学科内论文时 不仅能保持与 传统评价指标结果相同的趋势 且提高了具有高学术影响力特征论文的显示度 还与S O M 神经网络 K M E A N S 聚类结果间有着良好的一致性 在不同学科领 域间比较时 综合评价值以其分布相似性 避免了由于他引量等统计参数在跨学 科领域内差异性较大而产生的评价结果的偏倚和失真 并在保持传统指标评价结 果的趋势下 进一步突出高学术影响力特征的论文 该综合评价体系可以作为跨 学科领域学术论文影响力比较和评价的重要和科学的参考 关键词 学科 论文评价 评价指标 科研评价 科学引文 2 英文论著摘要 T h e f e a s i b i l i t yr e s e a c ho fe v a l u a t i o na n dc o m p a r i s o n o fn a t u r a ls c i e n c e p a p e r s i nd i f f e r e n td i s c i p l i n e s O b j e c t i v e s T oc o n s t r u c tan e wc o m p r e h e n s i v ee v a l u a t i o ns y s t e mt oa s s e s st h ei m p a c to f a c a d e m i c p a p e r s i nd i f f e r e n tf i e l d so fn a t u r a l s c i e n c e t h r o u g hs y s t e m a t i c c o m p r e h e n s i v ee v a l u a t i n gm e t h o d s m a t h e m a t i c a ls t a t i s t i c a lm e t h o d sa n ds c i e n t o m e t r i e m e t h o d s T h i ss y s t e mm a k e st h ee v a l u a t i o na n dc o m p a r i s o no ft h ei m p a c to fa c a d e m i c p a p e r si nd i f f e r e n tf i e l d so fn a t u r a ls c i e n c em o r eo b j e c t i v e f a i ra n ds t a b l et h a nt h e t r a d i t i o n a li n d i c e ss u c ha st o t a ln u m b e ro fo t h e r c i t a t i o na n dj o u r n a li m p a c tf a c t o r S Oa s t os c i e n t i f i c a l l ye v a l u a t et h ei m p a c to fa c a d e m i cp a p e r sa n dp r o v i d er e f e r e n c ef o rt h e a s s e s s m e n to fr e s e a r c hp e r f o r m a n c e M e t h o d T h i sr e s e a r c hu s et h er e p r e s e n t a t i v ep a p e r so fN o b e ll a u r e a t e si np h y s i o l o g yo r m e d i c i n e2 0 0 1 2 0 0 6a sb e n c h m a r k a n dt h er e l a t e da r t i c l e si nt h es a m ef i e l da ss a m p l e s e t t oi n s p e c tt h ec o m p r e h e n s i v ee v a l u a t i o ns y s t e mb a s e do nc o m p r e h e n s i v ee v a l u a t i o n t h e o r ya n db i b l i o m e t r i cm e t h o d s T h i ss y s t e mc o n s i d e rd i f f e r e n tb a c k g r o u n d so f a c a d e m i cp a p e r ss u c ha s p u b l i c a t i o nt i m e d i s c i p l i n a r yd e v e l o p m e n t r e s e a r c hf o c u s t e c h n i c a lm e a n sa n dS Oo nt or e f l e c tt h ei m p a c to fa c a d e m i cp a p e r sc o m p r e h e n s i v e l y u s i n g 8i n d i c a t o r s i n c l u d i n g t o t a ln u m b e ro fo t h e r c i t a t i o n m a x i m u ma n n u a l o t h e r c i t a t i o n j o u r n a li m p a c tf a c t o r a n n u a la v e r a g eo t h e r c i t a t i o n o t h e r c i t a t i o ni n t h r e e y e a ra f t e rp u b l i c a t i o n a n d i n d i c a t o r sd e r i v e df r o ml a s tt h r e ei n d i c a t o r s t h a ti s r a t i oo fe a c hi n d i c a t o rt oi t sa v e r a g ei ns a m e y e a r T h e8i n d i c a t o r so fs a m p l es e t sw e r ep r o c e s s e db ym a t h e m a t i cm e t h o d s a n d T e c h n i q u ef o rO r d e rP r e f e r e n c eb yS i m i l a r i t yt oI d e a lS o l u t i o n T O P S I S a n df a c t o r a n a l y s i sw e r ee m p l o y e dt oo b t a i ns y n t h e t i c a le v a l u a t i o nv a l u e s R e s u l t so ft h et w o m e t h o d sw e r ec o m p a r e dt ot h a to ft r a d i t i o n a le v a l u a t i o nm e t h o du s i n go t h e r c i t a t i o n i m p a c tf a c t o ra n da n n u a la v e r a g eo t h e r c i t a t i o n t ov e r i f yt h eo b j i e c t i v i t ya n dj u s t i c eo f 3 t h ec o m p r e h e n s i v ee v a l u a t i o ns y s t e m B e s i d e s a r t i c l e si nt h es a m p l es e tw e r ec l u s t e r e d b ym e a n so fS O M n e u r a ln e t w o r kc l u s t e r i n ga n dK M E A N Su n d e rt h ec o m p r e h e n s i v e e v a l u a t i o ns y s t e m T h er e s u l t sw e r ec o m p a r e dt ot h a to fT O P S I Sa n df a c t o ra n a l y s i st o v e r i f yt h es t a b i l i t yo ft h i ss y s t e m R e s u l t s R e s u l t so fT O P S I Sa n df a c t o ra n a l y s i su n d e rt h ec o m p r e h e n s i v ee v a l u a t i o n s y s t e mw e r ec o m p a r e dt ot h a to ft r a d i t i o n a li n d i c a t o r s W h e nc o m p a r e dw i t h i nt h e s a m ef i e l d r a n ko ft h ef o r m e rs h o wp o s i t i v ec o r r e l a t i o nw i t ht h a to ft h el a t t e r n o t c h a n g e t h e g e n e r a l t r e n do ft r a d i t i o n a l e v a l u a t i o n w h e nc o m p a r e da m o n g m u l t i d i s c i p l i n a r yf i e l d s t h en e ws y s t e m 伽f u r t h e rr a i s et h ev i s i b i l i t yo fb e n c h m a r k p a p e r s o nt h eb a s e o fb a l a n c i n gt h e i n t e r d i s c i p l i n a r yd i s c r e p a n c y S y n t h e t i c a l e v a l u a t i o nv a l u e so b t a i n e dt h r o u g hT O P S I Sa n df a c t o ra n a l y s i sp r e s e n ts i g n i f i c a n t p o s i t i v ec o r r e l a t i o n a n ds h o wc o n f o r m a n c ew i t ht h ec l u s t e r i n gr e s u l t so fS O Ma n d l M E A N S C o n c l u s i o n T h i sr e s e a r c ha v o i d e db i a so fi n d i c a t o r ss u c ha so t h e r c i t a i t o na n dj o u r n a li m p a c t f a c t o ri nc o m m o nu s ea se v a l u a t i o nc r i t e r i o nf o ri m p a c to fi n t e r d i s c i p l i n a r yp a p e r s a n d c o n s t r u c tam u l t i d i m e n s i o n a lc o m p r e h e n s i v ee v a l u a t i o ns y s t e mm o r ei n c l i n e dt ob ef a i r o b j e c t i v e s t a b l ea n ds c i e n t i f i c W h e na p p l i e do nt h ea s s e s s m e n ta n dc o m p a r i s o no f p a p e r sw i t h i nt h es a m ef i e l d t h es y n t h e t i c a le v a l u a t i o nv a l u eo b t a i n e dt h r o u g hT O P S I S a n df a c t o ra n a l y s i su n d e rt h i ss y s t e mn o to n l ys h o w e dc o n f o r m a n c ew i t ht h ee v a l u a t i o n r e s u l to ft r a d i t i o n a li n d i c a t o r s b u ta l s or a i s e dt h ev i s i b i l i t yo fh i g hi m p a c tp a p e r s a n d i ng o o da c c o r d a n c et ot h ec l u s t e r i n gr e s u l t so fS O Ma n dK M E A N S W h e na p p l i e do n t h ec o m p a r i s o na m o n gd i f f e r e n tf i e l d s t h es y n t h e t i c a le v a l u a t i o nv a l u ea v o i d e dt h eb i a s a n dd i s t o r t i o no fe v a l u a t i o nr e s u l to ft r a d i t i o n a li n d i c a t o r si n d u c e d b y t h e i n t e r d i s c i p l i n a r yd i s c r e p a n c yo nt h eb a s eo fd i s t r i b u t i o ns i m i l a r i t y b e s i d e s i tC a nk e e p t h eg e n e r a lt r e n do ft r a d i t i o n a le v a l u a t i o na n df u r t h e rh i g h l i g h t e dp a p e r sw i t hh i g h i m p a c t T h i sc o m p r e h e n s i v ee v a l u a t i o ns y s t e mc a nb eu s e da sa ni m p o r t a n ta n d s c i e n t i f i cr e f e r e n c ef o rc o m p a r i s o na n de v a l u a t i o no fi m p a c to fi n t e r d i s c i p l i n a r yp a p e r s 4 K e yW o r d s S U B J E C T P A P E RE V A L U A T I O N E V A L U A T EI N D E X S C I 5 英文缩略语 英文缩写英文全称中文名称 T O P S I S S O M S C l J C R n e T e c h n i q u ef o rO r d e rP e 疵r e l l c cb y 逼近理想解的排序法 S i m i l a r i t yt oI d e a lS o l u t i o n S e l f O r g a n i z i n gF e a t u r eM a p 自组织特征映射神经网络 S c i e n c eC i t a t i o nI n d e x J o u r n a lC i t a t i o nR e p o r t 科学引文索引 期刊引证报告 影响因子 6 中国医科大学研究生学位论文独创性声明 本人申明所呈交的学位论文是我本人在导师指导下进行的研究工作及 取得的研究成果 据我所知 除了文中特别加以标注和致谢的地方外 论 文中不包含其他人已经发表或撰写过的研究成果 也不包含为获得我校或 其他教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意 申请学位论文与资料若有不实之处 本人承担一切相关责任 论文作者签名 4 亟日期 呈型皇 篁 z 中国医科大学研究生学位论文版权使用授权书 本人完全了解中国医科大学有关保护知识产权的规定 即 研究生在 攻读学位期间论文工作的知识产权单位属中国医科大学 本人保证毕业离 校后 发表论文或使用论文工作成果时署名单位为中国医科大学 且导师 为通讯作者 通讯作者单位亦署名为中国医科大学 学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘 允许论文被查阅和借阅 学 校可以公布学位论文的全部或部分内容 保密内容除外 以采用影印 缩 印或其他手段保存论文 论文作者签名 全函 指导教师签名 垂垒邀 论文 跨学科领域自然科学学术论文评价方法可行性研究 一 目的与意义 上 J 刖菁 学术论文作为自然科学研究 特别是自然科学基础研究成果的重要表现形 式 其学术影响力的评价方法一直为科学界 尤其是科技管理界所关注 也是科 研绩效评估研究的热点 一直以来 国内外公认的评价学术论文质量 水平和学术影响力的方法是同 行评议 但当同时对不同学科 不同研究领域大量的研究群体或者个体进行比较 或者综合评价时 源于评价组织者有时难以恰当地选择出符合被评价对象实际情 况的评议专家 或参与评议的同行专家在知识结构 学术水平 学术倾向 学术 态度等各个方面存在差异 或专家分组评议时存在组间差异 或在评价的组织者 同行评议专家与被评议对象之间可能存在的复杂的社会 学术利益关系等因素 使得真正意义上的 可确保评价结果具有科学性 客观性和公正性的同行评议往 往难以实现 为了弥补同行评议的不足 美国科学情报信息研究所1 9 6 4 年研发了 科学引 文索引 S c i e n c eC i t e dI n d e x S C I 和1 9 7 6 年出版的 期刊引文报告 J o u r n a l C i t a t i o nR e p o r t J C R 并提出了G a r f i l e d 期刊影响因子 G a r f i l eI m p a c t F a c t o r I F 的概念 以论文发表期刊的I F 值作为论文质量和水平的测度 以此 作为评价大学 研究所 研究群体或个体的科研绩效 决定科研经费配置或职务 升迁的方法 在世界许多地方被采用n 2 3 1 由于S C I 收录的期刊大约仅占国际上全部期刊的3 6 而且已收录期刊在其 出版国别 发行语种 学科类别方面存在显著差异 期刊的载文类型 载文时滞 存在较大差异等原因 导致以引文分析为基础的I F 值可能有失真 因此 S e g i e n A n d r e w 等人对在不同国家 语种 学科的研究群体和个体的研究绩效评价中简单 7 应用发表期刊的I F 值作为学术论文质量和水平的测度的科学性 客观性和公正性 提出质疑疆 3 4 1 况且 已有的研究表明刊物的I F 值的高低也并不反映其刊载的所 有论文被引量的高低 刊于多种刊物上的4 1 3 的生物科学论文和4 6 4 的医学论 文在发表5 年内从未被引用喳1 期刊I F 值和其刊载的每篇论文的被引量之间并无 正相关关系 用期刊I F 值评价其刊载的论文的质量和水平不是很合适的 另外 还有一些学者主张用论文的被引量作为评价其质量 水平 学术影响 力和与之相关的科研业绩的指标睁1 确有研究表明 1 9 6 1 1 9 7 1 年间 未来的诺 贝尔获奖者在获奖前论文年均被引2 2 2 次 高于相同时段内以后被选入美国科学 院的学者9 9 次的年均被引量 更远高于S C I 中具有代表性的学者年均6 1 次的引 用量n 引 但是 不同科学门类 不同学科或同一学科的不同研究领域之间 高水 平学术论文的被引量仍有很大差别 而且 当统计范围在研究方向 领域 亚学 科或学科间发生变化时 即使是同一篇论文 其被引次数的排序也会随之发生较 大的变化n 朝 因此 在不同学科领域间的比较中 仅用被引量对论文评价也不能 完全令人信服 目前 国内外一些学者应用科学计量学的方法对如何在跨学科或多领域间评 价学术论文提出了一些新的思路和方法 删 如 学科影响因子 D i s c i p l i n a r y I m p a c tF a c t o r 同时影响因子 S y n c h r o n o u sI m p a c tF a c t o r 与历时影响因子 D i a c h r o n o u sI m p a c tF a c t o r 再标准化影响因子 R e n o r m a l i z e dI m p a c t F a c t o r F r 范围调整影响因子 S c o p e a d j u s t e dI m p a c tF a c t o r 学科间影 响因子 I n t e r f i e l dI m p a c tF a c t o r 和学科内影响因子 I n t r a f i e l dI m p a c t F a c t o r 亚领域平均影响因子 A v e r a g eI m p a c tF a c t o r 和总影响因子 G l o b a l I m p a c tF a c t o r 等 这些评价方法主要从学术论文发表期刊I F 值 期刊的引文 量 某学科引文特点出发 且集中于对G a r f i e l dI F 值的计算方法进行改进以适 应对不同学科 领域论文的比较 或对简单计算论文被引量的方法在一定程度上 给予 矫J 下 但是已有研究仍然存在着几个方面的不足n 删 研究大多局限于 对某一学科范围内论文的评价 很难适用于多学科和不同研究领域论文水平的评 价或横向比较 由于采用期刊I F 值来反映学术论文水平本身就受到质疑 因此 改进I F 值的计算方法以试图评价不同学科内学术论文水平并没能跳出其局限性 8 有关论文被引量计算方法矫正的研究 在不同学科或同一学科不同研究领域他 引量具有显著差异性的背景下 能否实现对论文学术水平准确 科学的评价仍然 有待探讨 研究中应用的方法单一 难以见到联合应用多种评价学方法对论文 相关数据进行评价的比较研究 所以 现有的研究结果总体上仍不能在一个宽泛 的学术背景下 如由多学科组成的源自J C R 划分的学科门类 由不同研究领域组 成的源自J C R 划分的学科或亚学科 对属于不同学科和不同研究领域 甚至是属 于不同亚领域的论文进行评价和比较 为弥补现行同行评议方法的不足 纠正因研究群体和学科领域大小及引证特 征各异所致 仅依靠论文他引量 发表刊物影响因子评价跨学科领域的论文中产 生的偏倚 本研究拟构建基于他引量 刊物I F 值的多指标综合评价体系 探讨 T O P S I S 法和因子分析法所获得的 数据分布特征相似的综合评价值在跨学科领域 间实现论文学术影响力评价和比较的可行性 二 研究内容 主要的研究内容有 以2 0 0 1 年至2 0 0 7 年诺贝尔医学及生理学奖获奖者的 代表性文献为参比论文 确定与每个参比论文密切相关的研究领域的论文集合及 各集合中每篇论文的年度他引量数据集 计算各论文集合中每篇论文的8 项指标 即 单篇论文发表后他引量 单 篇论文年均他引量 单篇论文发表三年他引量 单篇论文最大年度他引量 单篇 论文年均他引量与同年发表论文篇年均他引量之比 单篇论文发表三年他引量与 同年发表论文三年他引量均值之比 单篇论文发表期刊I F 值 单篇论文发表期刊 I F 值与同年发表论文发表期刊I F 均值比 用T O S I S 法和因子分析法分别计算各论文集合中每篇论文的综合评价值 并以诺贝尔生理或医学奖项获得者代表性论文 参比论文 为参照物验证上述评 价方法的科学性 以各论文集合中每篇论文的8 项指标为输入变量 用神经网络S O M 方法和 K M E A N S 聚类方法将论文自动归类 并以诺贝尔生理学或医学奖获奖者代表性论 文 参比论文 为参照物验证T O S I S 法和因子分析法综合评价值的可靠性 9 根据论文在各自论文集合中T O P S I S 法和因子分析方法的综合评价值进行 跨论文集合比较的可行性验证 材料与方法 一 诺贝尔获奖者的代表性论文及其相关论文集合的确定 1 诺贝尔获奖者的代表性论文 参比论文 的获得 确定公认的高水平和高学术影响力的论文作为对论文学术影响力综合评价体 系及其评价方法所获得的评价结果进行验证的参比论文是本研究的基本前提 为 此 本研究中选取了诺贝尔生理学或医学奖获得者的代表性论文作为参比论文 首先 登录诺贝尔基金会网站 h t t p n o b e l p r i z e o r g 检索2 0 0 1 年 2 0 0 7 年诺贝尔生理学或医学奖获得者名单 1 7 人 从 p r e s sr e l e a s e 和 a d v a n c e d i n f o r m a t i o n 栏目中查找获奖者的相关论文或其获奖领域若干关键词 然后对 2 0 0 1 年一2 0 0 5 年的获奖者采用获奖领域关键词通过S C I 数据库检索出获奖者的代 表性论文 以此为参比论文 对2 0 0 6 年一2 0 0 7 年的获奖者利用诺贝尔基金会网站 已列举的表明获奖者突出贡献的参考文献 代表性论文 直接确定为参比论文 2 参比论文相关论文集合的确定 以每一篇参比论文为依据 建立与其研究领域密切相关的论文集合 为了正 确反映参比论文和其相关论文在同一学术领域内的影响与地位 保证与论文评价 相关的指标都能取得完整的数据值 排除因为论文作者获奖他人引用该论文时可 能发生的 马太效应 以获奖者获奖年前2 年为时间截点 确定与上述参比论 文密切相关的研究领域中的论文集合 具体步骤为 根据己获得的参比论文制定 检索策略 通过P U B M E D 检索并获得该论文全部的相关文献 r e l a t e da r t i c l e 剔除综述 r e v i e w 消息 n e w s 会议摘要 m e e t i n ga b s t r a c t 读者来 信 1 e t t e r 等非原著性论文 下载全部相关论文并以文本文件保存 以P U B M E D 数据库中的相关文献 r e l a t e da r t i c l e s 为途径 可保证论文集合选取时的同 1 质性 消除由人为选取论文集合的主观性 3 获取各论文集合中每篇论文他引量基础数据 查找各论文集合中每篇论文发表后第1 年到该集合中参比文献获奖年度的他 引量及计算年均他引量 建立相应数据库 具体步骤为 对于上述已获得的每个与参比论文研究领域相关的论文集合 利用S C I 数 据库中的被引途径 c i t e d a u t h o r r e f e r e n c e 查找各论文集合中每篇论文各年 度被引频次和引用文献 收集全部引用文献并以文本文件保存 对所获得的引用文献 文本文件 利用计算机编程处理 根据引用者姓名 和所属机构去除各论文集合中每篇论文的自引文献 获得各论文集合中全部论文 各年度他引频次 计算年均他引量 建立被引频次数据库 获取各论文集合中每篇论文发表刊物的影响因子 I F 二 不同研究领域学术论文影响力综合评价指标体系的组成 采用6 项由每篇论文的他引量或其派生出来的指标和2 项由每篇论文发表期 刊的I F 值或其派生出来的指标组成论文学术影响力综合评价指标体系 其中 5 项绝对指标从不同的角度上提供论文学术影响力的基本信息 3 项相对指标反映 了论文在相同研究领域内同一年发表的若干论文中其学术影响力所处的地位 8 项评价指标分别是 C c m 单篇论文发表至统计截止年他引量 反映论文发表后学术影响力最常 用的指标 显示某一论文在学术界影响的积累程度 C 3 y 单篇论文发表后三年的他引量 有研究表明 一般论文引用高峰出现 在其发表后的2 3 年 该指标以每篇论文在引用高峰期间他引量的多寡反映论文 学术影响的速度和大小 C a 单篇论文发表后的年均他引量 由于同一论文集合中的论文发表后的 时间跨度不一及由此产生的他引量累积差异 采用年均他引量可以纠 F 由此造成 的对论文学术影响力评价的偏倚 也使得发表时问长的高水平文献仍然能与晚于 其后发表的并处于引用高峰的文献进行公正 客观的比较 1 1 C m p y 单篇论文发表后最大年度他引量 该指标反映某一论文被学术界最 受关注的一年影响力程度的大小 尤其是可以显示在发表时间长的论文中那些具 有突破性或开创性意义的高水平论文和其他学术影响力较小的论文间的差距 同 时也可以为那些发表时间长但其学术价值在超过论文的平均引用高峰期后才引起 学术界重视的论文与尚处于论文的平均引用高峰期的论文提供能进行公正 客观 的比较的机会 单篇论文发表后三年他引量 c 砂晒 荷珲琵夏菝焉耀舌蜀习疆野龋恒 该指标可以反映处于引用高峰 期时以他引量为标志的某篇论文学术影响力在同一年度发表的论文群体中所具有 的地位和彼此间的差异 单篇论文发表后年均他引量 c 娜 葡珲磁懑乃羽骄季阿羽酉疆 该指标反映某一论文发表后以年均他 引量为持续的学术影响力标志的评价数据至统计截止期在同一年度发表的论文群 体中所具有的地位和彼此间的差异 C i f 单篇论文发表刊物当年影响因子 虽然期刊的I F 值直接作为评价学术论 文的指标有一定的片面性 该指标仍可在相当的程度上综合反映论文作者和论文 发表刊物的编辑及同行评议专家对该论文学术价值和其学术影响力的预判 单篇论文发表刊物当年I F 值 c l f v s 葡珲琵及焉磊行硼豇丽鼯 在同一年度和同样的学术研究领域 的背景下 基于论文作者和论文发表刊物的编辑及同行评议专家对该论文学术价 值和其学术影响力的预判 高水平的论文更容易发表在同一学术研究领域中高I F 值的期刊上 故该指标在一定程度上可以反映出某一论文在同一年度发表的论文 群体中所处的地位和彼此间的差异 三 综合评价方法 分别使用T O P S I S 法和因子分析的方法获得各论文集合中每篇论文的综合评 价值 采用神经网络S O M 法和K M E A N S 法对各论文集合中的论文分类并与T O P S I S 1 2 法或因子分析的综合评价结果进行比对 互为验证 1 T O P S I S 法 T O P S I S 法是系统工程中有限方案多目标决策分析常用的一种决策方法 它是 对归一化后的原始数据矩阵 找出有限方案中的最优方案和最劣方案 然后通过 求出某一方案与最优方案和最劣方案之间的距离 得出该方案与最优方案的接近 程度 并以此作为评价各评价单元优劣的依据 T O P S I S 法的具体评价步骤及计算公式如下 数据的归一化处理 首先计算每篇论文的8 项指标值 然后采用向量规范法对原始数据进行归一 化 无量纲化 处理 8 个指标的无量纲化公式分别为 C c C 口 l c o cj 狮sI c 聊s f C i fIc 可 c I c 却 c 恻4c 俐f c 弧Ic a v s c 咖s c 咖S i l o n n 为各论文集合中的论文总数 i 为各论文集合中第i 篇论文 确定评价结果的最优向量 理想解 与最劣向量 负理想解 理想解Z A m a x 和负理想解Z 一 C m i n 的表达式分别 为 Z A m a x C 3 y m a x C c m a x C a m a x C 3 y v s m a x C i f m a x C a v s m a x C i f v s m a x C m p y m a x 1 3 Z 一 C m i n C 3 y m i n C c m i n C a m i n C 3 y v s m i n C i f m i n C a v s m i n C i f v s m i n C m p y m i n 计算评价对象各指标值与其最优点和最劣点的距离 每篇论文由C 1 y 等8 个指标 维度 决定的欧式空间的 点 到Z A m a x 和z 一 C m i n 的距离研 U i O v i 计算公式分别为 酬幽 州2 一 o 一2 I 一刊2 办 办嘿 2 I d 轴 扣噱 2 厶 m 一2 I 和 矗取 2 I c I 秽d 移偶 计算综合评价值e 向量 论文的T O P S I S 综合评价值C 值 S i 用E X C E L 软件编程计算 综合评价值S i 计算公式为 a 吖 u 形 2 因子分析法 因子分析的基本思想是根据相关性大小把变量分组 使得同组内的变量之间 相关性较高 但不同组内的变量相关性较低 每组变量代表一个基本结构 这个 基本结构成为公共因子 以每个公共因子所对应的特征值占所提取的主成份总特 征值的百分比为权重 对每个被评价对象该公共因子评价值加权 求和 获得其 综合评价值 此过程可利用S P S S l 3 0 软件计算 3 S O M 神经网络法 S O M 神经网络法全称是自组织特征映射神经网络 S e l f O r g a n i z i n gF e a t u r e M a p S O Mo rS O F M 属于无监督竞争学习算法 S O M 网络以自组织方式调整网络 权值 通过特征映射提取样本集非线性分布的输入数据的内在特征 最后使输出 竞争 层各节点成为对特定输入模式敏感的节点 即可作为模式分类器 完成 对输入样本模式的聚类心2 l S O M 的识别过程具有很高的稳定性 本研究中利用 1 4 S T A T I S T I C A 7 0 软件完成对各论文集合中论文的分类 4 K M E A N S 聚类 K m e a n s 算法首先从n 个数据对象任意选择k 个对象作为初始聚类中心 对 于所余下的对象 根据它们与这些聚类中心的相似度 距离 分别将它们分配 给与其最相似的 聚类中心所代表的 聚类 然后再计算每个所获新聚类的聚类 中心 该聚类中所有对象的均值 不断重复这一过程直到标准测度函数 常用 均方差 开始收敛为止 即各聚类本身尽可能的紧凑 而各聚类之间尽可能的分 开 利用S P s S l 3 0 软件完可成对各论文集合中论文的分类 四 综合评价结果的验证和比较 1 论文综合评价结果的验证和比较 将各论文集合中每篇论文T O P S I S 法和因子分析方法的综合评价值与目前常 用的评价论文学术影响力的指标 如 论文他引量 年均他引量 论文发表刊物 的影响因子等进行相关分析 验证本研究提出的论文综合评价方法的评价结果和 上述传统评价指标之间是否具有相同的趋势 2 参比论文综合评价结果的验证和比较 将各论文集合中参比论文T O P S I S 法和因子分析方法的综合评价值与这些论 文的论文他引量 年均他引量 论文发表刊物的影响因子等进行相关分析并比较 不同综合评价方法的评价结果和论文他引量等指标在同一论文集合中序位的变 化 验证参比论文是否获得较为理想的评价结果 3 不同评价方法结果一致性的验证和比较 将各论文集合中每篇论文T O P S I S 法和因子分析方法的综合评价值进行相关 分析 并将各论文集合中每篇论文T O P S I S 法和因子分析方法的综合评价值排序与 1 5 S O M 神经网络法和K M E A N S 聚类的分类相比对 验证四种方法评价结果间的同趋 势性 4 全部论文T O P S I S 法和因子分析方法的综合评价值跨论文集合 可比性验证 将各论文集合中的全部论文按其T O P S I S 法和因子分析方法的综合评价值统 一排序 比较排序结果与各论文按他引量 年均他引量 论文发表刊物的影响因 子等传统论文学术影响力评价指标跨论文集合统一排序时的进退变化 验证本研 究中提出的评价方法之结果适用于不同研究领域 论文集合 论文学术影响力相 互比较的可行性 1 6 一 各论文集合的基本状况 参士里 口木 各个年度的诺贝尔生理或医学奖获奖人论文中与获奖主题密切相关的论文即 参比论文数见表1 1 表1 2 表1 1 2 0 0 1 2 0 0 5 年度诺贝尔获奖者相关论文和参比论文统计表 表1 2 2 0 0 6 2 0 0 7 年度诺贝尔获奖者相关论文和参比论文统计表 以各年度参比论文为依据 经P u b M e dR e l a t e da r t i c l e s 检索共获得1 8 个论 文集合 涉及论文2 0 2 6 篇 论文施引文献1 1 0 5 2 2 篇 各集合论文数以及他引量 年均他引量和论文发表刊物I F 值的统计参数详见表2 1 7 Ho o 寸 呻 e 呻 N 吲 卜 NoHo o寸 H H 西 1 m 4 oo 卜 o o H 旧 芝 鼍鼍岬 o o 霉 8 o 鼍 器兽 o o C o o n o 申 N o o 中 口 0 0o 呻 o 卜 卜 卜o H o 呻 呻 e c e 高 哩 昌2 譬 器 鼍 N 器譬 誉 一 o L l 一 oH 寸 e 譬 皇一岬 HHo N 图鬣 o 罱 岬 呻 器露器 器 呼 t 暑誉鲁 回旺 1 叫唧 m 翠翠 Z 富皇 回唧回唧 n 卜几p 掣掣 净o 1 8 N o o n N N N 中 卜 o N N o o 一 e N 吲 t 寸 呻 r P o N o N 甘 N o o o N N e 旧 旧 e N 呻 o C 吁 鼍 一麓斜 器 卜N oN 一 器 一 呻 吲 o or 卜 e 一 oo o H o6d 击o o o r o r N N 27t 一高 鐾2 一 No o 吲 o66 西 C 口H 27 一鼍器 譬o N o 一 罟 oN呻H 一 c 置 器 譬 岬q罟 2 一鼍g 曲oHHH Ho 卜 一6 C q 鼍 吧 赛 器 鼍 一 2 一 o 鼍譬 器 卜 oo 吲 一6do 一器 o 一 一 P H 臣臣 Z o H 口 暑蓦 黑 N 2JD N u g N 宕 N N 鲁N一尊N I 一一 一葛N 1 z 譬 譬田 甘 n 蠹一N 一 辱 葛一 2JD N 口 N 兽 N N N尊 N 葛 N器 N N uN N罱 N N N 一 N 一 N 籁议秘哥如球一删示犁露廿一 硎 回示掣霸廿一乏 唧 田而翠露廿一置 唧 I 回而掣露廿一 c薹 搽糕弧右螺趔旨冥删不单露廿 删不单舡球仪秘婶 N搽 各论文集合的评价结果 分析所用的原始数据和指标见附录 各论文集合中论文8 项评价指标的原始数据示例见表3 表3 2 0 0 1 A 论文集合中论文原始数据 1 T O P S I S 法 因子分析方法评价结果 首先 对各论文集合的8 项指标原始基础数据进行K M O 和球形B a r t l e t t 检验 结果示例如表4 1 9 表4 2 0 0 1 A 集合论文K M 0 球型检验结果表 K M O 检验和球形检验 K M O 检验值 球形检验卡方近似值 自由度 P 值 0 8 2 1 7 2 3 2 5