清华大学计算机系的评价

关于计算机领域论文评价的

一些思考

林闯陈文光清华大学计算机系提纲计算机领域论文评价的复杂性会议论文的重要性论文价值的主客观度量客观指标：引用（影响引子），录用率等主观指标：会议与期刊列表等一种综合的评价方法计算机领域论文评价的复杂性计算机领域新兴的学科：我国58年建立学科交叉的学科：数学、机电等（数理与工程技术交叉）快速发展的学科：摩尔定律、网络发展定律基础技术的学科：对其他学科的支撑论文评价的多样性与复杂性人造系统有很多新的现象、规律需要抽象和总结，缺乏理论基础。评价需要理论与工程技术两方面考量热点不断，论文引用率不高。学生和论文数量不断攀升，国内外期刊和会议庞杂。计算机领域论文评价的复杂性（1）论文评价是一项重要而又困难的工作重要性声誉与影响学科建设和评估政策和工作导向复杂性计算机领域包含多个学科和研究方向每个学科和方向也有不同的论文评价体系和标准单位发展的平衡评价的主客观因素很多，尚没有一致统一的标准是一个不断思考、不断认识和不断完善的过程计算机领域的会议论文的重要性“Thereasonconferencepublicationispreferredtojournalpublication,atleastforexperimentalist,istheshortertimetoprint(7monthsvs1-2years)”Theopportunitytodescribetheworkbeforeone’speersatapublicpresentation,andThemorecompletelevelofreview(4-5vs2-3)”《EvaluatingComputerScientistsandEngineersForPromotionandTenure》，DavidPatterson,LawrenceSnyderandJeffreyUllman，1999，http://论文的意义在于学术和工程价值价值的评判标准客观工程实践引用次数（影响因子）,如SCI,citeseer,scholar.google等会议录用率参加人数，与工业界联系（较为间接和次要）主观：“公认”影响力和同行评价ConferenceRankListNUS，GeogeiaTech，Microsoft，IBMJournalRankList香港科大，香港理工大学,…论文引用是学术价值的良好体现SCI的引用因子，是对期刊质量的良好评价引用，特别是他引，表达了论文影响力RankAbbreviatedJournalTitleISSN总引用数文章数

引用因子1INTJCOMPUTVISION0920-56914405896.0852ACMTINFORMSYST1046-81881103175.0593BIOINFORMATICS1367-4803214125534.8944MISQUART0276-77833186414.7315IEEETPATTERNANAL0162-8828147081824.306数据来源：2006JournalCitationReport(JCR),ThomsonISISCI期刊影响因子分布影响因子比重6.0850.27%5.0590.55%4.0811.92%3.2563.84%2.556.03%211.78%1.50921.10%139.18%0.853.70%0.70260.00%0.60169.04%0.576.44%0.484.38%0.389.04%0.295.89%0.10398.36%SCI的缺陷在于不收集会议录许多优秀的会议是ACM、IEEE、USENIX和IFIP主办的，不发表在LNCS上。LNCS进去，又被请出来了。因此，探索会议论文的评价标准是非常有意义的工作。如果能够将会议论文与期刊论文一起评价将更有意义Ci喜te闸se枪er的排古名ht霞tp杯:/础/混合糊了会陕议与级期刊凡的排与名使得怜会议才与期渐刊可内以进撑行对库比引用恐率计闯算方感法只计声算他兔引N是平填均每游年的奥单篇遣文章朴引用盆次数绵，引醒用因李子是ln羞(N喝+1戴)rankconference/journalnameCiteseerimpactSCIimpact1rmatik.uni-trier.de/~ley/db/conf/osdi/index.html3.312USENIXSymposiumonInternetTechnologiesandSystems:3.233rmatik.uni-trier.de/~ley/db/conf/pldi/index.html2.894rmatik.uni-trier.de/~ley/db/conf/sigcomm/index.html2.795rmatik.uni-trier.de/~ley/db/conf/mobicom/index.html2.766rmatik.uni-trier.de/~ley/db/conf/asplos/index.html2.77USENIXAnnualTechnicalConference:2.648rmatik.uni-trier.de/~ley/db/journals/tocs/index.html2.561.4099rmatik.uni-trier.de/~ley/db/conf/siggraph/index.html2.5310rmatik.uni-trier.de/~ley/db/journals/jair/index.html2.451.795Ci身te惭se潜er影响庙因子止分布影响因子比重3.310.08%2.70.49%2.530.73%22.53%1.755.15%1.59.09%1.410.72%1.312.28%1.215.64%1.118.91%123.25%0.927.92%0.831.44%0.737.91%0.643.89%0.550.12%0.456.67%0.364.61%0.274.36%0.185.33%Ci序te央se偶er的缺滚陷目前母的数哑据是20扣03年统纽奉计的新的句会议膊和期档刊没线有列星入如EU变RO朋SY附S,礼N小SD厨I等现有欧会议愉和期严刊的奋数据慈没有睛更新程序烟自动转进行橡统计母，列赵表中凳有些买错误WW恐W出现祥了若巡寿干次WW催W8枝,W赤WW怕9,卫WW见W5等等总体千上，Ci召te打se呆er提供酱了一铸种论聋文影鸟响力漠的客礼观评耀判方喂法，厨可以艰成为假论文昌评判厨的参椅考依昆据。论文姿录用拣率论文给录用罚率是旗衡量工会议称质量傲的一趋个指塔标，替但不宁是最品重要料的指旬标好的臣会议改有可浑能录疲用率材较高贞，因园为水谋平一走般的县论文乞不敢腥投稿一般针的会秩议可呜能会唱有很厚多水糠平一凝般的默投稿览从而慎造成沿录用杜率较否低过低具的录浮用率仆实际烛损害拉了会肺议接捧收包碌含新厚观点跟论文洗的能听力被录往用的忌论文刑通常姨是工歌作完刚整，障有争分议的渗论文尿在过成低录坚用率谨的会遥议上鬼往往游会被胜拒绝20险-3鸟0%的录差用率腿就比外较合史理，So纷me症a豆rg壤ue希t烂ha开t注to聪o-抵hi泄gh熄a仓cc境ep睡ta让nc行e侮ra姓te也s怒(e狗.g侵.,循4鸣0%伏)闲do阔n'鉴t晃ch壁al董le乘ng演e壮th轮e变fi池el估d败en业ou陶gh缓;的wh凶il离e禁to较o-表lo缝w惠ac借ce适pt揉an救ce遭r列at怕es准(永<串15论%)浓e非no或ur拿ag拨e必to望o送mu铲ch凝c时on击se漏rv错at室iv亚is欺m偶in社p控ro弯gr篇am等c垂om没mi滑tt里ee私s.批T辨hu屋s,帆a纠s稠a夹fi鬼el毛d询gr环ow祸s搬so雁me阵f锄ee的l始th温e筋pa爬pe凡r座pu模bl筑is绘hi难ng都o洋pp薄or卧tu选ni楼ti咳es武s毫ho练ul丛d播al户so渠g什ro仗w典to泪k恨ee粪p鸽ac塔ce口pt臂an蓝ce士r姑ea跪so欢na奔bl逢e柜(e架.g扶,耕20膛-3正0%叶).ht叹tp罚:/降/=绝Ta独lk纵:A评cc姜ep就ti尘ng贱_M钱or辱e_省Pa惠pe圈rs主观考标准优点被同讨行承闪认是衬影响酒力的径表现可以浙判断互出不镰同领栋域的姓引用渣率情孔况可精能不取同缺点某个召领域瓶的研赢究者牌容易顶提出紧自己庆容易下达到悼的标渔准难以蹦在组睁织内双部验篇证NU雾S的排方名最著仇名的肤会议五排名ht劝tp室:/喂/仅有所会议过排名舱，不滔包含污期刊分为4级，Ra帜nk漫1,忧R云an布k2捎,寻Ra铺nk银3,幅U碌nr推an右ke撕d有一真个Ge凭or传gi神a铺Te宅ch的变须种ht够tp援:/虹/w饼ww缘瑞-s重ta貌ti陡c.个cc殿.g元at涨ec班h.希ed犁u/冠~g压uo娃fe沿i/伯CS冠_C滥on俯fR拨an师k.负ht糠ms蛾ta断ti非c.匠cc招.g灯at纯ec否h.章ed脊u/好~g何uo聪fe灰i/蔬CS塑_C订on哈fR茫an睬k.纯ht搂m内容昆基本还相同淋，少腔数会索议上妨略有教调整金，如CI亡KM，在NU秒S的列师表中奸是RA苦NK悟1,在Ge话or脊gi劫aT笨ec笑h的列雕表中麻是Ra狼nk内2NU拢S的排气名AR屑EA猛:心Da叼ta获ba违se理sSI厌GM族OD匆:楚AC丛M倡SI妇GM皇OD吗C捐on延f派on堤M讽an李ag雕em和en晋t虫of尼D附at鹿aPO弓DS柴:夜AC部M各SI斥GM她OD见C牢on摇f坚on兰P滤ri藏nc漂ip坐le简s重of扎D攀B疾Sy晶st汇em恶sVL筐DB搂:讯Ve懂ry漂L糠ar捞ge椒D遍at朵a档Ba茫se睁s庸IC灯DE闯:博In钳tl众C握on随f袍on渐D议at栏a捞En裁gi孤ne颤er缝in肺gCI钞KM件:职In顶tl阶.轿Co雅nf毫o吵n莲In励fo纷rm饥at农io挤n锣an鄙d万Kn起ow源le纤dg援e旧Ma身na纹ge揪me划nt（Ci靠te读se封er惕I轻F:刃0容.7辣3,to庭p副35马.8召7%）IC喊DT吐:洞In奔tl予C量on帽f忠on怎D烧at撒ab仆as挺e颜Th询eo疼ryAR毫EA淡:积Ar毒ti皆fi刺ci略al就I鉴nt贞el狮li旁ge邮nc棕e惧an扩d封Re趁la挥te畜d鼻Su心bj歌ec久tsAA唤AI陆:象Am扯er凉ic汪an税A怠ss般oc性ia许ti半on草f犁or葡A害I多Na戏ti锡on航al钢C置on膝fe捷re鸭nc榜e裂CV蔑PR晋:补IE丑EE按C千on眨f赔on明C所om劝p喂Vi续si值on愚a很nd谜P赖at妹te爽rn升R凯ec码og房诚ni融ti脖on文I卖JC盘AI杰:乏In租tl船J竿oi粮nt赞C范on国f淋on乐A雕I静IC弦CV辛:边In刻tl扣C亿on秧f的on抚C傲om争pu抛te惨r姥Vi连si跟on另I悠CM题L:压I田nt马l茅Co甚nf旦o妥n售Ma塑ch各in卷e巩Le英ar售ni过ng演K幻玉DD陈:都Kn铁ow反le象dg斩e权Di杆sc项ov剑er兽y厕an商d胡Da龟ta五M此in隔in就g沫KR趟:读In顶tl摄C没on移f纤on锅P梦ri遍nc保ip徒le秧s亦of逝K狱R奶&撇Re单as痕on腰in头g凡NI捆PS姜:爬Ne伤ur偿al厌I处nf农or睡ma迟ti浑on圣P病ro钉ce谋ss逮in义g吓Sy拍st济em顿s川UA寺I:猜C给on遣fe隐re誓nc芦e按on甩U急nc裤er浮ta婆in其ty叠i怒n炭AI预A监AM涝AS舱:垃In帅tl刊C精on何f易on伟A周ut唇on捎om栽ou宝s珠Ag河en烦ts眠a寒nd例M灯ul僵ti妹-A弄ge扎nt狂S壁ys叙te姐ms疏(柱pa家st部:歉IC嫩AA乳)暑AC涉L:俭A赛nn鬼ua勇l龙Me孔et很in赛g言of旱t关he裳A佣CL瞎(部As妨so怜ci掘at如io动n斗of暂C醉om寄pu貌ta纯ti膊on膜al僚L脑in盼gu闯is造ti壤cs立)一种跟综合悲评价览方法以引屡用为树主要京因素柱，主酿观排毙名为伪辅助覆因素综合SC牲I引用季因子馆，Ci穗te清Se晕er和NU柏S会议叶分级原则不易捐确定验的向撞下评匹级在SC伍I引用趣因子猫，Ci男te庸Se诞er和NU狗S会议毛分级混中都聚要达唇到标红准比如CI足KM，在NU辜S排名赠中定犹为1级，坝但在ci股te臂se也er上的诱引用夸因子局仅为0.塔73（to栗p弃35课.8班7%），爷还是棍定为2级较新解的会腥议，敌通过馒附加扎外界深评估启的方迈法确罚定位搞置FieldConferenceNUSGeorgiaCiteseerAI

AAAI:

American

Association

for

AI

National

Conference111.49

ACL:

Association

of

Computational

Linguistics111.44

KDD:

Knowledge

Discovery

and

Data

Mining111.68Hardware

ASPLOS:

Architectural

Support

for

Prog

Lang

and

OS112.7

HPCA:

IEEE

Symp

on

High-Perf

Comp

Architecture111.79

MICRO:

Intl

Symp

on

Microarchitecture112.31Application

SIGGRAPH:

ACM

SIGGRAPH

Conference112.53

WWW:

World-Wide

Web

Conference112.17

SIGMETRICS:

ACM

Conf

on

Meas.

&

Modelling

of

Comp

Sys111.56system

SIGCOMM:

ACM

Conf

on

Comm

Architectures,

Protocols

&

Apps112.79

INFOCOM:

Annual

Joint

Conf

IEEE

Comp

&

Comm

Soc111.39

PACT:

Intl

Conf

on

Parallel

Arch

and

Compil

Tech111.02programminglanguage

POPL:

ACM-SIGACT

Symp

on

Principles

of

Prog

Langs112.26

CAV:

Computer

Aided

Verification111.88

ICSE:

Intl

Conf

on

Software

Engineering112.05theory

STOC:

ACM

Symp

on

Theory

of

Computing111.69

ISSAC:

Intl.

Symp

on

Symbolic

and

Algebraic

Computation110.66

SPAA:

ACM

Symp

on

Parallel

Algorithms

and

Architectures111.44

SODA:

ACM/SIAM

Symp

on

Discrete

Algorithms111.51DB

SIGMOD:

ACM

SIGMOD

Conf

on

Management

of

Data111.74

ICDT:

Intl

Conf

on

Database

Theory111.41

VLDB:

Very

Large

Data

Bases111.52部分核一级坟会议变的Ci惑te叹se肺er影响原因子部分芒二级煤会议症的Ci咳te您se薯er影响役因子FieldConferenceNUSGeorgiaCiteseerAI

CAIP:

Inttl

Conf

on

Comp.

Analysis

of

Images

and

Patterns220.21

IAAI:

Innovative

Applications

in

AI221.87

ICTAI:

IEEE

conference

on

Tools

with

AI220.25HW&Arch

ICS:

Intl

Conf

on

Supercomputing221.36

VLSI:

IEEE

Symp

VLSI

Circuits220.35FPL:Field-ProgrammableLogicandApplications2n/a0.44App

JCDL:

Joint

Conference

on

Digital

Libraries220.31

MASCOTS:

Symp

Model

Analysis

\&

Sim

of

Comp

\&

Telecom

Sys220.43

NOSSDAV:

Network

and

OS

Support

for

Digital

A/V221.85Sys

CC:

Compiler

Construction220.83

ICPP:

Intl

Conf

on

Parallel

Processing220.95

CSFW:IEEE

Computer

Security

Foundations

Workshop221.96ProgLang&SoftEngi

CP:

Intl

Conf

on

Principles

&

Practice

of

Constraint

Prog221.04

SAS:

Static

Analysis

Symposium221.53

PADL:

Practical

Aspects

of

Declarative

Languages220.87Algo&Theory

CONCUR:

International

Conference

on

Concurrency

Theory221.44

ALT:

Algorithmic

Learning

Theory220.63

CADE:

Conf

on

Automated

Deduction221.22DB

SSD:

Intl

Symp

on

Large

Spatial

Databases221.39

CIKM:

Intl.

Conf

on

Information

and

Knowledge

Management120.73

ER

-

Intl

Conf

on

Conceptual

Modeling

(ER)220.56一种杆综合镇的会钞议期瞒刊分关级方裁法论文缘瑞分为3级1级，SC尊I纽奉IF何>爬1AN锄Dci觉te宴se闸er申I丢F侨>此1.持4AN果DNU盾SR初an欺k环12级，SC汤I弊IF饭>谊0傻.7AN婚Dci见te栗se听er麦I萄F丸>写0.惕5AN阔DNU姓SR蹦an众k23级，老其它铃（鼓眉励投慎稿优汉秀论祖文，坦因此形不做歌进一惭步细么分）标准第一级第二级备注SCI1.0(40%)0.7(60%)2006年数据Citeseer1.4(10%)0.5(50%)NUSRank1Rank2新方椅案一郑级期霸刊的Ci越te剧se恳er和SC颜I影响严因子JournalNameCiteSeerSCIJArtificialIntellRese2.45