清华大学计算机系的论文评价.ppt

2019/5/14,1,关于计算机领域论文评价的 一些思考,林闯 陈文光 清华大学计算机系,2019/5/14,2,提纲,计算机领域论文评价的复杂性 会议论文的重要性 论文价值的主客观度量 客观指标：引用（影响引子），录用率等 主观指标：会议与期刊列表等 一种综合的评价方法,2019/5/14,3,计算机领域论文评价的复杂性,计算机领域 新兴的学科：我国58年建立学科 交叉的学科：数学、机电等（数理与工程技术交叉） 快速发展的学科：摩尔定律、网络发展定律 基础技术的学科：对其他学科的支撑 论文评价的多样性与复杂性 人造系统有很多新的现象、规律需要抽象和总结，缺乏理论基础。 评价需要理论与工程技术两方面考量 热点不断，论文引用率不高。 学生和论文数量不断攀升，国内外期刊和会议庞杂。,2019/5/14,4,计算机领域论文评价的复杂性（1）,论文评价是一项重要而又困难的工作 重要性 声誉与影响 学科建设和评估 政策和工作导向 复杂性 计算机领域包含多个学科和研究方向 每个学科和方向也有不同的论文评价体系和标准 单位发展的平衡 评价的主客观因素很多，尚没有一致统一的标准 是一个不断思考、不断认识和不断完善的过程,2019/5/14,5,计算机领域的会议论文的重要性,“The reason conference publication is preferred to journal publication, at least for experimentalist, is the shorter time to print(7 months vs 1-2 years)” The opportunity to describe the work before ones peers at a public presentation, and The more complete level of review(4-5 vs 2-3)” Evaluating Computer Scientists and Engineers For Promotion and Tenure，David Patterson, Lawrence Snyder and Jeffrey Ullman，1999，/main/cra.pubs.html,2019/5/14,6,论文的意义在于学术和工程价值,价值的评判标准 客观 工程实践 引用次数（影响因子）,如SCI, citeseer, scholar.google等 会议录用率 参加人数，与工业界联系（较为间接和次要） 主观：“公认” 影响力和同行评价 Conference Rank List NUS，Geogeia Tech，Microsoft，IBM Journal Rank List 香港科大，香港理工大学,2019/5/14,7,论文引用是学术价值的良好体现,SCI的引用因子，是对期刊质量的良好评价 引用，特别是他引，表达了论文影响力,数据来源：2006 Journal Citation Report (JCR), Thomson ISI,2019/5/14,8,SCI期刊影响因子分布,2019/5/14,9,SCI的缺陷在于不收集会议录,许多优秀的会议是ACM、IEEE、USENIX和IFIP主办的，不发表在LNCS上。 LNCS进去，又被请出来了。 因此，探索会议论文的评价标准是非常有意义的工作。 如果能够将会议论文与期刊论文一起评价将更有意义,2019/5/14,10,Citeseer的排名,/impact.html 混合了会议与期刊的排名 使得会议与期刊可以进行对比 引用率计算方法 只计算他引 N是平均每年的单篇文章引用次数，引用因子是ln(N+1),2019/5/14,11,Citeseer影响因子分布,2019/5/14,12,Citeseer的缺陷,目前的数据是2003年统计的 新的会议和期刊没有列入 如EUROSYS, NSDI等 现有会议和期刊的数据没有更新 程序自动进行统计，列表中有些错误 WWW出现了若干次 WWW8,WWW9,WWW5等等 总体上，Citeseer提供了一种论文影响力的客观评判方法，可以成为论文评判的参考依据。,2019/5/14,13,论文录用率,论文录用率是衡量会议质量的一个指标，但不是最重要的指标 好的会议有可能录用率较高，因为水平一般的论文不敢投稿 一般的会议可能会有很多水平一般的投稿从而造成录用率较低 过低的录用率实际损害了会议接收包含新观点论文的能力 被录用的论文通常是工作完整，有争议的论文在过低录用率的会议上往往会被拒绝 20-30%的录用率就比较合理， Some argue that too-high acceptance rates (e.g., 40%) dont challenge the field enough; while too-low acceptance rates ( 15%) enourage too much conservativism in program committees. Thus, as a field grows some feel the paper publishing opportunities should also grow to keep acceptance reasonable (e.g, 20-30%). /healthcc/index.php?title=Talk:Accepting_More_Papers,2019/5/14,14,主观标准,优点 被同行承认是影响力的表现 可以判断出不同领域的引用率情况可能不同 缺点 某个领域的研究者容易提出自己容易达到的标准 难以在组织内部验证,2019/5/14,15,NUS的排名,最著名的会议排名 .sg/home/ASSourav/crank.htm 仅有会议排名，不包含期刊 分为4级，Rank1, Rank2, Rank3, Unranked 有一个Georgia Tech的变种 /guofei/CS_ConfRank.htm 内容基本相同，少数会议上略有调整，如CIKM，在NUS的列表中是RANK1,在GeorgiaTech的列表中是Rank 2,2019/5/14,16,NUS的排名,AREA: Databases SIGMOD: ACM SIGMOD Conf on Management of Data PODS: ACM SIGMOD Conf on Principles of DB Systems VLDB: Very Large Data Bases ICDE: Intl Conf on Data Engineering CIKM: Intl. Conf on Information and Knowledge Management （Citeseer IF: 0.73, top 35.87%） ICDT: Intl Conf on Database Theory AREA: Artificial Intelligence and Related Subjects AAAI: American Association for AI National Conference CVPR: IEEE Conf on Comp Vision and Pattern Recognition IJCAI: Intl Joint Conf on AI ICCV: Intl Conf on Computer Vision ICML: Intl Conf on Machine Learning KDD: Knowledge Discovery and Data Mining KR: Intl Conf on Principles of KR & Reasoning NIPS: Neural Information Processing Systems UAI: Conference on Uncertainty in AI AAMAS: Intl Conf on Autonomous Agents and Multi-Agent Systems (past: ICAA) ACL: Annual Meeting of the ACL (Association of Computational Linguistics),2019/5/14,17,一种综合评价方法,以引用为主要因素，主观排名为辅助因素 综合SCI引用因子，CiteSeer和NUS会议分级 原则 不易确定的向下评级 在SCI引用因子，CiteSeer和NUS会议分级中都要达到标准 比如CIKM，在NUS排名中定为1级，但在citeseer上的引用因子仅为0.73（top 35.87%），还是定为2级 较新的会议，通过附加外界评估的方法确定位置,2019/5/14,18,部分一级会议的Citeseer 影响因子,2019/5/14,19,部分二级会议的Citeseer 影响因子,2019/5/14,20,一种综合的会议期刊分级方法,论文分为3级 1级，SCI IF 1 AND citeseer IF 1.4 AND NUSRank 1 2级，SCI IF 0.7 AND citeseer IF 0.5 AND NUSRank2 3级，其它（鼓励投稿优秀论文，因此不做进一步细分）,2019/5/14,21,新方案一级期刊的Citeseer 和SCI影响因子,2019/5/14,22,新方案二级期刊的Citeseer 和SCI影响因子,2019/5/14,23,总结,计算机领域论文评价包含不同学科和方向的特点，是一件重要而困难的工作，没