科研评价体系对科研水平影响的统计分析.doc

科研评价体系对科研水平影响的统计分析以山东大学威海分校为例的分析崔宇明1 师晓青2（山东大学威海分校 商学院1图书馆2 山东威海 264209）摘要:对山东大学威海分校商学院19952005年发表的学术论文进行了五种分类统计，结合经验观察，分析发现，科研论文发表的数量、刊物投向水平的变化趋向，以至整体科研水平问题，受到科研评价体系的重要影响。针对分析结果，提出关于改革科研评价体系，促进科研水平提升的四点建议。关键词:科研评价体系 科研水平 统计分析一项制度、一个评价体系就是执行者的行动指引，其科学性、公正性程度，直接影响着一个人的发展前途和一个集体的兴衰成败。一般而言，一项制度、一个评价体系建立和执行的基本作用和目标，无非是从眼前来看，要维持和保障这个组织的正常、平稳运行；从长远看，可能就是要促进这个组织成长力、竞争力、影响力的不断增强。可见，一项制度、一个评价体系何等重要。而一个组织的成长力、竞争力、影响力究竟如何，要由社会公允的评价标准或者评价体系来尺度，不是自己说了算的。因此，越是强大的组织、规范的组织，越是追求竞争力的组织，普遍采用和接受这个社会、这个行业公允的评价标准或者评价体系来等量自己。作为一所百年老校山东大学，在提出“到建校120周年之际，建设成为国内外知名的综合性、开放性、研究型高水平大学”这个战略目标的以后，准备着手割除自己制定的科研评价体系2005年5月份学校社科处就科研评价体系“修订说明”的第七条是，“2005年起学校不再执行山东大学国内核心期刊目录标准”。从“修订说明”讨论稿中关于科研论文量化计分可以看出，评价体系新标准就刊物等级而言，认同了国内一类招生院校（至少是教育部直属院校）早已普遍采用的南京大学的CSSCI来源期刊标准。在这样的大背景下，加上基于平时的经验感受，启发了我们以山大分校（分校执行的是总校的标准）为例来探讨科研评价体系对科研水平影响这样一个问题。一、统计方法及说明本数据是通过图书馆电子资源全文数据库（清华学术期刊）检索获得。路径是山东大学威海分校图书馆电子资源中文电子期刊中文期刊全文数据库（清华学术期刊）进入检索。在检索实践中，原计划以整个山东大学威海分校人文社会科学类（文科）为对象进行统计分析，但是考虑到本选题对学科的熟悉程度要求较高，以及为了便于尽可能做到检索标准的一致性、数量统计的准确性和对结果分析的客观性，经过几次试检索后，进行了检索方式的调整。调整后，本统计检索对象只限于山东大学威海分校商学院2005年11月在编教师（以学院2005年11月份统计名单101人为准），且论文署名作者单位是山东大学威海分校；检索论文发表时间在19952005年期间；本统计的数据检索时间是2005年1月1012日。这样，自然将离退休教师、人事关系离开学院到学校其他部门任职的原教师、调离本学校的原学院教师和本学院在编教师但署名作者单位不是山东大学威海分校的四类情况排除在统计范围以外（我们初步估计这四类教师不超过10人，因此对结果没有实质性影响）。具体过程是，在中文期刊全文数据库（清华学术期刊）通过高级检索方式，输入作者姓名（依照名单逐一进行）、并且输入单位名称（山东大学威海分校）。供检索到238篇论文，涉及作者52人。将检索结果与经验观察对比，只有极个别作者的极个别论文有漏计情况（原因是该论文发表的期刊未进入中文期刊全文数据库，如经济学动态），但是不会对结果有实质性影响。二、统计结果细分情况对统计数据按照下述五个方面的细分意图是，前三个方面主要想从对期刊质量划分的角度来观察发表的学术论文质量；后两个方面是想从论文的角度观察期刊的质量和关于不同科研评价体系的差异（甚至科研评价体系的科学性问题）。1、以北京大学图书馆2004年公布的中文核心期刊要目总览为标准来看发表论文的期刊符合中文核心期刊要目总览为124篇，占总论文数238篇的52。从时间和期刊分布来看，在1995年1999年期间发表论文数为7篇，分散在6种期刊中。2000年2002年这3年发表的论文数合计36篇，分布在16种期刊中。2003年2005年这3年发表的论文数合计81篇，分布在31种期刊中。将人员数与核心论文数增长对比看，1999年经济系人数是30人左右、2002年经济系和商学系人数是60人左右、2005年11月商学院人数是101人。大致可以看出，同期核心论文发表增长率、期刊种类增长率与人员增长率是大体同步的（因为统计中不包含2005年11月已经不在编的那些人员），2003年以来核心论文发表增长率稍快一些。从核心论文发表的期刊集中度来看，2000年以来的特点是，科研论文数量增长快，且发表的期刊比较集中，最集中的前两种期刊是商业研究和山东大学学报。商业研究这个半月刊，每期大16开184页。2000年以来在该刊累计发表论文数是29篇，年度发表数一直保持在47篇。山东大学学报2000年以来累计发表18篇，其中前三年各2篇，而2003年5篇，2004年6篇，不过2005年却只有1篇。19952005年，以北京大学图书馆2004年公布的中文核心期刊要目总览为标准统计的历年论文发表数，见图表1。2、以山东大学2002年10月制定的国内核心期刊目录为标准看山东大学2002年10月制定的国内核心期刊目录中，涉及人文类特、A、B三种供120种期刊（未计人大复印资料）。统计情况是，从1995年至2005年，发表论文中属于核心A、B的论文有69篇（山大规定被人大复印资料复印的算B类，本文对此未计入统计），占全部论文总数的29，不过2000年以来就占67篇。69篇论文分散分布在13种期刊当中。一个突出特点是，其中占总数69篇的66的46篇论文集中发表在山东大学学报（18篇）和技术经济（28篇）两种期刊。19952005年，以山东大学2002年10月制定的国内核心期刊目录为标准的历年发表论文数，见图表2。3、以2004年南京大学发布的CSSCI来源期刊目录为标准来看19952005年发表的238篇论文中，有42篇属于CSSCI来源期刊，占论文总数的17.6。从刊物分布来看，42篇论文分别刊发在29种期刊中，比较分散。除了税务与经济相对比较集中，累计有6篇（2000年以来）外，其他刊物都基本是1到3篇。19952005年，以2004年南京大学CSSCI来源期刊目录为标准的历年论文发表数，见图表3。4、从刊物的集中度来看在统计的过程中发现，2000年以来，在期刊商业研究上发表的论文为30篇，技术经济为28篇，山东大学学报为18篇，税务与经济为6篇，江苏商论为6篇，商场现代化为7篇，总计有95篇，占到2000年2005年间论文总数（216篇）的44，见图表4。5、从论文符合“三合一”条件的角度看我们对2000年2005年期间论文发表的期刊，按照同时符合南京大学2004年公布的CSSCI来源期刊目录、山东大学2002年制定的国内核心期刊目录和北京大学图书馆2004年公布的中文核心期刊要目总览的“三合一”条件，进行论文数统计，结果见图表5。CSSCI来源期刊目录和中文核心期刊要目总览重合程度较高；山东大学制定的国内核心期刊目录与CSSCI来源期刊目录重合度不高。而有意思的是，山东大学的国内核心期刊目录中，人文类特、A、B三种供120种期刊（未计人大复印资料）中，有几种地方性刊物（山东大学学报、东岳论丛、山东社会科学以及齐鲁学刊）和技术经济（连有1000多种期刊的中文核心期刊要目总览也未进入）并没有进入2004年发布的有461种之多的CSSCI来源期刊目录里。因此，2000年以来发表的200多篇论文中，满足“三合一”条件的仅有区区16篇。三、统计得出的结论及简短评论1、教师开展科研工作的比例低，人均论文发表数量偏少本次统计发现，在全院101人中，科研成果涉及人员数只有52人，即使不考虑行政和学生辅导员（不足20人），再考虑到新来不到一年的教师情况，也至少有20人以上在本单位工作时间超过一年以上，而科研成果为零。在职称晋升条件越来越严格的趋势下，这种不少教师科研零成果的情况值得重视。人均论文发表数量偏少也是统计结果直接显示出来的一个问题。即使按照2000年以来的216篇计算（19951999科研论文成果数为22篇），20002005年的6年间全院人均科研论文成果数为2.14篇，有论文成果的人员年均0.37篇。若以有成果的52人来平均，20002005年的6年间人均科研论文成果数为4.15篇，有论文成果的人员年均0.7篇。2、科研论文质量不高，发表的期刊层次低按照在中文核心期刊发表的论文数计算，20002005年的6年间共计117篇，按有论文成果的52人平均，人均2.25篇/6年，年均约0.38篇。若按照在山大规定的核心A、B及以上期刊发表的论文数计算，20002005年的6年间共计67篇，有论文成果的人平均1.3篇/6年，年均约0.22篇。若按照在CSSCI来源期刊上发表的论文数计算，20002005年的6年间共计37篇，有论文成果的人均0.71篇/6年，年均约0.12篇。据笔者了解，目前国内一类招生高等院校大多都以CSSCI来源期刊为基础规定本学校的科研论文评价体系的。而发表论文比较集中的期刊是什么层次呢？除了山东大学学报和税务与经济办刊质量相对还比较高一些以外。像技术经济、商业研究、江苏商论和商场现代化这4种期刊，发表文章数量大，且都是同一作者一年内在同一刊物都有23篇，可见层次并不高。20032005年在上述四种期刊总计发表论文有71篇，占到2003年2005年间发表的全部论文总数165篇的43。从发表的论文符合“三合一”条件来看，数量之少，也能在一定程度上说明这个问题。足见我们发表的科研论文质量不高，发表的期刊层次偏低。3、科研评价激励体系的欠科学性导致科研行为的逆向选择山东大学2002年制定的国内核心期刊目录总体来看，核心以上范围小，要求标准还是比较高的。但是，它的欠科学性和学术不公正性问题存在还是比较明显。如，有几种地方性刊物：山东大学学报、东岳论丛、山东社会科学以及齐鲁学刊，甚至没有进入2004年发布的有461种之多的CSSCI来源期刊目录里 山东大学学报、东岳论丛、山东社会科学以及齐鲁学刊在2006年度CSSCI来源期刊扩容至493种以后入选，这是后话。特别是技术经济，连有一千多种期刊的中文核心期刊要目总览也未进入，同一作者在其中一年内发表34篇论文的情况比比皆是，这可能在国内正式期刊当中也是绝无仅有的了，可惜该期刊还被规定为仅有120种的稀缺资源的核心B类了。与我们经历过的被匿名审稿11个月之久才发表的一个属于CSSCI期刊而被看成一般刊物对待，形成强烈对比。学术奖励制度与科研评价体系存在的缺陷，必然除不能很好地正面激励人们的科研工作以外，反而会导致由于人们的逆向选择而使科研水平在滑坡、科研道德在沦丧。目前不仅是学校，甚至整个国内存在的学术浮躁、甚至学术腐败，实际上都是学术奖励制度与科研评价体系严重缺陷或说弊端的必然结果，只不过引起具体表现的原因不同而已，实质根由是共同的。因此，对于这种后果，绝对不可指责任何个人，个人只要沿着制度指引的路径行走就是合情合理合法的。我们的检索观察到的是，即使学校对一篇B类文章奖励高达4000元，科研水平比较高的教授们，并没有在技术经济这类B类发表文章，他们每年的科研论文普遍在民间公认的学术期刊发表。而在该期刊发表文章的人员，从辅导员、行政人员到副教授全部都有。在技术经济神秘的面纱被揭开以后，大家普遍并不感到在其上发表文章有什么荣耀，但是在面临着职称晋升压力，在“核心B类”和4000元奖励的制度诱惑下，如鲁迅讲的象以“对待妓女”一样的复杂心情，而在该刊物连续发表。使学校科研成果质量表现出畸形的繁荣。还有诸如商业研究、江苏商论和商场现代化一类，虽然在山大核心期刊目录里算一般了，但是它们都属于2004年北大的中文核心期刊，学校也给予每篇2000元的奖励。对于年轻教师来说，为职称凑数不说，单单为了生计在这些刊物发表也是值得的。每篇2000元的奖励抵得上80个课时工作量的津贴了。在这些刊物发表的文章，显然不需要费时80个课时工作量就可以完成，况且以后评职称需要的科研也有积累了，何乐而不为呢？实际上不科学的学术奖励制度与科研评价体系，浪费了学校宝贵的科研奖励资源不说，单就对学术氛围的破坏和个人科研发展的危害而言，后果不堪设想。在发展的压力面前，机会主义行为是理性人的普遍选择。与其费时费力地严肃做学问不一定短期有收获，还不如“复制粘贴加编辑”或者托地缘人脉关系 如，观察一下山东大学学报03、04年发表的分校的经济类数量的凸起和05年的突凹，统计一下在该刊发表的分校法律类的论文数量，可以验证民间的议论能在该刊发表主要凭的不是论文质量。发表就可以“名利双收”。大家普遍接受了这种无奈“学问不是做出的，而是玩来的”。若让这种“劣币驱逐良币”现象的“格雷欣法则”长期作用，不仅会破坏规范的学术氛围，也会扼杀和退化个人的学术潜力。整个学术水平和学科建设恐怕岌岌可危了。四、几点对策性意见1、改革科研评价体系和激励制度一项制度、一个评价体系就是执行者的行动指引，其科学性、公正性程度，直接影响着一个人的发展前途和一个集体的兴衰成败。一般而言，一项制度、一个评价体系建立和执行的基本目标，无非是从眼前来看，要维持和保障这个组织的正常、平稳运行；从长远看，可能追求的是这个组织的成长力、竞争力、影响力。而一个集体组织的成长力、竞争力、影响力究竟如何，要由社会公允的评价标准或者评价体系来尺度，而不是自己说了就可以算上的。越是强大的组织、规范的组织、追求竞争力的组织，普遍采用和接受这个社会、这个行业公允的评价标准或者评价体系来等量自己。因此，这个组织要敢于辨证的否定自己的一些欠科学的制度和评价体系、并尽快加以完善。可喜的是，我们看见了科研评价奖励改革的曙光。2、采取措施，加强科研团队建设，克服个人“单打独斗”的低水平重复研究现状统计结果发现的低水平甚至是重复研究的现状，并不是每个人愿意看到的结果，而是不得已而为之的。年轻教师科研起步晚、科研经验积累少，在开展科研工作实践当中，迫切需要学术造诣相对较高的学科带头人的帮助和指导。但是我们看不到关于要求和鼓励学科带头人帮助和指导年轻科研教师方面的一些具体可操作的制度和措施。面对这种实际情况，在科研要求的压力下，出现两种可悲的极端：一种是完全丧失信心，干脆不做科研工作，多年不写一篇学术论文；一种是犹如无头苍蝇，到处乱撞，走了不少弯路，最后还是瞎猫逮住死老鼠，管它什么质量，甚至是什么手段，发表了文章就算数。如此下去，个人“单打独斗”的低水平重复研究现状永不得改观。因此，学校要高度重视，并采取切实可行的、可监督的一系列配套措施，加强科研团队建设，特别要重视鼓励学科带头人对年轻教师的科研帮助和指导工作。如同指导年轻教师教学工作一样，将学科带头人对年轻教师的科研帮助和指导工作落到实处。3、改革教师评价制度，多元硬化评价指标大学的第一使命无疑就是培养人才。但是，对教师的评价与这第一使命的客观要求并不十分相关，只有科研论文的数量和发表刊物的级别是衡量教师职称及各方面水平的至高无上的标准。显然，这一使命与对教师评价的矛盾从两个方面来看，都存在严重缺陷。首先，无疑它不能真正鼓励教师将全部身心投入教学当中，教学质量要有质的提高，连在逻辑上的支持都不够。一个获得的优秀教学能手荣誉称号的教师，在没有坚实的科研成果支持，职称晋升恐怕遇到的只能是尴尬，上海一名死去的老讲师就是最好的注释。其次，现行的科研只奖不罚的制度，又使完全不重视科研的教师，年年安然度过年度考评。这种在平时缺乏基本的一些硬性科研指标要求的制度的督促，使这些教师的晋升前途越发黯淡。那么他们反过来因为晋