基于学术期刊文章的数值评估方法在科研评估中的应用

基于学术期刊文章的数值评估方法在科研评估中的应用

一从研究期刊文章的数量和质量方面进行调整在过去的25年里，基于科学期刊（以下简称期刊）的价值科研评估发展成为一个获得广泛认可的新学科，并在实践中的应用得到了广泛认可。1现代经济增长最重要的动力来自技术进步,而现代技术进步大部分又直接或间接来自于科学的进步。如同经济的其他领域一样,科学进步在很大程度上取决于科研资源的有效配置。对于常规的市场产品,资源的有效配置是通过市场来实现的,其中产品的市场价格发挥了一个基本的信号作用。然而,不同于常规的市场产品,科研产品具有公共产品的性质,大部分是由具有非营利性质的学术机构提供的,不存在市场交易,因而也不存在由市场交易确定的市场价格。这样,科研产出的价值衡量便无法像普通市场产品那样由市场价格来确定。基于期刊文章的科研评估便是在这样的背景下发展起来的适用于科研产品的价值衡量方法。目前尽管在科研评估的方法及应用上仍存在许多分歧,但在经济学领域内的一些重要共识已经形成。第一,在科学基础研究和应用研究的领域内,学术期刊文章可以作为科研产出的最重要、最主要的体现之一。第二,利用科研机构或研究者个人发表的期刊文章数量计算科研产出的数量,应当遵循一般经济账户的原则进行必要的调整,特别是文章篇幅与文章合作者人数的调整,以避免重复或夸大计算。第三,对期刊文章除数量调整外还应进行质量调整,以充分考虑发表在不同期刊上文章间质量上的系统差异。第四,期刊文章的质量可以近似地由期刊的质量来确定,而后者可以由相关学科期刊间相互引用的数量及引用期刊的质量来确定。第五,对任何一个学科领域内科研机构或个人的科研评估,所选择的参照期刊应当是“大学科”范围内的国际上有声誉的期刊。尽管基于期刊文章的科研评估尚未形成统一的标准,但在经济学领域内的科研管理实践中已经形成了一些普遍接受的规则。按公认的规则形成的评估,在科研管理的实践中已经发挥了显著的作用,涉及的方面包括教师的聘任与晋升、工资待遇、科研经费的分配、科研奖励等等。2基于期刊文章的科研评估形成的机构与个人的地区与国际排名,已经产生了广泛的影响。一个研究型大学在国际前沿期刊上发表的文章,事实上已经成为决定其在国际学术界地位的重要标志。作为一门学科的科研评估最初起源于美国,现在在欧洲经济学界也已得到正式的认可。《欧洲经济学协会期刊》(JournaloftheEuropeanEconomicAssociation)2003年专门发表了一组关于评估的文章,这些文章分别提供了全欧洲与全世界大学的经济学排名(CombesandLinnemer,2003;Coupe,2003;Lubranoetal.,2003;Kalaitzidakisetal.,2003;Nearyetal.,2003)。德国经济学协会从2004年起开始定期发布所推荐的期刊,所推荐的期刊主要为有声誉的国际性英文期刊,并将这些期刊划分为6个等级(SchneiderandUrsprung,2003)。不过,到目前为止,这一基于期刊文章的数值科研评估方法的系统研究尚局限在经济学领域。本文的目的是对在经济学领域中发展起来的基于期刊文章的数值评估方法从一般经济账户(economicaccounting)的角度进行一个系统的分析,并将其进一步扩大到多学科的场合,以便建立一个统一的可适用于多学科评估的、严格和系统的理论模式,该模式可以为进一步建立具有可操作性的、适用于广泛的科研管理用途的科研评估标准提供一个适宜的理论参照框架。我们的研究依据的两个基本观点是:第一,在经济学领域中发展起来的基于期刊文章的数值科研评估方法对其他科学领域(其他社会科学、自然科学与工程科学)原则上也同样适用;第二,基于期刊文章的数值科研评估方法能够为旨在促进科研资源有效配置的激励机制设计提供一个适宜的衡量基础。本文其余部分组织如下:第二节建立考察科研产出衡量的一般框架。第三节考察期刊质量与期刊等级的确定。第四节在先前研究的基础上考察个人与机构科研产出的界定。第五节将先前考察的在单一学科背景下建立的科研产出的衡量进一步推广到多学科的场合。第六节对基于期刊文章的科研评估方法提出一个系统的总结,并简略地考察在科研评估实践中应用基于期刊文章的评估方法面临的两个具有普遍性的问题。第七节总结并指出进一步研究方向。二单一机构科研产出的衡量本文假设有N(N≥2)个科研机构从事同一学科D的研究,每一机构有mi个科研人员,mi>0,i=1,…,N。我们假定:在考察时期内,N保持不变,每一科研机构的人数保持不变,科研机构间不存在人员流动,每一科研人员均从事并且仅仅从事学科D的研究。我们关心的是这些机构及其个人科研产出的衡量。由于所有机构从事相同的研究,以下我们考察单一机构科研产出的衡量,其人数记为M,M>0。记Si表示第i个成员科研产出的数量,S表示机构的总科研产出数量,s表示机构人均科研产出数量,则我们有S=∑i=1MSiS=∑i=1ΜSi,s=SM=∑i=1MSiMs=SΜ=∑i=1ΜSiΜ。由于考察的时间是固定的,我们忽略时间维度。在实践中,科研产出存在多种形式:学术期刊文章、学术专著、专利等。我们集中考虑期刊文章。关于其他科研产出的衡量,我们将在第六节做一个简略的讨论。假定学科D有L种不同的学术期刊,L>0。记Pij表示第i个人在考察期内发表的第j篇文章,i=1,…,M,j=1,…,Qi,Qi表示第i个人在考察期内发表的全部文章的数量。我们依次考虑两种流行的方法。1.总科研产出/总均产出按照这一方法,个人的科研产出就是他(她)在考察期内在给定学科领域内的学术期刊上发表的全部文章的数量,于是在简单加总法下我们有:个人科研产出为Si=Qi,机构的总科研产出为S=∑i=1MQiS=∑i=1ΜQi,人均科研产出为s=∑i=1MQiMs=∑i=1ΜQiΜ。我们按上述计算得到的产出/人均产出称为未经调整的总产出/总人均产出,或毛产出/毛人均产出。上述方法存在着一些明显的缺点:(1)忽略了不同文章间可能存在的篇幅(字数)差别;(2)忽略了不同文章间可能存在的质量差别;(3)忽略了可能合作发表的情况,因而会造成重复或夸大计算。以下的调整加总法,旨在纠正这些缺点,其中的质量调整是一种基于期刊质量进行调整的方法。2.净产出与净均产出按照这一方法,每一个人发表的文章需要在篇幅、质量和合作发表3个方面进行调整,其基本公式如下:3上式中,S*i表示调整后的产出,r(Pij)表示文章的篇幅调整系数,q(Pij)表示文章的质量权数,α(Pij)表示合作发表调整因子。记S*、s*分别表示调整后的机构总产出与人均产出,则有:按上述方法计算得到的产出与人均产出分别称为净产出与净人均产出。以下我们依次考察严格确定净产出的有关问题。三期刊质量对文章质量的调整上述调整加总法中的质量调整,是按照文章发表的期刊质量对文章进行调整。因此,在这个意义上,我们确定的是期刊中每一文章的“平均”质量。一旦期刊质量确定了,发表于该期刊的文章质量也就确定了。(一)社会偏好问题理论上,期刊质量的确定有两种方法:第一种方法是选择一组专家,按照他们的意见来确定期刊的质量,我们称之为专家意见法。第二种方法是依据期刊间的相互引用来确定期刊的质量,我们称之为引用法。上述每一种方法都可以有许多不同的具体方法。专家意见法在理论上可以归入“社会选择”的范畴。这里,一组专家可看做一个社会,他们中每一成员关于给定的L种期刊有一个理性的序数偏好,问题在于如何使这些专家从不同的个人偏好达成一个“合理的”、共同的偏好(社会偏好)。著名的“阿罗不可能定理”反映了这里存在的一个基本困难,即如何挑选合理的标准及不同的合理标准间可能存在的不一致性问题。4此外,这里存在的另一个问题是,假定所有学者对于考察的期刊具有完全的偏好显然是不现实的。目前经济学“排序”(ranking)文献中普遍采用的是上述第二种方法,即引用法,该方法依据的是客观的期刊间的引用数据,从而避免了上述第一种方法面临的困难的社会选择问题。5上述引用法依据的期刊间引用数据主要来自美国ISI每年发表的JCR数据。6引用法理论上有许多不同的形式,目前流行的方法可以归结为3大类(Palacios-HuertaandVolij,2004)。简单计数法remill上式中,vi=VSC(i)表示按照简单计数法得到的第i个期刊的质量(价值),L为期刊集合,Cij表示考察期内第j个期刊对第i个期刊的引用数,ai表示第i个期刊考察期内发表的文章总数。上式中分子表示杂志i在杂志集合L中平均每一文章获得的全部引用数,分母表示杂志集合L中所有杂志获得的引用数。简单计数法的涵义是用考察期内该期刊每一文章平均获得的引用数来衡量期刊(期刊文章)的质量。对简单计数法可引入的一个修正是排除期刊间的自我引用(self-citation),可称为修正计数法(TheModifiedCountingMethod),用公式表示如下:上式中,L/{i}表示L与{i}的差集(L中删去元素i后剩下的集合)。著名的影响因子(impactfactor)法就属于这一大类方法。一个期刊在t年的影响因子定义为,该期刊在t-2年和t-1年发表的文章在t年从全部参考期刊得到的引用总数除以该期刊同期发表的文章总数。被引用期刊质量的迭代过程L-P方法的核心在于引入引用期刊的质量对被引用期刊的质量(价值)进行进一步的修正,因而引入了一个迭代过程。L-P方法同样可以再引入排除期刊间自我引用的修正。共同传播的标准质量上式中cj=∑i∈jCij为期刊j对全部期刊集合中期刊的引用总数,cj/aj称为期刊j的引用强度(thereferenceintensity),即该期刊平均每篇文章的引用数。与L-P方法比较,不变方法的关键特征在于引入引用强度cj/aj对Cij/ai作进一步的修正(加权),引用期刊的引用强度越高,对VI(i)的贡献就越低。同样,不变方法可以再引入排除期刊间自我引用的修正。上述3种方法包含的一个共同成分是Cij/ai,即每一期刊每一文章获得的平均引用。这样,我们考虑的不是总引用,而是平均引用,从而可以抵消多文章期刊相对于少文章期刊的可能优势。我们将上述方法进一步归并为两大类:计数法与迭代调整法,我们将简单计数法作为前一类方法的一个基准方法,将L-P方法作为后一类方法的一个基准方法。简单计数方法的缺点是没有考虑引用期刊本身的质量差异问题。L-P方法与不变方法的共同特征则在于引入了这一考虑,构成了对计数方法的一个重大改进,在经济学期刊排序研究中已得到普遍的认可。7现在,假定利用选定的某一方法可以惟一地确定有关期刊的质量水平。记按给定方法得到的期刊j的质量水平为qj,max{qk,k∈L}为q*,则期刊j的(规范化或标准化)质量水平为:q∗j=qjq∗qj*=qjq*。q*j100称为期刊j的标准质量等级分或简称标准(等级)分或等级分。我们可以用由此确定的期刊标准质量水平或标准分作为戴姆公式中的质量权数。我们将经过上述调整的文章称为经过质量调整的标准文章或简称标准文章,由此得到的文章数或总分称为(经过质量调整的)标准文章数或(标准)等级分。8记利用选定的某一方法确定的顶级期刊(质量水平最高的期刊)为A,上述标准文章数或(标准)等级分也可称为A-等价文章数或A-等价标准分。(二)社会选择方法按照流行的期刊质量评估方法(如L-P方法或不变方法),我们得到的是连续的基数质量水平。实践应用中经常采用的是等级或序数质量水平。设J表示一个给定的杂志集合,在采用等级或序数质量水平的场合,全部期刊按质量水平划分为若干个等级:J1,J2,…,JK,K≥2,Ji⊂J非空,∪Ji=J,Ji∩Jj=Φ,i≠j,i、j=1,2,…,K,属于同一Ji的期刊质量水平被看做是相同的。以下,我们引入期刊集合J的质量阶梯定义。设J(K)={J1,J2,…,JK,K≥2}为J的一个划分,其中Ji为J的非空子集,记q(x)表示期刊x的基数质量水平,若J(K)满足下列条件,称J(K)构成J的一个质量阶梯,Ji⊂J称为J的一个质量等级:min{q(x),x∈Ji}>max{q(y),y∈Ji+1},i=1,…,K-1。对上述J的质量阶梯,我们赋予一个质量(标准)等级分系统。对J的每一质量等级Ji,我们赋予一个正数qi>0,满足如下条件:q1>q2>…>qK,qi为期刊等级Ji的(序数)质量(等级)分,它也是Ji中每一期刊的等级分。每一期刊等级Ji(该等级中的所有期刊)的标准质量等级分定义为qi/q1(或qi/q1100)。Ji中期刊称为i-类期刊,J1中期刊称为顶级期刊。记顶级期刊中选为基准(如按期刊分值)的期刊为A,则每一期刊的上述标准质量等级分也可称为A-等价(质量)分。在确定等级划分的前提下,两个典型的问题是划分数的确定与等级分分配的确定。聚类分析提供了一种可参照的方法,不过聚类分析本身并不能提供合理的根据。社会选择方法提供了另一种方法。采用该方法的一个简单程序为:第一步,由一个专家小组根据现有研究设计出有限的不同种的期刊排序;第二步,组织一个负责最终挑选的委员会;第三步,委员会成员向委员会负责人报告他们的个人偏好;第四步,按照某种多数投票程序建立一个惟一的排序。目前文献中对期刊的序数等级排序还缺乏深入的研究。9四研究的标准、文本与规范体系本节中,我们考虑对个人发表文章及其加总的调整。关于个人发表文章我们考虑两类调整:文章篇幅的调整与合作发表的调整。然后,我们结合先前对文章质量的调整最终得到个人科研发表的经调整的按标准文章或标准等级分计算的产出衡量。个人产出的衡量:文章篇幅的调整。不同期刊间同类标准文章的篇幅可能存在系统的差异,同一期刊上还可能存在长文与短文的区别。不对文章篇幅进行调整,便可能导致产出的夸大,并会鼓励人们将一篇长文章拆成若干篇短文章发表,以增加自己的产出数量。这会影响个人间产出的可比性,也会影响学科间产出的可比性。对文章篇幅进行精确的调整是困难的,特别是我们缺乏关于文章字数的信息。期刊通常只提供文章的页数。这里,我们假定每一期刊分为长文与短文,其篇幅保持稳定。我们选取同一学科内顶级期刊(质量分最高的期刊)长文的标准篇幅(或通常篇幅)作为基准,对该期刊及其他期刊文章的篇幅进行相应的调整。对文章篇幅的调整会导致按文章数量计算的个人科研产出数量减少。我们确定所选定的某一顶级期刊(记为A)长文的标准篇幅,记为r*。假定对任一期刊我们知道该期刊每一文章的页数,并用适当方法确定该期刊每页的标准字数。已知某一期刊某一文章的页数为n,每页标准字数为m,则该文章的标准字数为nm,该文章(进入戴姆公式的)篇幅调整系数便为nm/r*。文献中关于文章篇幅调整的具体方法尚未达成一致的意见,主要涉及对每一期刊每页标准字数的确定。10个人产出的衡量:合作署名的调整。合作研究、合作署名发表文章是科学研究中一种普遍的现象。在文章数量的简单计数法中,每一个人与其他人合作发表的文章均记作一篇文章。这导致对个人产出及个人所属机构产出的夸大。由此导致的一种策略性行为是合作交易及若干人间的“署名交易”:每一个人在其他人写的文章上署名,这样,每一个人的产出都可以依靠署名交易增加几倍。目前,经济学排序研究流行的做法是采取“1/n”准则,即当合作署名作者数为n(n≥2)时,取α(Pij)=1/n,这种做法可以避免产出的夸大或重复计算,消除署名交易的动机。11当然,这一方法存在的一个问题是完全排除了对可能存在的作者主次的考虑。假定甲乙两人合作,这里有两种情形:一是平等合作;二是非平等合作。在平等合作的前提下,按经济学学术期刊的惯例双方合作发表文章按姓氏顺序。这样,上述规则符合真实的情况。在不平等合作的前提下,主要作者署名在前,但可能主要作者与次要作者的姓氏顺序本来就应当是主要作者署名在前。这样,作者主次从排名先后上区分不出来,而期刊文章大多数情况下对这一情形并不作特别声明,也没有任何这方面的统计。另外,在存在主次的情况下,即使可从姓氏顺序或特别的声明区分主次,其比例划分也是一个难以统一确定的问题。因此,就普遍适用性而言,1/n准则可以看做是一个合理的近似准则。12标准文章与标准等级分。记学科D选定的基准顶级期刊(质量水平最高的期刊或在序数排序条件下属于J1的期刊)A的质量水平(质量分)为q*,标准篇幅(字数)为r*,个人i发表的第j篇文章的标准篇幅(字数)为r*(pij),质量水平(质量分)为q*(pij),合作作者人数为n(pij),则个人i发表的第j篇文章折合为标准文章(A-等价文章)如下:P∗ij=(r∗(pij)r∗q∗(pij)q∗)/n(pij)Ρij*=(r*(pij)r*q*(pij)q*)/n(pij),P*ij·100称为文章的等级分。由此得到个人的经调整的全部科研产出如下:标准文章数(或A-等价文章数)S∗i=∑j=1Qi(r∗(pij)r∗q∗(pij)q∗)/n(pij)Si*=∑j=1Qi(r*(pij)r*q*(pij)q*)/n(pij),或标准等级分(A-等价分)S∗i100=∑j=1Qi[(r∗(pij)r∗q∗(pij)q∗)/n(pij)]100Si*100=∑j=1Qi[(r*(pij)r*q*(pij)q*)/n(pij)]100。机构科研产出的衡量:个人科研产出的加总。依据戴姆公式计算得到的个人科研产出加总为机构科研产出,还面临一个作者工作单位的调整问题。在先前的讨论中,为简化表述,我们忽略了存在多机构条件下科研人员的流动。引入多机构条件下科研人员的流动,将个人科研产出加总为机构科研产出面临一个二重选择:(1)流量方法(flowapproach),按作者文章发表时所属工作单位计算该文章的单位归属;(2)存量方法(stockapproach),按作者当前工作单位确定该文章的机构归属。两种方法各有其合理的依据:第一种方法考虑个人所属机构对文章作者在该机构工作时提供的支持,第二种方法则考虑了文章作者对当前工作单位的科研能力(科研人力资本)、声誉、学术地位等的贡献。从经济账户角度看,前一种方法可以理解为关注的是机构在观察期内的产出,后一种方法则可以理解为关注的是机构在观察期末积累的学术资本(人力资本)。13当机构间存在较大的人员流动时,两种不同方法产生的排名会有一定的差异。与第一种方法比较,采用第二种方法会带来很大的工作量,因为我们需要一一核查作者当前的工作单位。14在采用第一种方法的情况下,通常的规则是采用类似个人合作署名的“1/n原则”,即若作者署名的工作单位为n个,则该文章按1/n记入有关机构。不过这里有一个例外:所计算的机构仅限于提供正式学术职称的机构(正规实体性学术机构或有效工作单位),诸如NBER(美国的全国经济研究局)等团体性或网络性机构则不计在内。在采用第二种方法的情况下,即使仅限于正式学术机构,我们还需要区分全职和兼职的情况。一般情况下,科研人员只有一个全职学术工作单位,但个别人员存在两个全职学术工作单位(特别是在跨国的情况下)。还有一种情况是,一个科研人员已从原工作单位退休,又加入另一个工作单位担任全职的工作。在上述情况下如何确定个人科研产出的机构归属在文献及实践中尚无统一的处理原则。假定采用流量法,记u(pij)表示第i个人发表的第j篇文章所署有效工作单位数,u(pij)≥1,M表示机构中科研人员人数,则机构的净产出为:S∗=∑i=1M∑j=1Qi(r∗(pij)r∗q∗(pij)q∗)/(n(pij)u(pij))S*=∑i=1Μ∑j=1Qi(r*(pij)r*q*(pij)q*)/(n(pij)u(pij)),或S∗100=∑i=1M∑j=1Qi[(r∗(pij)r∗q∗(pij)q∗)/(n(pij)u(pij))]100S*100=∑i=1Μ∑j=1Qi[(r*(pij)r*q*(pij)q*)/(n(pij)u(pij))]100。其中,S*为机构发表的标准文章总数,S*100为机构发表的全部文章的标准等级分总数。五学科期刊划分迄今,我们的讨论仅限于单一学科。现在,假定所考察的机构同时从事多个学科(N个学科,N≥2)的研究。多学科引入的一个基本问题是期刊参照系的选择。在单一学科的场合,期刊参照系就是该学科领域内的全部学术期刊。在多学科的场合,每一学科的期刊参照系不一定由该学科领域内的全部学术期刊组成。本节中,我们在一种简单情形(单一层次的学科分类)下考察多学科背景下的期刊参照系的确定。一旦期刊参照系确定了,个人科研产出的确定及其加总可按先前讨论的方法做类似的处理。我们全部讨论的出发点是学科。我们将学科理解为知识的集合,正如我们可以将经济理解为产品的集合一样。这里,知识代表学科的基本单位或组成学科的个体,知识当前可以看成是给定的。这样,我们可用集合的概念和语言来描述、考察学科的定义和分类问题。记X表示全体知识的集合,这样,任何一个学科都是X的一个子集,但X的一个子集不一定构成一个学科。我们将学科理解为具有共同研究对象与分析范式的研究群体。在我们当前的场合,学科的界定如同知识一样看做是给定的。记D为学科集合,为简化分析,我们这里仅限于考虑单一层次上的一个特定的学科划分。假定存在X的一个惟一的极大学科划分:{X1,…,XM},Xi∈D,M≥2,每一Xi⊂X非空,满足:(1)Xi∩Xj=ϕ,i≠j,∪Xi=X;(2)对任一Xi,不存在Y≠Xi∈D,使得Xi⊂Y。我们讨论的学科仅限于上述意义上的学科,这些学科可称为独立学科或一级学科。15下面我们的讨论仅限于一级学科(所有期刊按一级学科进行归类)。为我们当前的研究目的,我们假定学科产出全部体现在期刊上(期刊为学科知识的惟一载体),期刊由文章组成。假定文章可惟一地确定属于某一单一学科(称为单一学科文章)或多个学科(称为跨学科文章)。若一个期刊仅包含同一单一学科文章,称该期刊为单一学科期刊,否则称之为跨学科期刊。记J={J1,…,Ju}为全部学科期刊集合,Ji表示第i个期刊,我们考虑下列两种情形:(1)所有期刊均为单一学科期刊;(2)存在跨学科期刊。在上述第一种情形下,所有期刊可以惟一地划分为对应于一级学科的一个单一层次的分类,在这种情况下,我们规定每一单一学科的所有期刊构成一个独立的期刊参照系。于是,对每一单一学科,我们可按先前讨论的方法确定期刊的质量及个人、机构的产出。这里,我们假定在最终对不同学科的产出进行加总时,同等看待不同学科顶级期刊的质量,在不同学科顶级期刊标准篇幅存在系统差异的情况下,取篇幅最大的顶级期刊的标准篇幅作为全部学科期刊的标准篇幅,然后依此对所有期刊进行相应的调整即可。在上述第二种情形下,我们规定跨学科期刊参照系包括该学科内全部单一学科期刊及涉及该学科的所有跨学科期刊。在包含跨学科期刊的情形下,期刊质量的确定及相关个人、机构产出的确定原则上与第一种情形并无实质性的差异,不过跨学科期刊的存在引出了一个特殊的问题,即同一个跨学科期刊可以同时属于两个或两个以上不同的一级学科期刊。对发表在跨学科期刊上的文章质量的确定,我们采用下述规定:若文章为单一学科文章,则该文章的质量在该文章所属的单一学科的期刊参照系中确定,若文章为跨学科文章,则该文章的质量取该文章在其同时所属的不同单一学科的期刊参照系中确定的质量的平均值。六ja数值评估法在前4节中,我们对基于期刊文章的数值科研评估(对研究者和科研机构的科研产出基于期刊文章的数值衡量)从一般经济账户的角度进行了一个系统的分析。为明确这一方法的特征,我们建议将这一方法统称为JA数值评估法(或简称JA评估法)。16我们对这一方法的基本特征解释如下:(1)评估领域为基础和应用研究领域;(2)以学术期刊文章作为科研产出的主要体现;(3)采用数值评估方法;(4)遵循经济账户的一般体系和分析范式,这特别意味着,第一,遵循经济账户分析的一些普遍原则,如客观性、可比性等;17第二,采用经济账户的概念和语言描述科研评估问题,如产出、生产能力、人力资本和生产率等;18第三,在基础理论层次上采用公理化的方法。19本节中我们进一步讨论科研评估实践中经常遇到的两个问题:期刊选择范围的确定及对非期刊类科研产出(如专利与专著)的处理。(一)国内学术市场学术期刊的选择在先前的讨论中,我们假定学科是完全确定的,我们所考虑的是该学科内的全部学术期刊。在实际排序中,即使学科完全界定了,我们仍然面临一个期刊选择范围问题,即取决于排序的目的和其他考虑,我们通常不是选择该学科领域内的全部期刊。为我们当前的研究目的,国际期刊可定义为在全世界发行,采用国际通行语言(通常为英语),投稿和读者面向全世界科研人员/学术界的期刊,而国内期刊可相应定义为在国内发行,使用本国语言,投稿和读者面向国内科研人员/学术界的期刊。在科研评估实践中,原则上我们可以有3种可能的选择:(1)完全选择国际期刊;(2)完全选择国内期刊;(3)同时选择国际和国内期刊。目前国际上经济学排名研究流行的做法是仅选择国际期刊。在世界范围内进行科研产出与生产率比较适宜采用的无疑是国际期刊。此外,在封闭的条件下,国内期刊是惟一可选择的参照期刊。这里我们面临的特殊问题是,在开放条件下面向国内的科研评估的期刊选择问题。对于非英语国家,国内学术期刊在国内学术市场上起着重要作用。20因此,考虑到在国内学术市场上国内学术期刊的作用,从应用的角度,在科研评估中我们不能完全排除对国内学术期刊的考虑。以下,我们分别简略地考虑选择国际期刊与国内期刊面临的一些问题。目前,在经济学领域内,国际评估流行选择的期刊来源主要是SSCI检索系统。这一选择的两个主要依据是:第一,SSCI是国际上公认的权威的覆盖面最广的社会科学国际科学论文检索系统;第二,该系统同时提供了相当完备的引用数据。使用SSCI遇到的三个问题是:第一,由于各种原因,一些享有声誉的学术期刊并未被SSCI收录;第二,SSCI的学科分类并不一定同研究者采用的学科分类标准一致,当然,这里的问题首先是国际上并不存在统一完备的学科分类标准;第三,SSCI中的一些期刊归类并不一定合理。21在经济学领域内,除SSCI中的期刊外,美国经济学会建立的期刊库也提供了一个权威的期刊参考来源,后者选入的期刊数大大超过SSCI期刊数,并且包含了部分不属于传统经济学范围的期刊。不过,相对于目前经济学评估流行的方法而言,该数据库使用上的一个问题是缺乏期刊间双边引用数据。评价国内期刊存在的一个问题是缺乏权威的论文检索系统。中国目前已分别建立了CSCI与CSSCI,但仍存在可靠性、权威性的问题:期刊收录标准不够严格,许多期刊实际上达不到严格的学术期刊的标准,如一些期刊存在付费发文章以及许多理工科期刊篇幅过短等问题。上述问题也会不同程度地影响利用期刊间引用以界定期刊质量的方法的可靠性。在界定期刊质量中同时选择国际和国内期刊面临的一个基本问题是:这里发生的引用几乎完全是单向的:国内期刊对国际期刊的引用,因此,相对于国际期刊,国内期刊是无区别的。在这种情况下,我们可以将期刊评估分为两步,第一步单独建立国内期刊的排名,第二步确定国内期刊与国际期刊的相对排名。在存在适当的、容量足够大和可靠性足够好的国内论文检索系统的条件下,国内期刊的排名原则上可以参照与国际期刊排名同样的方法,因此,问题便归结为确定国内期刊与国际期刊的比较质量。22这里的问题是,一方面若按国际影响衡量,国内最好的期刊也不如国际上一般的期刊,另一方面,如按国内影响衡量,国内最好的期刊可能超过一些高等级的国际期刊。关于这个问题,目前文献中尚缺乏系统的研究。一种可能的基于引用法的解决方式是将国际期刊引入国内期刊引用系统,这样,提供引用的期刊仅仅是国内期刊(因为在国际期刊中发表的文章一般不会引用国内发行的非英语杂志中的文章),但被引用的期刊同时包括国内期刊和国际期刊(因为国内发行的非英语期刊中的文章也会大量引用国际期刊中的文章),由此建立的国际期刊相对国内期刊的排名至少客观地反映了有关国际期刊在国内学术市场上的相对影响。(二)学术学术成果是否需要在期刊评估和质量衡量上的问题迄今,我们的研究集中在按照一般经济账户的原则与方法建立一种基于学术期刊文章的统一的、客观的和严格的科研产出评估体系。然而我们知道,高校、科研机构的科研产出不限于学术期刊文章,还包括学术专著及专利等。本节中,我们简略地探讨尝试建立一种包含专著与专利在内的统一的科研产出衡量体系可能面临的问题。目前,学科评估文献对这一领域还缺乏系统的研究,占主导地位的研究仍集中在基于期刊文章的衡量上。23我们想强调指出的是,学术专著与专利具有不同的性质。一方面我们当前关心的研究集中在基础研究和应用研究领域,该领域中的成果具有典型的“公共产品”性质,它们的一个特点恰恰是不能申请专利,一般情况下也不能用于商业性开发的目的,研究的主体是大学及非营利科研机构;另一方面,专利主要属于开发、实用研究领域,多数情况下以商业性开发为目的,研究的主体是企业。因此,从性质上说学术性的期刊文章、专著与专利是两类完全不同的成果。因此,以下我们的讨论将不考虑专利,而集中在为什么很难对专著建立一个类似期刊的统一和客观的评估体系问题上。引入学术专著,原则上可以采取两种方式:(1)参照期刊文章的衡量对学术专著做独立的衡量,然后同对期刊文章的衡量结合起来;(2)将学术专著与期刊文章直接结合起来进行统一的衡量。两种方式面临相似的问题,但后一方式引出了特殊的问题,因此,以下我们仅考虑第一种方式。依据戴姆公式,对学术专著独立衡量面临两个问题:(1)专著质量的衡量;(2)不同专著间篇幅差异的调整。这里我们集中考虑第一个问题。24关于专著质量的衡量,原则上可以参照期刊文章质量的衡量,即利用专著出版社的质量来确定专著的质量。这里,出版社相当于期刊。于是,专著质量的衡量便归结为出版社质量的衡量,如同期刊文章质量的衡量归结为期刊质量的衡量一样。这样,原则上我们可以采用类似的方法(如L-P方法)来建立出版社的质量衡量。然而,出版社在一些重要的方面不同于期刊。第一