继承与创新：美国2006年-2010年博士点评估述评

1、    继承与创新美国2006年2010年博士点评估述评    摘要：美国最具影响的全国性博士点评估是国家研究委员会(nrc)组织开展的研究型博士点评估。最新一次评估结果于2010年9月底公布。与前两次评估相比，此次评估对象的范围更加广泛，评估方法一改以往依靠同行主观评定的做法，采取以客观指标表现为基础的专家赋权法，评估结果也以“区间排名”的方式呈现。剖析美国nrc博士点评估，对我国改进博士点评估、保障博士生培养质量具有积极的参考价值。关键词：博士点评估，评估方法，区间排名2010年9月28日，美国研究委员会(national research coun

2、cil，nrc)公布了最新一次美国研究型博士点评估(assessment of researchdoctorate programs)的结果，成为高等教育界关注的焦点。nrc开展的博士点评估已进行了三次，第一次评估始于1982年，由于评估对象广泛覆盖了当时各学科的研究型博士点，开创了全国性博士点质量评估的先河，并且改变了过去评估单纯依赖同行主观判断的做法，开始引入客观指标，所以1982年的评估引起了很大反响，被誉为是“曾经做过的最大、最好、最昂贵、最有想法、最令人信服、开展得最为细致的学术质量报告”。随着美国博士教育在规模和结构上不断发生变化，交叉和新兴学科迅速发展，以及评估理念和方法不断改进

3、，nrc又先后于1993年1995年和2006年2010年开展了第二次和第三次全国性博士点评估。本文将分析阐述第三次博士点评估的过程、对象和方法，并与前两次评估进行对比，探讨nrc博士点评估的特点和趋势，以期对我国开展博士点评估活动提供参考。一、2006年2010年博士点评估的过程1.对1993年1995年评估的反思和总结nrc的第二次博士点评估于1995年完成，评估结果公布后被广泛引用和讨论。学者们尤其关注评估方法中存在的不足，纷纷探讨提出可能的改进措施。休·格拉曼和南茜·戴蒙德在他们的著作美国研究型大学崛起中探讨了nrc第二次评估的方法，认为对博士点的同行声誉评估易受机

4、构规模的影响，并忽略了大学的进步和提高。他们还在高等教育纪事上发文，认为在学科专业性和跨学科性提高的背景下，评估者没有对博士点进行声誉评估的足够能力，他们建议下一次评估应将关键性的定量指标放在与声誉指标同等重要的位置上。与此同时，nrc自身也对1993年1995年评估积极进行了反思总结，为更好地开展下一次评估做准备。共同参与完成1995年评估报告的机构和专家学者研讨后认为，1993年1995年评估的优点是：评估的对象涵盖全面，方法高度透明，结果被广泛利用，整体上保持了与1982年评估的连续性。但是，评估也存在缺点和不足，具体包括：精确的数值排序不恰当地强调了博士点之间的质量差异，对研究生教育成

5、效的声誉评估未能区分研究声誉和教育质量，过于强调学者学术水平的声誉评估而易受到“光环效应”和“规模效应”的影响，被评估的学科划分方法过时或不恰当等。2.方法研究与准备在反思和总结1993年1995年评估的基础上，nrc博士点评估的方法审查委员会在2002年4月举行了第一次会议。委员会决定成立四个专家小组，分别在学科分类、定量评估、学习过程和结果评估、声誉评估和数据呈现四方面有针对性地开展研究工作，并在南加州大学、佛罗里达州立大学、耶鲁大学等八所不同特点的大学开展试验性调查和评估。四个专家组经研究讨论提出了许多有针对性的改进建议，于2003年汇总形成了方法研究报告研究型博士点评估：方法研究。此后

6、经过进一步调整修订，确定了2006年评估的参评学科分类、问卷内容和评估方法。3.评估流程nrc的第三次博士点质量评估于2006年启动实施，分为评估动员、问卷发放、资料收集、资料分析和结果发布共五个环节。2006年11月，nrc主席拉尔夫·西塞罗恩向美国各大学校长发出开展第三次全国性博士点评估的通知，要求各大学对评估工作提供相应的经费支持。此外，每个参与评估的大学还要任命一名机构协调员，负责收集、汇总和提交本校博士点的信息。本次评估的调查问卷分为“机构问卷”、“博士点问卷”、“教师问卷”、“学生问卷”和“评级问卷”共五类。与前两次评估不同，本次评估第一次使用“学生问卷”，但仅在物理学、

7、英语、化学工程、经济学和神经科学这五个学科开展调查。2008年初，nrc完成了全部数据资料的收集和核实工作。由于工作量大，历经了两年多漫长的资料分析过程，nrc第三次博士点质量评估的结果于2010年9月28日在其官方网站上公布。二、2006年2010年博士点评估的对象nrc博士点评估首先挑选被评估的学科，然后按不同的学科对各校的博士点进行评估。表1给出了nrc三次博士点评估的参评学科和参评博士点情况。在选择参评的学科时，三次评估主要以过去几年来该学科授予的博士学位数量作为标准，并尽可能涵盖上一次评估涉及的学科。自1995年以来，以生命科学和信息科学为代表的新兴学科和交叉学科发展迅速，这些学科培

8、养的博士生数量也明显增多，因此2006年2010年评估在保留上一次参评学科的基础上，增加了农业、公共卫生、公共管理和通信科学等方面的学科。2006年2010年评估的学科达62个，比第一次和第二次评估分别多了30个和21个。此外，为了了解新兴学科的发展态势，除被评估的62个学科外，2006年2010年评估还提供了生物信息学、纳米科学、计算机工程等14个新兴学科博士点的部分评估指标的数据。在参评博士点的选择上，三次评估均以博士点授予的博士学位数量作为标准，一般要求参评博士点在特定时间段内平均每年至少授予1个博士学位。此次评估共有5004个博士点参评，比第一次和第二次评估分别多了2305个和1370

9、个，共涉及221所大学。表1 nrc三次博士点评估的参评标准和评估对象的数量1982年评估1993年-1995年评估2006年-2010年评估学科参评标准生物科学、工学、人文艺术、理学、社会科学五个领域内的32个学科；学科选择的主要依据是1976年以来该学科在全国培养的博士生总量；各学科没有统一数量标准。保留1982年评估的32个参评学科；另外增加的学科应在1986-1990年间至少在50个博士点授予了500个以上的博士学位。参评的学科应至少在25所大学存在博士点，并在2001至2005学年至少授予500个博士学位；以前评估中包括的学科即使达不到上述定量标准，也被包括在内。参评数量32个41个

10、62个博士点参评标准参评的博士点在1976-1978年授予的博士学位数量需达到本学科的规定数量；或者在1980年授予了规定数量三分之一的博士学位。参评的博士点在1988-1990年至少授予3个博士学位，并在1991年至少授予1个；或者在1982年评估中的评分不低于2。参评的博士点在2001至2005学年至少授予了五个博士学位。参评数量2699个3634个5004个涉及大学数228所274所221所资料来源：national research council (1982). an assessment of research-doctorate programs in the united st

11、ates; national research council (1995). research-doctorate programs in the united states: continuity and change; national research council (2010). a data-based assessment of research-doctorate programs in the united states.三、2006年2010年博士点评估的方法表2给出了nrc三次博士点评估的方法，可以看出，前两次评估采用的是同行主观评价即声誉调查的方法，同时提供被评估博士

12、点的客观指标数据。而2006年2010年评估的方法发生了重大变化，实行的是以客观表现指标为基础的同行专家赋权法，同行专家的意见不再被用于直接评估各个博士点的质量，而是被用作给反映博士点质量的各项客观指标赋予权重，将客观指标加权后获得博士点的排名。表2 nrc三次博士点评估的方法1982年评估1993年-1995年评估2006年-2010年评估方法概述以同行主观评估为主；同时提供客观指标。以同行主观评估为主；提供更多的客观指标。以客观指标为基础，同行评估结果不再直接用于排名。同行评价对博士点师资的学术质量、培养研究型学者或科学家的有效性、过去五年博士点质量的改进状况、评估者对博士点同行教师工作熟

13、悉程度这4个方面进行评价。对博士点师资学术质量、培养研究型学者或科学家的有效性、过去五年博士点质量的改进状况这3个方面进行评价。同行主观评价不再直接用于排名，而是用于对影响博士点质量的各项客观指标赋予权重。客观指标共12项指标，如在校生数、教师数量、毕业生数量等反映博士点规模的指标；学生受资助比例、获得博士学位年限、不同就业去向的比例等反映博士生特征的指标，受经费资助的教师比例、发表文章数量等反映教师特征的指标。客观指标的统计还考虑了学科的差异，如人文艺术领域内的学科就没有统计研究项目和学术产出等指标。共17项指标，在1982年评估的基础上有所增加，引入了发表论文的基尼系数、论文引用率的基尼系

14、数、在校女学生数、博士学位获得者的女性比例和少数族裔比例等新指标，表明本次评估更多考虑了“多样性”。共20项指标，评估指标更加注重“人均表现”和“多样性”。如出版物的人均发表量、平均引用率、女性和少数族裔教师的比例、女性和少数族裔学生的比例等。此外，反映博士生质量的指标有所增加，如新生gre成绩等。结果呈现评估结果提供了每个博士点各项指标的原始测量值和标准化处理值；各学科的博士点根据所属院校的字母顺序排列。评估结果提供了每个博士点各项指标的原始测量值，提供了各学科内每个博士点师资学术质量、培养研究型学者或科学家的有效性等若干指标的数值名次；各学科的博士点按师资学术质量指标的数值名次排列。评估结

15、果提供了每个博士点各项指标的原始测量值，各学科内的博士点根据所属院校的字母顺序排列，不再按具体指标的名次排序，给出两种反映博士点整体质量的区间排名。资料来源：national research council (1982). an assessment of research-doctorate programs in the united states; national research council (1995). research-doctorate programs in the united states: continuity and change; national rese

16、arch council (2010). a data-based assessment of research-doctorate programs in the united states.注：2006年-2010年评估的客观指标共21项，但由于“学生发表论著的数量”这一指标缺乏数据来源，该指标最后未用于实际评估。2006年2010年评估中，nrc采用了两种不同的方法来获取各项客观指标的权重。第一种方法是通过“教师问卷”直接调查各项指标的权重。发放的“教师问卷”列出了反映博士点质量的“教师特征”、“博士生特征”和“博士点特征”共3项一级指标以及“发表论文平均引用率”、“新生gre平均成绩”

17、、“留学生比例”等21项二级指标。问卷要求被调查者对3项一级指标的权重进行评分，3项权重分数的加和总分为100，分值越高说明该指标对本专业博士点的质量越为重要。nrc还要求被调查者分别在每项一级指标中选择对本专业博士点质量较为重要的二级指标(最多选4项)，选出的指标各计1分；如果选出的指标超过2项，被调查者需要再从中选出最重要的2项，这些二级指标则各计2分。基于此，每个被调查者评定的二级指标权重就是用他所赋予的相应一级指标的权重乘以该二级指标的得分。将某一学科的被调查者所评定的相应二级指标权重计算平均值，就得到了该学科的21项指标的权重，即以调查为基础获得的指标权重(surveybased w

18、eights，s权重)。第二种设定各项指标权重的方法是对博士点的主观评分和客观数据进行回归分析。发放的“评级问卷”上列有被调查者各自学科内的最多15个博士点，问卷还提供了这些博士点的教师名单和客观数据，要求被调查者对这些博士点进行6分制的评定。将主观评定结果与对应博士点的客观数据进行回归就可以确定各项指标的权重，即以回归分析为基础获得的指标权重(regressionbased weights，r权重)。2006年2010年评估利用以上两种方法获得的指标权重开发了不同的博士点质量排名，即用每个学科各项指标的s权重和r权重，分别与该学科内博士点的对应数据相结合，计算出这些博士点的s评级和r评级，进

19、而用于“区间排名”。“区间排名”的方法主要是通过反复抽取500次一半的被调查者样本进行权重计算，得到每个博士点的500个s评级和r评级。随后将每个博士点的500个s评级和r评级按大小排序，去掉5%的最高和5%的最低评级，所得到的中间90%的评级区域决定了该博士点的r排名区间和s排名区间。本次评估的排名不再按评估结果的数值排序，而是给出每个博士点的区间排名，这样可以反映质量评估和排名的内在不确定性，降低对较小名次差距的误读和过度关注。四、nrc博士点评估的特点和趋势通过分析nrc 2006年2010年博士点评估的过程、对象和方法，以及与前两次评估的对比，我们可以发现，nrc博士点评估呈现了以下特

20、征和趋势：评估方法更为客观。同行专家评估一直是学术评估的最重要手段，nrc的前两次评估也都以对同行专家的调查作为最终排名的依据，而被评估博士点的客观数据仅作为参考信息提供。但是在2006年2010年的评估中，为克服同行评估的主观性和不确定性，nrc将专家意见仅用于对各项指标赋予权重，最后的博士点等级评定完全基于各博士点的客观指标数据。应当说，这一改革体现了评价理念发展的最新趋势，即同行评估在评价单项学术成果或者是单个学者时比较有效，而对于相对复杂的机构评估而言，同行评估的准确性存在一定的问题，需要更重视客观数据的使用。客观指标有所增加、排名方法趋于复杂。nrc的前两次博士点评估均收集了参评博士

21、点的十多项客观指标数据，在2006年2010年评估中，除了以往收集的指标外，nrc还特别增加了反映博士生情况的指标，如新生的gre成绩、留学生比例等，nrc还尝试统计了博士生的论著发表情况，但由于缺乏数据来源，该指标最终未被使用。此外，2006年2010年评估在排名方法上也力求创新，采用反复抽样产生“区间排名”的方法来克服简单数值排名对博士点之间质量差异的放大。评估透明度很高。2006年2010年评估的整个评估过程完全透明，所有的通知、管理文件、会议记录以及评估委员会的名单和简历都公布在nrc的评估网站上。更为重要的是，不仅是评估结果报告，所有参评博士点的客观指标信息都向公众开放，为大学管理者

22、、院校研究人员、学者了解美国博士教育的宏观情况和各个博士点的具体特征、开展深度的政策研究和学术研究提供了便利。总之，2006年2010年评估很好地改进了上次评估的不足和缺陷，很好地适应了美国博士教育和学科的发展，很好地体现了以客观定量为特点的主流评估理念。美国nrc博士点评估的高度透明、更加注重客观指标而非主观评定、更加注重人均指标而非规模指标、积极探索评估和排名方法、注重专家参与等特点和趋势对于改进我国博士点评估具有很好的借鉴价值。注释：national research council, “an assessment of research-doctorate programs in the united state (1982),” 2010-10-26.张存群，沈文钦.美国博士点质量评估方法的历史演变j.高等教育研究，2010，(7)：71-76.jeremiah p. ostriker, charlotte v. kuh, “assessing research-doctorate program