高校科研管理绩效定量评价方法的比较与选择.doc

高校科研管理绩效定量评价方法的比较与选择林常胜赖日泉曾建武陈永秀毛通双廖鸿祥高校科研管理绩效评价是对科研管理主管部门管理工作状况与管理工作效率的评价。对管理工作状况的评价，评的是“管”，多数采用模糊评价法，即设计十几个二级指标来具体反映“政策制度”、“组织协调”、“信息沟通”、“工作指导”和“管理研究”等若干个涵盖管理部门主要工作职能的一级指标，确定每个指标的权重及评分标准，通过专家对参评学校的自报材料的记分，实现对管理工作状况的评价。对管理工作绩效的评价，评的是“绩”，管理工作的成绩一般会在学校的科研业绩统计数据上有所体现，因此可采用定量评价方法。但由于科研管理工作与科研绩效相对于生产管理工作与生产绩效要间接、滞后些，所以选择何种定量评价方法能更有效地反映科研管理工作绩效就成了值得探讨的问题。本文将比较以下几种定量评价方法，并加以讨论。一、 以科研业绩总量进行科研管理绩效定量评价此种方法是建立一个高校科研业绩评价体系，以主要反映高校科研业绩的科研项目数，科研经费数，鉴定成果数，获奖成果数及成果转化效益等作为评价指标，用AHP法或专家咨询法对上述各项评价指标进行权重分配，对各组数据分别进行归一化处理后，再进行加权求和，最后得出各高校的综合科研业绩指数（表1），依照指数的大小排序即为参评高校科研管理绩效的定量评价结果（表2的左边）。这种以科研业绩总量进行横向比较的评价方法存在两个值得探讨的问题，其一，科研业绩总量体现的是学校的科研实力，科研管理只是挖掘科研实力的必要条件之一，因此科研实力的强弱不完全等同于科研管理水平的高低。其二，这种科研实力的横向比较是一种静态对比，忽视了各高校由于历史等方面的原因，其科研基础条件（包括科研人员，科研条件等方面）存在差异，对科研人员及管理人员有效的主观努力带来的效果则不能充分反映。二、 以科研业绩相对量进行科研管理绩效的定量评价企业管理业绩主要以其利润率、收益率等相对量为评价指标。科研管理的业绩也会反映在效益中，因此用人均数、科研产出与投入比等相对量也曾经用来定量评估高校的科研管理绩效。其具体做法是对参评高校的科研业绩按总投入、人均投入；总成果产出、人均产出；有效系数（产出对投入之比）等5个指标分别排序，即可作为参评高校科研管理绩效的定量评价的基础数据。这种以科研业绩相对量进行比较的评价方法常会出现某些反常的现象，即按以上5项评价指标分别对学校进行排序，同一学校在不同指标的名次有较大差异，特别是总成果产出与有效系数的排序几乎正反颠倒，即出现科研产出总量愈多，科研效率反而愈低的现象，这不是客观规律的反映。其主要原因在于科研经费的投入量与科研成果的产出量是非线性关系，高校学科结构的差异必然带来对经费投入的不同要求，如一项基础数学研究项目与一项工程性研究项目相比，前者对仪器设备一般无特殊要求，耗费的资金较少；而后者则需要相关设备的运输、安装、调试、试验或各种配套仪器的反复实验，耗费的资金较多，项目结束后，前者的成果可能是几篇论文或一部专著；而后者的成果可能是申请若干项专利或一项成果通过鉴定，二者所产生的成果数量相差不多，但投入的经费数却有数倍甚至数十倍之差。可见，在投入与产出是非线性关系时，不宜采用相对量进行定量评价。三、 利用科研业绩总量，采用数据包络分析法对科研管理绩效进行定量评价采用数据包络分析法（DEA）方法进行绩效的动态评估是近年应用较多的新方法，该方法将各测评单元（DMU）历年的科研业绩综合指数构造出DEA数据模型。设有n个DMU，其中第j个DMU某时间段以往的数据称为第j个测评单元（DMU）该时间段的参考指数记为xj，而当时数据则称为第j个测评单元该时段的当前指数记为yj。数组（xj,yj）称为第j个DMU在该时间段的指数状态，可用x-y平面的一个点表示。并增设了一个原点指数状态（x0,y0）=（0,0）。它们的线性组合构成的集合：T=称为指数状态可能集，在xy平面上是一个凸多边形包围的区域（图1），有一个包络前沿面。DEA 方法是用构造出数据包络前沿面的方法，求出各测评单元的相对效益（有效性），进而比较各测评单元在这个时段内的管理效率。该方法的线性规划数学模型如下：MaxZ0:s.t. 该模型的意义是：设第 j0个测评单元的参考指数为xj0，当前指数为yj0，求线性规划的最优值z0，在输入量的线性组合不大于xj0的情况下，使得输出量的线性组合尽可能的大，为yj0的z0倍。可以看出，z0最小等于1，输出量即为yj0本身。若求得的最优值z0等于1，说明无论如何组合输出量都不会大于yj0 , 则称为DMU有效，可以证明此指数状态（xj0 , yj0）位于集T的前沿面上。若最优值大于1，则DMU为相对无效，可进一步求得该DMU的相对效益（有效性）=1/z0100%，亦即该测评单元当前指数yjo与最优输出z0yjo的百分比。以福建省10所本科院校作为测评单元（DMU）来说明DEA动态评价方法及其结果。首先构建各参评高校（DMU）20002004年的科研综合指数数据结构模型：本文选择与科研管理相关性较强的7项科研业绩作为评价指标，包括当年拨入科研经费数、新立科研课题数、科技著作数、学术论文数、鉴定科研成果数、获奖成果数与科研成果转让实际收入金额数，将20002004年参评高校（DMU）的各项数据进行归一化处理，然后采用专家模糊评估法对7个评价指标进行权重分配，上述7个指标的权重分别为0.20、0.15、0.07、0.15、0.17、0.14、0.12，按此权重对各校每年的指标加权求和，得到每年的综合科研指数，见表1。其次，比较10所高校在每个时间段的相对管理效率。本文取5年的数据，以前后两年为一个时间段，即20002001为一个时间段，则有4个时间段，若用各高校当年（2003年）的科研综合指数作为当前指数，前一年（2002年）的科研综合指数作为参考指数，比较各高校在这一时段的相对管理效率，见图1，A、D、F三校在DEA方法所构造的数据包络前沿面上，其最优值为1，即相对管理效率最优。用此方法可分别对20002004年等4个时段各高校的相对管理效率进行测算，所得结果见表2（表中括号内的数字分别表示该校当年科研综合指数与相对效率的名次）。分析表2列出的数据，可以客观地比较10所高校科研管理的相对管理效率，相对管理效率最优值为100分时，科研管理绩效好；相对管理效率小于100时，则科研管理绩效有待提高。1、 从表2左边的科研综合指数看，10所高校的科研状况可分为三个梯队：A、B、C、D等4校为第一梯队，科研实力较强，科研综合指数居前4名；第二梯队是E、F、G、H等4校，科研已有一定规模，科研综合指数处于58名；I、J两校是第三梯队，科研工作刚起步，科研综合指数呈稳步上升趋势。2、 从表2右边的相对效益计算结果看，三个梯队的状况已不存在，科研初始条件差的高校，只要管理有效，相对管理效率亦可达100分，科研管理绩效名列第一。如，20002001年J校的科研综合指数分别处于第10位、第9位，但该时段的相对管理效率是100，科研管理绩效位居第一，从而充分地肯定了该校在这一时段的科研管理工作。可见科研管理绩效与科研实力大小无直接关系。3、 A校在评价的四个时段，相对管理效率均得100分（即处于DEA的前沿面上），说明该校保持了科研管理的持续有效，其科研总量位居全省第一。从表1可见，A校科研经费5年持续增长，但鉴定成果、获奖成果等方面增长状况不太理想，若进一步加强成果管理方面的组织与引导，学校的科研总量将大幅提升。4、 B、C、F三校科研管理相对效益呈上升势头，特别是B校在第四时段（20032004年）相对效益得100分，说明三校的科研管理绩效在逐渐提高，有利于学校科研实力的积累和科研总量的增加。5、 D、E、G、I等4所学校，前三个时段科研管理效益呈上升趋势，在第三个时段（20022003）D、G两校相对管理效益为100，说明其管理是有效的，E、I两校相对管理效益亦明显提升。但第四时段（20032004）相对管理效益波动较大，尤其是E、G、I三校与其他学校相比科研管理绩效存在一定的差距，科研总量出现下滑。管理者应根据学校科研的状况，究其原因，提出应对策略，提高管理绩效。6、 H、J两校初始科研管理绩效较好，尤其是J校第一时段（20002001）相对管理效益是100分。在其后的三个时段，两校的科研综合指数虽然逐年有所提高，呈上升趋势，但与其他院校相比增长幅度较小，管理相对有效性出现下滑趋势。若重视寻找管理工作的突破点，进一步提高管理水平，将有利于科研总量的大幅提升。总之，利用DEA方法对科研管理绩效进行评价，是通过对一组参评高校在多个时间段的科研总量进步幅度进行比较，从而反映在一定时期内各高校科研管理绩效的持续变化状况。采用这种方法评估高校科研管理绩效是以其年度科研业绩统计数据为依据，有较强的客观性，且能消除各高校初始科研总量差异的影响，并体现科研产出相对投入滞后的特点。因此，选择数据包络分析法对高校某一时段的科研管理绩效进行定量评估，比前两种方法更具合理性、客观性和可操作性。图1 表120002004年福建部分高校科技状况对比表（归一化处理后）学 校年度当年拨入经费（万元）（0.20）当年新开课题（0.15）论文（0.15）著作（0.07）鉴 定成果（0.17）获 奖成 果（0.14）技术转让实际收入（0.12）综合科技指数 A20000.3110.4390.9210.1330.3170.6820.4770.48220010.2760.6050.9320.9330.3900.7270.4050.56820020.5580.6870.9420.7330.5120.9550.9440.74120030.6910.8861.0000.1670.2680.5001.0000.66820040.7510.7590.8750.8330.6590.3640.1120.630 B2000.0.2650.3610.4660.4670.3170.7730.6070.44520010.4150.7130.4750.2330.6830.2730.1620.45120020.2360.8390.4780.2330.5370.6820.3050.48420030.3370.9490.5160.3330.4390.36400.43620041.0001.0000.6290.30000.7730.4530.628 C2000.0.0640.4090.5850.7000.1460.3180.0710.28920010.0550.3960.4820.2000.22000.1210.20920020.0530.6810.3350.0670.0980.1360.0080.20420030.0970.7660.5000.3330.0730.13600.26420040.2470.7640.3370.7330.1460.1360.0200.312 D2000.0.1800.6190.1410.1670.7071.00000.42120010.2250.6110.4060.3670.3900.7270.0120.39920020.1930.7170.4060.3670.5850.4550.8980.50420030.2930.7290.3431.0001.0000.81800.57420040.4290.6940.2240.6000.3171.0000.1900.482 E2000.0.0950.1330.1490.1330.0490.0450.0900.09620010.0790.1410.1550.1670.1460.0450.0230.10620020.0920.2360.27600.1220.13600.13520030.0960.3880.4370.0670.4390.13600.24120040.0850.2990.13400.0730.04500.101 F2000.0.0380.2590.2820.0330.0490.09100.11220010.0390.3210.1800.03300.04500.09220020.0450.3770.4720.0330.073000.15120030.0490.4430.2070.2670.146000.15120040.0690.4750.1680.13700.1820.0060.146 G2000.0.0330.1110.0580.0330.9760.18200.22620010.0360.1190.0710.0330.2440.31800.12420020.0200.1340.1120.0330.0730.13600.07520030.0400.1520.1210.2000.7320.18200.21320040.0460.1610.1080.0330.0980.18200.094 H2000.0.0150.1730.1070.1330.1950.09100.10020010.0220.2000.1120.2670.1220.13600.11020020.0210.1990.1310.2670.1460.09100.11020030.0210.2250.1150.3670.1590.18200.13320040.0230.2500.1190.36700.13600.105 I2000.0.0050.0360.0710.0670000.02220010.0030.0280.0880.0330.073000.03320020.0170.0650.10500.0490.04500.04420030.0090.0710.1250.0330.0490.0450.4000.09620040.0080.0420.1030.03300.04500.032 J2000.0.0040.0550.03900000.01520010.0040.0410.148000.04500.03520020.0060.1100.2260.0330000.05420030.0100.1240.23500000.05620040.0110.0930.12300000.035注：本表数据是根据福建省高校科研统计数据整理计算而得表2科研管理绩效分析科研综合指数相对效益计算2000年2001年2002年2003年2004年2000-2001200120022002200320032004A （1）0.482 （1）0.568 （1）0.741 （1）0.668 （1）0.630 （1）100 （1）100 （1）100 （1）100B （2）0.445 （2）0.451 （3）0.484 （3）0.436 （2）0.628 （2）85.78 （5）81.21 （4）78.25