医学科研重点实验室绩效评价指标体系的构建及应用.doc

南方医科大学届硕士生医学科研重点实验室绩效评价指标体系的构建及应用课题来源：广东省科技计划项目：（）专业名称学位申请人指导教师答辩委员会主席答辩委员会成员社会医学与卫生事业管理戴丽英李海燕教授张小远教授教授教授教授教授吕建秋李久香黎莉林新宏论文评阅人李久香教授夏旭教授年月日广州上个世纪年代，我国将绩效评估引入科研重点实验室的管理工作中。经过二十余年的不断发展和完善，现已初步形成了一套相对完整的评价体系。但在不同领域、不同学科的科研重点实验室的绩效评价中，依然没有相对独立、针对性较强的评价体系，导致在医学科研重点实验室的评价中，评价方法和结果不够客观、准确。特别是医学这个特殊的研究领域，其科研重点实验室的绩效评价体系仍然不够完善和系统。为进一步促进医学科研重点实验室的动态发展和优胜劣汰，制定一个科学、合理的绩效评估指标体系势在必行。这是广大科研管理人员共同追求的目标，也是一个值得深入研究的问题。研究方法系统分析法将医学科研重点实验室作为一个系统，做好研究的系统设计，注意影响医学科研重点实验室评价的各因素之间的关系和结构。从系统环境、系统结构、系统功能三者的相互关系入手研究医学科研重点实验室绩效评价体系的规律与原则，对影响其建设和评估的主要因素和次要因素作动态分析。文献调研法利用期刊数据库和互联网，广泛查阅实验室评价研究的相关文献、杂志和书籍。根据广东省医学科研重点实验室的基本特点，结合国内外医学科研重点的总体见反复修改评价指标体系，最终确定个一级指标、个二级指标和个三级指标组成的医学科研重点实验室绩效评价体系。层次分析法本课题在分析医学科研重点实验室特点的基础上，对影响评价的因素进行分阶层讨论，通过对影响评价的因素逐对比较来确定不同因素的重要程度，从而得出影响医学科研重点实验室绩效评价的各因素的相对重要值。模糊综合评价法本研究根据模糊数学的原理，建立综合评价模型，结合医学科研重点实验室绩效评价指标体系进行实测研究。统计分析法共发放份医学科研重点实验室绩效自评表进行实测研究，回收率为。经统计分析，得出总问卷的值为，证明白评表的信度较好：通过对指标与总得分之间进行相关性分析和评价得分与校标的相关分析与秩和检验，证明自评表的效度较好。较好的信度与效度可以说明绩效评价指标体系和综合评价系统具有科学性、客观性和可操作性。编程技术运用计算机编程技术研制一个可操作性强、可进行综合评估的信息系统管理软件。研究结果硕士学位论文运用德尔菲法和法构建的医学科研重点实验室绩效评价体系，经统计分析，专家咨询的协调程度和权威性均符合要求。运用已经建立的评价指标体系进行实测研究，经统计分析，指标体系的信度、效度与区分度较好。研制开发与医学科研重点实验室绩效评价指标体系相匹配的计算机系统评估软件。结论医学科研重点实验室作为产学研的重要基地，促进了基础和应用基础的研究，提高了技术创新水平和高新技术的攻关水平，而目前尚未有针对医学领域的绩效评价指标体系，不能满足医学科研重点实验室动态发展的要求。因此，为使医学科研重点实验室拥有持续的研究活力，确保实验室的运行质量，需要建立一套专门针对医学领域的科研重点实验室绩效评价体系。本研究综合运用多种方法建立的一套医学科研重点实验室绩效评价指标体系并进行实测研究，在医学科研重点实验室绩效评价指标体系和评价方法方面作了初步的探讨，进行了有益的尝试。关键词：医学：重点实验室；绩效评价；指标体系；构建及应用硕士学位论文：，撇，；，奴（，），（贮，），硕士学位论文，伍，、，、，、一！塑兰！一，砌，：；硕士学位论文目录摘要一第一部分概述一、研究背景二、目前研究中存在的问题三、实验室评估研究的发展趋势第二部分医学科研重点实验室绩效评价指标体系的构建一、建立医学科研重点实验室绩效评价体系的原则二、评价指标体系的构建三、专家咨询可靠性分析四、评价方法第三部分医学科研重点实验室绩效评价指标体系的实测分析一、研究对象、方法及数据处理。二、结果及分析三、本指标体系的应用第四部分医学科研重点实验室绩效评价管理软件的研制。一、目的与意义。二、系统特点三、系统配置四、系统构成五、系统操作目录第五部分讨论一、本研究的创新点。二、指标体系的可靠性。三、本指标体系的适用范围。四、存在的问题及今后设想小结参考文献附件第一轮专家咨询附件第二轮专家咨询一附件实测实验室自评表硕士期间发表论文学位论文原创性声明致谢一统计学证明：硕士学位论文一、研究背景第一部分概述重点实验室作为出成果、出人才的重要基地，在科教兴国战略中发挥着不可替代的作用。而科研重点实验室作为产学研的重要基地，促进了基础和应用基础的研究，提高了技术创新水平和高新技术的攻关水平，为解决社会发展中的重大科学技术问题打下良好的基础，也为培养新型人才、科技成果的转化和对外科技合作提供了条件。因此，为使科研重点实验室保持研究活力，确保实验室的运行质量，对其进行绩效评估，强化实验室的规范管理，提高综合效益，使之真正符合当代科技兴国战略的需要，适应现代科学的发展，是广大科研管理人员共同追求的目标，也是值得思考的问题。我国重点实验室的评估经过十多年的不断改革和完善，初步形成了一套评估体系，但是与发达国家相比，评估工作在有效评估、以评促建与以评促改等方面有待进一步改革和完善。科研绩效评估体系的研究科研重点实验室绩效评估的基本内涵绩效评估，又称绩效考评，最初用于企业管理，因其在企业人力资源管理中的巨大作用，随后被应用于科研评估中。将绩效评估方法引入科研重点实验室评估，旨在运用一定的技术方法，通过定量、定性对比分析，建立特定的指标体系，依据统一的评价标准，按照一定的程序对实验室科研水平和效益做出客观、标准的综合判断，建立真实反映实验室的状况，预测未来发展前景的科研管理控制系统。简言之，科研重点实验室绩效评估就是利用绩效评估的方法对实验室科研的投入成本和产出效益进行比较分析，促进科研重点实验室的优胜劣汰和动态发展。评估体系研究的背景科研评估工作在美国、法国、德国等国开展较早。上世纪年代起，许多国家就开始尝试对政府支持的科学研究活动的投入、产出、成果和影响力等方第一部分概述面进行评估，发展到现在对科学研究开展的评估已成为一个快速成长的产业【。其中美国的科研评估工作已成为制度化、经常性的工作行为，特别是年美国国会颁布政府绩效与结果法案（），以立法形式确定绩效评估制度，完善了对科学活动的评估机制，而美国的科研评估体系也成为世界各国科学研究领域竞相学习的榜样。科研评估体系的不断发展，也促进了美国科研重点实验室评估研究的的发展，这是美国的实验室一直处于世界先进水平的原因之一。美国在国家实验室管理中引入质量控制、方法、绩效评估、过程管理、自评等工业管理理论。广泛采用同行评议方法、绩效管理对美国大学中的国家重点实验室进行成果评议，已建立一个较为合理、完善的咨询服务评估体系，使美国国家重点实验室能够紧紧围绕科技发展目标高效有序地工作，促使美国的实验室一直走在世界的前列。而我国为提高基础与应用基础的研究水平，探索适合我国科学研究发展的新体制，于年开始建立国家重点实验室。于年引入优胜劣汰的科研评估机制，打破了国家重点实验室一成不变的格局，从根本上改变了传统观念、统一了科技人员的认识，也使得将国家重点实验室建为高水平科研基地、人才培养基地和学术交流中心的指导思想深入人心，对实验室的建设与发展起到了积极的促进作用。与国外相比，我国的科技评估活动起步较晚，经过十几年研究与实践，已经取得了一些成绩，但仍存在不足和值得思考的地方【】。因此，我们必须不断完善评估机制，逐步与国际通行的评估方式接轨，向职业化评估过渡，建立完善的的监督制度，规范评估程序【】。科研重点实验室评估的意义在我国开展的各级重点实验室评估中，实验室绩效评估一直是实验室管理工作中一个重要的管理措施，发挥着重大作用。而随着科研重点实验室数量的不断增加，规模不断扩大，对实验室的管理水平也提出了更高的要求，开展实验室绩效评估可以充分发挥实验室的资源优势和技术优势，更大范围的实现资源共享，充分提高资源的使用率和经济效益。同时，实现实验室的开放、共享硕士学位论文和高效服务与产出，促进实验室科研和管理水平的提高。通过绩效评估，各级科研管理部门也能够及时、全面的了解实验室的运行状况，检查与核实取得的科研成果，明确实验室存在的问题和努力的方向，引导实验室承担国家重大科研任务，产出显著成果。在医学、农业、工业等各个学科的重点实验室的绩效评估中，由于专业领域的区别，无法一概而论，以点及面，以偏概全。这导致科研重点实验室绩效评估缺乏针对性强、具体可行的评价体系，也使得我国实验室的绩效评估工作明显落后于发达国家。为促进科研重点实验室向高水平、高科技的方向发展，必须建立科学化、规范化、法制化的实验室管理体系，建立有利于创新、鼓励竞争的科研评价体系和管理制度。科研重点实验室评价指标体系的研究评价指标体系是开展实验室评估的关键因素，评估指标体系的科学性和合理性决定实验室评估是否成功。指标建立的原则制定评估指标体系是开展医学科研重点实验室评估的核心要素，因此在构建评估指标体系的过程中，应注意把握目标的一致性、导向性、全面性、可比性和可操作性等原则【。研究方法为了对实验室进行有效的评估，研究者提出了多种实验室评估的方法，主要有：层次分析法、模糊评价法、物元分析、属性层次分析等方法。层次分析法。首先是目标的层次化，将总目标划分为一个个分目标。根据指标性质和要达到的最终目标将考评指标分为不同组成因素，并按照因素间的相互关系及隶属关系将因素按不同层次聚集组合、形成一个多层次的结构模型，并最终把系统分析归结为最底层（具体考评指标）相对于最高层（总目标）的相对权重的确定或相对优劣次序的排序问题模糊综合评判方法，是一种运用模糊数学原理分析和评价具有“模糊性”的事物的系统分析方法。由于这种方法在处理各种难以用精确数学方法描述的复杂第一部分概述系统问题方面所表现出的独特的优越性，近年来已广泛的应用于实验室评估中【】物元分析是指我国学者蔡文于年创立的一门新学科是系统科学、思维科学和数学的边缘学科【。将物元分析的方法引入实验室评估，通过建立综合评判物元模型，对实验室进行定量的分析和评判，为实验室评估提供了一种新方法。属性层次模型是由北京大学数学科学学院程乾生在研究（层次分析法）模型的基础上于年提出的一种新的无结构决策方法（），使用方法在解决问题时，可避免繁重的计算，更易于操作，决策也更容易实现。评价指标的筛选根据最新印发的国家重点实验室建设与运行管理办法，评估工作主要对重点实验室年的整体运行状况进行综合评价，指标包括：研究水平与贡献、队伍建设与人才培养、开放交流与运行管理。而科研重点实验室绩效评估为了更好的体现科研绩效指标加入科技成果转化与产业化贡献、硬件建设等指标。一般来说，研究水平是评价中最重要的指标，在整个评价指标体系中所占比重也最大，包括实验室整体水平、科研任务、代表性成果等指标。队伍建设与人才培养包括吸引人才措施、团队建设、实验室主任和学科带头人水平和人才培养等指标。开发交流与运行管理包括实验室的学术环境、学术交流与合作、设立访问学者制度等。根据评价主体拟定的目标和采用的方法会选择不同结构的指标体系，一般情况下有两种：二级指标体系和三级指标体系。二、三级指标主要根据评价主体的侧重点来确定，虽然会有一定程度上的差异，但都视实际情况选择更适合评价对象并最能体现绩效成果的指标体系。实验室评价的研究分析目前，在实验室评价体系方面的研究中，主要有以下一些研究。张炳发通过专家调查法综合分析得到一套二级基础类实验室的指标体系，分为人员、设硕士学位论文备、教学、科研四大方面个指标，构造了高等学校实验室评估的综合多目标决策模型，为高等学校实验室评估提供了一套科学的评估方法和程序【】。贺宏根据陕西省高校省级重点实验室评估实施办法并结合医院实际情况，在咨询专家的基础上，修订了医院综合评估指标体系和评估指标评分标准，总结实验室建设所取得的成绩、经验和存在问题，进一步明确了实验室建设与发展的思路【】。刘洛娜利用关键绩效指标方法，在对实验室管理内核进行详细剖析的基础上，建立一个能改善和提升实验室管理绩效的有效实验室管理评价系鲥】。李成提出构建基于数据仓库的高校实验室绩效评价信息系统，通过联机分析系统多角度对评价指标进行分析，并根据需要作出各种决策，使高校实验室绩效评价工作和实验室管理工作上升到一个新高度【。熊国强认为指标体系是评价的基本依据，对重点实验室进行综合评价之前有必要建立一组相应的评价指标，考虑到指标的代表性、相关性和数据的可获性建立了一套二级综合评价指标体系，包括项一级指标，项二级指标【。李岱素考虑到体系的实操性、兼容性和重点性，结合国家重点实验室评估规则确立了个一级指标，个二级指标，指标体系更能突出重点，有利于帮助广东省重点实验室发现自身发展所存在的问题，并形成规范化、科学化、法制化的实验室管理体系【埽。二、目前研究中存在的问题目前实验室科研绩效评估的研究虽然取得一些进展，获得一些实践经验，但研究仍然不够深入，对确定一套科学、客观、全面量化与定性量化相结合的指标体系方面的研究仍有不足。通过对现有实验室的评价体系的研究，发现目前实验室评价机制存在的主要问题是：（）评估标准不高；（）评估内容重复；（）评估导向偏移；（）评估手段有刚。现阶段，随着评估工作的进一步深化、制度及规范化，评估方法和指标体系难免存在不足，需要不断的改进和完善。评估实践中发现：（）现有评估体系指标未能重点突出科研重点实验室研究成果的水平和质量；（）评估指标体系比较繁琐、重点不够突出；（）评估方法比较单一，无法对实验室进行全面、科学的评估。为确保科研重点实第一部分概述验室绩效评估研究工作的科学性和准确性，应从系统的观点出发，定性与定量分析相结合、长期与短期结合、内部评价与外部评价结合、经济效益评价与社会效益评价结合为原则，综合运用多种方法对科研重点实验室进行绩效评估。三、实验室评估研究的发展趋势为促进科研重点实验室的长足发展，制定一个科学、合理又切实可行的绩效评估指标体系，需要加强以下几个方面的研究：第一、形成一套完整的理论体系，科研重点实验室绩效评估虽然不是一个新课题，近几年也不乏对其的研究，但理论研究并没有突破性进展，没有形成系统、完整的理论体系。第二、理论研究与实践相结合，对比国内外的研究，国外在进行理论研究的同时侧重于应用性，研究成果往往转化成用于指导科研重点实验室具体实践的文件或标准。而国内的研究往往局限于理论层面，较少应用于实验室运行管理中。第三、指标体系要体现可操作性、客观性。对指标的获取、统计分析及验证的研究要更具体、深入，量化指标要能够准确反映科研资源的服务及产出现状。一些无法量化的定性指标在实际评估中不便操作，需尽量减少主观因素的干扰，如科研成果的间接效益、潜在效益、社会效益。在评估指标体系的建立过程中，需将定量与定性分析相结合。第四、科学区分代表性成果的类型，而不仅仅区分实验室的类型，通常将其分为基础研究类、应用基础研究类和基础性工作三类【构建科学的科研评估指标体系是一项艰巨而复杂的系统工程，是一个循序渐进的过程，需要各有关方面的共同努力，最终有效地实现实验室的可持续发展、开放、共享、高效服务与产出。科研重点实验室的绩效评估，不仅对实验室的建设起导向作用，也将引导实验室承担国家重点科研任务，促进科研成果产出水平的提高，推动实验室凝练和培养高水平医学人才。杂的系统工程，评价系统的好坏直接关系到评价工作的质量和效果。一、建立医学科研重点实验室绩效评价体系的原则由于医学科研重点实验室的行业特殊性，构建指标体系的过程中存在不确定性和随机性，因此在筛选和确定指标体系过程中，必须遵循以下原则：、科学性原则。在设定各指标条目时，需结合指标的内涵与外延进行分析。各指标都能独立地提供信息，指标之间不能重叠。若指标重叠，冗余的指标会增加评价的工作量，降低评价的可行性；另一方面，重叠的指标会增大该指标的实际权重，会影响整个评价结果的科学性与精确性。、全面性原则。实验室评估工作涉及科研成果、人才队伍、管理制度、仪器设施等方面。因此，要从医学科研重点实验室的整体出发，选择能够全面反映实验室工作的指标条目；同时，要选择能够充分反映出医学科研重点实验室主要工作状况的核心指标，并注意相关评估指标之间的关联度。所建立的评价体系应当是能够充分反应医学科研重点实验室的特点与绩效。、可操作性原则。筛选评价条目时应尽量选择信息量大、简明易懂、易于操作的指标，并兼顾到医学科研重点实验室的实际情况。、可测和可度量的原则。在易操作的基础上，各项指标所组成的评价指标体系数据应该是易度量和易得到的。为简化实际评价工作，评价指标的具体评价信息应尽量细化，评价数据是可直接根据实验室的现状计算获得。二、评价指标体系的构建德尔菲法，又称专家评议法，即专家以匿名的方式对调查者所提的问题发表意见，通过多轮次调查专家对问卷所提问题的看法，经过反复的征询、汇总、学术梯队与团队精神。队伍建设与人才培支实验室主任和学术带头养一青年学术骨干人才培养科研传统和学术氛围团队精神实验室主任水平和作用科带头人水平和作用青年学术骨干水平青年学术骨干培养措研究生培养博士后站的建立确定咨询专家专家的挑选是德尔菲法成功与否的一个关键因素，既要考虑专家的基本条件，又要兼顾本研究的具体情况。本项目的研究对象是医学科研重点实验室，因此，将备选的条件确定为：医学领域中具有副高级以上职称的实验室科研人员；科技部门、卫生行政部门副处级以上行政职务，从事实验室管理相关工作十年以上，熟悉重点实验室评估。经反复衡量和比较，最终从相关机构挑选出名专家作为本课题的咨询对象。指标的筛选第一轮专家咨询共发出咨询问卷份，回收有效咨询问卷份，回收率为。根据专家的反馈意见，对相关指标进行修改或删减。二级指标：“总体定位与研究方向”改为“总体定位与研究水平”；“承担科研任务”下增加一个三级指标“国际科研合作项目”；为了全面评价实验室的人才将“青年学术骨干”和“人才培养”合并为“人才培养”，并增加了一个二级指标“杰出人才的培养”其中包括两个方面“学术骨干的培养”和“引进人才的培养”。三级指标：“国内、地方的交流与合作”改为“省际交流与合作”；二级指标“成果转化”和“产业化贡献”下各增加一个三级指标“成果转化的数量”和“实验室技术转化的数量”。第二轮专家咨询共发出咨询问卷份，回收有效咨询问卷份，回收率为。按照第二部分医学科研重点实验室绩效评价体系的构建咨询专家的反馈意见对部分指标进行合并或删减。专家认为“科研传统和学术氛围”与“学术交流”内容重叠，将“科研传统和学术氛围”删除。“创新能力和成果水平”下添加指标“新产品（药）、新器械的开发”。考虑到医学实验室的生物安全问题，在二级指标“硬件条件”下增设一个三级指标“实验室认证（）”。专家认为二级指标“科研平台”下的三级指标“经费”与前面的科研任务重叠，更名为“技术平台的建设”。简化指标“国际学术交流与合作”和“国内学术交流与合作”，合并为“国际、国内的学术交流”。对实验室的开放力度进行有效量化，将三级指标“开放式实验平台”改为“开放合作课题项目”。另外，医学科研成果转化与产业化贡献下增设二级指标“企业联合研究项目”。经两轮专家咨询后，通过计算得出第二轮的肯德尔系数为，一般认为肯德尔系数达到以上，就可认为数据具有较高的内部一致性了。经过对指标的分析、修改、筛选，最终确立的指标体系框架共有个一级指标，个二级指标，个三级指标。（如表）表医学科研重点实验室绩效评价指标体系一级指标二级指标三级指标研究水平总体定位一科研任务创新能力和成果水平一队伍建设与人才培养学术梯队与团队精神实验室主任和学科带头人人才培养发展规划（定位研究水平纵向科研任务横向科研任务国际科研合作项目获奖项目授权专利论文与论著新产品（药）、新器械的开发队伍结构及合理性团队精神实验室主任水平学科带头人水平青年学术骨干培养培养青年实验技术人员研究生的培养（硕、博）杰出人才的培养学术交流开放交流与管理：嚣依托单位的支持实验室建设硬件建设科研平台医学科研成果转化成果转化与产业化贡献企业联合研究项目博士后的培养学术骨干的培养人才的引进和培养国际、国内的学术交流开放式合作课题项目管理制度新增实验仪器新增实验建筑面积实验室认可（）设备运行状况（；技术平台的建设一医学成果转化的经济效益科研产业化贡献的经济效益各级指标权重确定通过二轮咨询，一方面完成了指标的筛选，另一方面完成各级指标权重的确定，细化和修改了具体的评价信息。一级指标权重确定运用专家咨询法将判断定量化，并将的判断矩阵标度（表）引入数值判断矩阵的建立中。在确定一级指标时，根据咨询专家对一级指标的打分，按照法的求解步骤进行计算，求得每一位专家所赋的一级指标的权重，将所有专家同一个一级指标的权重进行算术平均，最后得出代表专家组意见的一级指标综合权重。第二部分医学科研重点实验室绩效评价体系的构建表判断矩阵标度及其含义标度含义表示两个因素相比，具有同样重要性表示两个因素相比，一个因素比另一个因素稍微重要表示两个因素相比，一个因素比另一个因素明显重要表示两个因素相比，一个因素比另一个因素强烈重要表示两个因素相比，一个因素比另一个因素极端重要，上述两相邻判断的中值倒数因素与比较得判断。，则因素与比较的判断，咖具体的矩阵建立步骤如下：假设和为某一评价面中任意两个评价指标的重要性分值，则建立判断矩阵的方法如下：若，则比稍重要，标度值为；若，则删比明显重要，标度取；若，则比强烈重要，标度取；若，则比极端重要；如差值在上述值之间，则标度为、。按照此原则，建立判断矩阵，并根据法的计算方法得出所需的数值，经一致性检验后，最终确定一指标在评价体系中的指标权重。最大特征根及其对应的特征向量：关于判断矩阵权重的计算方法很多，包括方根法和和积法等。本研究采用的是方根法确定权重向量和相应最大特征根，具体方法如下：首先计算判断矩阵每一行指标数