构建科研机构评价的指标体系几个专题研究.ppt

构建科研机构评价的指标体系 几个专题研究,提 纲,一、科研机构评价的意义 二、研究目标 三、研究内容 四、研究方法 五、本课题已经取得的成果 六、研究基础,一、科研机构评价的意义,科学技术评价是科技管理工作的重要组成部分，是推动国家科技事业持续健康发展，促进科技资源优化配置，提高科技管理水平的重要手段和保障。 科技评价是科学计量学的一个重要组成部分。 科技评价包括项目评价、机构评价、学术期刊评价、科技人员评价、科技政策评价等诸多方面。,科研机构评价是科技评价中较为重要的组成部分，应用范围比较广泛，包括大学评价、科研院所评价、学科评价、实验室评价等。 科研机构评价也许是科技评价中最复杂的评价。它不像人员评价那样具有太多的独特性，也不像期刊评价那样具有太多的普遍性。科研机构评价更强调综合性。,二、研究目标,该选题是个传统的选题，有许多学者在从事该领域的研究。基于传统意义，研究本课题一般包括指标选取、数据标准化、权重赋值、评价方法选择与组合、结果分析等诸多方面，但由于本课题相对丰富的研究基础，本课题的研究不打算这么做。 本课题的研究，试图从方法论的角度，在评价技术的公平性、评价视角与评价方法、评价值与真实值的关系、数量指标与质量指标的选取等有限的几个方面取得突破，侧重技术层面。,三、研究内容,1、科研机构评价视角研究 质量（绩效）、数量、质量数量相结合。 无论是质量或数量评价，都存在评价结果的可比性问题。 2、评价技术与评价公平之间的关系 根本就没有真正的客观评价方法！ 不同多属性评价方法评价结果不尽相同，即使客观评价方法也是相对的，因为客观评价方法的选取也是人为的，如何评价评价方法的公平性呢？,3、评价值与真实值的关系（指数变权问题） 无论是单一指标还是总量指标，其结果值的相对意义本质是不一样的。就某一指标而言，如果标准化后满分是100，那么98与88的差距是10分，65与55的差距也是10分，这两种差距完全不是一回事。在低分段，指标值与真实值的关系也许是线性的，在高分段，指标值与真实值的关系可能接近指数关系。或者说，真实水平与指标值之间是一种变权关系，越到高端，权重越大。 4、其他相关问题 在同时考采用总量指标和相对指标评价的同时，这些 指标的数量和比例应该如何把握。这与评价目的有何关系？ 实证处理的样本问题（可比性），目前的研究有很多不科学的地方。,四、研究方法,1、各种多元统计方法 2、回归分析 3、DEA效率分析 4、其他统计学方法等,五、本课题已经取得的成果,1、科研机构的评价视角：质量、数量、均衡。（即将发表于图书情报工作）,2、大学排名的影响因素分析 基本假设： （1）办学历史对大学排名将产生正向影响，办学历史越悠久的高校，其排名越靠前。 大学的名望在深层次上其实体现了一种文化的积淀，而文化积淀与大学的办学历史有着密切的联系，办学历史悠久的大学，经受住了时间的检验。 （2）不同时期建立的大学，其排名可能有所区别。 纵观几百年来大学的发展历程，如何确定大学发展史的阶段划分呢？本文认为，以三次工业革命为标志来划分大学发展的历史阶段比较合理，因为大学产生的思想、观念、科学和技术代表着科学技术发展的前沿，为推动产业发展进程做出了贡献。第一次工业革命（蒸汽时代）开始的时间是1765年，以英国人哈格里夫发明珍妮纺纱机为标志；第二次工业革命开始的时间是1831年，以法拉第发现电磁感应现象为标志；第三次工业革命开始的时间是1947年，以计算机的出现为标志。,（3）不同性质的大学（公立大学或私立大学）将对大学排名产生影响。 世界上有些国家，特别是美国，其一流大学中有许多是私立学校，而且一般办学历史都较长。学校性质可能对排名产生影响。 （4）美国、英国、加拿大和澳大利亚作为拥有一流大学最多的四个大国，其大学排名可能具有某种地域优势，这与英语是全球科技界的国际交流语言可能有关。,结论: 基于2008年英国泰晤士报高等教育增刊世界大学排名数据，利用排序因变量模型分析了世界大学排名的影响因素。发现建校历史总体上与大学排名具有正相关关系；私立大学对大学排名具有正面影响；英语大国的大学在大学排名中具有优势；以上这些因素对大学排名的影响是有限的（R2极低）。本文的研究立足宏观视角，对于包括中国在内的发展中国家创建一流大学，具有重要的指导意义。,3、补充 关于泰晤士报高等教育增刊 大学排名的研究结果。2006年数据。 同行评议与指标体系