《社会学教案》第十三讲：科学的评价.ppt

第七章科学的评价 同行评议 有人说 美国美国宪法就是最高法院大法官们的简单多数所认为应该的样子 同样 人们假定科学就是科学家认为的样子 同行评议就是对 什么构成了科学 和 什么构成了对科学的定性评价 这两个问题的主观而有依据的回答的正式反映 第一节同行评议制度第二节越轨行为的控制第三节成果质量引证分析 第一节同行评议制度 一 什么是同行评议 同行评议是指由给定科学领域的若干专家组成的评议委员会来评估科学活动或其成果 项目 科学出版物 的过程 对于这个专家组 可将其视为整体向之咨询 也可以向其中的个别人咨询 个别咨询时评估者之间没有必要进行接触 同行评议用于评价学者及其学术成就的最早的一种测度体系 古希腊哲学家和宗教陪审团的工作就是一种最早的同行评议 从那时起 学术成就就是由从事同一领域研究的人们进行评价的 随着大学和科学研究逐渐正式化后 同行评议已经发展成为一种更加完善的结构化的评价方法 二 同行评议的宗旨和目的 1 宗旨 同行评议的宗旨是确保科学研究的质量 其主要的任务是 1 研究工作是按照科学的方法进行的 2 研究是有效的和可以推广的 同行评议用于评估计划和完成了的科学活动 项目 计划和成果 论文和报告等 因此 同行评议成为从集体层面 组织到国家 对科技资源分配提供质量控制 对研究活动和执行者进行评估的一种有效的方法 通过如下问题来描述同行评议 1 我们进行同行评议的目的是什么 2 同行评议应该具有什么一般的特征 3 成功的评议的特征是什么 2 同行评议的目的和目标 同行评议被设计成为唯一且自成体系的评估过程 通过同行成员的判断和观点 同行评议过程宗旨在保持 在家中进行 原则上 意味着科学只能由科学来评估 专家具有最高权利 他们自觉管束自己并相互进行评估 其内在根据如下 1 科学发展复杂情况 只有非常熟悉这个领域的科学家才能有效地进行可信赖地评价科学活动和科学成果 2 被召集进行评价的科学家对自己的同行进行评估时 专家是高度专业化知识和水平 提供客观意见 3 专家拥有一些有效的工具去检验科学研究的有效性 并宣布对有关的研究的任何假定 方法和结论的判断 2 同行评议的目的和目标 1 确定科学研究工作的质量水平 2 强调研究活动和负责人应负的责任 3 提出科学资源的标准和测度体系 4 科研绩效评估的标准和测度体系 5 科技政策制定和评估标准与测度体系 6 对科研项目和计划性和可靠性提供判断 7 对科研执行者进行有效评估的标准和测度体系评议过程应该是理性的 及时的 费用合理的 并被参与者清楚地理解 实际上 这个过程是客观 公正和公开的过程 因此提倡匿名的 这就消除了对评议者和被评议者的可能带来的伤害 三 同行评议特征 一 成功的同行评议具有如下令人满意的属性 1 这个过程是正式的 所有步骤都是清楚定义的 并为所有参与者所熟知 2 这个过程是理性的 标准是预先制定并被所有参与者接受的 3 这个过程是高度公正性 并内植于标准和各个阶段的 4 这个过程是及时的 时间过长对研究者或团体的作用减少 5 这个过程是成本效益的 6 这个过程应该对被评议的个人和组织提供及时 完整的 准确的反馈的7 应坚持匿名原则 二 同行评议的过程的基本特征如下 1 需要获得高层管理者的支持 2 在进行评议和得出结论时应该是独立的 3 选出的评议者应该是可以信任的 4 评议者应该客观和不带偏见的5 应容许与其他科学评价体系进行比较 6 评议者应具有专业属性 并对一些特殊主题进行深入评价 并对其结果和潜在的价值进行分析 7 在方法论上是站住脚的和可信的 能够与其他评价工作一起应用 三 过程 评估潜在的绩效 同行评议是未来的预报器 评估申请研究项目的前景和潜在的贡献 也用语对研究成果的鉴定等 评议者被要求回答问题是 某一特定的项目的未来前景会怎样 与其他项目比较怎么就算成功等 同行评议通常是资助机构和工业公司在分配研究资源时选择的测度体系 这种评价体系是一种流行的体系 但是 几乎没有经验证据表明该测度体系是高度可靠的 科尔兄弟对美国科学基金会开展的同行评议进行的开创性的研究表明 评估时大约一半是看申请项目的性质以及课题负责人的声誉 另外一半则是取决于其他因素 或许是随意的 三 过程 评估潜在的绩效 评议结果出现情况 首先 当评议结果出现极端现象时 大都表现出一致意见 例如认为某项研究极差或极有前途 是很容易达成共识 其次 中间层次的情况似乎不易有一致意见 总之 在项目申请中 同行评议的主要功能是使那些最具有潜力的项目获得资助 在事后评估中 有助于判断研究项目完成的情况 以及它的科学贡献 在这两种评估中采取了不同的标准 并且在评估中也表现了不同的认知过程 四 同行评议的标准 在任何正式的过程中 当同行被要求进行科学研究的评议时 都要给他们提供一套预先制定的标准 除了了 自由 表达他们的意见外 他们还要遵循这些标准 其目的是为了实现某种形式的标准化 这样有利于比较和跨学科的分析 或者是使他们更有组织的方式表达自己的观点 无论这些标准多么详细和明确 在制定这些标准时需要小心从事 以避免给评议者施加不必要的压力 因此 根据标准形成的评议部分 包括评议者不受外界影响的想法和观点的 自由文字 部分 是用他们自己的表达方式进行说明的 1 申请书和出版物的不同标准 对科研项目申请书的同行评议主要是对这些研究者实现其科研承诺目标的潜力的一个评估 是对未来可能性的预言 对出版物的评估显然是对已经完成的科研成果进行评估 或是正在进行中的研究活动进行评估 因此 它们标准是不同的 一种是前瞻性 一种是回顾性的 但是标准是为了评估工作的质量和贡献 以及他们在前沿科学领域的相对的科学地位等 2 公共部门应用的标准 在美国科学体系中 国家科学基金会和国立卫生研究院是资助民用研究与开发的重要机构 他们对同行评议的应用以及用于评估项目申请书潜力的标准已经成为其他机构进行资助的基准 而且 为了更加增加基金会资助项目的研究的相关性和公平性 这些标准也不断进行变化 而每一种变化都反映了科学共同体的对这些标准的争论 例如某些标准显示了某些科研群体的代表性不足 很多评估采取了双轨制度进行 即首先接受一个外部学术群体的同行评议 然后再进行顾问委员会 其成员包括科学技术界的和非科学技术界的 进行综合的评估 2 公共部门应用的标准 美国国家科学基金会的评估标准1981 1997 1 研究绩效 能力 2 申请者研究项目的内在价值 3 申请研究项目的效用或实用性 4 申请研究项目对科学和工程的基础设施的影响 等级 次 到 优秀 1997年10月1日起申请者的研究项目的知识价值 1 对于在本领域和交叉领域推进知识的重要性 2 申请人的资格 3 申请的工作的创造性和原创性 4 使用丰富资源的机会 申请者项目的广泛影响 1 在促进发现的同时有推动教育 培训和学习之功能 2 扩大未被充分代表的群体的参与 3 加强研究和教育的基础设施 设备 网络和伙伴关系等发展 4 科研成果的广泛扩散 国家卫生研究所的同行评议标准 包括如下几个方面 意义 1 问题的重要性 2 科学知识的推进 3 对推动领域发展之效的观念和方法的影响 2 公共部门应用的标准 方法概念框架 设计 方法论和分析是否适当 是否结合为一体 考虑潜在的问题和被选方案 创新 1 目标是原创或创新的吗 2 概念 步骤和方法是新颖的和创新的吗 申请的研究是否对现有的范式构成挑战 课题负责人 1 负责人和其他成员的品质 技能和经验环境科学环境是否支持性的 是否获得单位的支持 2 公共部门应用的标准 美国国立卫生研究所的评估采取了双轨制度进行 即首先接受一个外部学术群体的同行评议 然后再进行顾问委员会 其成员包括科学技术界的和非科学技术界的 进行综合的评估 这种标准除了科学评估外 还要看管理水平 对社会经济的影响和对研究所战略目标的一致性等 这种同行评议方法特点 公众参与和研究所的影响力过大 以至遭到了科学家的反对 认为这种做法损坏了纯科学性的判断 另外 反对这种做法太局限 新兴工业化国家采取了这种方法 美国先进已经计划暑也采取了这种评估方法 3 产业界的标准 产业公司采用多种多样的手段和测度体系来评估其潜在研发项目 并评估已经资助和已经完成的项目的产出及影响 这个系统主要是依靠同行评议测度体系 美国公司的同行评议过程 是使用由科研机构人员和公司经理 主管组成的混合评估组 主要评估申请科研项目 科学技术的可能性和潜力 以及商业成功的可能性和潜力 其评估项目标准包括三类 申请工作潜在的成功率 经济回报率和利润标准 申请项目与公司的战略 生产线和市场潜力等来判断这些项目 通过打分进行评估 具体标准内容如下 1 在可以预知的时间里 潜在的收益和盈利 2 在项目时间 费用估算范围内 技术成功的可能性 3 在一个给定时间里 商业成功的可能性 4 与公司战略计划的关联 5 与公司生产线和业务的关联 6 可利用的资源的数量和充足程度 7 项目团队的先前经验 他们是否作过类似的研究 8 高级管理层对这个研究的支持水平 9 与公司总的研究结构的关系 10 与市场营销的确定需求或公司的相关者 客户 规制者或卖者 的关系 4 科技期刊的同行评议 是一种无处不在的评议方式 科技期刊编辑部利用同行评议做出接受和拒绝科技论文的决定 通常包括三类 一是临时性评议者 二是构成了杂志编委会并不断地应编辑的要求评议稿件的永久性的评议者 三是将两种类型进行结合 这种评议的基础是科技人员相信只有依靠严格的质量控制方法 科学才可以发展或进步 并由科学共同体中拥有同等地位的其他科学家进行实施这种控制 因此 才有了同行评议的概念和制度等 评议过程 优缺点 四 同行评议的优点 优点包括如下几个方面 1 由科学技术和专业中称职专家提供判断意见 2 能防止接受较差的科研项目等 提供质量控制 3 可接受和受尊重的同行提纲详细的意见 评论和建议 4 有助于不同观点和思想流派之间的制衡 5 同行评议过程被所有参与者了解 6 提供科学责任 7 依靠科技界的智力资源 8 过程是理性的 有效的和公正的 9 尽管定性的 同行评议仍提供了充分的数据以制定科技资源分配的决策时参考 五 同行评议的缺点 1 调查时受时间 回答率低和保守观点占上风等因素的制约 2 评议者可能表现了对起作者的偏见 嫉妒 报复和不宽容等3 评议者可能对自己领域的论文开绿灯来保护自己的势力范围或专业 4 评议有时是粗略的 无法保证 好 科学获胜 而坏的科学被拒绝 5 评议者往往坚持他们学科中有的范式而拒绝改变 6 编辑们利用非凡的权利 引导科学发展方向等 7 对学术地位已经奠定的科学家比较客气 8 照顾英文论文的偏见等 9 高水平 专业的评议者越来越难找 第二节越轨行为的控制 一 概念违反科学共同体或社会的科学规范的行为 就是科学活动中的越轨 科学活动的越轨行为有着特定的定义 并具有广泛性的内容 科学共同体公认的一些规范 而一般的社会意义的越轨 则具有历史性和文化性或地域性等特点 二 越轨行为的控制内部控制外部控制 第三节科学引文索引 科学引文索引 简称SCI 是由美国费城科学情报所从1964年开始正式发行的科学情报杂志 当时 这是一种新型的索引杂志 是为了适应二次世界大战以后科学信息爆炸以及快速检索要求而出现的 该杂志的创始人加菲尔德 当时他正在从事一项医学文献的情报的研究工作 即对医学文献进行评论 加菲尔德认识到 他评论应该包括对文献做引证说明 并认为这种引证的说明可以发展成为一种索引 关于这些想法和做法在报纸上发表后 引起了法律界 谢佩德引证 的前编辑专家阿代尔的注意 他提出了参阅 谢佩德引证 编辑科学引文索引的建议 并发表论文介绍该杂志 加菲尔德参考了 谢佩德引证 根据每篇论文一般附有的引证目录 这种引证参考文件与