研究者的生存法则.pdf

研究者的生存法则研究者的生存法则 同行评议 哈佛大学 麻省理工学院 卫生科学与技术 哈佛大学踏阶试验502 研究者的生存法则 同行评议同行评议 定义 同等的 同行的 同辈 对手 评论 检查 纠正错误 评论的内容 方案和提议 手稿 部分会议的摘要 定义定义 对于方案 同行评议 经过培训具有资格的专家组的考 虑 这些专家都具有对申请认证的科学价 值给出建议的经验 对于手稿 同行评议 非编辑人员专家对手稿的科学价 值及内容的总结 方案评论的一般过程方案评论的一般过程 调查人提交提议 代理处分配评论小组和评论人 评论人员阅读提议并书写评论 评论小组会面并对科学价值做出评议 代理处工作成员做出最终决定 决定被送至调查人处 国立卫生研究所分配流程国立卫生研究所分配流程 在规定的最后期限时收到10000份申请 每份申请被分配至综合评论小组 IRG 和 基金会 此后 申请被分派至综合评论小组 IRG 的研究部 国立卫生研究所的研究员将会考虑那些分 配 在申请信里 的请求 国立卫生研究所的流程国立卫生研究所的流程 此后 研究部的科学评论行政官 SRA 对来 自研究部内部的成员或来自特别成员的评 论作出决定 对研究部评论员的任命对研究部评论员的任命 指派的联邦官员被称为科学评论行政官 SRA 他负责征募研究部的成员 联邦管理法规定义的成分 相关科学领域受过训练的 有经验的专家 受过正式教育 相关研究的数量和质量 获得的荣誉和奖励 对研究部评论员的任命对研究部评论员的任命 科学评论行政官也需要 性别 种族和地域分布的多样性 评论的公平性和公正性 积极工作 清楚的表达能力 对研究部评论员的任命对研究部评论员的任命 研究部任命类型 正规的 一般3 4年 临时的 尤其 一次 可能会转为正规 的 任命到特殊的重点小组 仅一次 对评论员的任命对评论员的任命 科学评论行政官把申请给予特殊的评论员 设法确保 适当的专业技术 不同的科学观点 设法避免 特殊评论员的超负荷 一系列的相同评论员参与多重任务 潜在的利益冲突 对评论员的任命对评论员的任命 每个提议要指派2个评论员和1个讨论者 至 少 初级评论员 二级评论员 阅读员 不需要在研究部开会前准备书面 评论 可能还有更多 第三位 或者更多的阅 读员 评论员的目标评论员的目标 评论员的目标是什么 维持并改进科学研究的质量 向每个申请提供公平公正的评估 将对每个申请的价值的意见表达出来 评论员的目标评论员的目标 评论员应该知道 代理处的目标 其他小组成员和每个提议指派的其他评论 员 指导评论 包括评论的标准 国立卫生研究所评论标准国立卫生研究所评论标准 国立卫生研究所针对自主提出研究项目资金申请的 评论标准 意义 重要的问题 科学知识的进步 对推动该领域发展的方法的影响 步骤 设计 方法和分析的适当发展 承认存在问题 或者其它的选择 国立卫生研究所评论标准国立卫生研究所评论标准 创新性 新颖的概念 步骤 方法 对已存在范例的挑战 新方法学的提出 调查人 适当的训练 经验 环境 有益于成功的机率 有用的合作 制度上的支持 国立卫生研究所评论标准国立卫生研究所评论标准 其它标准 包含性别 民族 儿童 预算 人类 动物和环境保护 全面的等级评定 反映全面影响的计分 国立卫生研究所的数字等级评定国立卫生研究所的数字等级评定 优先分数 提议的专一的 全面的分数 最差最好 最低优先权中等申 请权 最高优 先权 在各种类中 最强 为写评论做准备为写评论做准备 浏览标题 摘要 研究计划 价值的总体印象 首先考虑大图 大多的代理处已转向这 个方向 来自全国卫生研究所的例子 准予申请 的评论需要被重新关注的是它们的科学质 量和在该领域内产生的影响 而不是技术 和方法学的细节 为写评论做准备为写评论做准备 分配充足的时间 阅读每部分 做笔记 概述优势和缺点 写评论写评论 遵守代理处的指示 使用全国卫生研究所标题 意义 步骤 创新 调查人 环境 将描述性的信息最小化 写评论写评论 描述优势 描述弱点 避免强调次要的技术细节 避免重新设计方案 以申请者的角度写评论 长度 2 5页 双倍间距 写评论写评论 作出初步优先分数的评定 最低优先权中等申 请权 最高优 先权 会议前提交评论会议前提交评论 网页 会议的前几天上载分数和书面评论 只有上载 之后才能阅读其他评论员的分 数和评论 一旦上载 直到会议结束后才能改动你的 评分或评论 研究部会议研究部会议 改进的申请 定义 不处于上半部分 优先分数高于3 不提供专业奖励 奖学金 研究部会议 流线型的 研究部会议 流线型的 流线型程序 评论员要求提前推荐不处于上半部分的申 请 未评分的 或 改进的 科学评论行政官编辑汇总成列表 会议开始时讨论列表 任何成员都可以寻找提案来讨论 研究部会议 流线型的 研究部会议 流线型的 益处和基本原则 对于较好的申请 给出时间进行深度讨论 如果缩短会议 可以节约成本 减少科学评论管理员的工作 仅约25 的申请将被资助 研究部会议 流线型的 研究部会议 流线型的 如果申请是最新型的 申请人可以收到未 改动的书面评论 未评分的申请的命运如何呢 研究部会议 评论程序 研究部会议 评论程序 对提案打分的评论程序 研究部主席介绍申请 每位评论员打出初级计分 初级评论员概括描述和注解 二级评论员补充解释 阅读员补充解释 研究部会议 评论程序 研究部会议 评论程序 评论程序 续 讨论继续 不一定需要成员一致同意 主席提倡评定的优先次序 每一个成员重新打分 科学评论行政官要求评论员根据讨论修改 评论 科学评论行政官准备概要和讨论的摘要 会议组的建议会议组的建议 决定是否继续成为 提倡者 尝试不要阅读书面评论 初级评论员 为其他委员描述项目 概述所有的优缺点 如果你支持某申请 将它表述清楚 会议组的建议会议组的建议 二级评论员 阅读者 聆听初级评论员的表述 尝试只讨论新的条目 包括实力和弱点 如果你支持某申请 将它表述清楚 评论员正在被评论 作出有效的口头表述 负责任的行为 利益冲突 负责任的行为 利益冲突 利益冲突 评论员 亲密的亲戚或者是亲密的 专业合作者会有申请的利益 例子 评论员 配偶 父母 子女 合作者是 申请机构的支领薪水的雇员 申请机构的谈判成员 处于从该项目接受直接经济利益的职位 解决方法 离开 负责任的行为 利益冲突 负责任的行为 利益冲突 冲突的特殊情况 评论员 亲密的亲戚或者是亲密的合作者 是被提议的方案组的成员 有些时候被称为 成员冲突 解决方法 用另外一个评论组来评论申请 常设研究部 专门的重点小组 推理 同等评论组成员之间的亲密关系 负责任的行为 利益冲突 负责任的行为 利益冲突 利益冲突的 外在表现 环境可以使一个通 情达理的人变得开始怀疑公正 例子 评论员与研究主管员工作关系紧密 申请人在申请信里提到评论员的名字 长时间的意见分歧 解决方法 评论员也许被要求去休假 而 不是严格的需要 负责任的行为 机密性 负责任的行为 机密性 评论过程中有特权的信息 申请 讨论 约束 未经允许 不得共享材料或者向外界咨询观点 不许讨论评审记录 不许同申请者联系 损毁全部与评审相关材料 向科学评论行政官 SRA 咨询 负责任的行为 认证 负责任的行为 认证 每个评论员必须签署利益冲突和机密性表 格 认证包含提议标题的真实的或表面的冲突 的特殊列表 由科学评论行政官 SRA 产生 由评论员补充 评论员同意 把我从他们的评论中撤除 报告不正当行为报告不正当行为 当评论员在评论过程中发现不正当行为时该 怎么办 让科学评论行政官 SRA 注意到 越 快越好 科学评论行政官 SRA 会向研究室报告 在辩解过程中 评论员继续评论 评论员在评论过程中不应该产生疑惑 对原稿的同行评议对原稿的同行评议 对原稿的评审程序对原稿的评审程序 过程过程 过程过程 同等评审体系的屏蔽 屏蔽屏蔽 封闭对公开 同等的审批 Rennie 1998 完全封闭 优点 公平 缺点 非常难以执行 经常不能成功 屏蔽屏蔽 部分封闭 优点 熟悉 优点 允许评论员写任何评语 而不会有 争议 缺点 不公平 是屏蔽的评论员而不是屏 蔽的作者被看作是过程中至关重要的 缺点 评论员不需要负责任 缺点 可能被滥用 如 剽窃 屏蔽屏蔽 开放 优点 促进评审的有建设性的本质 优点 发扬文明礼貌 优点 鼓励对批评的证实 优点 具有执行的现实意义 缺点 必须克服现有的体系 缺点 阻碍评论员进行彻底的校订 缺点 可能对反馈产生恐惧 评论员的分配评论员的分配 编辑和 或编辑部的选择 编辑在分派评论员上的责任 选择没有偏见的评论员 选择领域内的专家 检查潜在的利益冲突 评论员的目的评论员的目的 评论员的目的是什么 维持和提高科学著作的质量 给作者提供建设性的评论 对可接受性发表看法 对期刊编辑提供帮助 评论员的指导方针评论员的指导方针 使自己对目标期刊非常熟悉 范围 内容和说明 浏览全部的原稿 大概的印象 阅读每个部分 为作者准备评论 准备特殊的有建设性的意见 为编辑以及最终的决定准备注释 评论员对编辑的注释评论员对编辑的注释 经常是机密的 不会泄露给作者 评论员应该 提出观点以使其符合出版 讨论 含糊 的观点 评论员对作者的注释评论员对作者的注释 给出详述的建议 覆盖科学和技术的论点 有建设性 有礼貌的 清楚的 区分意见和需求 陈述作者会表现的行为 评论员对作者的注释评论员对作者的注释 例子和指导方针 科学和工程学道德规范形式 评论员的指导方针 原稿的评估方式 评论性评审的清单 评论员负责任的行为评论员负责任的行为 利益冲突利益冲突 定义 评论员对行为有依赖性 可能影响 判断 例子 亲密的个人关系或者职业关系 长时间的竞争 解决方法 评论员应该向编辑承认错误 请求编辑原谅他 她自己 评论员负责任的行为 机密性 评论员负责任的行为 机密性 原稿要有特权 才能被交流通信 对评论员的典型限制 针对特别的期刊 不能分享原稿 未经允许不得寻求外界的意见 不能直接同作者联系 归还或毁损全部的相关评论材料 不能使用未经出版的想法 方法 结果 分析 报告不正当行为报告不正当行为 当评论原稿时 如果评论员怀疑有不正当 行为时该怎么办 让编辑注意到 编辑会根据辩解的实质 基金来源等追查 到底 完整的调查是作者所在单位的职责 编辑负责任的行为编辑负责任的行为 必须作为一个 看门人 Cowell 2000 确保科学的重要性 对有效性和准确性提供最后的保证 检查以下两者之间表现的冲突