第四讲 系统评价的方法与评价原则

1、1系统评价的方法与评价原则临床流行病学与循证医学教研室潘晓放2主要内容第一节 系统评价概述（掌握）第二节 系统评价的方法（熟悉）第三节 系统评价的评价原则（掌握）第四节 系统评价的应用（了解）3第一节 系统评价概述n系统评价的概念nCochrane 系统评价n系统评价与Meta-分析的区别与联系n系统评价与叙述性文献综述的区别与联系4系统评价的概念系统评价（systematic review，SR）是一种全新的文献综合方法，指针对某一具体临床问题（如疾病的病因、诊断、治疗、预后），系统、全面地收集全世界所有已发表或未发表的临床研究，采用临床流行病学的原则和方法严格评价文献，筛选出符合质量标准的

2、文献，进行定性或定量合成，得出综合可靠的结论。5系统评价的作用 增大样本含量，得出更为可靠的结论。 解决寻找证据难的问题(收集全世界零散的有关研究) 对证据的质量进行了严格评价 结论简单明了，方便了一线临床医生的应用 目前发达国家已越来越多地使用SR结果作为制定指南和决策的依据 卫生技术评价(HTA)及药物评价均采用系统评价原则6系统评价：循证医学的最佳证据寻找证据应首先去找系统评价的报告，因为它比单个试验偏倚较少而更为可靠。 David Sackett, 200072、Cochrane系统评价Cochrane 系统评价是Cochrane协作网组织制作并发表在Cochrane图书馆(Cochr

3、ane Library 和因特网上)的高质量系统评价。统一的制作规范严格的质量控制不断更新（约每年一次）8Cochrane系统评价与EBMCochrane 系统评价属EBM中最高质量的证据，因为：n由世界权威统计学和流行病学专家领导方法学研究n有不断更新的统一工作手册n各专业评价组编辑部结合专业实际制定特定的方法学n有完善的系统评价培训体系n有健全的审稿和编辑系统进行质量把关n有发表后评价和反馈机制，要求作者对评论和意见作出及时反应n不断更新，新证据发表后及时再版n有完善的原始研究资料库提供原料n对原始研究质量进行了严格评价，有纳入和排除标准9Cochrane系统评价的特点特点 Cochran

4、e系统评价 一般系统评价资料搜集 全面不一定全面质量控制措施 完善不一定完善方法学 规范不一定规范不断更新 是否反馈意见及修正 及时不一定及时10Cochrane系统评价的指导思想n以病人为中心(当今世界潮流) 解决病人的问题n采用与病人密切相关的判效指标 n以实践者(医生、政府决策者、病人)作为主要读者，语言尽可能简单明确易懂11Cochrane系统评价16年的标志性成就：指导临床：疾病指南广泛引用学术认可：2007年影响因子4.62008年影响因子5.182 可以同步在Lancet、JAMA、BMJ等杂志上发表123、SR与Meta-分析的区别与联系Meta-分析的定义：n广义：Meta-

5、分析是应用定量方法去概括（总结）多个研究结果的系统评价。n狭义：Meta-分析是文献评价中，将若干个研究结果合并成一个单独数值估计的统计学方法。目前多数认为Meta-分析是系统评价的一种类型，但系统评价不一定都是Meta-分析，可以是定量的，也可以是定性的。13综述Meta-分析系统评价144、SR与叙述性文献综述的区别 特征特征 叙述性文献综述叙述性文献综述 系统评价系统评价研究的问题研究的问题涉及的范围常较广泛涉及的范围常较广泛常集中于某一临床问题常集中于某一临床问题原始文献来源原始文献来源常未说明，不全面常未说明，不全面明确，常为多渠道明确，常为多渠道检索方法检索方法常未说明常未说明有明

6、确的检索策略有明确的检索策略原始文献的选择原始文献的选择常未说明，有潜在偏倚常未说明，有潜在偏倚有明确的选择标准有明确的选择标准原始文献的评价原始文献的评价评价方法不统一或未评价评价方法不统一或未评价有严格的评价方法有严格的评价方法结果的合成结果的合成多采用定性方法多采用定性方法多采用定量方法多采用定量方法结论的推断结论的推断有时遵循研究证据，较主观有时遵循研究证据，较主观多遵循研究证据，较客观多遵循研究证据，较客观结果的更新结果的更新未定期更新未定期更新定期根据新试验进行更新定期根据新试验进行更新15第二节 系统评价的方法n系统评价类型n系统评价的基本步骤161、系统评价类型n按临床问题病因

7、、诊断、治疗、预后性系统评价最常用的是治疗性的系统评价n按原始研究的设计方案随机对照试验、非随机对照试验系统评价Cochrane系统评价主要针对RCT进行评价n按纳入原始研究的方式前瞻性、回顾性、累积性系统评价n按统计方法定性、定量系统评价（Meta-分析）17以评价治疗措施疗效的Cochrane系统评价为例，介绍系统评价的基本方法和步骤。182、Cochrane系统评价的基本步骤Cochrane系统评价的完成和发表程序19Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价20Cochrane系统评

8、价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价21提出问题临床重要并可行的问题构成系统评价问题的四要素： 研究的受试对象（P） 主要的干预措施（I） 研究的重要结果（O） 研究的设计方案（S）22例1：阿司匹林（干预措施）是否能降低急性脑梗死患者（研究对象）的短期死亡率（研究结果）？- 随机对照试验（设计方案）的系统评价 23Cochrane系统评价计划书格式Cochrane系统评价计划书有统一的格式，包括：一、背景（background）1、概述：疾病的定义、病因、疾病负担、流行病学、疾病的自然史2、该病的治疗现状

9、3、介绍被评价的干预措施4、本系统评价的必要性24Cochrane系统评价计划书格式二、系统评价的目的（Objectives）三、原始研究的纳入标准（inclusion criteria）和排除标准（exclusion criteria）1、研究对象2、干预措施3、测量指标（重视选择终点指标）4、研究类型25Cochrane系统评价计划书格式四、检索策略（Search strategy for identification of studies）和方法五、评价方法（Methods of the review）n 文献选择（Study selection）n 数据提取（Data extracti

10、on）n 资料分析（Data analysis）六、其他：封面、致谢、利益冲突、参考文献、时间安排、人员、经费、结果传播等26Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价27文献检索制定检索策略，系统、全面收集文献（包括所有语言、发表和未发表的文献）方法：n检索电子数据库（目前主要的检索途径）n查阅相关实践指南n咨询相关领域的专家n查阅会议论文集n手检主要的、相关的专业期刊n检索进行中的临床试验注册库n查阅相关系统评价和原始资料的参考文献28Cochrane系统评价的基本步骤提出问题，制订系统

11、评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价29选择文献（两人独立筛选）31Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价32文献质量评价评价原始文献质量的重要性：n原始文献的真实、可信，关乎于系统评价的质量Garbage in， Garbage outn分析资料时，对不同质量的文献给予不同的权重值33文献质量评价评价文献质量的方法很多，但尚无金标准，其核心是评价原始文献的内在真实性。Cochrane协作网要求，根据影响研究质量的重要因素，推荐在

12、评价时至少应包括以下几方面：n是否采用真正的随机方法？（选择偏倚）n随机分配方案是否完善隐藏？（选择偏倚）n影响研究结果的重要因素的基线在组间是否可比？（选择偏倚）n是否对研究对象、治疗方案实施者、研究结果测量者采用盲法？ （测量偏倚、实施偏倚）是否有研究对象失访、退出、违背治疗方案并在分析是作恰当处理？（随访偏倚）文献质量评价随机分组序列的产生方法2分：通过计算机产生的随机序列或随机数字表产生的序列；1分：试验提到随机分配，但产生随机序列的方法未予以交待；0分：半随机或准随机试验，指采用交替分配病例的方法，如按入院顺序、出生日期单双数。双盲法2分：描述了实施双盲的具体方法并且被认为是恰当的，

13、如采用完全一致的安慰剂等；1分：试验仅提及采用双盲法；0分：试验提及采用双盲，但方法不恰当如比较片剂与注射剂而未提到使用双假的方法。退出与失访1分：对退出与失访的病例数和退出的理由进行了详细地描述；0分：没有提到退出或失访。35文献质量评价36文献质量评价37Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价38收集数据设计资料提取表格、提取相关信息内容，包括：n文章发表信息：（题目、发表时间、作者等）n纳入研究特征：方法学部分（随机方法、分配隐藏、盲法）基线资料（年龄、性别、严重度、病程、随访和失

14、访等）纳入/排除标准干预措施资料（治疗方法、剂量、疗效、对照措施等）结局资料（死亡、残废等）41数据管理所有的数据资料均要输入系统评价管理软件（review manager，Revman 5.0）Revman软件是Cochrane协作网制作和保存Cochrane系统评价的专用软件。其主要作用为制作和保存Cochrane系统评价计划书或全文，对录入的数据进行Meta分析并用MetaView将分析结果以图表的形式展示，以及对系统评价进行更新。可免费下载：42Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据

15、分析资料和报告结果解释系统评价的结果更新系统评价43分析资料和报告结果n定性分析（non-quantitative analysis）将纳入试验的情况进行描述n定量分析（quantitative/Meta analysis）当资料适当时采用Meta-分析，其结果用森林图表示。n亚组分析 (Sub-group analysis)n异质性检验 (Test of heterogeneity)n结果合成 (Pooling data)敏感性分析 (Sensitivity analysis)44Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告

16、结果解释系统评价的结果更新系统评价45解释系统评价的结果1. 系统评价的局限性系统评价的局限性包括纳入研究的局限性和系统评价的局限性。 纳入研究的局限性是指单个研究存在的局限性，可从各个研究的设计、实施等方法学质量方面进行归纳总结；系统评价的局限性是指系统评价研究过程中存在的问题，如资料收集是否全面、纳入研究的多少、在研究过程中哪些问题没有解决等。46系统评价的评价要点：n是否集中回答了重要的临床问题？n是否全面检索了有关的数据库？重要的相关文献有否被遗漏？n文献纳入和排除的标准是否合适？n是否充分分析了可能的偏倚？47解释系统评价的结果2. 系统评价的论证强度目前没有一个统一的方法对论证强度

17、进行分级，系统评价者可就使用何种方法评价证据强度咨询其所在的Cochrane评价小组。SR论证强度取决于：n原始研究的质量n合成效应值的大小、差异是否有统计学意义n各原始研究之间的效应量是否一致n是否存在剂量-效应关系48解释系统评价的结果3.系统评价的实用性在确定系统评价结果的应用价值时，首先应评价干预措施对患者的利弊关系，其次应考虑纳入系统评价的研究对象在生物特征、社会文化背景、依从性、基础危险度和病情方面是否与你的患者存在差异，是否可以推广到其他人群。49解释系统评价的结果4.系统评价对今后医学研究的意义系统评价的结果对临床医师和卫生决策具有的实用价值，为今后研究提供研究导向。50结论系

18、统评价仅提供证据，不提出是否采用该证据的建议。避免使用“推荐用”或“推荐不用”这样的字眼。51Cochrane系统评价的基本步骤提出问题，制订系统评价计划书检索文献选择文献评价文献质量收集数据分析资料和报告结果解释系统评价的结果更新系统评价52更新系统评价CochraneCochrane系统评价的结论不是一成不变的，它只是对现有文献综合分析的结果，随着新的研究资料不断的收集，其结论应加以更新。Cochrane系统评价约每年更新一次。53CochraneCochrane系统评价论文结构CochraneCochrane系统评价由封面、文摘、背景和目的、方法学、结果、讨论、结论七大部份和参考文献清单及图表。5657第三节 系统评价的评价原则系统评价如同其他研究一样，在研究的各个阶段均可产生偏倚，致使合并后的结果歪曲真实的情况。 系统评价常见的偏倚类型：n发表偏倚n文献库偏倚n纳入标准偏倚n英语偏倚因此，在使用系统评价结论之前应对其方法进行严格的评价，以确定系统评价的结论是否真实、可信。58系统评价的评价原则1、结果的真实性是否为随机对照试验？有方法学描述吗？-是否描述了文献检索方法？-纳入研究是否符合严格的纳入标准？-是否纳入所有应该纳入的研究，并进