福医大临床流行病学研究课件14系统评价

系统评价提纲一、系统评价概述二、系统评价的步骤与方法三、系统评价工作的注意事项四、发表偏倚偏倚及其控制五、系统评价研究报告的评价标准一、系统评价概述（一）基本概念（二）系统评价与叙述性综述的比较（三）开展系统评价的必要性（四）系统评价的意义（一）基本概念1.文献综述（叙述性综述）是指综合性描述近年有较大进展的某一专题，或存在较多争议的某一专题，并加以归纳整理，并提出一些作者自己的观点，以反映该专题的过去、现况、发展方向。

2.系统评价（systematicreview）系统评价是指针对一种疾病或某一诊疗措施全面收集所有相关临床研究并逐个进行严格评价和分析，必要时进行定量合成的统计学处理，再得出综合结论的过程。亦称综合分析（overview，systematicoverview，poolingproject）。全面收集全世界所有有关研究对所有的研究逐个进行严格评价联合所有研究结果进行综合分析和评价必要时进行Meta-分析(一种定量合成的统计方法)

得出综合结论（有效、无效、应进一步研究)提供尽可能减少偏倚的科学证据3.Cochrane系统评价Cochrane系统评价是Cochrane协作网协作者在Cochrane协作网统一工作手册指导并在相应Cochrane评价组编辑部指导和帮助下完成并发表在Cochrane图书馆(TheCochraneLibrary光盘和因特网上)的系统评价。4.Meta分析（Meta-analysis，荟萃分析，汇总分析）1）广义：当系统评价用定量合成方法对资料进行统计学处理时称为Meta分析。它是系统评价的一种类型，是一研究过程。2）狭义：是能够定量合成研究结果的一种统计学处理方法。（二）系统评价与叙述性综述的比较1.系统评价与叙述性综述的格式对比2.系统评价与叙述性综述的共同点3.系统评价与叙述性综述的区别4.Cochrane系统评价的特点1.系统评价与叙述性综述的格式对比比较项目叙述性综述系统评价题目摘要结构式前言撰写综述的理由、目的、意义、背景提出临床问题，确定研究目的与意义正文对论述的问题分析归纳，按时间顺序纵向描述或按国际、国内横向论述或纵横结合方法文献检索、研究的选择、质量评估数据摘录、研究特征、数据定量综合方法结果描述研究特征、数据定量综合讨论总结得出结论，指出有待解决的问题得出结论，并概述其真实性、可靠性和临床意义2.系统评价与叙述性综述的共同点

系统评价与叙述性综述在目的与资料的时间性上是相同的。1.目的提供新信息，让读者在短时间内了解某专题的研究概况和发展方向，获得解决某一临床问题的方。2.资料时间性回顾性、观察性，可能存在系统偏倚和随机错误。3.系统评价与叙述性综述的区别比较项目叙述性综述系统评价立题导向资料导向针对具体临床问题，问题导向原始文献来源常未说明、不全面明确，常为多渠道检索方法与文献资料的完整性常未说明，或缺乏统一的检索方法有明确的检索策略，收集所有的文献文献严格评价筛选文献没有严格的统一的标准根据科学标准评估原始文献的评价评价方法不统一有严格的评价方法原始文献的选择常未说明、有潜在偏倚有明确的选择标准原始文献的质量要求对原始文献的质量考虑较少删除无科学性文献并在讨论中说明结果的合成定性总结将符合条件文献结果加以定量综合结论的推断有时遵循研究依据，结论可能不完整，作者的观点有一定倾向性，重复性一般较差多遵循研究依据结果的更新未定期更新定期根据新研究结果进行更新4.Cochrane系统评价的特点特点Cochrane系统评价一般系统评价资料搜集全面不一定全面质量控制措施完善不一定完善方法学规范不一定规范不断更新是否反馈意见及修正及时不一定及时（三）开展系统评价的必要性1.随着疾病谱发生变化，恶性肿瘤、心脑血管病及其他慢性疾病成为危害人民健康的主要疾病；2.多因素疾病不可能获得象急性传染病或营养缺乏性疾病那样明显的疗效而只能取得一定程度的疗效，多数单个RCT样本量小而不能得出准确可靠的结论，需要大样本RCT证实；3.大规模RCT消耗人力、

财力和时间，多数单位没有条件作大规模RCT；4.系统评价/Meta-分析可以综合单个RCT，增大了样本含量。（四）系统评价的意义1.对证据的质量进行了严格评价；2.增大样本含量，所获结论更真实、可靠，被推荐为疗效评价的金标准，为临床治疗实践提供可靠依据；2.解决寻找证据难的问题(收集全世界零散的有关研究)，结论简单明了，临床医师能更快、更准确、更方便地了解最新医疗措施，指导临床实践，提高医疗质量；3.目前发达国家已越来越多地使用SR结果作为制定临床工作指南和临床决策的依据。二、系统评价的步骤与方法（一）提出问题（二）制订系统评价研究方案（三）检索并选择研究文献（四）对纳入的研究文献进行质量评价（五）收集资料（六）分析资料、形成结果（七）解释结果（八）系统评价的改进与更新（一）提出并形成系统评价的问题科学性、临床意义可能得到回答问题的构成要素：简明、准确、具体研究对象干预类型评价结局“在中度哮喘的成年病人中，与中等剂量的类固醇喷雾治疗比较，salmeterol喷雾治疗对控制症状和预防远期肺损害的效果如何?"问题例子1.病人特征在中度哮喘的成年病人中2a.所要评价的干预措施?Salmeterol喷雾治疗2b.所考虑的对照治疗?…与中等剂量的类固醇喷雾治疗相比较……3.最重要的疗效结果是什么?…..控制症状和预防长期的肺损害?（二）制订系统评价研究方案(1)研究背景临床问题的重要性、意义需要解决的问题以往的系统评价、是否存有争议目的解决有矛盾的证据回答一些尚无确切答案或有多种不同的解释的问题最终目的是概括并帮助人们正确地理解证据。（二）制订系统评价研究方案(2)制定检索策略确定合格文献的标准（纳入标准）评价文献质量的方法收集和分析数据的方法结果的分析和报告（二）制订系统评价研究方案(3)Cochrane协作组将对研究方案进行评审、修改并提出反馈意见。研究方案将在Cochrane系统评价数据库中发表并接受来自用户的评论或批评（三）检索并选择研究文献（1）制定检索策略，进行全面的、系统的检索检索方法、数据库主题词研究类型（三）检索并选择研究文献（2）证据的来源研究原著系统评价报告实践指南其他针对治疗指南的综合研究证据专家意见（三）检索并选择研究文献（3）收集证据的途径电子数据库CochraneReviewGroupregisterCochraneControlledTrialsRegisterMEDLINEEMBASEOtherappropriatedatabases手工检索(参考文献目录，

会议资料)个人交流（与同事、专家、药厂联系获得未发表的文献，如学术报告、会议论文、毕业论文等）（三）检索并选择研究文献（4）

选择研究按照纳入标准研究设计类型样本量要求两人独立进行评估不一致时由第三者或双方讨论协商解决收集文献阅读题目、摘要排除可能合格的文献阅读全文排除不肯定纳入与作者联系排除纳入选择文献的基本步骤（四）对纳入的研究文献进行质量评价评价文献的质量是指评估单个临床试验在设计、实施和分析过程中防止或减少偏倚和随机误差的程度，以作为纳入原始文献的阈值、解释不同文献结果差异的原因、进行系统评价敏感性分析和定量分析(Meta-分析)时给予文献不同权重值的依据。1.文献的评价内容1）内在真实性(internalvalidity)：指单个研究结果接近真值的程度，即受各种偏倚因素如选择偏倚、实施偏倚、失访偏倚和测量偏倚的影响情况；2）外在的真实性(externalvalidity)：指研究结果是否可以应用于研究对象以外的其它人群，即结果的实用价值与推广应用的条件，主要与研究对象的特征、研究措施的实施方法和评估结局的指标密切相关；3）影响结果解释的因素：如治疗性试验中药物的剂量、剂型、用药途径和疗程等因素。2.具体评价指标在评价时至少应包括以下几方面。1）是否为真正的随机方法？2）随机分配方案是否完善隐藏？3）影响研究结果的重要因素在组间是否可比？4）是否对研究对象、治疗方案实施者、研究结果测量者采用盲法？5）是否有研究对象失访、退出、违背治疗方案并在分析时作恰当处理(意向分析法、效力分析、实际治疗分析)？

3.注意事项为了避免选择文献和评价文献质量者的偏倚，可以考虑一篇文章多人或盲法选择和评价，也可采用专业与非专业人员相结合的共同选择和评价的办法，对选择和评价文献中存在的意见分歧可通过共同讨论或请第三人的方法进行解决。此外，应进行预试验，以摸索经验，标化和统一选择、评价方法。4.对文献评价结果的处理排除质量低的研究，但有排除产生真实性结果研究的危险纳入低质量的试验同时探讨质量高低对效应估计值的影响用敏感性分析探讨排除低质量研究对系统评价结果证据强度的影响使用Meta回归模型累积性Meta分析（五）资料收集根据制订的调查表和需要收集的内容，收录有关的数据资料，其中包括：①一般资料：如评价的题目、评价者的姓名、原始文献编号和来源、评价的日期等；②研究特征：如研究的合格性、研究对象的特征和研究地点、文献的设计方案和质量、研究措施的具体内容和实施方法、有关偏倚防止措施、主要的试验结果等；③结果测量：如随访时间、失访和退出情况、分类资料应收集每组总人数及事件发生率、连续资料应收集每组研究人数、均数和标准差或标准误等。所有的数据资料均要输入系统评价管理软件(reviewmanager；Revman)，以进行文献结果的分析和报告。（六）分析与结果描述

对收集的资料，可采用定性或定量的方法进行分析，以获得相应的结果。包括：1.定性分析(non-quantitativesynthesis)2.定量分析(quantitativesynthesis)1.定性分析定性分析是采用描述的方法，将每个临床研究的特征按研究对象、干预措施、研究结果、研究质量和设计方法等进行总结并列成表格，以便浏览纳入研究的情况、研究方法的严格性和不同研究间的差异，计划定量合成和结果解释，因此，定性分析是定量分析前必不可少的步骤。2.定量分析定量分析包括3个方面：同质性检验、Meta-分析和敏感性分析。1)同质性检验(homogeneity)同质性检验是指对不同原始研究之间结果的变异程度进行检验。如果检验结果有显著性差异，应解释其可能的原因并考虑进行结果合成是否恰当。确定各研究结果是否同质有2种方法：一是作图观察各研究结果的效应值和可信区间是否有重叠，如果可信区间差异太大，则不适合将不同研究的结果进行合成。另一种方法是进行同质性检验，如果同质性检验有显著性差异，则不宜将不同研究的结果进行合成。2）Meta-分析Meta-分析应根据资料的类型及评价目的选择效应指标和统计分析方法。对于分类变量，可选择比值比(oddsratio)、相对危险度(relativerisk)、危险度差值(riskdifference)和防止一例不良事件发生需要治疗同类患者的人数（NNT）等作为效应指标表示合成结果。对于连续性变量，当结果测量采用相同度量衡单位时应选择加权均数差值(weightedmeansdifference)，而当结果测量采用不同的度量衡单位，如疼痛评分在不同研究中采用不同的量表时，则应选择标化的均数差值(standardizedmeandifference)。2）Meta-分析算法与注意事项进行Meta分析合成结果时，可选择固定效应模型(fixedeffectmodel)或随机效应模型(randomeffectmodel)。Meta分析的结果采用森林图(forestplot)表示。太多数学的内容，其实有很多计算机软件可以实现。比较权威而且免费者是：

Revman4.2

http:///cochrane/revman.htm常用软件SAS,STATA也可以。千万谨慎！!Meta-分析只是一个统计工具。它不可能将那些本身有问题的研究结果，合成一个好的结果；Meta-分析也仅仅是系统评价中一个部分。3)敏感性分析(sensitivityanalysis)敏感性分析(sensitivityanalysis)：指改变某些影响结果的重要因素如纳入标准、研究质量的差异、失访情况、统计方法(固定效应或随机效应模型)和效应指标的选择(比值比或相对危险度)等，以观察同质性和合成结果是否发生变化，从而判断结果的稳定性。

（七）结果的解释（讨论和结论）1.证据的强度2.结果的可应用性3.其他与决策有关的信息如费用问题和临床实践的现状4.干预措施的利、弊、费用的权衡1.证据的强度纳入研究的设计方案和每个研究的质量及其不足之处系统评价本身的方法是否存在重要的方法学局限合成结果的效应值大小和方向、是否存在剂量—效应关系等。未纳入评价的其他证据加以讨论替代指标。2.可应用性纳入研究的对象的背景是否与自己的病人相似；对可能应用的情况以及影响应用效果的因素进行讨论；要考虑生物学或文化的差异、病人对干预措施的依从性、病人基线水平(事件率)的差异、费用及病人的态度。3.对干预措施的利弊和费用进行卫生经济学分析4.对医疗和研究的意义最后评价者需要对系统评价的发现对临床实践的意义进行总结，对该评价结果对未来的科学研究具有什么样的价值进行概括。（八）系统评价的改进与更新系统评价的更新是指在系统评价发表以后，定期收集新的原始研究，按前述步骤重新进行分析、评价，以及更新和补充新的信息，使系统评价更完善。

三、系统评价工作的注意事项（一）提出的问题应有实际意义；（二）评价方法科学性强；评价的方法应当确保评价结果尽可能提供最佳的决策证据。（三）当对评价的问题还没有可靠证据甚至没有证据存在时，应当让决策者知道这一事实；（四）当有低质量证据纳入时下结论应十分慎重；（五）系统评价应当全面。四、发表偏倚偏倚及其控制（一）定义（二）产生原因（三）不良影响（四）控制措施（一）定义所谓发表偏倚是指“统计学上有意义”的阳性研究结果较“统计学上没有意义”的阴性研究结果或无效的研究结果更容易被发表。在医学研究中，这种现象是相当普遍的。实例：牛津研究中心批准研究项目的发表情况1991年Easterbrook等对牛津研究中心伦理委员会在1984一1987年批准立项的285项研究的发表情况进行了分析调查。154项研究结果有统计学意义的项目中有93项已经发表，发表率为60.4％。另外131项研究结果没有统计学意义或无效的项目中只有45项发表，发表率仅为34.3％。多变量分析结果表明，调整了与文献发表有关的其他因素（研究设计、基金资助情况、样本大小等）的影响后，研究结果有统计学意义是预测文献发表的独立因素（OR=2.32，95%CI为1.25－4.28）。（二）产生原因发表偏倚来源于是作者、研究赞助者和杂志社编辑，其产生原因可归纳为以下两个方面。

1.阳性结果文章比阴性结果文章容易发表，而且有较多机会发表在高影响因子的期刊上，会有更高的引用率；杂志不愿发表阴性结果；作者不愿发表阴性结果；药厂不愿发表阴性结果；疗效判断指标的某些选择易于出现阳性结果，发表机会增多；有基金资助的研究常常有较高的发表率，受国家级基金资助的研究的发表率最高，且其研究结果常常是阳性的；随机对照试验的阳性结果常常低于非随机对照试验；有盲法的随机对照试验的阳性结果通常低于非盲法的随机对照试验；观察性研究和实验研究较临床研究容易出现发表偏倚。2.小样本试验显示戏剧性结果时容易发表。（三）不良影响1.导致系统评价结果不真实，从而造成对临床实践的错误导向；发表偏倚对meta分析结果的真实性和可靠性有很大的影响，特别是当入选meta分析的研究主要是以小样本研究为主时，发表偏倚常使meta分析的效应合并值被高估，甚至使结论逆转，产生误导，即本来没有统计学意义的meta分析结果变为有统计学意义的结果。

2.不发表阴性结果是对病人不负责任。（四）控制措施1.系统、全面、无偏地检索出所有与课题相关的文献是减少抽样偏倚的最重要方法。尽可能全面收集发表与未发表的研究报告，包括未发表的阴性研究报告、会议论文摘要、各种研究简报、学位论文等；2.全面登记即将进行的临床试验并跟踪；3.得出阳性结果时：检验是否存在发表偏倚的可能，如漏斗图式、失安全数；在文章中分析说明发表偏倚的可能性和影响。四、系统评价研究报告的评价标准（一）系统评价的结果的真实性（二）系统评价结果的临床意义（三）系统评价结果的适用性（一）系统评价结果的真实性1．是否来自随机对照试验

作为评价干预措施疗效“标准设计方案”的随机对照试验能较好地控制各种因素导致的偏倚，因此根据它产生的系统评价被认为是论证强度最高的研究证据。而非随机对照试验易受偏倚因素的影响，其系统评价的论证强度必然降低。2．在系统评价的“方法学”部分，是否描述了检索和评价临床研究质量的方法?

从作者报告的文献检索方法中可明确收集的文献是否包括了发表和未发表的文献，是否包括了多语种的文献?是否漏掉了重要的相关文献?收集的文献越系统、全面，则结论受发表偏倚的影响就越小，可信度就越大。由于系统评价多为对原始文献资料的再分析和总结，因此，除了进行系统评价的方法要严格外，原始文献的质量非常重要。所以文中应详细描述评价文献质量的方法。3．不同研究的结果是否一致

如果纳入系统评价的每个临床研究，其治疗效果相似或至少疗效的方向一致，则由此合成的结果的可信度较高。因此，作者应对各个研究结果之间的相似性，即同质性进行检验。如果同质性检验有统计学显著性差异，则应解释差异的原因并考虑将结果进行合成是否恰当。（二）系统评价结果的临床意义系统评价结果的临床意义取决于两个方面：第一，系统评价的疗效大小；第二，疗效的精确性如何。

在进行结果合成时，不能通过简单比较阳性研究结果和阴性研究结果的研究个数来确定系统评价的结论，而应该根据研究的质量和样本含量的大小对不同研究给予不同的权重值，并采用恰当的指标如比值比(OR)、相对危险度(RR)、均数的差值(MD)、防止一例不良事件发生需要治疗同类患者的例数(NNT)和统计方法如随机效应模型和固定效应模型等合成结果，同时计算相应指标的可信区间。（三）系统评