系统评价Meta分析常用质量评价工具简介

Chin J Evid-Based Med | *1 |系统评价 /Meta分析常用质量评价工具简介杜 亮华西期刊社 /中国循证医学中心2013.5.18Chin J Evid-Based Med | *2 |提纲 一、背景 二、 RCT的质量评价工具 三、观察性研究的质量评价工具 四、非随机实验性研究的质量评价工具 五、诊断性研究的质量评价工具 六、动物实验的质量评价工具 七、 SR/Meta分析（ MA）的质量评价工具Chin J Evid-Based Med | *3 |一、 背景1.1 为什么要进行质量评价？ 真假难辨 诚信、政策、监督 好坏可评 质量评价工具造假 造假垃圾 垃圾+ =？+ =？Chin J Evid-Based Med | *4 |1.2 质量评价评什么？ 什么决定研究的好坏？ 其结果接近真实情况，稳定 偏倚程度小（可能出现在研究设计、实施、结果分析的整个过程） 集中反映在研究报告的方法学部分 高质量报告 高质量研究Chin J Evid-Based Med | *5 |1.3 质量 的 定义 试验设计产生无偏倚结论的可能性（ 内部真实性） Jadad AR，牛津大学， 1996 在设计与研究过程中反映结论 真实性 的一系列因素，这些因素与临床试验的 内部真实性 、 外部真实性 和 统计分析 有关 Verhagen AP，荷兰马斯特里赫特大学， 1998Chin J Evid-Based Med | *6 |1.4 相关名词 真实性 是指研究的设计和实施中防止系统误差或偏倚的程度，主要包括内部真实性与外部真实性 内部真实性 是指单个研究结果接近真实值的程度，即受各种 偏倚因素 ，如选择偏倚、实施偏倚、失访偏倚及测量偏倚的影响情况。 外部真实性 又称适用性或外部有效性，主要指研究结果是否可以应用于研究对象以外的其他人群，即结果的使用价值与推广应用的条件，主要与研究对象的特征、干预措施和结局的选择标准有关。Chin J Evid-Based Med | *7 |1.4 相关名词 对偏倚的认识是质量评价的核心 偏倚（ bias） 又称系统误差，是指研究的结果或推论偏离真实值，或导致这种偏离的过程，也可以说在资料收集、分析、解释或发表过程中，能够导致结论系统地与真实值有所不同的任何趋势 选择偏倚、实施偏倚、损耗偏倚、测量偏倚、报告偏倚、其他偏倚Chin J Evid-Based Med | *8 |1.4 相关名词 质量评价（ quality assessment） 是评估单个研究在设计、实施、结果分析整个过程中可能出现各种偏倚的程度。 质量评价工具 则是依据这些可能出现的偏倚的各个方面设计的。主要有 3种类型： 条目（ component/items） 一览表或清单（ checklist） 量 表（ scale）Chin J Evid-Based Med | *9 |1.5 临床流行病学研究设计分类是否由研究者分配暴露试验性研究（是）观察 性研究（否）是否随机分配 是否设立比较组非 随机对照试验（否）随机对照试验（是）分析性研究（是）描述性研究（否）同期对照试验非同期对照试验平行试验交叉试验队列研究（暴露 结局）病例对照研究（暴露 结局）横断面研究监测个案或病例系列报告Chin J Evid-Based Med | *10 |二、 RCT的质量评价工具 RCT是实验性研究设计中的 “金标准 ” AHRQ研究显示，涉及 RCT的评价工具共 20种量表、 11种清单及 1种组成部分的评价工具和 7类指导性文件 RCT：采用随机分配方法（随机数字表、计算机随机序列、抛硬币法等）将受试者分入不同处理组。 CCT：采用半随机分配方法（按入院顺序、住院号、研究对象生日的奇偶）分配到不同处理组。Chin J Evid-Based Med | *11 |2.1 Cochrane偏倚风险评估工具CJEBM干预类 SR中 67.6%使用领域 条目 说明选择偏倚 1.随机序列产生2.分配隐藏实施偏倚 3.对研究者和受试者施盲测量偏倚 4.研究结果盲法评价随访偏倚 5.结果数据的完整性报告偏倚 6.选择性报告研究结果其他偏倚 7.其他偏倚来源Chin J Evid-Based Med | *12 |2.2 Jadad量 表Jadad scaleCJEBM干预类 SR中 12.1%使用 1996年由 Jadad等发布 最初目的是为了评价疼痛治疗的 RCT质量，从随机方案及其隐匿、盲法、退出与失访病例的原因及数量 3方面进行评价 采用 0-5分计分法， 2分为低质量， 3分为高质量 优点：简单明了，直接评价经验证的、与试验效应估计中的偏倚有直接关系的试验特征 缺点：存在诸多不组，如未考虑分配隐藏 推荐：将 Jadad量表与隐蔽分组的评价结合起来Chin J Evid-Based Med | *13 |2.2 Jadad量表Jadad scale评价指标 内容 记分随机 未随机 /不清楚 /假随机 0提及 “随机 ”，但未描述具体的随机方法 1采用 “随机 ”，并描述了正确的随机方法 2盲法 未实施双盲 /假双盲 0提及 “双盲 ”，但未描述具体的施盲方法 1采用 “双盲 ”，并描述了正确的施盲方法 2退出 /失访 未提及 0描述退出 /失访例数及原因 1Chin J Evid-Based Med | *14 |2.3 Delphi清单 由马斯特里赫特大学 Verhagen及其同事 1998年依据Maastricht和 Chalmers量表，遵照 Delphi法制作 针对 RCT的内部 有效性、外部有效性和统计分析 3个 方面 共 8个条目，其中第 1条又分为两个部分 采用 “是 ”、 “否 ”、 “不清楚 ”进行判断 缺点：基于专家共识而非实验数据Chin J Evid-Based Med | *15 |2.3 Delphi清单是，否，不清楚选择偏倚 1.治疗分组：是否采用随机分组是否采用分配隐藏选择偏倚 2.重要结局基线是否相似选择偏倚 3.清楚描述受试者入选条件测量偏倚 4.对结果评价者施盲实施偏倚 5.对研究者施盲实施偏倚 6.对受试者施盲？ 7.提供主要结局的点估计值和可信区间随访偏倚 8.意向治疗分析Chin J Evid-Based Med | *16 |2.4 PEDro量表Physiotherapy Evidence Database物理治疗证据数据库， 1999，乔治中心的物理治疗循证中心序号 条目 记分1 清楚描述受试者纳入标准 每个条目 1分，采用 “是 ”、 “否 ”进行判断2 随机分配3 分配隐藏4 重要指标基线相似5 受试者盲法6 治疗师盲法7 评价者盲法8* 85%的受试者进行至少一项主要结局测量9 有测量结果受试者需遵方案治疗，或行意向治疗分析10* 对至少一项主要结局的组间统计进行报告11 提供至少一项主要结局的点估计值和可信区间基于 Delphi清单制作， * 在 Delphi清单基础上增加的条目Chin J Evid-Based Med | *17 |2.5 Chalmers 量表 1981年由 Chalmers等提出 分一般情况记录、研究方案、统计分析、结果陈述 4部分 ， 36个条目，均为经验条目 一般情况不参与记分， 研究方案、 统计分析 、 结果 3部分按 6： 3： 1权重记分，共 27个条目，总分 100分 缺点：实施繁琐、耗时；部分内容与报告质量混淆Chin J Evid-Based Med | *18 |三、观察性研究的质量评价工具 非实验性研究（队列、病例 -对照、横断面），未加干预，允许事件自然发展 与 RCT相比，更易受（选 则 性）偏倚风险影响（横断面 病例 -对照 队列） 2005年，剑桥大学 Simon Sanderson等研究显示： 86种观察性研究质量评价工具： 19%病例 -对照； 27%队列； 7%横断面 45%病例 -对照 / 队列； 15%3种设计 2010年，明尼苏达大学 Tatyana Shamliyan等研究显示： 96种 观察性研究质量评价 工具（ 46量表， 51清单）： 21.88%队列； 13.54%病例 -对照； 5.21%横断面Chin J Evid-Based Med | *19 |3.1 NOS量表The Newcastle-Ottawa Scale 纽卡斯尔 -渥太华量表（ The Newcastle-Ottawa Scale, NOS） 3大块（人群选择、可比性、暴露评价或结果评价）， 8个条目 采用星级系统的半量化原则，满分队列研究为 13颗星，病例 -对照研究 9颗星 被 Cochrane协作网的非随机研究方法学组用于培训，并被推荐使用。 免费下载网址http:/www.ohri.ca/programs/clinical_epidemiology/oxford.aspChin J Evid-Based Med | *20 |3.1.1 队列研究 NOS量表条目 评价标准研究人群选择 暴露组的代表性如何 1. 真正代表人群中暴露组的特征；2. 一定程度上代表了人群中暴露组的特征；3. 选择某类人群，如护士、志愿者；4. 未描述暴露组来源情况。非暴露组的选择方法 1. 与暴露组来自同一人群；2. 与暴露组来自不同人群；3. 未描述非暴露组来源情况。暴露因素的确定方法 1. 固定的档案记录（如外科手术记录）；2. 采用结构式访谈；3. 研究对象自己写的报告；4. 未描述。确定研究起始时尚无要观察的结局指标1. 是；2. 否。Chin J Evid-Based Med | *21 |3.1.1 队列 研究 NOS量表条目 评价标准组间可比性 设计和统计分析时考虑暴露组和未暴露组的可比性1. 研究控制了最重要的混杂因素；2. 研究控制了任何其他的混杂因素（此条可修改用以说明特定控制第二重要因素。结果测量 研究对于结果的评价是否充分1. 盲法独立评价；2. 有档案记录；3. 自我报告；4. 未描述。结果发生后随访是否足够长1. 是（评价前规定恰当的随访时间）；2. 否。暴露和非暴露组的随访是否充分1. 随访完整；2. 有少量研究对象失访但不至于引入偏倚（规定失访率或描述失访情况）；3. 有失访（规定失访率）但未行描述；4. 未描述随访情况Chin J Evid-Based Med | *22 |3.1.2 病例 -对照研究 NOS量表条目 评价标准研究人群选择 病例确定是否恰当 1. 恰当，有独立的确定方法和人员；2. 恰当，如基于档案记录或自我报告；3. 未描述。病例的代表性 1. 连续或有代表性的系列病例；2. 有潜在的选择偏倚或未描述。对照的选择 1. 与病例同一人群的对照；2. 与病例同一人群的住院人员为对照；3. 未描述。对照的确定 1. 无目标疾病史（端点）；2. 未描述来源。Chin J Evid-Based Med | *23 |3.1.2 病例 -对照研究 NOS量表条目 评价标准组间可比性 设计和统计分析时考虑病例和对照的可比性1. 研究控制了最重要的混杂因素；2. 研究控制了任何其他的混杂因素（此条可以进行修改用以说明特定控制第二重要因素）暴露因素的测量暴露因素的确定 1. 固定的档案记录（如外科手术记录）；2. 采用结构式访谈且不知访谈者是病例或对照；3. 采用未实施盲法的访谈（即知道病例或对照的情况）；未描述采用相同的方法确定病例和对照组暴露因素1. 是；2. 否。无应答率 1. 病例和对照组无应答率相同；2. 描述了无应答者的情况；3. 病例和对照组无应答率不同且未描述Chin J Evid-Based Med | *24 |3.2 横断面研究的质量评价工具 JBI量 表JBI PACES (Joanna Briggs Institute, Practical Application of Clinical Evidence System)澳大利亚循证护理中心 （ 1996年建立， 31国设分中心， 2004年复旦）的在线临床证据评鉴系统条目 评价标准1 该研究的研究目的是否明确？立题依据是否充分？0分：不符合要求；1分：提及，但未详细描述；2分：详细、全面、正确描述。2 研究人群是如何选择的（是否随机选取研究对象，是否采取了分层抽样以提高样本的代表性）？3 是否清晰地描述了样本的纳入及排除标准？4 是否清晰地描述了样本特征？5 资料收集的工具是否具有信度和效度（如采用调查员调查，调查结果的可重复性如何）？6 核实资料真实性的措施是什么？7 是否考虑到伦理问题？8 统计方法是否正确？9 对研究结果的陈述是否恰当、准确（结果和推论是否区分开来，结果是否忠实于数据而不是推论）？10 是否对研究价值进行了清晰的阐述？Chin J Evid-Based Med | *25 |3.3 横断面 研究 AHRQ清单Agency for Healthcare Research and Quality条目 是 否 不清楚1 是否明确了资料的来源（调查、文献回顾）？2 是否列出了暴露组和非暴露组（病例和对照）的纳入及排除标准或参考以往的出版物？3 是否给出了鉴别患者的时间阶段？4 如果不是人群来源的话，研究对象是否连续？5 评价者的主观因素是否掩盖了研究对象其他方面情况？6 描述了任何为保证质量而进行的评估（如对主观结局指标的检测 /再检测）7 解释了排除分析任何患者的理由8 描述了如何评价和（或）控制混杂因素的措施9 如果可能，解释了分析中是如何处理丢失数据的10 总结了患者的应答率及数据收集的完整性11 如果有随访，查明预期患者不完整数据所占的百分比或随访结果Chin J Evid-Based Med | *26 |3.4 横断面 研究 Combie量表1996年 Iain Crombie在 The Pocket Guide to Critical Appraisal一书中提出条目 评价标准1 设计科学 是： 1分；否： 0分；不清楚： 0.5分。如某条目不适合判定的研究，则以 “”表示，并计 1分。总分： 7.0分。A级： 6.0-7.0分B级： 4.0-5.5分C级： 4.0分2 数据收集策略合理3 报告了样本应答率4 样本对总体的代表性好5 研究目的和方法合理6 报告了检验效能7 统计方法合理Chin J Evid-Based Med | *27 |3.5 经验总结、案例分析及专家意见 JBI量表条目 评价标准1 是否清晰地描述了引用文章的来源？ 0分：不符合要求；1分：提及，但未详细描述；2分：详细、全面、正确描述。2 是否清晰地阐述了撰写该文章的目的？3作者在该领域是否具有影响力？4 作者所推荐的观点或建议是否以患者利益为中心？5 作者所推荐的观点或建议是否具有逻辑性？6 作者对其观点或建议的分析是否合适？7 用于支持作者所推荐的观点或建议的引用文献是否充分？8 作者所推荐的观点及建议与以往文献是否有不一致的地方？Chin J Evid-Based Med | *28 |四、非随机实验性研究的质量评价工具 并非所有的临床试验都可以设计成随机对照试验 2003年，牛津大学 J. J. Deeks等全面评价了 2000年以前发表的非随机试验性研究评价工具： 213种工具 量 表清单各占一半 14种为最佳工具，其中 6种可用于 SRChin J Evid-Based Med | *29 |4.1 MINORS量表Methodological Index for Non-randomized Studies序号 条目 提示1 明确地给出了研究目的 所定义的问题应