如何评价临床实验文献的优劣.ppt

临床研究文献质量的严格评价,主要内容,概述 随机对照研究文献的严格评价 其他类型研究文献的严格评价,一、概述,来源复杂 质量良莠不齐 应用时需要结合患者的具体情况,1、临床研究文献评价的重要性,内部真实性 外部真实性（即适用性） 重要性,2、文献评价的内容,真实性或效度（validity）是指研究收集的数据、分析结果和所得结论与客观实际的符合程度。真实性包括内部真实性和外部真实性两个方面。,真实性（validity）,定义 研究结果与实际研究对象真实情况的符合程度，回答一个研究本身是否真实或有效。能正确反映研究人群真实状况的研究结果，称之为具有内部真实性。 影响因素 研究环境条件； 研究对象范围（类型的多少）等因素。 改善措施 限制研究对象类型； 限定研究的环境条件； 限定干预措施。,）内部真实性（internal validity）,定义 研究结果与推论对象真实情况的符合程度，又称普遍性，回答一个研究能否推广应用到研究对象以外的人群。 有内部真实性的结果推广到靶人群以外的其他人群仍然有效，称之为具有外部真实性。 影响因素 研究人群与其他人群的特征差异、研究对象类型等因素的影响。 改善措施 增加研究对象的异质性,）外部真实性（external validity）,没有内部真实性的结果必定没有外部真实性，具有内部真实性的结果也未必都有外部真实性。 增加研究对象的同质性（如限制类型如年龄、职业、体质特征或疾病分型等），可改善内部真实性。 增加研究对象的异质性，可改善外部真实性。 在研究中经常将只有内部真实性而无外部真实性的结果任意推广应用至靶人群以外的其他人群，导致张冠李戴、南辕北辙、贻误时机。 在实际研究中需综合考虑研究对象的同质性和异质性问题。,）内部真实性与外部真实性的联系,抽样,机遇,内部真实性和外部真实性,病人总体（包括其他设施中的病人）,实例：美国退伍军人高血压治疗临床试验,研究对象是143例3073岁退役军人，平均舒张压115 129mmHg，均无高血压并发症。研究设计严谨，采用随机分组、双盲观察，研究对象始终配合很好，统计学处理正确。研究结果发现采用双氢克尿噻与利血平联合用药能明显降低心、脑、肾等并发症。 该研究全过程采取措施防止了偏倚发生，因而公认其结论内部真实性较高。但是，该结论对于女性或非退役军人是否有效？对于舒张压不在115 129mmHg范围内或已有高血压并发症的病人是否也有效呢？该研究是无法解决这些问题的。,（1）内部真实性评价,研究结果是来自何种设计方案 有无对照以及设置是否恰当 对象选择是否合理（诊断、纳入与排除） 组间基线状况是否均衡可比、有无相关偏倚因素存在以及是否采取了相应的防止或处理的措施、依从性如何？ 对相应的试验观测指标及资料所采用的整理、统计分析方法是否恰当,（2）外部真实性（适用性）评价,外部真实性、适用性、外推性 指研究结果或结论在不同人群、不同地点和针对具体病例的推广应用价值。 如：大型临床试验证明使用-受体阻滞剂对心力衰竭有益，而对一名伴有糖尿病的患者是否有应适？,（2）重要性评价,指研究结果本身是否具有临床价值 包括临床重要性与统计学意义相方面，两者应相互结合，缺一不可。 常需要借助于一些定性或定量指标来进行 如：相对危险度降低率RRR，绝对危险度除低率ARR、防止一例某种事件发生需要治疗的病例数NNT，等。,3、文献评价的基本步骤,明确评价目的 明确文献的研究类型 确定评价内容与顺序 选择评价方法及评价工具,4、文献评价过程,明确评价目的 评价目的不同，决定了评价内容和重点各有侧重 疗效、病因、预后、诊断、卫生经济学评价 评价结果受评价者自身能力与水平的限制，需要学习和掌握临床流行病学原则与方法，以确保评价结果的真实性和结论的可靠性。,4、文献评价过程,明确文献的研究类型 原始文献：随机对照研究、队列研究、病例对照研究、现况研究等 二次文献：系统综述等,4、文献评价过程,确定评价内容与顺序 按内部真实性、重要性与适用性的顺序对文献展开评价,4、文献评价过程,选择文献质量评价工具 清单类(checklist) 尺度类(scale),二、随机对照试验文献评价,随机对照试验是评价干预措施是否有效、是否利大于弊的“金标准”。 随机对照试验的价值因其设计特点所决定。 随机对照试验的诞生是改变我们建立诊断、预后和治疗的临床工作的基础。(Sackett).,（一）基本概念,2、随机对照试验优势,按随机化原则分配受试对象至不同的组别，能控制已知或未知的混杂因素，使结果可比。 为前瞻性临床试验，能确定受试对象的标准，主动控制试验措施及确定效应的标准，易于控制偏倚，使试验可重复。 随机对照试验与盲法结合，结果更具说服力.,（二）随机对照研究评价要点,1、内部真实性评价 2、重要性评价 3、适用性（实用性）评价,1、研究结果是否是真实的？,1.是否采用了真实的随机法？是否采取随机隐匿 2.是否随访了纳入研究的所有患者？是否报告了失访情况？ 3.是否随机分配入组的所有患者都进行了分析？ 4.对照设置是否合理？是否采用了盲法？ 5.是否保证了组间基线状态的可比性 6.是否注意了辅助治疗的影响 7.选择的统计分析方法是否合适？,随机化与随机隐匿,随机化是指研究总体中每一个观察单位均有同等的机会被选入试验组或对照组。 随机化方法：随机数字表、计算机软件 随机隐匿：将随机化分配序列隐藏起来，以防止分配结局被负责纳入研究对象者预先知晓。,为什么要进行随机分配隐匿,随机分配序列产生后，受试对象的入组情况就已经确定。如果受试对象的选择者知道随机分配序列，在病例选择过程中就预先知道下一个合格对象的入组情况。 有时，研究人员为了让具有某种特征的受试对象接受某种干预措施以获得有益于该干预措施的结果，就有可能改变随机分配序列，不按照事先产生的分配序列分配对象，而导致选择性偏倚。,隐匿随机分配方案的方法,研究表明：与分配方案隐藏完善的试验相比，未隐藏分配方案或方案分配隐藏不完善的试验，常常夸大治疗效果30-41%。,中心电话随机(central telephone randomization) 药房控制随机分配（pharmacy control of allocation) 编号或编码的容器(numbered or coded container) 按顺序编码、密封、不透光的信封（serially numbered, opaque, sealed envelopes),常用随机方案隐藏的方法,随访与失访,治疗期与随访期的区别 随访与失访、退出、终止、剔除 失访：受试者找不到 退出：受试者主动退出试验，常由于副作用 终止：研究者终止受试者的试验，常由于副作用或受试者违背方案 剔除：研究结束进行资料整理时，发现不合格者，将其剔除不进行分析。,不完全结局数据,包含失访、中止、退出与剔除的数据均称为不完全结局数据(incomplete outcome data) 参与了随机分组的患者是否全部进行了分析 报告与处理 假定治疗组所有失访者为阴性结果或发生了不良事件，而对照组的所有失访者为阳性结果或没有不良事件，进行统计处理。,不完全结局数据,参与了随机分组的患者是否全部进行了分析 意向性分析（intention-to-treat, ITT）：根据研究对象最初分组的情况进行分析，不考虑分组后发生的情况。 符合方案分析（per protocol analysis, PPA）,结论是否包括纳入研究的全部研究对象,内、外科治疗双侧颈动脉狭窄的随机对照试验 暂时性脑缺血发作、卒中或死亡 组别 是 否 病人数 外科手术组 43 36 79 (54.4%) 内科药物组 53 19 72 (73.6%) 2 =5.98 P=0.02 151 外科手术的RRR=26%,结论是否包括纳入研究的全部研究对象,内、外科治疗双侧颈动脉狭窄的随机对照试验 暂时性脑缺血发作、卒中或死亡 组别 是 否 病人数 外科手术组 43+15 36 94 (61.7%) 内科药物组 53+1 19 73 (74.0%) 2 =2.80 P=0.09 167 外科手术的RRR=16.7%,研究对象流程图,盲法,盲法的重要性 盲法的设置 设置盲法的目的,随机分配方案隐匿与盲法比较,两者的作用目的、实施阶段与可行性不一样 前者目的是为了避免选择性偏倚，作用在受试者分配入组之前，在任何随机对照试验中都可实施。 后者的目的是为了避免受试对象和研究人员的主观偏倚，作用在受试对象分配入组并接受相应干预措施后，并不是任何随机对照试验都可全部实施。,基础治疗与基线情况,除考核的干预措施外，其他治疗是否相同 两组间治疗前基本情况是否具有可比性 当样本含量小于200例时，即使执行了严格的随机化程序，也有可能导致一些基线情况不可比。,统计方法是否合理,多数临床研究存在的问题 统计方法的合理选择与研究设计、分析目的以及分析的指标属性与分布类型有关。 亚组分析风险 基于全部受试人员得到的结论可靠性远大于只基于部分人群分析的结论可靠性。 探索性亚组分析（事后）不可避免地带来偏性 但确证性亚组分析（事先设计）结果同样可靠。,无对照试验不能肯定干预措施的真正疗效,疾病自愈倾向 安慰剂效应 X线照射脑垂体治疗高血压，X线组17(25) 假动作组14(18) 霍桑效应：指人们因为成了研究中特别感兴趣和观察的目标而改变他们的心理和行为的一种倾向。受试者只对特别注意产生兴趣而不是疗法本身。,合理设置对照,自然 转归,安慰剂+霍桑效应,传统疗法,新疗法,试验性治疗真实效应示意图,两种“有效”药物和一种安慰剂与不给药对慢性瘙痒控制的比较,药物 瘙痒计分 缓解率% Periactin 27.6 44 Temaril 34.6 30 安慰剂 30.4 39 不给药 49.6 19,不合理的对照,历史对照 自身前后对照 同期非随机对照(按病人的意愿，两组分属两个医院等),非随机对照试验结果可信的条件,某种疾病不容易误诊 其他因素不易影响疾病的进程 终点指标的判断明确(伤残、死亡) 既往治疗无能为力 如果一种新疗法明显改变了疾病的进程，而且在不同地区、人群及医生取得了相似的结果。这种结论也是可信的。,2、重要性评价,治疗效果的大小是多少？ 治疗效果的精确度如何？ 该结果是否有临床意义？,治疗的统计学效果,可信区间是按一定的概率估计总体参数所在的范围。常用95%的概率进行估计 可信区间越宽，说明被估计的总体参数可能的取值范围越宽；而越窄则说明总体参数可能的取值范围越窄。 可信区间越宽，研究结果的精确度越差；反之则越好。,是否同时考虑临床意义和统计学意义,关心试验措施与对照措施差异有否统计学意义，更要关心这种差异是否有临床意义。 常用的效应指标有： 绝对危险降低率(ARR)=Pc-Pe 相对危险降低率(RRR)=(Pc-Pe)/ Pc 需治疗人数(NNT)=1 / ARR,某项降血脂试验的疗效分析,统计学意义只是告诉我们这种差异极可能是真实的，而不能指出这种差异是否有临床意义 P0.05？ 差异确有临床意义而没有统计学意义，提示样本量不足，效能过低。 结果有统计学意义而没有临床意义，说明其应用性差。,3、研究结果的适用性（外部真实性）,研究中的患者与临床实际中的患者有何差别 研究中的治疗措施是否现实可行 是否报告全部临床结果,研究中的患者与临床实际中的患者有何差别,研究中的患者情况是否详细？ 纳入对象有明确的诊断标准、纳入标准、排除标准。 对病人的年龄、性别、民族、临床表现，病情、病程、病型进行描述 中医辨证分型的标准。 研究中的患者与临床实际中的患者有何差别？,该项措施是否切实可行,切实可行的干预措施的特征 详细描述研究的有关内容，别人能重复。 能改善该病的临床过程。 考虑到卫生经济学价值。 治疗措施适合临床实际并能为医生掌握，病人能理解，经济上能承担，行动上能遵从。 是否报告不良反应。,是否报告了全部临床结果,1. 是一种科学态度，更是医疗道德问题 如氯贝丁酯防治冠心病随机对照试验 安慰剂 氯贝丁酯 血清胆固醇变化 +1 -9 非致命心梗发病率 7.2 5.8 致命心梗发病率 8.9 7.4 病死率 (%0) 5.2 6.2,如果研究者不报告病死率的结果，将会产生何种后果？,是否报告了全部临床结果,2. 有否采用次要的结局指标代替主要结局指标。 疾病影响健康的结局： 病理改变 各种症状、体征、不适 日常生活能力减退 社会活动功能障碍 死亡,结局指标,主要结局指标：指那些对病人影响最大，病人最关心，最希望避免的临床事件。 次要结局指标：指单纯的生物学指标，包括体征和实验室检测。次要指标只有被证实能反映主要结局的变化，与主要结局有相关性，并确定由治疗所带来的结果时，选择为疗效判定指标才有意义。,主要结局指标与次要结局指标的比较,是真正的疾病结局，易于反映真正的干预效果 能反映干预的真正效果，偏倚较少,不是真正的临床结局，恰当的次要结局指标也可反映真正的干预效果并在一定条件下替代主要结局指标 出现时间较早，节省试验时间；较客观，变异小，易测量；往往能大大减少样本量,主要结局指标与次要结局指标的比较,出现时间晚，试验所需时间较长，某些主观指标变异大，不稳定；需要样本量大；若结局出现距干预结束时间较长，则易受其他非干预因素干扰 验证疗效，推广应用,若不经过严格的效度评价，易产生偏倚(现时所用的替代指标极少满足严格的效度评价条件) 探索治疗的机理，一定条件下也用于疗效的验证,（三）常用临床试验质量评价工具介绍,1、随机对照临床试验报告的国际规范(CONSORT) 2、GRADE证据分级与推荐 3、Cochrane偏倚风险评估,1、随机对照临床试验报告的国际规范(CONSORT),20世纪90年代中期，一个由国际知名的临床试验专家、统计学家、流行病学家和生物医学杂志编辑组成的小组开始起草并发表了一项方法学的研究报告，即如何提高随机对照试验报告的质量。根据几年的使用和反馈意见，该小组对报告又进行了修订，权威杂志于2010年再次发表。最新的报告由25个条目的清单和一张报告的流程图组成。,,1.题目、摘要与前言,对象与方法（1）,对象与方法（2）,结果,讨论及其他,研究对象流程图,题目与摘要(条目1)：是否有能反映随机对照试验的题目和摘要（1a），以及能体现试验设计、方法、结果和结论部分的结构式摘要（1b）。 引言(条目2)：是否叙述了研究的背景和依据(2a)并明确具体的目的和假设(2b)。,题目、摘要与研究背景（条目1-2）,CONSORT声明解读,试验设计（条目3 ）：是否描述了试验设计方法，以及受试者入组的比例（3a)；试验后是否对试验设计进行了重要改变，如有，是否说明原因(3b)。 受试者(条目4）：方法部分中，是否描述了研究对象需有纳入、排除标准(4a)，以及研究进行的场所和资料来源(4b)。 干预措施(条目5)：是否详细描述各组的干预措施以及治疗方案如应用途径及时间，以便他人能够重复。,研究方法（条目3-12）,结局指标(条目6)：是否完整而确切地说明预先设定的主要和次要结局指标及其测定的方法和时间(6a)；如果对结局指标有更改，是否说明原因(6b)。 样本大小(条目7)：是否说明如何计算样本含量及测算依据(7a)；必要时，解释中期分析和试验中止的原则(7b)。 随机化(条目8)：是否报告产生随机分配的序列的方法如随机数字表等（8a）；是否报告随机分组的类型如完全随机、区组随机等(8b)。,研究方法（条目3-12）,随机分配方案隐藏(条目9)：是否报告了随机分配序列的机制，即隐藏方法如中心随机化、药房控制的随机、密封的不透光的序列编码的信封； 随机的实施(条目l0)：是否注明由谁来产生随机方案、谁来登记病人、谁对病人进行分组； 盲法(条目11)：是否对病人、干预措施的实施者、结局评估者、数年据分析者进行设盲，盲法如何实施（11a）？必要时，需描述两组干预措施的相似之处即安慰剂的情况（11b）。 统计分析方法（条目12）：是否详细描写了各类指标的可能统计分析方法(12a)；以及可能的附加分析方法（11b）。,研究方法（条目3-12）,结果（条目13-19）,受试者流程(条目13)：结果部分中，是否报告了研究对象进入试验的流向图，如果没有，是否详细描述了受试者在试验各阶段的走向及流失情况。包括详细报告随机分配到各组的例数、接受已知分配干预的例数以及纳入主要结局分析的例数(13a)；以及分组后，各组脱落和剔除的例数，并说明原因(13b)。 受试者招蓦(条目14)：是否说明招蓦期和随访时间的长短，并说明具体日期(14a)；是否说明中断或停止试验的原因(14b),结果（条目13-19）,基线资料(条目15)：是否用表格列出各组的人口和临床特征的基线资料的比较情况。 纳入分析的病例数(条目16)：是否报告各组纳入每种分析的受试者数目，以及是否按最初的分组分析即意向性治疗(ITT)分析原则，即无论退出与失访多少，均按照随机分配的最初的全部受试者进行统计分析。,结果（条目13-19）,结局及其效应(条目17)：是否报告了每组主要和次要结局指标的效应估计值及其精确性，即给出各组汇总的结果、计算的效应值及其精确度如95可信区间(17a)；对于二分类指标，是否给出绝对效应值如15/20(17b)。 附加分析(条目18)：附加分析指通过亚组和校正分析探讨对结果解释的多种假设。对于附加分析是否指出哪些是预先设定的，哪些是新尝试的分析。 不良事件(条目19)：是否报告每一组的所有重要的不良事件或不良反应。,讨论（条目20-22）,研究的局限性(条目20)：在讨论部分中，是否结合试验的假设、潜在的偏倚或试验的局限性和与结果分析相关的危险性进行讨论； 推广应用性(条目21)：是否对试验结果的外部真实性即推广应用性加以解释； 证据的综合(条目22)：是否根据当前证据对试验结果进行综合性解释。即本研究与相关其他研究之间的比较分析。,其他信息（条目23-25）,临床试验注册（条目23）：是否报告了临床试验注册号和注册机构。 研究方案（条目24）：是否报告了研究方案的发表情况或可查阅情况 研究资助情况（条目25）,关于CONSORT声明的说明,CONSORT声明是为了提高报告质量而制订的，不是用来评价研究设计质量。但报告质量与设计质量有关联。 两者关系 设计好 报告好 优秀，最理想 设计差 报告差 实事求是 设计好 报告差 损害研究质量 设计差 报告好 夸大结果，属弄虚作假,关于CONSORT声明的说明,CONSORT声明主要目的是透明报告试验结果。虽然如此，CONSORT也会间接地影响试验的设计与实施。 如果研究工作存在缺陷，透明的报告将暴露这些缺陷。因为如果实施了设计不当的试验，在透明报告中研究人员将无法不披露其中的不足而通过论文发表的审核程序。 因此，这种日益变得现实的处境将为改进将来的试验设计和实施提供了原动力。 所以，CONSORT是有助于研究者提高临床研究设计水平。,2、评价工具-GRADE,GRADE工作组2000年由一群有志于克服当前卫生保健分级系统缺陷的人组成的非正式协作网发展而来。我们的目标是建立一个普适、恰当的方法对证据质量和推荐强度进行分级。 是针对证据体而不是单个临床研究结果,GRADE系统对证据质量分级,高质量：进一步研究也不能改变该疗效评估结果的可信度 中等质量：进一步研究很可能影响该疗效评估结果的可信度，且可能改变该评估结果。 低