沃登编辑—如何阅读医学论文 (八).doc

教育与争鸣沃登编辑如何阅读医学论文 (八)如何阅读医学论文 (八)评估论文的方法学质量How to read a paperAssessing the methodological quality of published papersTrisha Greenhalgh如果你打算依据一篇研究论文中的观 点改变您的临床实践 ,那么 ,在此之前 ,您 应确定这项研究所用的方法是否正确 。本 文提出的几个基本问题 ,为您下结论提供 了基本原则 。问题 1 :研究是否具有首创性 ?在医学研究中 ,只有很小比例的研究 内容开创了完全崭新的领域 ,同样 ,也只有 很小部分研究完全重复前人的工作 。绝大 多数研究充其量只是为我们判断某一假说 正确与否提供一点小小的证据 。因此 ,许 多看 似 无 首 创 性 的 研 究 也 值 得 去 做 。的 确 ,汇总分析的整体科学性取决于其所包 含的文献 ,这些文献叙述的是为解决同一 问题而采用相似方法的一组研究 。那么 ,对于一项新的研究 ,较为实际的 问题不是“是否有人做过类似的研究 ?”而 是“此项新研究是否能为汇总分析文献库 的某方面增添新内容 ?”例如 : 此项研究较以前的研究是否 拥 有 更大的样本数 、持续的时间更长 ,或是更有 实质性 ? 此项研究所采用的方法是否 更 为 严格 ? (特别是它是否采用了特殊方法对 过去的研究进行了评估 ?)本文要点对于公开发表论文的方法部分 , 首 先要问的基本问题是 : 此研究是否 具有首创性 ?第二 ,要问研究对象是谁 ?第三 ,要考虑科研设计是否合理 ?第四 ,要注意是否避免或减小了系 统误差 ?最后 ,为保证结果的可信性 ,要关心 研究的样本量是否够大 、其持续时 间是否够长 ? 此项研究所获得的数字结果 是 否 明显增强了对以往研究所做的汇总分析的 意义 ? 此 项 研 究 所 涉 及 的 人 群 ( 包 括 年 龄 、性别或人种) 是否与以往的研究有所不 同 ? 是否有重要的 临 床 价 值 ? 当 某 项 研究从科学的角度讲 ,并不十分必要时 ,大 众及决策者会怀疑这是否为了“政治上”的 需求而制造新证据 ?问题 2 :研究对象是什么 ? 教育与争鸣在你将某一论文的结果用于临床实践之前 ,应 先问自己以下几个问题 : 研究对象是如何征集的 ? 如果你想通过问 卷来调查患者对急诊室的意见 ,你可以在当地报纸 上登广告以征集被调查对象 。但是这种方法却是产 生纳入偏倚的好例证 。因为你所获得的样本会偏向 那些主动性强的和爱读报纸的人群 。当然 ,你最好 是对特定日期中的全部 ( 或 110) 患 者 进 行 问 卷 调查 。他们是否详尽解释了治疗的潜在效果 ? 他们是否拥 有主要研究者的电话号码 ? 资助本研究的公司是否 提供了新设备 ,而一般临床医师无法得到这种设备 ? 这些因素并不一定会导致本研究失效 ,但当你准备 把此研究成果应用到自己的实践中去时 ,你应该考 虑是否适用于你的实际情况 。问题 3 :科研设计是否合理 ? 研究对象包括那些人 ? 在英国和北美 ,许多 研究都常规的将那些有伴随疾病的 、不讲英语的 、服 用其他药物的以及没有文化的患者排除在外 。这种 方法在科学上看来可能很“纯净”。但临床研究的结 果是要指导实践的 ,是要用于较广大患者人群的 ,所 以 ,上述方法在逻辑上就不一定合理了1 。在 23 岁 健康男性志愿者身上获得的新药药物动力学的研究 结果显然不适用于老年妇女 。 研究中排除了什么人 ? 例如 ,有关心衰的随 机对照研究可能仅限于中度或重度病情的患者进入 研究 ,这样所获得的结论会误导对轻度心衰的治疗 。 这个问题对于那些以门诊患者做对象的临床研究具 有重要的实际意义 ,因为这些临床试验是让患者在 初级保健条件中接受指定的“最好的治疗” ,而这些 患者的病情都较轻 。 研究对象是否在“现实生活”环境中 ? 例如 ,他们被收入院的目的是否仅仅是为了接受观察 ? 对虽然有关研究试验设计的术语令人生畏 ,但所 谓“严格评估”的主要内容是些平常的普通概念 。我 通常以下述两个基本问题作为切入点 : 正在考虑的是什么特殊的干预手段或措施 , 且以何为对照 ? 人们很容易得到论文的表面价值 , 但作者常不能正确地 (通常是下意识的 ,而不是故意 的) 表述他们的实际工作 ,他们常过高估计研究的首 创性和潜在的重要性 。框图中的例子都是假设的陈 述 ,都源于论文中相似的错误 。 测量了什么研究结果以及如何测量的 ? 如 果你患某种不治之症 ,而且一个药厂宣称已为治疗 这种疾病生产出新的神奇药物 ,那么你会以该药是 否能延长生命来作为衡量药效的指标 。不要过于关 注令人迷惑的血液中酶水平 ,尽管厂商试图以这所 谓的可靠指标让你相信药物能提高生存率 。我们已 在其他文章中讨论为何使用不同研究终点的问题2 。在一项干预中 ,对症状的 ( 如疼痛) 、功能的 ( 如论文方法部分中错误描述举例作者的描述应如何描述 (或应如何去做) 对举例的说明我们计算了全科医生询问患者吸烟 与否的频次我们计量了医生如何治疗腰痛我们对比观察了尼古丁替代物贴剂 与安慰剂我 们 要 求 1 0 0 名 青 少 年 参 与 我 们 对于性行为的调查我们将病人随机分到“个体治疗计 划”组或“一般治疗”组为评估教育册的价值 ,我们给干预 组受试者一份教育册和求助热线 的电话号码 ,而未提供给对照组我们研究了维生素 C 在预防普通 感冒中的作用我们查阅了患者的医疗记录 ,计数 有多少记载了吸烟情况我们 计 量 了 医 生 所 述 当 他 们 面 对 腰痛病人时是如何做的要求干预组的受试者每日 2 次贴用 含尼古丁 15mg 的贴剂 ,而对照组受 试者则接受外表相同的贴剂我们接触了一个夏令营中 147 名年 龄在 12218 岁的白种美国少年 (男性8 5 名 ) , 其 中 1 0 0 名 ( 男 性 3 1 名 ) 同 意参加调查干预组接受个体治疗计划 ; 对照组 接受 如果单纯评估教育册的价值 ,两组 受试者都应得到热线电话号码经系统的文献检索就可发现已有大 量与此课题相关的研究14假设医疗记录 100 %正确假设医生所叙述的内容真实反映 了他们的实际工作未叙述药物剂量或安慰剂的性质未提供有关受试者的足够资料 (注 意 :本例的数据提示对于女性存在 征募偏倚)未提供有关干预的充足信息 (为使 其他研究者能重复此项研究 ,应提 供充足的资料)除了特异的干预外 ,干预组与对照 组未处于相同条件研究并非首创活动性) 、心理的 ( 如焦虑) 、社会的 ( 如是否方便) 作 用 ,欲作出评价时则存在更多的问题 。你需要不断 地在论文中寻找能证实研究结果的客观证据 ,即由 研究者所确定的观测指标等级是否能充分反映病情 的变化 ,如焦虑 、疼痛等 。还有 ,有些在医生眼中很 重要的东西 ,在病人心中却未必那么有价值 ,反之亦 然3 。问题 4 :是否避免或减小了系统性偏倚 ?对分组的任何错误影响或对比条件因素的任何有哮喘病的门诊病人) 接受一种干预措施 (如给予教 育手册) ,而另一组病人 ( 如全科医师诊所中的哮喘 病人) 接受另一种干预措施 (如进行分组教育讲座) 。 令我惊讶的是 ,许多研究者都认为他们的研究就是 或等同于随机对照试验 。换句话说 ,这些极具热情 和责任心的青年研究者对最明显的偏倚视而不见 : 他们所比较的两个组在接受干预措施前 ,就有着固 有的 、由自我选择而带来的差异 (同时还存在着所用 随机对照试验的其他潜在偏倚) 。作为一项普遍原则 ,如果所查阅的论文是一次非随机对照临床试验 ,你应运用常理来判定干预组歪曲都称为系统性偏倚4 。无论哪种试验设计 ,包括与对照组之间存在的基线差异,是否大到了使干预随机对照试验 、非随机对比试验 、队列研究或病例对 照研究 ,其目的都是使比较的各组之间除了需要检 测的特定差异外 ,其他条件尽可能相似 。研究者应 尽可能给予受试者相同的解释 ,受试者应与卫生专 业人员有相同的接触机会 ,使用相同的观测指标 ,有 相同的观测时间 。不同的科研设计应用不同的步骤 以减小系统性偏倚 :随机对照试验在随机对照试验中 ,通过从特定人群中选择受 试者 ,并将他们随机分到不同组中 ,以便从理论上避 免系统性偏倚 。附图总结了偏倚的来源 ,以便核查 。附图 随机对照试验中偏倚的来源非随机对照临床试验我最近主持了一个研讨会 ,会上来自医学 、护理 学 、药剂学以及相关学科的学生提供了多项临床研 究成果 。除了一项研究外 ,所有的都是比较性研究 ,但都是非随机设计的 。其具体设计是一组病人 ( 如效果达到失真的程度 。事实上 ,这种情况是很常见 的5 ,6 。队列研究一项观测性研究 (队列或病例对照研究) 的研究 者所面临的最困难的抉择是选 择 可 供 比 较 的 对 照 组 。几乎没有一项队列研究可成功地做到两个受试 组的人员在诸如年龄 、性别组成 、社会经济状况 、现 患疾病等方面都完全相同 ,而仅存在干预措施的差 别 。实际上 ,大量队列研究的所谓“对照”只存在于 分析阶段 ,即通过复杂的统计学方法来调整存在于 主要变量中的基 本 差 别 。除 非 统 计 学 做 得 充 分 正 确 ,否则所得到的显著性或可信区间会给人以危险 的误导7 。这一问题可通过各种各样有关饮酒利弊关系的队列研究结果来说明 。这些研究一致发现酒精摄入 量与死亡率间存在着“J ”形曲线关系 。其结果用过 早死亡来表达 ,是适度饮酒者的死亡率最低8 。但到 底是绝对禁酒者 (包括因健康原因被迫放弃饮酒者 、 崇尚健康者 、宗教信徒 ,还包括说谎者和在其他各方 面与适度饮酒组人群不同的人) 的心脏疾病患病危 险度确实较高 ,还是“J ”形关系是由混淆因素所造成 的 ,这是一个困扰了流行病学家很多年的问题8 。病例对照研究在病例对照研究 ( 对患有和未患某种特定疾病 的个体的经历进行回顾性对比研究 ,以期确定该病 的假设致病事件) 中 ,最容易产生偏倚的过程不是在 对结果进行评估的时候 ,而是在对病例进行诊断以 及确定何时患病的时候 。几年前的一项研究在这方面提供了一个好例教育与争鸣证 。当时 ,有人对百日咳疫苗生产厂家提出诉讼 ,宣 称百日咳疫苗导致许多婴儿神经系统损伤9 。在法 庭听证中 ,法官裁定 ,由于错误地将 3 名脑组织损伤 的婴儿分到了病例组而不是对照组 ,因此对疫苗造 成的损伤高估了 3 倍9 。问题 5 :评估是否采用了“盲法”?即使研究人员尽最大的努力获得了可比较的对 照组 ,但如果评估结果的人 ( 例如 ,那些判断受试者 是否仍处在临床心衰状态的人 ,或那些判定受试者 X 线检查比上次是否有所改善的人) 早已知道他们 所要测评的受试者的分组情况 ,那么上述的努力可 能都前功尽弃 。例如 ,我知道某位受试者被随机分 到服用降压药组而不是安慰剂组时 ,那么我可能会 对其出现令人吃惊的高血压数据进行重新核查 。这 就是执行偏倚的一个例子 。此类偏倚及不采用“盲 法”而造成的其他缺陷已在附图中列出 。问题 6 :研究是否符合基本的统计学要 求 ?在论文的方法部分常可发现 3 个重要的数据 :样本含量 、研究持续时间 、随访的完整性 。样本含量用统计学家 Douglas Altman 的话来说 ,一项研究 应有足够大的样本量 ,这样我们就会有较多的机会 去发现那些有统 计 学 意 义 的 、有 价 值 的 结 果 ; 相 应 的 ,如果研究未发现存在上述效果 ,那我们也有充足 的理由作出结论10 。为确定样本含 量 , 临 床 医 师 应 决定两件事 。首先是两试验组之间存在多么大的差别才能算 临床上存在了显著的效果 。注意 ,这里的显著性意 义可能与统计学上的含义有所不同 。你可以使用约 能降低血压 10 mmHg 的新药 ,其效果将显著降低发 生中风的机会 (由偶然机遇引起发生率降低的可能 性小于 120) 11 。然 而 , 在 某 些 患 者 中 , 其 临 床 结 果 只相当于降低 1850 病人年的危险性12 这一差 别使得许多患者认为不值得服用此药 。其次 ,医生 必须确定主要结果变量的均数和标准差 。研究的把握度是指检测出两试验组之间的真实差异机会有多大10 ,是中度 、高度或是极高度 。为确定研究的把握度 ,作者可使用统计表 ,在研究开始之 前计算出所需的样本含量 。一般来说 ,应保证研究 的把握度在 80 %和 90 %之间 。可是 ,在许多研究中 其把握度均较低 。这是因为作者发现很难获得他们 预期的样本量 。这类研究常会导致典型的 型或称 型 错 误 的 出 现 即 该 干 预 措 施 无 效 的 错 误 结 论 。(相反 ,另一种少见的 型或称型的错误是得 到了差异有显著性意义的错误结论 ,而实际上该差 异是由抽样误差造成的 。)研究持续时间即使样本量足够 ,为使干预效果在结果变量中 得以反映 ,该研究也还必须持续一定时间 。研究一 种新的镇痛药对术后疼痛的作用 , 只需持续 48 小 时 ,而当研究学龄前儿童的营养辅加剂与其成年后 身高的关系时 ,则其持续时间应长达数十年 。随访的完整性与没有退出本研究的人相比 ,在那些退出研究 的受试者中 ,按要求服了药的人数可能较少 ,而没有 前来进行中期体检的人可能较多 ,发生副作用的人 可能也较多13 。受试者退出临床研究的原因可能有 以下几种 : 不符合入选条件的病人进入了研究 ( 也就是 说 ,研究者在研究过程中发现了未达到进入本研究 标准的病人 ,最初就不应被随机分组) ; 用于试验的药物出现可疑的副作用 。应注 意对干预组的“副作用”出现率必须与安慰剂组相比 较 。令人惊讶的是一些无活性的药片也常使病人出 现皮疹 ; 病人失去兴趣 ; 由于临床原因 ,由医生决定其退出 ( 如并发 症或妊娠) ; 无法继续随访 (如病人离开等) ; 死亡 。 不加分析地忽略那些从临床试验中退出的受试者 ,会导致研究结 果 出 现 对 干 预 措 施 有 利 的 偏 倚 。 因此 ,如要尽力避免在分析对比研究结果时产生偏 倚 ,就要采用标准操作14 。这意味着 对 所 有 有 关 的 干预组受试者 ( 包括试验完成前退出的 、未服药的 、 甚至那些无论何种原因随后接受对照组治疗的受试 者) 的数据 ,应与那些从始至终按要求完成试验的受试者的数据同时进行分析 。反之 ,退出安慰剂组的教育与争鸣受试者应与始终服用安慰剂的 受 试 者 同 时 进 行 分 析 。在少数情况下 ,不采用意向治疗分析 。最常见 的是疗效分析 ,即对干预措施本身的效果进行解释 , 也就是对实际接受的治疗进行解释 。但即使疗效分 析的对象是随机对照试验的一部分 ,为达到进行分 析的目的 ,他们也可有效地成为一项队列研究的对 象15 。感谢 Sarah Walters 医生和 Jonathan Elford 医生对本文提出的建议 。(齐文安 译 张孔来 校)参考文献1 Bero LA , Rennie D. Influences on the quality of published drug studies. Int J Health Technology Assessment 1996 ;12 :209237.2 Greenhalgh T. Papers that report drug trials. In : How to read a paper : the basics of evidence based medicine. London : BMJ Publishing Group , 1997 :87296.3 Dunning M , Needham G. But will it work , doctor ? Report of conference held inNorthampton , 22223 May 1996. London : Kings Fund , 1997.4 Rose G , Barker DJ P. Epidemiology for the uninitiated. 3rd ed. London : BMJ Pub2lishing Group , 1994.5 Chalmers TC , Celano P , Sacks HS , Smith H. Bias in treatment assignment in con2trolled clinical trials. N Engl J Med 1983 ;309 :1358261.6 Colditz GA , Miller JA , Mosteller J F. How study design affects outcome in compar2i sons of therapy. I. Medical. Statistics in Medicine 1989 ;8 :441254.7 Brennan P , Croft P. Interpreting the results of observational research : chance is not such a fine thing. BMJ 1994 ;309 :727230.8 Maclure M. Demonstration of deductive meta2analysis : alcohol intake and risk ofmyocardial infarction. Epidemiol Rev 1993 ;15 :328251.9 Bowie C. Lessons from the pertussis vaccine trial. Lancet 1990 ;335 :39729.10 Altman D. Practical statistics for medical research. London : Chapman and Hall ,1991 :456.11 Medical Research Council Working Party. MRC trial of mild hypertension : principal results. BMJ 1985 ;291 :972104.12 MacMahon S , Rogers A. The effects of antihypertensive treatment on vascular dis2ease : re2appraisal of the evidence in 1993. J Vascular Med Biol 1993 ;4 :265271.13 Sackett DL , Haynes RB , Guyatt GH , Tugwell P. Clinical epidemiology2a basic sci2ence for clinical medicine. London : Little , Brown , 1991 :19249.14 Stewart LA , Parmar MKB. Bias in the analysis and reporting of randomized con2trolled trials. Int J Health Technology Assessment 1996 ;12 :264275.15 Knipschild P. Some examples of systematic reviews. In : Chalmers I , Altman DG , eds. Systematic reviews. London : BMJ Publishing Group , 1995 :9216.BMJ 1997 ;315 :30528如何随机化分组How to randomiseDouglas G Altman , J Martin Bland我们已经解释了为什么对照试验必须 将治疗方法进行随机化分组1 (见本刊 2000 年第 3 期 142 页 编者注) ,本文说明如 何产生随机分组顺序表 。在研究期间 ,病人几乎总是有序地进 入试验 ,单纯随机化是最简单的方法 。我 们随机 、独立 、自然地决定每一例病人的治 疗分组 ,使得两个治疗组的分配机会相等 , 这就等效于扔硬币 。但是实践中很少使用 硬币 ,取而代之 ,我们应用计算机产生随机 数字 。在多数统计学书本中能找到适宜的 随机数字表 ,此表就是一个例子2 : 数字可 以是从 0 到 9 的随机阿拉伯数字 ,也可以 是从 0 到 99 的随机整数 。为了 有 等 同 的 机 会 分 配 到 两 个 治 疗 组 ,我们采用奇数和偶数分别代表治疗组 A 和治疗组 B , 然后在随机数字表内随机 选择一个起点和一个读数方向 。我们选择 第 2 列的一个起点 ,前 10 个 2 位数字是 8580 62 36 96 56 17 17 23 87 ,按顺序解释为 摘录