《如何批判性地评价一项研究》.ppt

如何批判性地评价一项研究,NikolaosP.Polyzos医学博士,学习目标,本演示结束后你应领悟到：不应毫无质疑地接受任何论文的结论。本演示就如何对论文结论提出质疑提供指导。,研究结果在下述情况下基本不大可能为真：对某一领域进行的研究比较小效应量比较小设计、定义、结果和分析模式具有较大的灵活性较大的经济利益以及其他利益和损害,IoannidisJP,PlosMed2005,论文：为什么大多数已发表的研究结果都是错误的-JohnP.A.Ioannidis,为什么应该对所有论文的结果提出质疑应该如何对论文结果提出质疑,引用率最高的论文，其结论并非都是真理,为什么应该对所有论文的结果提出质疑,最初的调查结果也许在今后经证明是错误的具有功效的高引用率研究（引用次数大于1000次）主张16%的研究与后续研究有矛盾16%的研究经发现最初具有更强的效果与原高引用率的研究相比，在后续研究中还带有更大样本量的44%研究为重复研究24%的研究保持多半未受质疑,引用率最高的论文，其结论并非都是真理,IoannidisJP,JAMA2005,即使是那些评价很高的期刊也会出现数据造假,为什么应该对所有论文中的研究结果提出质疑,Sudb案例（柳叶刀，Lancet）908名患者参与了研究，其中250人的出生日期相同。,即使是那些评价很高的期刊也会出现数据造假,低质量的随机试验可能会夸大治疗效果,为什么应该对所有论文结果提出质疑,Cochrane妊娠与分娩数据库33次元分析中的250组对照试验低质量研究出现了更显著的治疗效果随机性问题优势比被夸大高达41%盲法不当优势比被夸大了17%,低质量随机试验可能会虚假地夸大治疗效果,Schulz.JAMA1995;273(5):408412,12510,有助于治疗,对治疗无用,优势比（M-H固定效应模型）(95%CI),低质量试验显示出其治疗效果未能在高质量研究被证实,PolyzosNPetal.,BMJ2010,不发表或之后才发表出现阴性结果的试验,为什么应该对所有论文的结论提出质疑,重大科学会议提出的研究中，相比阴性结果的试验，阳性结果的试验更有可能被发表,020406080100,1.0,0.8,0.6,0.4,0.2,0.0,发表时间（月份）,全文发表摘要的比例,结果支持实验组,非阳性阳性非阳性审查阳性审查,不发表或之后才发表出现阴性结果的试验,PolyzosNPetal.,HumReprod2011,生殖医学的发表偏倚：从欧洲人类生殖及胚胎学会年度会议举办的时间到发表时间,为什么应该对论文中所有的结果提出质疑,元分析往往凭借少数或前后矛盾的依据,2012年7月期间，61篇系统评论在循证医学(Cochrane)发表15%的系统评论包括1次或0次试验半数系统评论涉及的随机患者不足1000人31篇最新评论这31篇最新评论中，11篇包含与早先他们试图更新的评论相同数量的试验和患者,元分析和系统评论往往凭借少数或前后矛盾的依据,Humaidan&PolyzosNatMed2012,(元分析)分析：系统评论可能失去可信性,行业支持的研究可能会展示更明显的治疗效果,为什么应该对所有论文中的结果提出质疑,行业支持的研究可能会展示更明显的治疗效果,LexchinJetal.,BMJ.2003,OR4.05；95%CI2.98-5.51,相比其他来源所资助的研究，医药公司资助的研究所得出的结论更有4倍可能有利于赞助商的产品。,研究（第一作者）,优势比,12510100100010000,Azimi12Cho14Clifford15Davidson16Dieppe18Djulbegovic19Djulbegovic20Friedberg23*Friedberg23Kamal-Bahl26Kamal-Bahl26Koep30Mandelkern32Sacristan36Sacristan36*Thomas38Vandenbroucke39Yaphe41,82%的行业赞助的成本效益分析中表明药物具有成本效益,行业支持的研究可能会展示更明显的治疗效果,Valachisetal.,JClinOncol2012,临床肿瘤学期刊,原始报告,肿瘤靶向治疗经济分析的财务关系,行业参与的成本效益分析与巴氏试验(帕帕尼科拉乌试验Paptest)的敏感性较低基准假设有关,“假想对手”比较器,作者单位或资金提供或与制造商之间的利益冲突,对无相关作者、无资金供给或无与制造商的利益冲突的成本效益分析(CEAs)的估值对至少有一名与制造商有关的作者或得到资金赞助或与制造商存在利益冲突的成本效益分析(CEAs)的估值,1独特性,敏感性,行业支持的研究可能会展示更明显的治疗效果,PolyzosNPetal.,CMAJ2011,为什么应该对所有论文的结果提出质疑,在过去，那些由行业赞助的试验，甚至是政府赞助的试验到后来才发表,发表时间研究结束之后，行业赞助试验的发表时间（24个月）对非行业赞助试验的发表时间（20个月）,P0.001RossJSetal.,JAMA20132年内的发表率行业赞助试验的发表率(40%)对非政府/非行业赞助试验的发表率(56%)RR=0.73，95%CI0.610.87；p0.001行业赞助试验的发表率(40%)对政府赞助试验的发表率(47%)；p=0.22RossJSetal.,PlosMed2009,行业赞助的试验可能会比无赞助的试验发表得更迟,完成后未能发表的美国国家卫生研究院(NIH)的试验30个月半数的试验获得发表51个月三分之一的试验获得发表,即使是政府赞助的试验也未必能很快发表,未发表的研究数量2007年之前完成的试验2692642592352211971752007年至2008年完成的试验366356324282244215176,RossJSetal.,BMJ2011,为什么要对所有论文的结果提出质疑如何对论文结果提出质疑,如何对论文结果提出质疑,临床试验管理与报告会随着时间的推移有所改善，因此不要根据研究的状态事先否定一项研究,不大可能甚至是没有兴趣阅读全文！,研究发表与行业的关联会降低该发表内容对医生的价值,行业赞助：对内科医生就方法学质量的看法产生负面影响无论试验的质量如何，却降低他们相信并按临床试验结果行事的意愿,医生愿意开处方药,不要根据研究状态事先否定一项研究,KesselheimNEJM2012,药品临床试验管理规范（2005年4月8日，欧洲议会和理事会颁布2005/28/欧盟法令）EudraCTvs.9（欧洲临床试验注册中心）必须提供2004年5月1日之前在欧盟开展的所有介入性临床试验的试验结果报告和公开披露的内容包括：早期中止的临床试验既有阳性试验结果又有阴性试验结果的临床试验已获或者未获在社区内销售许可的产品试验,https:/eudract.ema.europa.eu/index.html,为什么不应依据该研究目前的进行情况事先否定一项研究呢,制药公司在推出一种新药前，必须先后进行II期临床试验确立安全的剂量和安全性和III期临床试验确认疗效，并进一步证明受外部监控的安全性并且必须进行高水平的方法学研究新开发项目在第二阶段的成功率已经从28%(2006-2007年)下降到18%(2008-2009年)。III期临床试验和相应的注册申请的合并成功率从2007至2010年间已经下降到50%,该状况随时间推移是否得到改善？,Arrowsmith.NatureReviewsDrugDiscovery2011,Arrowsmith.NatureReviewsDrugDiscovery2011,不要根据其状态事先否定某项研究,应如何对试验结果进行提问,评价科学论文时，可以使用标准的批判性评价方法,批判性评价该项研究的目的进行该项研究的理论基础何在研究的问题是否已明确定义了，如果没有的话，是否应该予以确定？,如何阅读和评判一篇研究性学习的纲要美国护士协会,评价科学论文时，可以使用标准的批判性方法,评判性评价该研究的设计其设计是否适合该项研究本身？样本是否和研究项目的设计相匹配，其样本量能否满足研究的需要？试验的数据是如何收集的？所采用的分析方法是否与研究问题和研究设计一致？,评价科学论文时，可以使用标准的批判性评价方法,如何阅读和评判一篇研究性学习的纲要美国护士协会,检查该项研究是否已在公开的资料库中注册临床试验在开始之前是否已经注册？研究的主要评价项目是否和已注册的临床试验版本相同？,评价科学论文时，可以使用标准的批判性方法,始终做到查阅现有的文献文献综述是否和研究相关，是否全面，且是否包含最近的研究结果呢？文献综述是否对进行该项研究起到支持作用呢？试验的结果是否和现有文献中的内容一致呢？,评价科学论文时，可以使用标准的批判性评价方法,如何阅读和评判一篇研究性学习的纲要美国护士学会,批判性地评价试验的结果和结论试验的结果是否清晰地呈现在文章、表格和配图中？是否对统计数据做了清楚说明？所解释的研究结果与理论框架和研究问题是否存在关联性？是否陈述了研究的局限性，并就其含意进行了相关的讨论？是否提到对临床实践的建议,评价科学论文