2011年诊断试验设计与循证评价

1、诊断试验的设计与评价,2011.7.16,一.诊断试验（diagnostic test）,是对疾病进行诊断的试验方法。 包括实验室检查，各种物理诊断如各种影像诊断（X线诊断、CT、磁共振成像）、超声诊断以及放射性核素检查、纤维内窥镜、电镜等方法。,诊断试验评价的意义 应用流行病学的方法对新的诊断试验进行评价研究，将有助于临床医师正确选用各种诊断试验，科学地解释诊断试验的各种结果，从而提高诊断水平。,二.诊断试验研究的设计原则,确定“金标准” 选择研究对象 样本含量的估计 诊断试验临界值的制定 盲法比较诊断试验与金标准的结果,（一）金标准（gold standard）,是指当前临床医学界公认的诊

2、断疾病的最可靠的方法。也称为标准诊断。 通常包括：活检、手术发现、微生物培养、尸检、特殊检查和影像诊断，以及长期随访的结果。,关于金标准,可正确区分“有病”或“无病”。 当新试验实际上更优于传统“金标准”方法时，应采用最新的病理生理知识去更新传统的“金标准”,常见问题,金标准选择不当:会造成对受试者诊断分类上的错误,使整个试验的评价失去准确性的基础。 研究设计方法不熟悉,或是对金标准在诊断性试验评价中的重要性认识不足以及疾病诊断的金标准过于复杂或风险较大等原因, 常选用容易得到结果的、但准确性不高的诊断方法作为金标准。 导致结论的可信度低甚至是错误的结论。,（二）研究对象,病例组：是指用金标准

3、确诊“有病”的病例，应包含典型的、不典型病例，早、中、晚期病例，轻、中、重病例，有和无并发症的患者。 对照组：是指用金标准证实没有目标疾病的其他病例，特别是与该病容易混淆的病例。 正常人一般不宜纳入对照组。,研究对象的代表性影响评价指标的真实性,常见错误,将已知某病患者作为病例组,然后再挑选健康人或其他疾病患者作为对照组 只对诊断试验阳性的患者行金标准检查 仅选用经金标准确诊的患者及非患者为研究对象；而将曾疑为某病,但因某诊断试验阴性暂未采用金标准检查的患者除外 只选用金标准确诊有病的患者作为研究对象而无对照组,（三）样本含量的估计,诊断试验要求有一定数量的观察对象，即样本含量。 按照统计学中

4、有关总体率的样本含量估算方法，分别计算病例组和对照组的样本含量。,样本含量计算举例：,（五）诊断试验结果的测量,1.同步盲法比较 受检对象在检测前不分组，在整理资料时才按金标准进行分组，尽可能让所有受试患者同时接受诊断试验和金标准方法 采用同步盲法判定结果(尤其是定性结果)，由不知另一试验结果的人独立、客观地对诊断试验或金标准结果做出判断,（四）结果测量与处理,（五）诊断试验结果的测量,1.同步盲法比较 如果先做诊断试验或金标准,然后由了解前一试验结果的人判断后一试验结果,则会发生判断倾向性,使两种方法一致性增高 当评估者了解受试者是患者,就会潜意识地寻找可能存在的阳性结果；相反，如果知道受试

5、者不是患者，则可能放弃仔细寻找阳性信息的机会,使可能存在的阳性信息被遗漏,从而导致敏感度和特异度高于真实值,偏倚的原因,2.诊断实验的测量偏倚 应注意诊断试验的重复性及测量结果的可靠性,防止测量偏倚。 如需要由操作者判断结果的试验,至少应该用部分受试者对操作者的变异性进行简要评估。 试验结果由仪器判断时,应对仪器的变异性进行简要估计。 对诊断试验中不确定结果出现的频率,计算评价指标时是否包括了这些不确定结果均应说明。,偏倚的原因,不同诊断界值时敏度与特异度间的平衡,0,20,40,60,80,100,50,60,70,80,90,100,特异度,灵敏度,百分率（）,Test variable,

6、（五）诊断试验临界值的制定,ROC曲线法确定诊断试验临界值是目前较为理想的方法,ROC曲线反映了灵敏度与特异度间的平衡 。 在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。 在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。 ROC曲线下面积是重要的试验准确度指标。,完美与无用的ROC曲线,真阳性率 即 灵敏度,假阳性率 即 1特异度,机率线(chance line)(diagonal reference line),诊断准确度较低（,0.7,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1

7、.0,FPR,T,P,R,A,0.664,A,0.830,诊断准确度较高,（,0.9,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.938,ROC曲线下面积（Area）与诊断准确度高低 高 0.90-1.00 = excellent (A) 中 0.80-0.90 = good (B) 0.70-0.80 = fair (C) 低 0.60-0.70 = poor (D) 0.50-0.60 = fail (F),临界值的选择,其选择直接影响到敏感度和特异度等评价指标 诊断试验不仅要有区分健康或非某病与某病的界值

8、，最好还有需要治疗与判断预后的界值（如：医学决定水平） 其选择取决于诊断试验的目的与权衡漏诊和误诊的利弊 有时还要根据研究对象中不同年龄组、不同临床特征时临界值的差异对诊断试验准确性的影响等多种临床实际情况,分别选用多个临界值,参考区间的差别,正常参考区间的获得可根据常用的统计学方法,如正态分布法及百分位数法 资料必须来源于健康人的结果,同时要注意不同人种、地区、性别、年龄、不同的检测方法和系统误差等对参考值的影响 正态分布法要求资料呈正态分布,且样本含量要大(120例以上),以保证样本的代表性和结果的稳定性,一般用(X2SD)作为正常参考值 资料呈偏态分布时,要求使用百分位数法,三、诊断试验

9、评价,诊断试验评价就是将待评诊断试验与诊断目标疾病的标准方法，即“金标准”(gold standard)，进行同步盲法比较，判定该方法对疾病“诊断”的真实性、可靠性和实用性。,目 标 人 群,诊断试验评价程序,诊断试验与金标准比较的四格表,诊断试验的评价指标,灵敏度与特异度的优缺点,优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0, 1）之间，其值越接近于1，说明其诊断准确性越好。 缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。 解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等,医生最关心的问题： 1. 试验阳性时患病的概率多大？ 2. 试验阴性时

10、不患病的概率多大？,诊断试验的指标（续）,例: 阳性预测值=215/231X100%=93.07% 阴性预测值=114/129X100%=8837% PPV=93.07%表示用CPK诊断心肌梗死，结果阳性者中有93.07%确实患心肌梗死，或者说某受检者得到阳性结果时，有93.07%的可能患心肌梗死。 NPV=88.37%则表示结果为阴性者不患心肌梗死的比例，即得到阴性结果时，排除患心肌梗死的概率。,预测值与灵敏度、特异度、患病率的关系 1预测值与患病率的关系 当灵敏度、特异度一定时，阳性预测值随着患病率的升高而升高；阴性预测值随着患病率的降低而升高。 Sketch做了一个冠状动脉狭窄的诊断研究

11、，取了195个受试者。动脉造影以动脉狭窄75作为异常，而运动试验以心电图判断，结果见下表。,患病率高时，阳性预测值高；患病率低时，阴性预测值高。,注 ：a，真阳性； b，假阳性； c，假阴性；d，真阴性,诊断试验的指标（续）,临床实践中似然比应用的粗略判断原则,关于诊断性能指标特点：,* 灵敏度和特异性 是最基本、必须具备的独立指标，不受患病率影响。 * 诊断性能 其他指均来自S和Sp的计算。 * 预测值 高低常取决于患病率。 * 似然比 同时反映S和Sp的复合指标，比S和Sp指标更稳定。,关于诊断试验临床实用性评价,指所获证据的诊断试验是否能鉴别目标疾病和非目标疾病，其鉴别诊断的临界点是什么

12、，如果使用此试验或不使用此试验，对目标疾病的结局有何不同。 受试者操作特性曲线（receiver operating characteristic curve, ROC）：常被用来决定诊断试验,鉴别诊断的最佳临界点。,四. 诊断试验的临床应用,稳定的指标：敏感性、特异性、LR、LR（是最重要的指标） 相对稳定的指标：准确性 不稳定的指标：阳性预测值、阴性预测值、患病率,似然比的应用计算验后概率 验前比（Pretest Odds）= 验前概率/（1-验前概率） 验后比（Post-test Odds）= 验前比似然比 验后概率（Post-test Probability）= 验后比/（1+验后比）

13、,诊断性试验证据的应用示例,缺铁性贫血的诊断(Guyatt GH,et al) 铁蛋白 IDA非IDALR 100 8/85 108/150 0.13 总数85150,该患者患病（IDA）概率的计算,估计验前概率为30% 该患者血清铁为40mg/L，LR 8.2 验前比0.3/（10.3）0.43 验后比0.438.2=3.53 验后概率3.53/（1+3.53）77.9%,Quality assessment of diagnosis study,1疾病谱是否包含了各种病例及易混淆的病例？ Was the spectrum of patients representative of the

14、patients who will receive the test in practice? 2研究对象的选择标准是否明确? Were selection criteria clearly described? 3参考标准是否能准确区分有病、无病状态？ Is the reference standard likely to correctly classify the target condition?,五.诊断试验证据的质量评价,4参考标准与诊断试验的实施是否时间间隔够短，以避免病情变化的影响? Is the time period between reference standard a

15、nd index test short enough to be reasonably sure that the target condition did not change between the two tests? 5是否所有的样本或随机选择的样本均接受了参考标准的验证？ Did the whole sample or a random selection of the sample, receive verification using a reference standard? 6不管试验结果如何,是否所有的纳入病人均接受了同一参考标准的证实? Did patients rece

16、ive the same reference standard regardless of the index test result?,7参考标准是否与研究试验独立不相干（即参考标准不包含研究试验）? Was the reference standard independent of the index test (i.e. the index test did not form part of the reference standard)? 8诊断性试验的细节是否已充分描述并可重复? Was the execution of the index test described in suf

17、ficient detail to permit replication of the test? 9参考标准的细节是否已充分描述并可重复? Was the execution of the reference standard described in sufficient detail to permit its replication?,10诊断试验的结果解释是否是在不知晓参考标准试验结果的情况下进行的？ Were the index test results interpreted without knowledge of the results of the reference st

18、andard? 11参考标准试验的结果解释是否是在不知晓诊断性试验结果的情况下进行的？ Were the reference standard results interpreted without knowledge of the results of the index test? 12当解释试验结果时可获得的临床资料是否与实际应用中可获得的临床资料一致? Were the same clinical data available when test results were interpreted as would be available when the test is used in practice?,13是否报道了异