诊断试验评价简介.ppt

1、诊断试验评价简介,学习目标,1.了解诊断试验的评价方法及常用指标 2. 了解ROC曲线的应用 3. 能够运用统计软件进行ROC曲线分析,（1）什么是诊断试验？ （2）诊断试验的常用评价指标？,问题提出,诊断试验： 诊断试验（diagnostic test）：临床上为给病人作出诊断（即确定或排除疾病）所应用的各种试验或检查方法。 包括各种实验室检查（生物化学、免疫学、微生物学、病理学等）、影像诊断（超声波、CT、X线、核磁共振等）、仪器检查（心电图、脑电图、核素扫描、内窥镜等），还包括病史询问、体格检查等。,诊断试验的基本概念,诊断试验的基本概念,诊断试验的评价： 就是将待评价的诊断试验与诊断目

2、标疾病的标准方法即“金标准”（gold standard）进行同步盲法比较，判定该方法对疾病“诊断”的真实性和价值。 所谓“金标准”：是指当前临床医学界公认的诊断疾病的最可靠方法，也称为标准诊断。通常包括：活检、手术发现、微生物培养、尸检、特殊检查和影像诊断，以及长期随访结果。,例如： 冠心病： 冠状动脉造影 肿 瘤： 病理学检查 肾结石： 手术发现。 由于金标准多具有创伤性，因此探求一些新的诊断方法或诊断试验，并比较其与金标准的差别、得失及推广价值有现实意义。,例20.1 某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/ mL），诊断结果见表20.1。

3、试评价CYFR A21-1作为肺癌诊断指标的准确性。 表20.1 272例研究对象病理诊断和CYFRA21-1检测结果,诊断试验评价的应用实例,诊断试验评价的流程图,特定人群,金标准,非病人,病人,阴性,阳性,阳性,阴性,诊断试验,结果评价,1.灵敏度 (Sensitivity)和特异度(Specificity) 2.假阳性率(FPR)和假阴性率(FNR) 3.阳性和阴性似然比(Likelihood ratio，LR) 4.阳性和阴性预测值（Predictive value，PV） 5.约登指数 6.一致率 7.诊断比数比（Diagnostic Odds Ratio, DOR） ,诊断试验的常

4、用评价指标,表20.2 诊断试验与金标准的检测结果,常用评价指标的计算,1.灵敏度 (Sensitivity，Se)：真阳性率，是指患者中诊断为阳性的概率，反映真实情况为有病时诊断试验发现疾病的能力。 Se a/(a+c)100%=a/D 特异度(Specificity，Sp)：真阴性率，指非患者中诊断为阴性的概率，反映真实情况为无病时诊断试验排除疾病的能力。 Spd/(b+d )100%=d/ND,2.假阳性率(FPR, )：亦称误诊率，指非患者错判为阳性的概率。,b/(b+d) 1001 - Sp,c/(a+c) 1001-Se,假阴性率(FNR, )：亦称漏诊率，指患者 错判为阴性的概率

5、。,常用评价指标的计算,12-3 某医院收治急性心前区疼痛疑诊急性心肌梗死患者360例。为研究血清磷酸肌酸激酶(CPK)对急性心肌梗死的诊断价值，在经冠脉造影或心电图(金标准)确诊的基础上，同步检测患者CPK，设诊断异常界值为80u/L，结果见表12-2。试分析其Se与Sp。,分析计算:,灵敏度（真阳性率）=(225/250) 10090.0% 特异度（真阴性率）=(121/145) 10083.4% 误诊率（假阳性率）= (24/145) 10016.6% 漏诊率（假阴性率） = (25/250) 10010.0%,3. 似然比（likelihood ratio, LR）： 患者人群中试验结

6、果的概率与无病人群中试验结果概率之比。 （1）阳性似然比（positive likelihood ratio，LR(+)）：即真阳性率与假阳性率之比值。是说明病人中出现某种检测结果阳性的概率是非病人的多少倍。,（2）阴性似然比（negative likelihood ratio，LR(-)）： 假阴性率与真阴性率之比值。说明病人中出现某种 检测结果为阴性的概率是非病人的多少倍。,似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是比敏感性和特异性更稳定的指标。 似然比在临床诊断中有实用价值。当知道了某诊断试验的阳性似然比，并了解到所诊断疾病的患病率，就可计算在不同患病率情况下该试验的预

7、测值。,4.预测值（Predictive value，PV） 是根据诊断试验的结果来估计患病和不患病的可能性大小。 阳性预测值： 表示阳性结果中真正患病的概率。 阴性预测值： 表示阴性结果中真正未患病的概率。,5. 约登指数（Youden index，YI） 是反映诊断试验真实性的综合评价指标。 YI=Se+Sp-1 YI越大说明诊断试验真实性越好，YI小于或等于0，表示诊断试验无任何临床应用价值。,6. 一致率（Agreement rate） 又称正确率、真实度，是样本的诊断结果诊断正确的概率。 一致率=（a+d）/（a+b+c+d）100% 注意：由于该指标受患病率和诊断界值的影响，计算结

8、果差异较大，故一般不建议用于诊断试验评价。,7. 诊断比数比（Diagnostic Odds Ratio, DOR）： 是阳性似然比LR+与阴性似然比LR-之比。该指标在单个诊断试验评价中不常用，但由于DOR是将Se、Sp和LR进行综合计算的指标，在诊断试验Meta分析中常用到。,例20.1 某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/ mL），诊断结果见表20.1。试评价CYFR A21-1作为肺癌诊断指标的准确性。 表20.1 272例研究对象病理诊断和CYFRA21-1检测结果,诊断试验评价的应用实例,提高诊断试验效率的方法,为提高诊断试验的效

9、率，根据研究目的不同，可以采用不同的联合试验。常用的包括平行试验和系列试验： 1.平行试验：同时多个试验进行诊断，有一个结果为阳性则判为患者。可提高Se，但Sp会下降，误判率增加。 2.系列试验：同时多个试验进行诊断，所有结果为阳性者才能判为患者，可提高Sp，但Se会下降，漏判率增加。,1、ROC曲线的定义： （Receiver Operator Characteristic Curve）又称受试者工作特性曲线。“对于存在或可能存在混淆的两种条件或 自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。”美国生物统计百科全书,ROC曲线及其应用,2、制图

10、方法 研究者以每个检测结果作为可能的诊断界值（cut off），计算相应的灵敏度、特异度，然后以灵敏度（真阳性率）为纵座标、 1特异度（假阳性率）为横坐标作图，将各点联成曲线即为ROC曲线。 3、主要用途 （1）选择最佳的诊断界限值。 （2）比较两种以上诊断试验的诊断价值。,ROC曲线下面积（AUC）,AUC取值范围在0.51。 一般认为：0.50.7 诊断价值较低 0.70.9 诊断价值中等 0.9以上诊断价值较高 该指标因不受患病率和诊断界值影响，因而成为目前公认的标准评价指标。,曲线下面积（AUC）估计方法,包括：参数法和非参数，均适用于测量指标为连续性或等级资料的诊断试验准确度评价。

11、自从Bamber 于1975 年提出ROC 曲线下面积估计方法以来, 许多学者通过对不同资料类型进行的研究, 相继提出了ROC 曲线面积估计、可信区间估计和面积比较的假设检验的参数和非参数方法。,（一）AUC估计的双正态参数法,假定条件：假设患者和非患者的实验结果均符合正态分布，根据试验结果拟合双正态模型下的ROC曲线。 两个参数： a表示患者组与非患者组试验结果的标准化均数差值； b表示非患者组与患者组的试验结果的标准差之比。,分别是患者组和非患者组检测结果的 均数， 分别是患者组和非患者组检测结 果的标准差。 由两个参数可得到绘制光滑ROC曲线下面积 的估计值，其计算公式如下： A为ROC

12、曲线下面积， 为标准正态分布函数.,参数法的ML估计和AUC计算，可以通过ROCKIT软件完成。ROCKIT软件免费下载地址： / MetzROC/software,（二）AUC估计的非参数法,经验ROC曲线：根据诊断试验的检测结果直接计算绘制ROC曲线所需的工作点（真阳性率，假阳性率），由此绘制的曲线称为经验ROC曲线。 Hanley于1982年提出：在资料分布未知的情况下，引用Wilcoxon统计量的思想，将各分割点看作可依次排序的秩项，列出计算表，估计曲线下面积及其标准误。,计算方法： 1）假设患者组有nx个检测结果，记作xi（ i=

13、1,2, nx）；非患者组有ny个检测结果 ，记为yj（j=1,2, ny）。 2）假定某指标检测结果越大，为患者的可 能性越大。则根据Wilcoxon统计量，非参 数法面积的估计公式为：,意义为：将nx个患者与ny个非患者的检查结果相比较后，将nxny个比较结果相加取平均值即得到面积估计值A。,如果检测结果越大，为非患者的可能性越大，则以上公式中的号和号互换。 非参数法因没有限制条件，适用于任何诊断试验ROC曲线下面积的计算。可通过SPSS、SAS软件实现。 Hajian-Tilaki等发现：即使数据不服从双正态时，参数法和非参数法产生的AUC及其方差也十分类似。该发现提示，不必过分要求数据服从双正态条件。,例20.1 某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/ mL），诊断结果见表20.1。试评