诊断试验评价简介课件

诊断试验评价简介诊断试验评价简介1学习目标1.了解诊断试验的评价方法及常用指标2.了解ROC曲线的应用3.能够运用统计软件进行ROC曲线分析学习目标1.了解诊断试验的评价方法及常用指标2（1）什么是诊断试验？（2）诊断试验的常用评价指标？问题提出（1）什么是诊断试验？问题提出3

诊断试验：诊断试验（diagnostictest）：临床上为给病人作出诊断（即确定或排除疾病）所应用的各种试验或检查方法。包括各种实验室检查（生物化学、免疫学、微生物学、病理学等）、影像诊断（超声波、CT、X线、核磁共振等）、仪器检查（心电图、脑电图、核素扫描、内窥镜等），还包括病史询问、体格检查等。诊断试验的基本概念诊断试验：诊断试验的基本概念4诊断试验的基本概念

诊断试验的评价：就是将待评价的诊断试验与诊断目标疾病的标准方法——即“金标准”（goldstandard）——进行同步盲法比较，判定该方法对疾病“诊断”的真实性和价值。

所谓“金标准”：是指当前临床医学界公认的诊断疾病的最可靠方法，也称为标准诊断。通常包括：活检、手术发现、微生物培养、尸检、特殊检查和影像诊断，以及长期随访结果。诊断试验的基本概念诊断试验的评价：5

例如：冠心病：冠状动脉造影肿瘤：病理学检查肾结石：手术发现。

由于金标准多具有创伤性，因此探求一些新的诊断方法或诊断试验，并比较其与金标准的差别、得失及推广价值有现实意义。例如：6例20.1某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/mL），诊断结果见表20.1。试评价CYFRA21-1作为肺癌诊断指标的准确性。

表20.1272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例例20.1某医生测量了122例肺癌患者和150例肺癌患者的7诊断试验评价的流程图特定人群金标准非病人病人阴性阳性阳性阴性诊断试验结果评价诊断试验评价的流程图特定人群金标准非病人病人阴性阳性阳性阴性81.灵敏度(Sensitivity)和特异度(Specificity)2.假阳性率(FPR)和假阴性率(FNR)3.阳性和阴性似然比(Likelihoodratio，LR)4.阳性和阴性预测值（Predictivevalue，PV）5.约登指数6.一致率7.诊断比数比（DiagnosticOddsRatio,DOR）……诊断试验的常用评价指标1.灵敏度(Sensitivity)和特异度(Specif9表20.2诊断试验与金标准的检测结果表20.2诊断试验与金标准的检测结果10常用评价指标的计算1.灵敏度(Sensitivity，Se)：真阳性率，是指患者中诊断为阳性的概率，反映真实情况为有病时诊断试验发现疾病的能力。Se＝[

a/(a+c)]×100%=a/D特异度(Specificity，Sp)：真阴性率，指非患者中诊断为阴性的概率，反映真实情况为无病时诊断试验排除疾病的能力。Sp＝[d/(b+d)]×100%=d/ND常用评价指标的计算1.灵敏度(Sensitivity，Se112.假阳性率(FPR,α)：亦称误诊率，指非患者错判为阳性的概率。α＝[b/(b+d)]×100％＝1

-

Spβ＝[c/(a+c)]×100％＝1-Se

假阴性率(FNR,β)：亦称漏诊率，指患者

错判为阴性的概率。常用评价指标的计算2.假阳性率(FPR,α)：亦称误诊率，指非患者错判为阳性12[12-3]

某医院收治急性心前区疼痛疑诊急性心肌梗死患者360例。为研究血清磷酸肌酸激酶(CPK)对急性心肌梗死的诊断价值，在经冠脉造影或心电图(金标准)确诊的基础上，同步检测患者CPK，设诊断异常界值为≥80u/L，结果见表12-2。试分析其Se与Sp。表12-2CPK对急性心肌梗死的诊断价值CPK(IU/L)心肌梗死无心肌梗死合计阳性(≥80)225

24249阴性(＜80)

25121146合计250145395[12-3]某医院收治急性心前区疼痛疑诊急性心肌梗死患者13分析计算:灵敏度（真阳性率）=(225/250)×100％＝90.0%特异度（真阴性率）=(121/145)×100％＝83.4%误诊率（假阳性率）=(24/145)×100％＝16.6%漏诊率（假阴性率）=(25/250)×100％＝10.0%分析计算:灵敏度（真阳性率）=(225/250)×100％143.似然比（likelihoodratio,LR）：患者人群中试验结果的概率与无病人群中试验结果概率之比。（1）阳性似然比（positivelikelihoodratio，LR(+)）：即真阳性率与假阳性率之比值。是说明病人中出现某种检测结果阳性的概率是非病人的多少倍。a/(a+c)b/(b+d)

LR(+)

＝=Se/(1-Sp)

3.似然比（likelihoodratio,LR）：a15（2）阴性似然比（negativelikelihoodratio，LR(-)）：

假阴性率与真阴性率之比值。说明病人中出现某种

检测结果为阴性的概率是非病人的多少倍。c/(a+c)d/(b+d)LR(-)

＝

=（1-Se）/Sp（2）阴性似然比（negativelikelihoodr16似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是比敏感性和特异性更稳定的指标。

似然比在临床诊断中有实用价值。当知道了某诊断试验的阳性似然比，并了解到所诊断疾病的患病率，就可计算在不同患病率情况下该试验的预测值。似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是174.预测值（Predictivevalue，PV）是根据诊断试验的结果来估计患病和不患病的可能性大小。阳性预测值：表示阳性结果中真正患病的概率。阴性预测值：表示阴性结果中真正未患病的概率。4.预测值（Predictivevalue，PV）185.约登指数（Youdenindex，YI）是反映诊断试验真实性的综合评价指标。YI=Se+Sp-1YI越大说明诊断试验真实性越好，YI小于或等于0，表示诊断试验无任何临床应用价值。5.约登指数（Youdenindex，YI）196.一致率（Agreementrate）又称正确率、真实度，是样本的诊断结果诊断正确的概率。

一致率=（a+d）/（a+b+c+d）×100%注意：由于该指标受患病率和诊断界值的影响，计算结果差异较大，故一般不建议用于诊断试验评价。6.一致率（Agreementrate）207.诊断比数比（DiagnosticOddsRatio,DOR）：是阳性似然比LR+与阴性似然比LR-之比。该指标在单个诊断试验评价中不常用，但由于DOR是将Se、Sp和LR进行综合计算的指标，在诊断试验Meta分析中常用到。TP×TNFP×FNDOR

＝=LR(+)/LR(-)

7.诊断比数比（DiagnosticOddsRatio21例20.1某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/mL），诊断结果见表20.1。试评价CYFRA21-1作为肺癌诊断指标的准确性。

表20.1272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例例20.1某医生测量了122例肺癌患者和150例肺癌患者的22提高诊断试验效率的方法

为提高诊断试验的效率，根据研究目的不同，可以采用不同的联合试验。常用的包括平行试验和系列试验：1.平行试验：同时多个试验进行诊断，有一个结果为阳性则判为患者。可提高Se，但Sp会下降，误判率增加。2.系列试验：同时多个试验进行诊断，所有结果为阳性者才能判为患者，可提高Sp，但Se会下降，漏判率增加。提高诊断试验效率的方法为提高诊断试验的效率，根据研究目的不231、ROC曲线的定义：（ReceiverOperatorCharacteristicCurve）又称受试者工作特性曲线。“对于存在或可能存在混淆的两种条件或自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。”——美国生物统计百科全书ROC曲线及其应用ROC曲线及其应用242、制图方法研究者以每个检测结果作为可能的诊断界值（cutoff），计算相应的灵敏度、特异度，然后以灵敏度（真阳性率）为纵座标、1﹣特异度（假阳性率）为横坐标作图，将各点联成曲线即为ROC曲线。3、主要用途（1）选择最佳的诊断界限值。（2）比较两种以上诊断试验的诊断价值。2、制图方法25诊断试验评价简介课件26ROC曲线下面积（AUC）AUC取值范围在0.5~1。一般认为：0.5~0.7诊断价值较低0.7~0.9诊断价值中等0.9以上诊断价值较高该指标因不受患病率和诊断界值影响，因而成为目前公认的标准评价指标。ROC曲线下面积（AUC）AUC取值范围在0.5~1。27曲线下面积（AUC）估计方法包括：参数法和非参数，均适用于测量指标为连续性或等级资料的诊断试验准确度评价。自从Bamber于1975年提出ROC曲线下面积估计方法以来,许多学者通过对不同资料类型进行的研究,相继提出了ROC曲线面积估计、可信区间估计和面积比较的假设检验的参数和非参数方法。曲线下面积（AUC）估计方法包括：参数法和非参数，均适用于测28（一）AUC估计的双正态参数法假定条件：假设患者和非患者的实验结果均符合正态分布，根据试验结果拟合双正态模型下的ROC曲线。两个参数：

a—表示患者组与非患者组试验结果的标准化均数差值；b—表示非患者组与患者组的试验结果的标准差之比。（一）AUC估计的双正态参数法假定条件：假设患者和非患者的实29

分别是患者组和非患者组检测结果的均数，

分别是患者组和非患者组检测结果的标准差。由两个参数可得到绘制光滑ROC曲线下面积的估计值，其计算公式如下：A为ROC曲线下面积，

为标准正态分布函数.分别是患者组和非患者组检测结果的30参数法的ML估计和AUC计算，可以通过ROCKIT软件完成。ROCKIT软件免费下载地址：http:///MetzROC/software参数法的ML估计和AUC计算，可以通过ROCKIT软件完成。31（二）AUC估计的非参数法经验ROC曲线：根据诊断试验的检测结果直接计算绘制ROC曲线所需的工作点（真阳性率，假阳性率），由此绘制的曲线称为经验ROC曲线。Hanley于1982年提出：在资料分布未知的情况下，引用Wilcoxon统计量的思想，将各分割点看作可依次排序的秩项，列出计算表，估计曲线下面积及其标准误。（二）AUC估计的非参数法经验ROC曲线：根据诊断试验的检测32计算方法：1）假设患者组有nx个检测结果，记作xi（i=1,2,…,nx）；非患者组有ny个检测结果，记为yj（j=1,2,…,ny）。2）假定某指标检测结果越大，为患者的可能性越大。则根据Wilcoxon统计量，非参数法面积的估计公式为：计算方法：33

意义为：将nx个患者与ny个非患者的检查结果相比较后，将nx×ny个比较结果相加取平均值即得到面积估计值A。

34如果检测结果越大，为非患者的可能性越大，则以上公式中的>号和<号互换。非参数法因没有限制条件，适用于任何诊断试验ROC曲线下面积的计算。可通过SPSS、SAS软件实现。Hajian-Tilaki等发现：即使数据不服从双正态时，参数法和非参数法产生的AUC及其方差也十分类似。该发现提示，不必过分要求数据服从双正态条件。如果检测结果越大，为非患者的可能性越大，则以上公式中的>号和35例20.1某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/mL），诊断结果见表20.1。试评价CYFRA21-1作为肺癌诊断指标的准确性（原始数据见例20.-01.sav）。

表20.1272例研究对象病理诊断和CYFRA21-1检测结果实例分析例20.1某医生测量了122例肺癌患者和150例肺癌患者的36实例分析实例分析37分析结果1：ROC曲线分析结果1：ROC曲线38分析结果2：AUC估计及假设检验结论：

CYFRA21-1诊断肺癌的ROC曲线下面积为0.820，标准误为0.26，与0.5比较P<0.0001，面积的95%CI为（0.770,0.871），提示可用于肺癌诊断。分析结果2：AUC估计及假设检验39

谢谢

40诊断试验评价简介诊断试验评价简介41学习目标1.了解诊断试验的评价方法及常用指标2.了解ROC曲线的应用3.能够运用统计软件进行ROC曲线分析学习目标1.了解诊断试验的评价方法及常用指标42（1）什么是诊断试验？（2）诊断试验的常用评价指标？问题提出（1）什么是诊断试验？问题提出43

诊断试验：诊断试验（diagnostictest）：临床上为给病人作出诊断（即确定或排除疾病）所应用的各种试验或检查方法。包括各种实验室检查（生物化学、免疫学、微生物学、病理学等）、影像诊断（超声波、CT、X线、核磁共振等）、仪器检查（心电图、脑电图、核素扫描、内窥镜等），还包括病史询问、体格检查等。诊断试验的基本概念诊断试验：诊断试验的基本概念44诊断试验的基本概念

诊断试验的评价：就是将待评价的诊断试验与诊断目标疾病的标准方法——即“金标准”（goldstandard）——进行同步盲法比较，判定该方法对疾病“诊断”的真实性和价值。

所谓“金标准”：是指当前临床医学界公认的诊断疾病的最可靠方法，也称为标准诊断。通常包括：活检、手术发现、微生物培养、尸检、特殊检查和影像诊断，以及长期随访结果。诊断试验的基本概念诊断试验的评价：45

例如：冠心病：冠状动脉造影肿瘤：病理学检查肾结石：手术发现。

由于金标准多具有创伤性，因此探求一些新的诊断方法或诊断试验，并比较其与金标准的差别、得失及推广价值有现实意义。例如：46例20.1某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/mL），诊断结果见表20.1。试评价CYFRA21-1作为肺癌诊断指标的准确性。

表20.1272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例例20.1某医生测量了122例肺癌患者和150例肺癌患者的47诊断试验评价的流程图特定人群金标准非病人病人阴性阳性阳性阴性诊断试验结果评价诊断试验评价的流程图特定人群金标准非病人病人阴性阳性阳性阴性481.灵敏度(Sensitivity)和特异度(Specificity)2.假阳性率(FPR)和假阴性率(FNR)3.阳性和阴性似然比(Likelihoodratio，LR)4.阳性和阴性预测值（Predictivevalue，PV）5.约登指数6.一致率7.诊断比数比（DiagnosticOddsRatio,DOR）……诊断试验的常用评价指标1.灵敏度(Sensitivity)和特异度(Specif49表20.2诊断试验与金标准的检测结果表20.2诊断试验与金标准的检测结果50常用评价指标的计算1.灵敏度(Sensitivity，Se)：真阳性率，是指患者中诊断为阳性的概率，反映真实情况为有病时诊断试验发现疾病的能力。Se＝[

a/(a+c)]×100%=a/D特异度(Specificity，Sp)：真阴性率，指非患者中诊断为阴性的概率，反映真实情况为无病时诊断试验排除疾病的能力。Sp＝[d/(b+d)]×100%=d/ND常用评价指标的计算1.灵敏度(Sensitivity，Se512.假阳性率(FPR,α)：亦称误诊率，指非患者错判为阳性的概率。α＝[b/(b+d)]×100％＝1

-

Spβ＝[c/(a+c)]×100％＝1-Se

假阴性率(FNR,β)：亦称漏诊率，指患者

错判为阴性的概率。常用评价指标的计算2.假阳性率(FPR,α)：亦称误诊率，指非患者错判为阳性52[12-3]

某医院收治急性心前区疼痛疑诊急性心肌梗死患者360例。为研究血清磷酸肌酸激酶(CPK)对急性心肌梗死的诊断价值，在经冠脉造影或心电图(金标准)确诊的基础上，同步检测患者CPK，设诊断异常界值为≥80u/L，结果见表12-2。试分析其Se与Sp。表12-2CPK对急性心肌梗死的诊断价值CPK(IU/L)心肌梗死无心肌梗死合计阳性(≥80)225

24249阴性(＜80)

25121146合计250145395[12-3]某医院收治急性心前区疼痛疑诊急性心肌梗死患者53分析计算:灵敏度（真阳性率）=(225/250)×100％＝90.0%特异度（真阴性率）=(121/145)×100％＝83.4%误诊率（假阳性率）=(24/145)×100％＝16.6%漏诊率（假阴性率）=(25/250)×100％＝10.0%分析计算:灵敏度（真阳性率）=(225/250)×100％543.似然比（likelihoodratio,LR）：患者人群中试验结果的概率与无病人群中试验结果概率之比。（1）阳性似然比（positivelikelihoodratio，LR(+)）：即真阳性率与假阳性率之比值。是说明病人中出现某种检测结果阳性的概率是非病人的多少倍。a/(a+c)b/(b+d)

LR(+)

＝=Se/(1-Sp)

3.似然比（likelihoodratio,LR）：a55（2）阴性似然比（negativelikelihoodratio，LR(-)）：

假阴性率与真阴性率之比值。说明病人中出现某种

检测结果为阴性的概率是非病人的多少倍。c/(a+c)d/(b+d)LR(-)

＝

=（1-Se）/Sp（2）阴性似然比（negativelikelihoodr56似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是比敏感性和特异性更稳定的指标。

似然比在临床诊断中有实用价值。当知道了某诊断试验的阳性似然比，并了解到所诊断疾病的患病率，就可计算在不同患病率情况下该试验的预测值。似然比反映了敏感度与特异度两方面的特性，不受患病率的影响，是574.预测值（Predictivevalue，PV）是根据诊断试验的结果来估计患病和不患病的可能性大小。阳性预测值：表示阳性结果中真正患病的概率。阴性预测值：表示阴性结果中真正未患病的概率。4.预测值（Predictivevalue，PV）585.约登指数（Youdenindex，YI）是反映诊断试验真实性的综合评价指标。YI=Se+Sp-1YI越大说明诊断试验真实性越好，YI小于或等于0，表示诊断试验无任何临床应用价值。5.约登指数（Youdenindex，YI）596.一致率（Agreementrate）又称正确率、真实度，是样本的诊断结果诊断正确的概率。

一致率=（a+d）/（a+b+c+d）×100%注意：由于该指标受患病率和诊断界值的影响，计算结果差异较大，故一般不建议用于诊断试验评价。6.一致率（Agreementrate）607.诊断比数比（DiagnosticOddsRatio,DOR）：是阳性似然比LR+与阴性似然比LR-之比。该指标在单个诊断试验评价中不常用，但由于DOR是将Se、Sp和LR进行综合计算的指标，在诊断试验Meta分析中常用到。TP×TNFP×FNDOR

＝=LR(+)/LR(-)

7.诊断比数比（DiagnosticOddsRatio61例20.1某医生测量了122例肺癌患者和150例肺癌患者的血清肿瘤标志物CYFRA21-1（ng/mL），诊断结果见表20.1。试评价CYFRA21-1作为肺癌诊断指标的准确性。

表20.1272例研究对象病理诊断和CYFRA21-1检测结果诊断试验评价的应用实例例20.1某医生测量了122例肺癌患者和150例肺癌患者的62提高诊断试验效率的方法

为提高诊断试验的效率，根据研究目的不同，可以采用不同的联合试验。常用的包括平行试验和系列试验：1.平行试验：同时多个试验进行诊断，有一个结果为阳性则判为患者。可提高Se，但Sp会下降，误判率增加。2.系列试验：同时多个试验进行诊断，所有结果为阳性者才能判为患者，可提高Sp，但Se会下降，漏判率增加。提高诊断试验效率的方法为提高诊断试验的效率，根据研究目的不631、ROC曲线的定义：（ReceiverOperatorCharacteristicCurve）又称受试者工作特性曲线。“对于存在或可能存在混淆的两种条件或自然状态，需要受试者、专业诊断学工作者以及预测工作者做出精确判断，或者准确决策的一种定量方法。”——美国生物统计百科全书ROC曲线及其应用ROC曲线及其应用642、制图方法研究者以每个检测结果作为可能的诊断界值（cutoff），计算相应的灵敏度、特异度，然后以灵敏度（真阳性率）为纵座标、1﹣特异度（假阳性率）为横坐标作图，将各点联成曲线即为ROC曲线。3、主要用途（1）选择最佳的诊断界限值。（2）比较两种以上诊断试验的诊断价值。2、制图方法65诊断试验评价简介课件66ROC曲线下面积（AUC）AUC取值范围在0.5~1。一般认为：0.5~0.7诊断价值较低0.7~0.9诊断价值中等0.9以上诊断价值较高该指标因不受患病率和诊断界值影响，因而成为目前公认的标准评价指标。ROC曲线下面积（AUC）AUC取值范围在0.5~1。67曲线下面积（AUC）估计方法包括：参数法和非参数，均适用于测量指标为连续性或等级资料的诊断试验准确度评价。自从Bamber于1975年提出ROC曲线下面积估计方法以来,许多学者通过对不同资料类型进行的研究,相继提出了ROC曲线面积估计、可信区间估计和面积比较的假设检验的参数和非参数方法。曲线下面积（AUC）估计方法包括：参数法和非参数，均适用于测68（一）AUC估计的双正态参数法假定条件：假设患者和非患者的实验结果均符合正态分布，根据试验结果拟合双正态模型下的ROC曲线。两个参数：

a—表示患者组与非患者组试验结果的标准化均数差值；b—表示非患者组与患者组的试验结果的标准差之比。（一）AUC估计的双正态参数法假定条件：假设患者和非患者的实69

分别是患者组和非患者组检测结果的均数，

分别是患者组和非患者组检测结果的标准差。由两个参数可得到绘制光滑ROC曲线下面积的估计值，其计算公式如下：A为ROC曲线下面积，

为标准正态分布函数.分别是患者组和非患者组检测结果的70参数法