第十三章--诊断试验的评价.ppt

第十三章诊断试验的评价,为什么要学习诊断试验的评价,循证医学的重要内容及时取舍或灵活应用新的诊断试验（试剂、药物、方法）提高业务素质，减少患者不必要的经济开支。,目录,第一节贝叶斯定理第二节诊断试验中常用的评价指标第三节ROC曲线,第一节贝叶斯定理,贝叶斯定理应用,第二节诊断试验中常用的评价指标,例13.2表13.2ECG诊断试验的结果,常用指标有（一）正确百分率、（二）灵敏度、（三）特异度、（四）Youden指数、（五）阳性似然比、（六）阴性似然比、（七）阳性预报值、（八）阴性预报值。,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,灵敏度与特异度的优缺点,优点：灵敏度与特异度不受患病率的影响，其取值范围均在（0,1）之间，其值越接近于1，说明其诊断准确性越好。缺点：当比较两个诊断试验时，单独使用灵敏度或特异度，可能出现矛盾。解决办法：将两指标结合：Youden指数、阳性似然比、阴性似然比等,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,医生最关心的问题：1.试验阳性时患病的概率多大？2.试验阴性时不患病的概率多大？,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,例13.2表13.2ECG诊断试验的结果,阳性预报值与阴性预报值,第三节ROC曲线,ROC【receiver(relative)operatingcharacteristic的缩写，译为“接受者工作特征”】ROC曲线研究历史1950s雷达信号观测能力评价1960s中期实验心理学、心理物理学1970s末与1980s初诊断医学,ROC的涵义与起源,诊断试验：泛指血液生化、影像学、免疫学、细胞学、病理学、统计模型等检查。重要性：1.循证医学的重要组成部分2.诊断试验评价方法可用于：临床试验评价临床检验评价流行病学筛查试验评价实验室检验评价统计学模型评价,ROC曲线评价诊断试验的重要性,灵敏度,特异度,假阴性率,假阳性率,Testvariable,不同诊断界值时灵敏度与特异度间的平衡(tradeoff),0,20,40,60,80,100,50,60,70,80,90,100,特异度,灵敏度,百分率（）,Testvariable,完美与无用的ROC曲线,真阳性率即灵敏度,假阳性率即1特异度,机率线(chanceline)(diagonalreferenceline),诊断准确度较低（,0.9,）,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,A,0.938,ROC曲线下面积（Area）与诊断准确度高低高0.90-1.00=excellent(A)中0.80-0.90=good(B)0.70-0.80=fair(C)低0.60-0.70=poor(D)0.50-0.60=fail(F),似然比（LR）在ROC曲线空间的涵义,白细胞计数诊断白血病,LR7.5,LR0.7,LR2.3,LR25.0,基本概念小结,ROC曲线反映了灵敏度与特异度间的平衡(增加灵敏度将降低特异度；增加特异度将降低灵敏度)。在ROC曲线空间，如果曲线沿着左边线，然后沿着上边线越紧密，则试验准确度越高。在ROC曲线空间，如果曲线沿着机会线（45度对角线）越紧密，则试验准确度越低。在诊断界值（cutpoint）处的正切线的斜率就是该试验值对应的阳性似然比（likelihoodratio，LR)。在ROC曲线空间的左下角LR+最大，随着曲线从左下往右上方移动，LR+逐渐减小。ROC曲线下面积是重要的试验准确度指标。,主要任务：计算ROC曲线工作点（Coordinatepoint或Operatingpoint）（FPR,TPR）连接相邻两点,一、ROC曲线工作点的计算与曲线绘制,连续型数据的ROC曲线工作点（TPR，FPR）计算,将这9个数据从大到小排列，以前8个数，分别作为诊断界值，大于等于诊断界值者判为阳性，小于该值者判为阴性。这样，可整理成8个四格表,表133假想的连续型数据,有序分类数据的ROC曲线工作点（TPR，FPR）计算,将诊断分类数据按大到小排序，以前4个分类作为诊断界值，大于等于诊断界值者为阳性，小于该值者为阴性。这样，可整理出4个四格表，每个四格表对应的ROC曲线的工作点见下表。,1,00,11,2,二、ROC曲线下面积的计算,ROC曲线下面积(Area)部分ROC曲线下的面积FPR为某值对应的TPR值,(一)Hanley和McNeil非参数法,ROC曲线下面积(Az)就是异常组观察值大于正常组观察值的概率,Mann-WhitneyU统计量,Hanley和McNeil法ROC曲线下面积与Mann-WhitneyU检验,由秩和检验中的Mann-WhitneyU统计量（SPSS等软件均可计算）可计算ROC曲线下面积零假设H0:总体ROC面积0.5的检验等价于Mann-WhitneyU检验,SPSS输出的ROC面积检验P值即为上述Z值对应的概率,Hanley和McNeil法ROC曲线下面积与梯形规则（trapezoidalrule）,Hanley和McNeil法ROC曲线下面积等于所有曲线下梯形（包括最左侧的三角形）面积之和,（二）其他ROC曲线下面积计算方法,1.双正态法2.有序回归模型3.其他模型(如双Gama法、双指数法),三、ROC曲线下面积的假设检验,单个连续型资料（实例1）单个有序分类资料（实例2）两个相关连续型资料（实例3）两个相关有序分类资料（实例4）,二、ROC分析的数据类型,Testvariables,实例1：采用骨髓诊断作为金标准，对100例缺铁性贫血疑似患者进行确诊，患该病者为异常组(34例)，未患该病者为正常组(66例)。为了考察红细胞平均容积（MCV）诊断缺铁性贫血的效果，测得每一个体的MCV值如下：,StateVariable,TestVariable,实例1：MCV诊断缺铁性贫血,图4,连续性资料的两组频率分布,0.3,0.2,0.1,0,0.1,0.2,0.3,55,60,65,70,75,80,85,90,95,100,105,组段上限值,异,常,组,频,率,实例1的SPSS输入格式,StateVariable骨髓诊断,TestVariableMCV结果,0正常组1异常组,ValueofStateVariable：1,SPSS的GraphsROCCurve界面,如果试验测量值越小患病的可能性越大时应改变默认的Options,SPSS输出结果,SPSS输出结果,SPSS输出结果,SPSS输出结果,MCV诊断缺铁性贫血的ROC曲线,0.0,0.2,0.4,0.6,0.8,1.0,0.0,0.2,0.4,0.6,0.8,1.0,FPR,T,P,R,双正态,机率线,工作点,实例2：某放射医生将已知实际分类的影像，按肯定正常、可能正常、疑似异常、可能异常、肯定异常，分别分为1、2、3、4、5五类。,StateVariable,TestVariable,FrequencyVariable,实例2：放射医生影像分类,图6,单个有序分类资料的两组频率分布,-0.5,-0.4,-0.3,-0.2,-0.1,0,0.1,0.2,0.3,0.4,0.5,1,2,3,4,5,分类,异,常,组,频,率,实例2的SPSS输入格式,StateVariable组别,TestVariable诊断分类,0正常组1异常组,ValueofStateVariable：1,SPSS的GraphsROCCurve界面,如果试验测量值越小患病的可能性越大时应改变默认的Options,在调用Graphs前，必须先用DataWeightCasesby:频数,0.8,1.0,FPR,T,P,R,双正态,机率线,工作点,其他实例的ROC曲线SPSS计算,参见：(诊断试验评价与数据挖掘),推荐两本国外最新著作,ZhouXH,McClishDK,ObuchowskiNA.StatisticalMethodsinDiagnosticMe