诊断试验方法的评价.ppt

用于临床疾病诊断的试验方法很多用于临床疾病诊断的试验方法很多 ，而且随着科学技术的发展，特别是医，而且随着科学技术的发展，特别是医 学、分子生物学、电子计算机技术的发学、分子生物学、电子计算机技术的发 展，越来越多的新诊断试验方法被应用展，越来越多的新诊断试验方法被应用 于临床。于临床。 评价一种新的诊断试验方法评价一种新的诊断试验方法 的基本程序是与的基本程序是与诊断某病的金诊断某病的金 标准标准 作作盲法盲法 和和同步同步 比较比较 第一节第一节 评价的基本程序评价的基本程序 （步骤）（步骤） l l 确立金标准确立金标准 l l 选择研究对象选择研究对象 l l 样本大小估计样本大小估计 l l 同步评价同步评价 l l 根据试验检查结果评价诊断价值根据试验检查结果评价诊断价值 一、确立金标准一、确立金标准 l l 要评价一种新的诊断试验方法，首先要确定一个参照要评价一种新的诊断试验方法，首先要确定一个参照 标准标准 即金标准（即金标准（gold standardgold standard）。）。 l l 金标准是指一种疾病标准诊断方法，即当前医学界公金标准是指一种疾病标准诊断方法，即当前医学界公 认的、可靠的、诊断某病的诊断方法，应用该标准能较认的、可靠的、诊断某病的诊断方法，应用该标准能较 正确区分患某种疾病的人和不具有该病的人。正确区分患某种疾病的人和不具有该病的人。 l l 一项诊断试验的准确程度只有在金标准诊断的病人组一项诊断试验的准确程度只有在金标准诊断的病人组 和非病人组中进行考核，才能得到正确的评价。和非病人组中进行考核，才能得到正确的评价。 二、选择研究对象二、选择研究对象 l l 在诊断试验方法评价中，研究对象包括两组在诊断试验方法评价中，研究对象包括两组 ：一是被金标准确诊的：一是被金标准确诊的病例组病例组，另一组是金，另一组是金 标准证实无该病的人群，即标准证实无该病的人群，即对照组对照组。 l l 所有的研究对象都要有代表性，病例组和对所有的研究对象都要有代表性，病例组和对 照组都应代表各自的总体。照组都应代表各自的总体。 三、样本大小估计三、样本大小估计 评价诊断试验的样本含量用下列公式计算评价诊断试验的样本含量用下列公式计算 ： n = zn = z 2 2 p p(1(1 p p)/ )/ 2 2 注：注：p p为试验的预期特异度或灵敏度；为试验的预期特异度或灵敏度； 为允许为允许 误差；误差； 为第一类误差的概率（为第一类误差的概率（=0.05=0.05或或0.010.01） ， z z 值由值由z z界值表查得。界值表查得。 四、同四、同 步步 评评 价价 用被评价的诊断试验方法对研究对象进行同用被评价的诊断试验方法对研究对象进行同 步步 检查，采用盲法观察。检查，采用盲法观察。 目目 的：的： 消除消除研究对象研究对象心理情绪上的波动或异常心理情绪上的波动或异常 而影响试验结而影响试验结 果果 避免避免研究者研究者的主观意愿的主观意愿 而影响试验结果。而影响试验结果。 五、根据试验检查结果评价诊断价五、根据试验检查结果评价诊断价 值值 如试验结果是定性资料，可以整理成如下表格形式：如试验结果是定性资料，可以整理成如下表格形式： 诊断性试验方法评价资料整理表诊断性试验方法评价资料整理表 试验结果试验结果 金标准金标准 合合 计计 有有 病病 无无 病病 阳阳 性性 a a（真阳性）（真阳性） b b（假阳性）（假阳性） a+ba+b 阴阴 性性 c c（假阴性）（假阴性） d d（真阴性）（真阴性） c+dc+d 合合 计计 a+ca+c b+db+d n ( n (a+b+c+da+b+c+d) ) 第二节第二节 评评 价价 指指 标标 对一个诊断试验方法评价包括多方面对一个诊断试验方法评价包括多方面 ， 在技术上主要包括两方面：在技术上主要包括两方面： 可靠性可靠性（reliabilityreliability） 真实性真实性（validityvalidity） 一、可一、可 靠靠 性性 评评 价价 l l 可靠性也称重复性（可靠性也称重复性（repeatabilityrepeatability）或精确性）或精确性 （precisionprecision），指一项试验在相同条件重复使），指一项试验在相同条件重复使 用获得相同结果的稳定程度（用获得相同结果的稳定程度（stsbilitystsbility） l l 评价诊断试验方法的可靠性通过测量变异的评价诊断试验方法的可靠性通过测量变异的 大大 小来判断。小来判断。 结果是结果是定量定量数据的可靠性判定数据的可靠性判定 变异系数（变异系数（coefficient of variation, coefficient of variation, CVCV） 判定定量数据的可靠性判定定量数据的可靠性 ： 变异系数（变异系数（CVCV）= = 标准差标准差 / / 算数均数算数均数 结果是结果是定性定性数据的可靠性判定数据的可靠性判定 符合率：符合率：即粗一致率（即粗一致率（crude agreement, CAcrude agreement, CA）是）是 指试验结果与金标准结果一致性指试验结果与金标准结果一致性 CA=CA=( (真阳性真阳性+ +真阴性真阴性)/)/受试者总人数受试者总人数=(a+d)/(a+b+c+d)100%=(a+d)/(a+b+c+d)100% 符合率受人为因素影响较多，一般用调整符合率（符合率受人为因素影响较多，一般用调整符合率（ adjusted agreement, AAadjusted agreement, AA）：）： AA=1/4a/(a+c)+d/(b+d)+a/(a+b)+d/(c+d) 100%AA=1/4a/(a+c)+d/(b+d)+a/(a+b)+d/(c+d) 100% KappaKappa值值：表示两种试验的一致性程：表示两种试验的一致性程 度度 观察一致率观察一致率 ( (P P 0 0 ) ) ： P P0 0 = (= (a+da+d）/ (/ (a+b+c+da+b+c+d) ) 机遇一致率机遇一致率 ( (P P c c ) ) ： P P c c = = ( (a+ba+b) () (a+ca+c)/ ()/ (a+b+c+da+b+c+d)+ ()+ (c+dc+d) () (b+db+d)/ ()/ (a+b+c+da+b+c+d) )/ (/ (a+b+c+da+b+c+d) ) Kappa = ( Kappa = ( P P 0 0 P P c c )/(1)/(1P P c c ) ) KappaKappa值越高，表示一致性程度越好值越高，表示一致性程度越好。 KappaKappa值（在值（在0101之间）：之间）： 0.7510.751之间为之间为一致性高一致性高 0.400.740.400.74为为一般一般 0.390.39以下为以下为一致性差一致性差 二、真二、真 实实 性性 评评 价价 任何检查或测量结果与金标准相比，有下列四种情况：任何检查或测量结果与金标准相比，有下列四种情况： 正确结果：正确结果： 真正有病的人试验结果阳性（真阳性真正有病的人试验结果阳性（真阳性 a a ） 真正无病的人试验结果阴性（真阴性真正无病的人试验结果阴性（真阴性 d d ） 错误结果错误结果： 真正有病的人试验结果阴性（假阴性真正有病的人试验结果阴性（假阴性 c c ） 真正无病的人试验结果阳性（假阳性真正无病的人试验结果阳性（假阳性 b b ） 真实性是指测量值与实际值的符合程度真实性是指测量值与实际值的符合程度 一项试验方法得出的正确结果越多，则该试验的一项试验方法得出的正确结果越多，则该试验的 真实性越高。评价试验方法的真实性包括两个方面，真实性越高。评价试验方法的真实性包括两个方面， 即对有病和无病的识别能力。主要评价指标如下：即对有病和无病的识别能力。主要评价指标如下： 灵敏度（灵敏度（sensitivitysensitivity） 特异度（特异度（specificityspecificity） 似然比（似然比（likelihood ratio, LRlikelihood ratio, LR） YoudenYouden指数（指数（YoudensYoudens Index, YI Index, YI） 灵敏度（灵敏度（sensitivitysensitivity ） 灵敏度灵敏度 ( ( 真阳性率真阳性率) )是真正有病的人中试验结果阳性的是真正有病的人中试验结果阳性的 百分百分 率，其表示试验方法对疾病的检出能力。率，其表示试验方法对疾病的检出能力。 灵敏度越高，说明试验方法对疾病的检出能力越强，灵敏度越高，说明试验方法对疾病的检出能力越强， 病人病人 漏诊机会越少。漏诊机会越少。 与灵敏度相对的是与灵敏度相对的是漏诊率漏诊率 ( ( 假阴性率假阴性率) ) 。 特异度（特异度（specificityspecificity） 特异度特异度 ( ( 真阴性率真阴性率) )是无病的人中试验结果阴性的百是无病的人中试验结果阴性的百 分分 率，其表示试验方法对无病的检出能力。率，其表示试验方法对无病的检出能力。 特异度越高，说明试验方法对无病的判断能力越强特异度越高，说明试验方法对无病的判断能力越强 ，无，无 病的人被误诊机会越少。病的人被误诊机会越少。 与特异度相对的是与特异度相对的是误诊率误诊率 ( ( 假阳性率假阳性率) )。 似然比（似然比（likelihood ratio, likelihood ratio, LRLR） 阳性似然比阳性似然比( (LR)=LR)=真阳性率真阳性率/ /假阳性率假阳性率= =灵敏度灵敏度/ /误诊误诊 率率 阳性似然比指正确判断阳性的可能性是错判阳性可能阳性似然比指正确判断阳性的可能性是错判阳性可能 性的性的 倍数，表明诊断试验结果呈阳性时患病与不患病的比例倍数，表明诊断试验结果呈阳性时患病与不患病的比例 ，其，其 比值越大，试验的诊断价值越高。比值越大，试验的诊断价值越高。 阴性似然比阴性似然比( (LR)=LR)=假阴性率假阴性率/ /真阴性率真阴性率= =漏诊率漏诊率/ /特异特异 度度 阴性似然比指错判阴性的可能性是正确判断阴性可能阴性似然比指错判阴性的可能性是正确判断阴性可能 性的性的 倍数，表明诊断试验结果呈阴性时患病与不患病的比例倍数，表明诊断试验结果呈阴性时患病与不患病的比例 ，其，其 比值越小，试验的诊断价值越高。比值越小，试验的诊断价值越高。 YoudenYouden指数（指数（YoudensYoudens Index, Index, YI YI ） 灵敏度和特异度是反映一项诊断试验的两个 基 本指标，两者之和减去一，即为Youden指数。 Youden指数（YI）越大，试验的真实性越高 。 YoudenYouden指数也称正确指数指数也称正确指数 举例：见教材 P243 302例高度疑为肝癌的病人肝穿刺活检（金标准），病理报告明确肝癌的病人肝穿刺活检（金标准），病理报告明确 诊断为肝癌诊断为肝癌234234例，非肝癌例，非肝癌6868例。对上述病人行血中甲胎蛋白检测，结例。对上述病人行血中甲胎蛋白检测，结 果为，阳性果为，阳性236236例（其中肝癌者例（其中肝癌者205205例），阴性例），阴性6666例（其中肝癌者例（其中肝癌者2929例例 ），）， 试评价甲胎蛋白检测作为诊断肝癌的价值。试评价甲胎蛋白检测作为诊断肝癌的价值。 请计算相关指标，并对数据结果作出恰当解释。 甲胎蛋白诊断肝癌的评价资料整理表甲胎蛋白诊断肝癌的评价资料整理表 甲胎蛋白甲胎蛋白 肝癌（肝穿刺）肝癌（肝穿刺） 合合 计计 试验结果试验结果 有有 病病 无无 病病 阳阳 性性 205 205 ( (真阳性真阳性) 31 31 ( (假阳性假阳性) ) 236 236 阴阴 性性 29 29 ( (假阴性假阴性) ) 37 37 ( (真阴性真阴性) ) 66 66 合合 计计 234 68 302234 68 302 解答：解答：1 1、资料可整理为如下表格资料可整理为如下表格： 2 2、计算、计算有关指标及评价有关指标及评价 可靠性评价可靠性评价 定性数据的可靠性判定用符合率和一致性符合率和一致性评价： 符合率符合率(CA(CA)=()=(真阳性真阳性+ +真阴性真阴性)/ )/受试者总人数受试者总人数=(205+37)/302 = =(205+37)/302 = 80.13 %80.13 % 调整符合率调整符合率(AA)(AA)=1/4=1/4真阳性真阳性/( /(真阳性真阳性+ +假阴性假阴性)+)+真阴性真阴性/( /(假阳性假阳性+ +真阴性真阴性)+)+真阳性真阳性/( /(真真 阳性阳性+ +假阳性假阳性)+)+真阴性真阴性/( /(假阴性假阴性+ +真阴性真阴性) 100%) 100% = 1/4205/(205+29)+37/(31+37)+205/(205+31)+37/(29+37) 100% = 1/4205/(205+29)+37/(31+37)+205/(205+31)+37/(29+37) 100% = 1/4205/234+37/68+205/236+37/68 100% = = 1/4205/234+37/68+205/236+37/68 100% = 71.24 %71.24 % KappaKappa值值= ( = ( P P 0 0 P P c c )/(1)/(1P P c c) ) P P 0 0 = (= (a+da+d）/ (/ (a+b+c+da+b+c+d) =) =（205+37205+37）/302 = 0.8013/302 = 0.8013 P Pc=c= ( (a+ba+b) () (a+ca+c)/ ()/ (a+b+c+da+b+c+d)+ ()+ (c+dc+d) () (b+db+d)/ ()/ (a+b+c+da+b+c+d) )/ (/ (a+b+c+da+b+c+d) ) = (236234)/302+(6668)/302/302 = (236234)/302+(6668)/302/302 = (55224+4488)/91204 = 0.6547 = (55224+4488)/91204 = 0.6547 Kappa Kappa = (0.8013= (0.80130.6547)/(10.6547)/(10.6547)= 0.1466/0.3453 = 0.6547)= 0.1466/0.3453 = 0.42460.4246 由于由于 0.40 0.40 KappaKappa 0.740.74，表示两种试验的一致性程度为一般，因此，甲胎蛋白检，表示两种试验的一致性程度为一般，因此，甲胎蛋白检 测作测作 为诊断肝癌的指标可靠性一般。为诊断肝癌的指标可靠性一般。 真实真实 性评价性评价 真实性判定用灵敏度、特异度、灵敏度、特异度、 YoudenYouden指数指数等评价 灵敏度灵敏度（Se）= 真阳性/(真阳性+假阴性) 100% =205/234 100% = 87.61 % 87.61 % 漏诊率漏诊率( (假阴性率假阴性率) = 1) = 1 灵敏度灵敏度 = = 假阴性假阴性/( /(真阳性真阳性+ +假阴性假阴性) 100% = 12.39 %) 100% = 12.39 % 特异度特异度（Sp）= 真阴性/(真阴性+假阳性) 100 =37/68 100% = 54.41 % 54.41 % 误诊率误诊率( (假阳性率假阳性率) = 1) = 1 特异度特异度 = = 假阳性假阳性/( /(真阴性真阴性+ +假阳性假阳性) 100% = 45.59 %) 100% = 45.59 % 阳性似然比阳性似然比 = 真阳性率/假阳性率 = 灵敏度/误诊率=0.8761/0.4559 = 1.92 1.92 YoudenYouden指数（指数（YI YI ）= =灵敏度特异度-1=0.8761+0.5441-1= 0.42020.4202 表明甲胎蛋白检测作为诊断肝癌甲胎蛋白检测作为诊断肝癌的指标敏感性较高，而判断为无病及无病及 正正 确指数确指数为一般。 举例： 论文：强迫震荡法呼吸系统有效阻力频率依赖性的测定及临床应用 目的：提出一种检出小气道早期病变的新方法（R2HZ-4HZR5HZ-7HZ） 金标准：现有的诊断小气道早期病变较好指标（FEF25-75% ；FEF75-85% ；V50；V25 ） 之正常组的均值1.65标准差（95%可信限）为异常判断标准 结果见下表： 表1 二组R2HZ-4HZR5HZ-7HZ测定值 组别 例数 R2HZ-4HZR5HZ-7HZ 正常组 45 0.420.115 吸烟组 44 0.750.256 表2 二组五项指标检出的异常例数和异常率（%） 组别 例数 FEF25-75% FEF75-85% V50 V25 R2HZ-4HR5HZ-7HZ 正常组 45 3（6.7） 1（2.2） 2（4.4） 2（4.4） 3（6.7） 吸烟组 44 10（22.7） 1（2.3） 9（20.5）6（13.6） 16（36.4） 注：两组对象均为男性，体检正常，半年内胸片正常，年龄有可比性；唯吸烟组吸烟年限10-30年， 吸烟量10-20支/日 试分析新方法（R2HZ-4HZR5HZ-7HZ）是否是检出小气道早期病变的好指标 解答 ： 1. 1. 可靠性评价：可靠性评价：定量数据的可靠性判定用变异系数 变异系数评价： 变异系数（CV） = 标准差 / 算数均数，根据表1的数据计算，两组R2HZ-4HR5HZ-7HZ的测定 值 CV均很小，表明该指标是可靠的。 2. 2. 真实性评价：真实性评价：真实性判定用灵敏度、特异度 灵敏度、特异度等评价 灵敏度：灵敏度：灵敏度（Se）= 真阳性/(真阳性+假阴性) 100% Se（FEF25-75%）=22.7% Se（FEF75-85%）=2.3% Se（V50）=20.5% Se（V25）=13.6% Se（R2HZ-4HR5HZ-7HZ）=36.4% 显示R2HZ-4HR5HZ-7HZ检出小气道早期病变的灵敏度明显高于其他四项指标 特异度：特异度：特异度（Sp）= 真阴性/(真阴性+假阳性) 100% Sp（FEF25-75% ）=93.3% Sp（ FEF75-85% ）=97.8% Sp（V50）=95.6% Sp（V25）=95.6% Sp（R2HZ-4HR5HZ-7HZ）=93.3% 显示R2HZ-4HR5HZ-7HZ对无小气道早期病变的判断能力与其他四项指标相近 因此，可以得出结论，新方法（R2HZ-4HZR5HZ-7HZ）是检出小气道早期病变较敏感的好指标。 第三节第三节 预预 测测 值值 在试验结果（阳性或阴性）已知的条件下，有无疾病的概率称为试验在试验结果（阳性或阴性）已知的条件下，有无疾病的概率称为试验 的的 预测值（预测值（predicative value, PVpredicative value, PV）。）。 当一个试验对一个人群进行检查时，仅了解其灵敏度和特异度是不够当一个试验对一个人群进行检查时，仅了解其灵敏度和特异度是不够 的，还必须了解：的，还必须了解： 试验结果阳性的人中患有这种疾病的概率，即试验结果阳性的人中患有这种疾病的概率，即阳性预测值阳性预测值（positive positive predicative value, PPVpredicative value, PPV） 试验结果阴性的人中不患该疾病的概率，即试验结果阴性的人中不患该疾病的概率，即阴性预测值阴性预测值（negative negative predicative value, NPVpredicative value, NPV） 阳性预测值阳性预测值( (PPVPPV)=)=真阳性真阳性/ /试验结果阳性人数试验结果阳性人数 =a/(a+b)=a/(a+b)100100% 它表示试验结果阳性者可能患有该病的概率，阳性预测值越高，诊断它表示试验结果阳性者可能患有该病的概率，阳性预测值越高，诊断 价价 值越高。值越高。 l l 影响阳性预测值的因素有试验方法本身（灵敏影响阳性预测值的因素有试验方法本身（灵敏 度和特异度）以及患病率。三者的升高都能提度和特异度）以及患病率。三者的升高都能提 高