筛检与诊断试验的评价(40).ppt

1 筛检与诊断试验的评价筛检与诊断试验的评价 天津医科大学公共卫生学院天津医科大学公共卫生学院 流行病学教研室流行病学教研室 齐秀英齐秀英 2 目录目录 一、概述一、概述 二、筛检和诊断试验的评价二、筛检和诊断试验的评价 三、提高筛检、诊断试验效率的方法三、提高筛检、诊断试验效率的方法 四、诊断试验评价的设计四、诊断试验评价的设计 3 一、概述一、概述 筛检筛检（screeningscreening）：是通过快速的检验、：是通过快速的检验、 检查或其他措施，在一般人群中发现那些尚未检查或其他措施，在一般人群中发现那些尚未 被识别的病人或有缺陷的人。被识别的病人或有缺陷的人。 诊断（诊断（diagnosisdiagnosis）：是把病人与可疑有病但是把病人与可疑有病但 实际无病的人区别开来。实际无病的人区别开来。 筛检筛检/ /诊断试验诊断试验：是指应用各种实验、仪器是指应用各种实验、仪器 等手段进行检查，以确定或排除疾病的实验方等手段进行检查，以确定或排除疾病的实验方 法。法。 4 图图1. 1. 筛检和诊断步骤示意图筛检和诊断步骤示意图 5 表表1 1 筛检试验与诊断试验的区别筛检试验与诊断试验的区别 筛检试验筛检试验 诊断试验诊断试验 对象对象 健康人或无症状的健康人或无症状的 病人病人 病人病人 目的目的 发现可疑病人发现可疑病人 对病人进行确诊对病人进行确诊 要求要求 快速、简便、安全快速、简便、安全 高灵敏度高灵敏度 复杂、准确性和复杂、准确性和 特异度高特异度高 费用费用 廉价廉价 一般花费较高一般花费较高 处理处理 阳性者须用诊断试阳性者须用诊断试 验确诊验确诊 阳性者要阳性者要严密观察严密观察 和及时治疗和及时治疗 6 二、筛检和诊断试验的评价二、筛检和诊断试验的评价 就是将待评价的试验与就是将待评价的试验与 “ “金标准金标准” ”( (gold gold standardstandard) ) 进行同步盲法比较，判定该方法对进行同步盲法比较，判定该方法对 疾病疾病“ “诊断诊断” ”的真实性和价值等。的真实性和价值等。 意义：意义： 为临床医生合理选用诊断试验，并正确解释其为临床医生合理选用诊断试验，并正确解释其 结果提供科学依据。结果提供科学依据。 7 金标准金标准 特特 定定 人人 群群 病人病人 非病非病 人人 待评价的筛检待评价的筛检 / /诊断方法诊断方法 评价指标评价指标 图图2 2 筛检、诊断试验的评价程序筛检、诊断试验的评价程序 阳性阳性a a 阴性阴性c c 阳性阳性b b 阴性阴性d d 8 9 （一）真实性评价（一）真实性评价 n n 真实性（真实性（validityvalidity）：）：又称又称有效性有效性或或效度效度 指筛检或诊断试验所获得的测量情况与实际情况指筛检或诊断试验所获得的测量情况与实际情况 的符合程度。的符合程度。 1.1.灵敏度灵敏度( (sensitivitysensitivity，SeSe) () (真阳性率真阳性率) )： 即实际有病且按该诊断标准被正确地判为有病的即实际有病且按该诊断标准被正确地判为有病的 概率。（反映试验检出病人的能力）概率。（反映试验检出病人的能力） 灵敏度灵敏度(%) =(%) = a/(a+c) a/(a+c)100%100% 2. 2.特异度特异度( (specificityspecificity，SpSp) () (真阴性率真阴性率) )： 即实际无病且按该诊断标准被正确地判为无病的即实际无病且按该诊断标准被正确地判为无病的 概率。（反映试验排除病人的能力）概率。（反映试验排除病人的能力） 特异度特异度(%) = (%) = d/(b+d)d/(b+d)100%100% 10 3.3.假阴性率假阴性率( (漏诊率漏诊率) )： 即实际有病，但根据该诊断标准被定为非病者的概率。即实际有病，但根据该诊断标准被定为非病者的概率。 假阴性率假阴性率(%)= c/(a+c)100% (%)= c/(a+c)100% = 1 - = 1 - 灵敏度灵敏度 4.4.假阳性率假阳性率( (误诊率误诊率) )： 即实际无病，但根据该诊断标准被定为有病的概率。即实际无病，但根据该诊断标准被定为有病的概率。 假阳性率假阳性率(%)= b/(b+d)100% (%)= b/(b+d)100% = 1 - = 1 - 特异度特异度 11 5.5.正确指数（正确指数（或或约登指数，约登指数，YoudensYoudens index, YI index, YI） 约登指数约登指数YI = (YI = (灵敏度灵敏度 + + 特异度特异度) - 1 ) - 1 = 1 - ( = 1 - (假阳性率假阳性率 + + 假阴性率假阴性率) ) 6.6.符合率（符合率（agreement rateagreement rate）：）：指试验中真阳性与指试验中真阳性与 真阴性之和占总受检人数的比例。真阴性之和占总受检人数的比例。 ( (与金标准的符合程度与金标准的符合程度) ) 符合率符合率(%)= (a+d)/(a+b+c+d)100%(%)= (a+d)/(a+b+c+d)100% 12 7.7.似然比似然比 （likelihood ratio, LRlikelihood ratio, LR）： 即病人中出现某一试验结果的概率与非病人中出现即病人中出现某一试验结果的概率与非病人中出现 相应结果的概率之比，说明病人出现该结果的机会是非相应结果的概率之比，说明病人出现该结果的机会是非 病人的多少倍。病人的多少倍。 （是同时反映灵敏度和特异度的复合指标）（是同时反映灵敏度和特异度的复合指标） 阳性似然比：阳性似然比： 阴性似然比：阴性似然比： 13 n n 灵敏度和特异度的关系灵敏度和特异度的关系： 图图3 3 病人与非病人不同数值的分布示意图病人与非病人不同数值的分布示意图 14 灵敏度和特异度的高低受到诊断标准高低的影响。灵敏度和特异度的高低受到诊断标准高低的影响。 ( (灵敏度和特异度呈互为消长的关系灵敏度和特异度呈互为消长的关系) ) 15 选择诊断标准应遵循的原则：选择诊断标准应遵循的原则： 1.1.有些严重疾病有些严重疾病, ,早期诊断可获得较好的治疗效果，否则早期诊断可获得较好的治疗效果，否则 后果严重，应选择灵敏度高的诊断标准（减少漏诊）。后果严重，应选择灵敏度高的诊断标准（减少漏诊）。 2.2.治疗效果不理想的疾病治疗效果不理想的疾病, ,确诊及治疗费用昂贵，或误诊确诊及治疗费用昂贵，或误诊 造成严重精神负担时，可选择特异度较高的诊断标准（造成严重精神负担时，可选择特异度较高的诊断标准（ 减少误诊）。减少误诊）。 3.3.当假阳性及假阴性的重要性相等时，一般可把诊断标准当假阳性及假阴性的重要性相等时，一般可把诊断标准 定在定在“ “特异度特异度= =灵敏度灵敏度” ”的分界线处，或定在正确指数最的分界线处，或定在正确指数最 大处。大处。 16 n n 受试者工作特征曲线受试者工作特征曲线（receiver operator receiver operator characteristic curve,characteristic curve, ROCROC）：）： 以以灵敏度为纵坐标，灵敏度为纵坐标，1-1-特异度为横坐标，将所有分界值特异度为横坐标，将所有分界值 的灵敏度和的灵敏度和1-1-特异度对应的点连成的曲线。特异度对应的点连成的曲线。 （直观地直观地反映反映灵敏度与特异度的关系灵敏度与特异度的关系） n n ROCROC及曲线下面积及曲线下面积考虑了不同诊断标准下灵敏度、特异度考虑了不同诊断标准下灵敏度、特异度 等指标的变化情况，等指标的变化情况，可更全面地反映诊断试验的准确性可更全面地反映诊断试验的准确性。 应用：应用： 1.1. 用用ROCROC直观地确定诊断试验的直观地确定诊断试验的最佳截断值最佳截断值（诊断标准诊断标准）。 2.2. ROC ROC可用来可用来比较两种以上试验的诊断价值比较两种以上试验的诊断价值。 17 图4 糖尿病血糖试验的ROC曲线 18 通常最接近左上角那一点，可定为通常最接近左上角那一点，可定为最佳最佳 截断值截断值（诊断标准诊断标准）。）。 19 20 （二）可靠性评价（二）可靠性评价 可靠性可靠性（reliabilityreliability）：）：也叫也叫可重复性可重复性或或信度，信度，指筛检或指筛检或 诊断实验在完全相同的条件下，进行重复操作获得相同结果诊断实验在完全相同的条件下，进行重复操作获得相同结果 的稳定程度。的稳定程度。 1.1.影响可靠性的主要因素影响可靠性的主要因素： 被观察者的个体生物学变异被观察者的个体生物学变异: : 应严格规定观测的条件应严格规定观测的条件( (如时间、部位等如时间、部位等) )。 观察者变异观察者变异: : 观察者自身变异、观察者间变异。（培训）观察者自身变异、观察者间变异。（培训） 试验试验方法的差异方法的差异: : 测量仪器、试剂、时间、温度等实验条件和实验环境所致的变异测量仪器、试剂、时间、温度等实验条件和实验环境所致的变异。 21 2.2.评价指标评价指标 （1 1）变异系数）变异系数（coefficient of variancecoefficient of variance，CVCV） （2 2）符合率）符合率 （agreement rateagreement rate）： 即同一批研究对象两次试验结果均为阳性与均即同一批研究对象两次试验结果均为阳性与均 为阴性的人数之和占所有进行试验人数的比率。为阴性的人数之和占所有进行试验人数的比率。 （可用于比较两名医生诊断同一组病人，或同一医（可用于比较两名医生诊断同一组病人，或同一医 生两次生两次诊诊断同一组病人的结果）断同一组病人的结果） 22 （3 3）诊断试验的一致性分析）诊断试验的一致性分析 KappaKappa值值分析：分析： KappaKappa值值是表示不同操作者对同一试验结果，或是表示不同操作者对同一试验结果，或 同一操作者不同时间判断同一批结果的一致性强度指同一操作者不同时间判断同一批结果的一致性强度指 标。（它标。（它考虑了机遇因素对一致性的影响考虑了机遇因素对一致性的影响，提高了判，提高了判 断的有效性）断的有效性） 分析指标：分析指标： 观察一致性观察一致性（PoPo）: : Po = (a+d)/n100% 机遇一致性机遇一致性（PcPc）: : 23 KappaKappa值值 一致性一致性强强度度 0 0 0 0 0 0 观察一致性比机遇一致性小观察一致性比机遇一致性小 观察一致性观察一致性 = = 机遇一致性机遇一致性 观察一致性观察一致性 机遇一致性机遇一致性 0.20.2轻轻 0.210.210.400.40尚好尚好 0.410.410.600.60中度中度 0.610.610.800.80高度高度 0.810.811 1最强最强 表表3 3 KappaKappa值判断标准值判断标准 24 （三）收益评价（三）收益评价 1. 1.预测值预测值( (predictive valuepredictive value，PVPV) )： 又称又称预告值预告值或或诊断价值，诊断价值，是根据筛检或诊断试验的是根据筛检或诊断试验的 结果来估计真正患病可能性的指标。包括：结果来估计真正患病可能性的指标。包括： （1 1）阳性预测值）阳性预测值( (+ +PV)PV) ： 指筛检试验阳性结果中真正患病的比例。指筛检试验阳性结果中真正患病的比例。 阳性预测值阳性预测值= a/(= a/(a+ba+b) ) 100% 100% （2 2）阴性预测值）阴性预测值(-PV)(-PV)： 指筛检试验阴性结果中真正未患病的比例。指筛检试验阴性结果中真正未患病的比例。 阴性预测值阴性预测值= =d/(c+dd/(c+d) ) 100% 100% 筛检筛检 试验试验 金标标准 有病无病 阳性ab 阴性cd 25 影响预测值的因素影响预测值的因素： （1 1）试验的灵敏度（）试验的灵敏度（SeSe）和特异度（）和特异度（SpSp） 患病率相同时，试验的患病率相同时，试验的SeSe越高，越高，-PV-PV越高；反之，越高；反之， 试验的试验的SpSp越高，越高，+PV+PV越高。越高。 （2 2）疾病的患病率（）疾病的患病率（P P） 当试验的当试验的SeSe、SpSp确定后，确定后， +PV+PV与患病率成正比与患病率成正比， -PV-PV与患病率成反比。（与患病率成反比。（在患病率较高的人群中进行筛在患病率较高的人群中进行筛 检或诊断才有意义检或诊断才有意义） 26 图图5. 5. 患病率与预测值的关系患病率与预测值的关系（灵敏度及特异度均为（灵敏度及特异度均为95% 95% ） 27 2. 2.实用性评价实用性评价 包括：包括：诊断方法是否简单实用？诊断方法是否简单实用？ 能否迅速地应用于临床？能否迅速地应用于临床？ 试验步骤、方法、检测对象是否具体明确？试验步骤、方法、检测对象是否具体明确？ 是否容易接受？是否容易接受？ 成本效益如何？成本效益如何？ 对病人有无损害？对病人有无损害？ 28 三、提高筛检、诊断试验效率的方法三、提高筛检、诊断试验效率的方法 （一）选择患病率高的人群（一）选择患病率高的人群 （新发现的病例增多，阳性预测值升高）（新发现的病例增多，阳性预测值升高） 如：对有特殊临床表现人群进行检查，实行如：对有特殊临床表现人群进行检查，实行 逐级转诊制度，设立专科门诊或专科医院，对高逐级转诊制度，设立专科门诊或专科医院，对高 危人群进行筛检等。危人群进行筛检等。 29 （二）联合试验（二）联合试验 1. 1.并联（平行）试验并联（平行）试验（parallel testparallel test） 即同时做几项试验，几个试验中有一个阳性即诊断即同时做几项试验，几个试验中有一个阳性即诊断 为阳性。为阳性。 n n 提高灵敏度，减少漏诊率，却降低特异度，增加误诊率。提高灵敏度，减少漏诊率，却降低特异度，增加误诊率。 并联试验的并联试验的Se = Se = SeSe A A + + SeSe B B （1- 1- SeSe A A ） 并联试验的并联试验的Sp = Sp = SpSp A A SpSp B B n n 适用情况适用情况：几项试验灵敏度都不高；急需迅速做出诊断。几项试验灵敏度都不高；急需迅速做出诊断。 30 2. 2.串联（系列）试验串联（系列）试验（serial testserial test） 即依次做几项试验，必须几个指标均为阳性才能诊断即依次做几项试验，必须几个指标均为阳性才能诊断 为阳性。为阳性。 n n 提高特异度，减少误诊率，却降低灵敏度，增加漏诊率。提高特异度，减少误诊率，却降低灵敏度，增加漏诊率。 串联试验的串联试验的Se = Se = SeSe A A SeSe B B 串联试验的串联试验的Sp = Sp = SpSp A A + + SpSp B B （1- 1- SpSp A A ） n n 适用情况：适用情况：几项试验特异度都不高；不一定需要迅速做出几项试验特异度都不高；不一定需要迅速做出 诊断（慢性病），但需增加诊断的正确性；诊断试验昂贵诊断（慢性病），但需增加诊断的正确性；诊断试验昂贵 且有危险。且有危险。 31 血糖试验血糖试验 75.38 75.38 99.58 99.58 尿糖试验尿糖试验 65.83 65.83 99.59 99.59 串联串联试验试验 58.79 58.79 99.73 99.73 并联并联试验试验 82.41 82.41 99.45 99.45 实验方法 灵敏度（%） 特异度（%） 32 33 采用串联试验诊断疾病，应注意：采用串联试验诊断疾病，应注意： n n 常先选简便、易行、价廉、对被检查人无损伤的试验常先选简便、易行、价廉、对被检查人无损伤的试验 ，后用复杂、昂贵、可能有损伤的试验。，后用复杂、昂贵、可能有损伤的试验。 n n 如几个试验如几个试验的费用、安全性相近的费用、安全性相近，先使用特异度高的，先使用特异度高的 试验试验（假阳性少），（假阳性少），减少接受第二种试验的病人数，减少接受第二种试验的病人数， 降低成本，提高效率。降低成本，提高效率。 34 四、四、诊断试验评价的设计诊断试验评价的设计 确立金标准确立金标准 研究对象的选择研究对象的选择 样本量的估计样本量的估计 确定诊断试验的分界值确定诊断试验的分界值 与金标准同步进行盲法比较与金标准同步进行盲法比较 35 （一）确定金标准（一）确定金标准 金标准金标准（gold standardgold standard）：）： 指当前医务界公认的诊断某疾病最准确、指当前医务界公认的诊断某疾病最准确、 可靠的方法或手段，也称为可靠的方法或手段，也称为标准诊断标准诊断或或规范标规范标 准准。 如：活体病理组织检查、手术发现、微生物培养、如：活体病理组织检查、手术发现、微生物培养、 尸检、特殊检查和影像诊断、长期随访的结果尸检、特殊检查和影像诊断、长期随访的结果 等。等。 36 （二）研究对象的选择（二）研究对象的选择 1.1.来源：来源：诊断试验应用的目标人群。诊断试验应用的目标人群。 2.2.病例组的选择：病例组的选择： 按金标准确诊为按金标准确诊为“ “有病有病” ”的病例，包括各种的病例，包括各种 临床类型和病期的病人。（代表性）临床类型和病期的病人。（代表性） 3.3.对照组的选择：对照组的