检验项目的临床效能评价概述页.ppt

第四章 检验项目的临床效能评价,学习目标,检验项目的临床应用评价指标有哪些？ 检验项目的临床应用评价指标的特点是什么？ 什么叫似然比？在检验项目的临床应用评价中有什么价值？ 几种试验联合应用时如何进行评价？ 检验项目的临床应用评价原则有哪些？ 什么叫ROC曲线，它的应用范围有哪些？,第四章 检验项目的临床效能评价,第一节 检验项目临床效能评价内容和意义 第二节 检验项目临床效能评价的研究设计 第三节 检验项目临床效能评价方法 第四节 提高检验项目效率的方法,对一个检验项目特别是新引进的检验项目在临床应用时，除方法学的评价外，还需从临床应用价值进行评价，即对该检验项目在临床诊断和治疗决策中能起多大的作用进行评价。 当准备在本单位开展此检验项目时，尚需进行适用性评价，即此项试验是否适用于本单位及有无条件或有无必要开展此项目检查。,第一节 检验项目临床效能评价内容和意义,第一节 检验项目临床效能评价的内容和意义,一、检验项目临床效能评价的意义 二、检验项目临床应用证据评价原则,一、检验项目临床效能评价的意义,方法学评价是了解检验项目其技术性能，保证方法准确可靠 必须了解该项目的临床应用效能 了解其对疾病的诊断和治疗的影响和价值 选择合理、可靠、有效的临床检验项目 正确判断检验结果对于某疾病诊断的贡献大小，从而确定和执行合理的医疗决策,返回节目录,二、检验项目临床应用证据评价原则,任何一个检验项目用于临床之前都必须经过科学的评价 方法学评价及临床应用价值评价两个方面 遵循循证医学(evidence-based medicine，EBM)原则 循证医学的原则在检验医学中的应用，产生了循证检验医学(evidence-based laboratory medicint,EBLM),二、检验项目临床应用证据评价原则,循证检验医学就是在大量可靠的临床应用资料和经验的基础上,研究检验项目的临床应用价值 为临床诊断、疗效观察、病情转归提供最有效、最实用、最经济的检验项目及最合理的组合,（一）真实性的评价,1被评价的试验和标准诊断法进行盲法对比研究 标准诊断法是指对某疾病诊断最可靠的方法，通常又称“金标准” 只有用标准诊断法才能正确的诊断患者是否患有某病或不患有某病，也只有这样，才能正确评价某一试验的临床价值,（一）真实性的评价,1被评价试验和标准诊断法进行盲法对比研究 “金标准”通常指的是病原学检查、细胞学检查、活体组织检查、尸检、特殊影像检查、长期随访结果、临床专家共同制定被公认的最新诊断标准检验方法，即使是公认的参考方法，在临床应用评价时，不要简单看作为“金标准”，务必注意与标准诊断法进行比对，为避免产生的偏倚，必须采用盲法。,（一）真实性的评价,2研究对象的选择恰当 首先是病例组，必须明确诊断，各型病例 早期、中期、晚期病例 治疗前、治疗后的病例 典型及不典型病例 如选择偏倚，必然产生不正确的结论，如肿瘤标志物的检测，仅选用住院晚期患者，诊断敏感度必定估计偏高。,（一）真实性的评价,2研究对象的选择恰当 对照组一定要选经标准诊断法诊断为无该病患者 如果选择健康人作对照组，特异度的估计必然偏高 因此应选择无目标疾病病例，尤其选与目标疾病易病例 同时性别、年龄应与病例组相近 这样对该试验的评价才比较客观 按统计学要求，病例组、对照组样本量应30例以上,（一）真实性的评价,3参考区间的确定恰当 参考区间如是作者自己确定的，则要考察其正常人群的选择、样本数量的确定、测定方法的可靠性、数据处理等方面是否正确 如是应用文献资料，则应考虑是否适合本地区，有无进行验证。因为参考区间上下限确定不合适的，必然影响到对测定的结果的临床解释，使该试验的临床应用评价发生偏倚。,4验证 某试验应用于另一组病例具有相同真实性 实际上就是考察其复现性 即对原评价进行验证的问题,（一）真实性的评价,（二）临床应用意义的评价,有敏感度、特异度或阳性似然比的计算或提供了运算的数据,敏感度、特异度是临床应用评价两个基本指标 阳性似然比指的是真阳性与假阳性的比值 该试验阳性时患该病与不患该病概率的比值，是敏感度、特异度的综合指标 注意：统计学上判断不能代替临床应用意义评价,2分层似然比的计算 由于不同测定值，其敏感度、特异度是不同 做ROC曲线时，必定要做分层统计,（二）临床应用意义的评价,（三）适用性的评价,适用性的评价包括： 该试验可否推广应用 患者的验前概率能否合理估算 验后概率是否对患者处理有帮助,（三）适用性的评价,返回章目录,仪器设备、试剂的费用多少、来源、操作难度及效率、效益、效能、不良反应、对患者的危险性、患者的依从性,首先要评价该项目是否有利于疾病的诊断、治疗和预防策略，得到最佳的健康服务的结果,其次考虑经济效益。若某检验项目虽然技术和诊断性能好，具有好的临床效能，但所需费用昂贵而患者难于接受，也降低了其实用性,第二节 检验项目临床效能评价研究设计,一、确定研究目标 二、样本的总体和抽样计划 三、金标准和评价指标 四、估算样本量和避免偏倚,评价的项目 观察内容 该研究的临床实际意义 这是一个新项目、新应用成熟的项目 还是已应用成熟的项目 是否已有类似的或可以与之竞争的项目,一、确定研究目标,返回节目录,二、样本的总体和抽样计划,研究的样本总体要考虑患者的分布特征 比如：人口统计学、症状体征、合并症以及疾病的阶段、程度、部位等 也不应仅局限于一个单位或者一个地域，应包含不同临床机构或地理位置的患者。,二、样本的总体和抽样计划,用于评价的受试对象包括两组 即被金标准证实的患者作为病例组 金标准证实为未患该病的人作为对照组 对照组可以是健康者或其他疾病的患者,抽样时需要考虑不同的研究阶段 1. 探索研究阶段 对每个患者采用回顾性抽样，其真实疾病从试验记录和疾病登记资料得到 2. 挑战研究阶段 仔细考虑目标患者总体特征频谱，重点考虑目标患者病理学、临床表现、合并症 3. 临床研究阶段 患者样本必须真实代表样本总体,二、样本的总体和抽样计划,返回节目录,三、金标准和评价指标,金标准(gold standard)是指被公认的诊断疾病的最可靠的方法，病理诊断常常被作为肿瘤诊断的金标准,金标准能正确地区分受试者患病与否，若金标准选择不妥，可能会造成错误分类，影响对该临床检验项目的正确评价,三、金标准评价指标,灵敏度和特异度是最基本的准确度指标 还有综合指标：准确度、尤登指数、似然比 考虑了患病率的预测值 直观明确的受试者工作特征曲线 (ROC曲线),返回节目录,四、估算样本量和避免偏倚,新检验项目是否具有临床意义，必须与金标准的诊断作对比 每个检验项目的敏感度及特异度均是稳定的指标 按照估计总体率样本含量估算方法，计算病例组样本含量n1，对照组样本含量n2, 为容许误差,四、估算样本量和避免偏倚,通过选择可靠的金标准 严格地选择研究对象 以盲法同步用被评价检验项目测试研究对象 以避免信息偏倚 同时应注意统计学的正确使用,返回章目录,第三节 检验项目临床效能评价方法,一、敏感度和特异度 二、预测值和似然比 三、ROC曲线分析 四、临床应用评价指标的综合分析,第三节 检验项目临床效能评价方法,检验项目临床效能评价指标： 敏感度 特异度 预测值(含阳性预测值及阴性预测值) 诊断指数 诊断效率(含阳性似然比及阴性似然比),金标准 有病 无病 合计 诊断性 阳性 真阳性（a） 假阳性（b） a+b 试验 阴性 假阴性（c） 真阴性（d） c+d 合计 a+c b+d a+b+c+d,一、敏感度和特异度,1四格表的应用,2评价指标的计算 敏感度(sensitivity，SEN)=a(a+c) 特异度(specificity，SPE)=d(b+d) 阳性预测值=a(a+b) 阴性预测值=d(c+d) 诊断指数=敏感度+特异度 诊断效率(准确度)=(a+d)(a+b+c+d)100% 阳性似然比=敏感度/(1特异度) 阴性似然比=(1敏感度)特异度,一、敏感度和特异度,一、敏感度和特异度,2评价指标的计算 敏感度又称真阳性率(true positive rate，TPR) 是诊断试验能将实际有病的人正确地判为患者的能力，即患者被判为阳性的概率 反映检出患者的能力，该值越大，漏诊病例(漏诊率)越少,一、敏感度和特异度,2评价指标的计算 特异度又称真阴性率(true negative rate，TNR) 在金标准诊断为“无病”的例数中，某检验项目结果为阴性的比例，真阴性例数越多，则特异度越高，误诊病例(误诊率)越少,一、敏感度和特异度,2评价指标的计算 敏感度与特异度是评价一项检验项目真实性的两个基本指标 从理论上讲，一项理想的检验项目其灵敏度、特异度最好均为100 即假阳性与假阴性均为零，无一漏诊与误诊 实际上灵敏度和特异度是矛盾的统一体，随着诊断分界点的变化而变化,图4-1灵敏度与特异度的关系,3诊断分界 当健康分布与患者分布没有重叠,取中间一点(D点)分界值假阳性和假阴性均为O。这是一种理想模式，目前没有这样检验项目，许多检验项目健康人与患者结果分布有交叉,一、敏感度和特异度,图4-2 理想的检验项目健康群体与患者群体分布,图4-3 实际的检验项目健康群体与患者群体分布,一、敏感度和特异度,分界值的高低直接影响检验项目诊断性试验评价指标 在这种情况下，一般是先初步确定几个分界值 分别计算真阳性、真阴性、假阳性、假阴性数值 进一步计算诊断灵敏度、诊断特异度等指标 最后根据早期诊断、疗效观察、流行病学调查等各种不同目的确定分界值,一、敏感度和特异度,4尤登指数 尤登指数(Youdens index)又称正确指数 是指灵敏度和特异度之和减去1 是综合评价真实性的指标，理想的试验应为l 计算公式为： 尤登指数=(灵敏度+特异度)1,返回节目录,二、预测值和似然比,1似然比(LR) 表达的是患某种疾病患者所测定不同结果范围中 患该病与不患该病的比值 只有阳性、阴性结果时，一般分阳性似然比及阴性似然比两种,二、预测值和似然比,1似然比(LR) 阳性似然比(+LR):真阳性率(TPR)与假阳性率(FPR)的比值 当就诊者的该诊断性试验结果为阳性时，其患病与不患病的机会比,显然阳性似然比的值越高 检验结果阳性时，诊断为某病的概率越大，该检测方法确诊疾病的能力就越强。 阳性似然比=真阳性率/假阳性率=灵敏度/（1-特异度）,二、预测值和似然比,1似然比(LR) 阴性似然比(-LR) :假阴性率(FNR)与真阴性率(TNR)的比值 当某就诊者的该诊断性试验结果为阴性时，其患病与不患病的机会比。 显然阴性似然比越小，则检验结果阴性时，患某病的概率越小，该检测方法排除疾病的能力就越好,阴性似然比=假阴性率/真阴性率=（1-灵敏度）/特异度,二、预测值和似然比,2.预测值(predictive value，PV) 是表示试验能做出正确判断的概率，(预告值)又分为： 阳性预测值(positive predictive value,PPV) 阴性预测值(negative predictive value,NPV),阳性预测值 是指真阳性人数 占试验结果阳性人数百分比， 表示试验结果阳性者属于真病例概率,阴性预测值 是指真阴性人数 占试验结果阴性人数的百分比， 表示试验结果阴性者属于非病例的概率,二、预测值和似然比,2.预测值(PV),试验的灵敏度愈高，阳性预测值就越高； 特异度越高的试验，阴性预测值就越好。,注意：检验项目的灵敏度和特异度并不能完全决定检验的阳性预测值。 与人群某病的患病率有很大关系。,2.预测值(PV),二、预测值和似然比,返回节目录,三、ROC曲线分析,ROC是受试者工作特征曲线(receiver operating characteristic curve, ROC) 又称相对工作特性曲线 原来是雷达屏幕上通过飞行物的回响来判断飞行物的一种方法 做临界值的判断及不同试验临床价值的比较,三、ROC曲线分析,首先要将测定结果分层 计算其敏感度及特异度 一般要求至少有5组连续分组的数据。 然后以真阳性率(敏感度)为纵坐标，假阳性率(1特异度)为横坐标，将各层结果绘图，连接各点使成曲线 其中离左上角最近的一点，即其临界值,图4-4 ROC曲线图,三、ROC曲线分析,ROC曲线图还可比较两种诊断试验临床价值。其原则是曲线下覆盖面积越大临床价值越大。甲法比乙法临床价值要大,三、ROC曲线分析,图4-5 ROC比较示意图,ROC曲线的临床应用 (1)选择最佳分界值：取ROC曲线上的拐点作为分界值将会得到最大的准确性，但是必须结合似然比、尤登指数以及筛查和确诊等试验目的综合确定 (2)诊断效率分析：利用曲线下的面积来评价不同检验项目或不同检测方法对某种疾病的诊断价值 (3)对检验结果的评价：灵敏度和特异度随着诊断分界点的升高或降低而变化,三、ROC曲线分析,临床检验中若有多个独立的同类检验项目结果 合并成sROC曲线(summary ROC curve,sROC) 该法与Meta分析方法的原理相同,Meta分析的目的是对多个同类独立研究的结果进行汇总和合并分析，以达到增大样本含量，提高检验效能的目的 当多个研究结果不一致或都无统计学意义时，用Meta分析可得到更加接近真实情况的统计分析结果,三、ROC曲线分析,返回节目录,四、临床应用评价指标综合分析,特异度、灵敏度，两个最重要的指标,其他评价指标都可用它们来推导 缺少这两个指标，该检验项目无法进行评价 在撰写和评价论文，在引进或评价一项新检验项目，这两个指标必须具备可供分析的资料,阳性及阴性预测值 指导临床诊断时比灵敏度、特异度更直观、更容易理解的指标，应用广泛 当患者的检验结果为阳性时，必须参考该检验项目的阳性预测值，结果为阴性时必须参考其阴性预测值 在实验设计中，疾病组与对照组的样本组成有所变化时，可以影响到预测值的大小，造成误解。,四、临床应用评价指标综合分析,准确性、尤登指数及诊断效率是综合灵敏度、特异度计算的 以往认为这些指标对评价一个检验项目有很好，实际上是很有限 如甲、乙两个试验灵敏度分别为80、95，而特异度分别为95、80，上述指标结果是相同或相近的尤登指数=(0.8+0.95)-1=0.75，但这两个试验临床应用价值是不同的，甲试验可能在确诊时更有价值，乙试验用于筛查更好,四、临床应用评价指标综合分析,似然比 表达的是在某一检验项目的某个数值范围内患有或不患有某种疾病的概率 似然比是将灵敏度及特异度较好结合起来的指标。 阳性似然比数值越大，当试验结果阳性时，诊断某病可能性越大 阴性似然比数值越小，当试验正常时，患某病可能性越小,四、临床应用评价指标综合分析,四、临床应用评价指标综合分析,返回章目录,ROC分析方法 目前公认的评价准确度的标准方法 在循证医学、临床试验、临床检验、统计模型好坏的判别等方面具有十分重要的应用价值,第四节 提高检验项目效率的方法,一、选择患病率高的人群 二、采用联合试验的方法,检验项目的灵敏度与特异度是相对固定的 人群患病率水平对一项检验项目阳性预测值的影响却很大 如果将一项检验项目用于患病率低的人群，则阳性预测值较低 若将其用于高危人群，则可明显提高阳性预测值,一、选择患病率高的人群,返回节目录,二、采用联合试验的方法,1并联试验(parallel test) 又称平行试验 只要一种试验是阳性即判断“异常”，并联试验提高了敏感度，降低了特异度 并联试验敏感度=敏感度甲+(1敏感度甲)敏感度乙 并联试验特异度=特异度甲特异度乙,二、采用联合试验的方法,1并联试验(parallel test) 又称平行试验 如有三种试验联合应用 (1)先计算甲、乙两种试验并联试验的敏感度 (即敏感度甲+乙) (2)再计算三种试验联合应用时的敏感度。 (设为敏感度(甲+乙+丙) 敏感度(甲+乙+丙)=敏感度(甲+乙)+(1敏感度甲+乙)敏感度丙 (3)三种试验联合应用时的特异度计算公式 特异度甲+乙+丙= 特异度甲特异度乙特异度丙,二、采用联合试验的方法,2串联试验(serial test) 又称序列试验，所有试验皆阳性才判为“异常” 这种联合是提高了特异度，降低了敏感度 敏感度(甲+乙) 敏感度甲敏感度乙 特异度(甲+乙) 特异度甲+(1特异度甲)特异度乙,二、采用联合试验的方法,2串联试验(serial test) 如有三种试验联合应用时 (1)敏感度甲+乙+丙 敏感度甲敏感度乙敏感度丙 (2)特异度（甲+乙+丙）=特异度（甲+乙)+(1特异度(甲+乙)特异度丙 更多种试验联合应用时，其平行试验、序列试验之敏感度可按同理进行计算,本章小结,返回章目录,对检验项目临床应用价值评价，对其真实性、可靠性和实用性进行科学的客观的评价 评价指标主要是灵敏度、特异性、预测值、似然比、ROC曲线等 临床效能评价首先要有抽样计划，必须严格选择金标准诊断方法，了解预测值与患病率的相互关系 诊断分界点是平衡灵敏度和特异性的砝码，采用ROC曲线找到合适的诊断分界点和最大的诊断效能 通过联合试验来提高诊断效率,2019/10/9,63,思考题,什么是似然比?检验项目临床应用的评价指标？ 检验项目临床应用评价指标有哪些？ 什么是ROC曲线，它的应用范围有哪些？ 检验项目的临床应用评价原则有哪些？,谢谢！,1、用爱心来做事，用感恩的心做人。 2、人永远在追求快乐，永远在逃避痛苦。 3、有多大的思想，才有多大的能量。 4、人的能量=思想+行动速度的平方。 5、励志是给人快乐，激励是给人痛苦。 6、成功者绝不给自己软弱的借口。 7、你只有一定要，才一定会得到。 8、决心是成功的开始。 9、当你没有借口的那一刻，就是你成功的开始。 10、命运是可以改变的。 11、成功者绝不放弃。 12、成功永远属于马上行动的人。 13、下定决心一定要，才是成功的关键。 14、成功等于目标，其他都是这句话的注解。 15、成功是一个过程，并不是一个结果。 16、成功者学习别人的经验，一般人学习自己的经验。 17、只有第一名可以教你如何成为第一名。 18、学习需要有计划。 19、完全照成功者的方法来执行。 20、九十九次的理论不如一次的行动来得实际。 21、一个胜利者不会放弃，而一个放弃者永远不会胜利。 22、信心、毅力、勇气三者具备，则天下没有做不成的事。 23、如果你想得到，你就会得到，你所需要付出的只是行动。 24、一个缺口的杯子，如果换一个角度看它，它仍然是圆的。 25、对于每一个不利条件，都会存在与之相对应的有利条件。 26、一个人的快乐，不是因为他拥