检验项目的临床效能评价-医学检验.ppt

第四章检验项目的临床效能评价,临床实验室的任务,筛选诊断效果监测预后判断,客观依据,提供,2,服务质量直接涉及到病人的身体健康乃至生命安全,对临床实验室的质量和能力有特殊的要求,3,国外的要求国际标准化组织发布的推荐标准根据美国临床实验室改进法案制定的法律文件中国的要求国际标准临床实验室管理办法,4,实际工作中的问题？,哪些检验项目可提供最好的证据?该检验项目结果是否可靠?哪一种方法可以获得最佳的成本效果？哪一种检测顺序的实验组合是解决问题最为有效的途径？如何把实验结果与收到的临床信息有机地结合在一起？,5,第四章检验项目的临床效能评价,第一节检验项目临床效能评价内容和意义第二节检验项目临床效能评价的研究设计第三节检验项目临床效能评价方法第四节提高检验项目效率的方法,6,对一个检验项目特别是新引进的检验项目在临床应用时，除方法学的评价外，还需从临床应用价值进行评价，即对该检验项目在临床诊断和治疗决策中能起多大的作用进行评价。当准备在本单位开展此检验项目时，尚需进行适用性评价，即此项试验是否适用于本单位及有无条件或有无必要开展此项目检查。,第一节检验项目临床效能评价内容和意义,7,第一节检验项目临床效能评价的内容和意义,一、检验项目临床效能评价的意义二、检验项目临床应用证据评价原则,8,一、检验项目临床效能评价的意义,方法学评价是了解检验项目其技术性能，保证方法准确可靠临床效能评价是了解其对疾病诊断和治疗的影响和价值，选择合理、可靠、有效的临床检验项目正确判断检验结果对于某疾病诊断的贡献大小，从而确定和执行合理的医疗决策,9,作为实验室工作人员，面临下述情况时：选用新检验方法取代旧方法引进新的检验方法停用旧方法想知道目前检验方法的功能和效果就应对检验方法的分析性能和临床效能进行评价，提供相关建议和决策。,一、检验项目临床效能评价的意义,10,检验项目的严格评价内容,技术性能评价诊断性能评价结果评价经济效能评价,11,技术性能评价,12,诊断性能评价,即方法的临床敏感度、临床特异度、阳性似然比、阴性似然比、阳性预测值、阴性预测值等诊断性能的评价。,13,结果评价,对诊断决策、治疗决策和患者诊治结果的影响某项检验项目的应用是否影响了临床医师的决策？患者是否减少了就医的次数？是否减少了医疗用药？缩短了住院日？是否减少了不适当的额外检查？减少了再次入院次数?能否早期出院返回工作岗位?是否寿命得到延长、生活质量得以提高?某疾病的发生率或死亡率是否有所下降?,14,经济性能评价,15,16,二、检验项目临床应用证据评价原则,任何一个检验项目用于临床之前都必须经过科学的评价方法学评价临床效能评价遵循循证医学(evidence-basedmedicine，EBM)原则循证医学的原则在检验医学中的应用，产生了循证检验医学(evidence-basedlaboratorymedicint,EBLM),17,二、检验项目临床应用证据评价原则,循证检验医学就是在大量可靠的临床应用资料和经验的基础上,研究检验项目的临床应用价值为临床诊断、疗效观察、病情转归提供最有效、最实用、最经济的检验项目及最合理的组合,18,临床效能评价的广义对象,诊断试验和方法：鉴别不同健康状态或界定患者还是非患者的各种手段和方法。检验方法影像学诊断症状和体征,19,对一项诊断试验的评价主要从三个方面予以考虑：真实性（validity）。可靠性(reliability)。实用性（practicability）。,诊断试验临床效能评价,20,反映患病实际情况的程度称作真实性（validity）。真实性包括：敏感度（sensitivity,Sen）特异度（specificity,Spe）。灵敏度和特异度是临床应用评价的2个基本指标。,诊断试验的真实性,21,敏感度和特异度是矛盾的统一体，如图所示，他们随着诊断分界点（阈值）的变化而变化。,敏感度和特异度的关系,22,可靠性（reliability）是指一项诊断试验在完全相同的条件下，重复试验时获得相同结果的稳定程度。,某试验应用于另一组病例具有相同真实性即对原评价进行验证的问题实际上就是考察其复现性,诊断试验的可靠性,23,真实性与可靠性关系：,A试验：真实且可靠B试验：真实但不可靠C试验：不真实但可靠D试验：不真实又不可靠,24,技术难度:人员要求、设备要求。可行性：标本采集和处理、储存要求、检测物的变化频度，试验前的准备要求，药物等易干扰程度。实验环节和流程复杂程度，实验时间长短。是否流水作业还是成批实验，对照实验等。实验对象接受程度。成本和效益情况。,诊断试验的实用性,25,该项目是否有利于疾病的诊断、治疗和预防策略，得到最佳的健康服务的结果。经济效益。,第二节检验项目临床效能评价研究设计,一、确定研究目标二、样本的总体和抽样计划三、金标准和评价指标四、估算样本量和避免偏倚,26,评价的项目观察内容该研究的临床实际意义这是一个新项目、新应用成熟的项目，还是已应用成熟的项目已有类似的或可以与之竞争的项目,一、确定研究目标,27,抽样时需要考虑不同的研究阶段1.探索研究阶段对每个患者采用回顾性抽样，其真实疾病从试验记录和疾病登记资料得到2.挑战研究阶段仔细考虑目标患者总体特征频谱，重点考虑目标患者病理学、临床表现、合并症3.临床研究阶段患者样本必须真实代表样本总体,二、样本的总体和抽样计划,28,二、样本的总体和抽样计划,研究的样本总体要考虑患者的分布特征：人口统计学、症状体征、合并症以及疾病的阶段、程度、部位等应包含不同临床机构或地理位置的患者,29,如何合理地识别接受试验的患者,二、样本的总体和抽样计划,用于评价的受试对象包括两组被金标准证实的患者作为病例组应包括各种病例避免选择偏倚金标准证实为未患该病的人作为对照组应选择无目标疾病的病例对照组可以是健康者或其他疾病的患者,30,三、金标准和评价指标,金标准(goldstandard)是指被公认的诊断疾病的最可靠的方法，病理诊断常常被作为肿瘤诊断的金标准,金标准能正确地区分受试者患病与否，若金标准选择不妥，可能会造成错误分类，影响对该临床检验项目的正确评价,31,如何确定金标准,敏感度和特异度是最基本的准确度指标还有综合指标：准确度、尤登指数、似然比考虑了患病率的预测值直观明确的受试者工作特征曲线,三、金标准和评价指标,32,四、估算样本量和避免偏倚,新检验项目是否具有临床意义，必须与金标准的诊断作对比按照估计总体率样本含量估算方法，计算病例组样本含量n1，对照组样本含量n2,为容许误差,33,通过选择可靠的金标准严格地选择研究对象以盲法同步用被评价检验项目测试研究对象以避免信息偏倚同时应注意统计学的正确使用,四、估算样本量和避免偏倚,34,第三节检验项目临床效能评价方法,一、敏感度和特异度二、预测值和似然比三、ROC曲线分析四、临床应用评价指标的综合分析,35,第三节检验项目临床效能评价方法,检验项目临床效能评价指标：敏感度特异度预测值(含阳性预测值及阴性预测值)诊断效率(含阳性似然比及阴性似然比),36,金标准有病无病合计诊断性阳性真阳性（a）假阳性（b）a+b试验阴性假阴性（c）真阴性（d）c+d合计a+cb+da+b+c+d,一、敏感度和特异度,四格表的应用,37,敏感度(sensitivity，SEN)=a(a+c)特异度(specificity，SPE)=d(b+d)阳性预测值=a(a+b)阴性预测值=d(c+d)阳性似然比=敏感度/(1特异度)阴性似然比=(1敏感度)特异度诊断指数=敏感度+特异度诊断效率(准确度)=(a+d)(a+b+c+d)100%,一、敏感度和特异度,38,一、敏感度和特异度,敏感度(sensitivity，SEN)SEN=a(a+c)敏感度又称真阳性率(truepositiverate，TPR）是金标准诊断全部有病病例中，被评价检验方法结果为阳性的病例所占全部有病病例的比例。反映检出患者的能力，该值越大，漏诊病例(漏诊率)越少,39,一、敏感度和特异度,特异度(specificity，SPE)SPE=d(b+d)特异度又称真阴性率(truenegativerate，TNR)在金标准诊断全部无病病例中，被评价检验方法结果为阴性的兵力所占全部无病病例的比例。真阴性例数越多，则特异度越高，误诊病例(误诊率)越少,40,一、敏感度和特异度,敏感度与特异度是评价一项检验项目真实性的两个基本指标从理论上讲，一项理想的检验项目其敏感度、特异度最好均为100即假阳性与假阴性均为零，无一漏诊与误诊实际上敏感度和特异度是矛盾的统一体，随着诊断分界点的变化而变化,41,当健康分布与患者分布没有重叠,取中间一点(D点)分界值假阳性和假阴性均为O。这是一种理想模式，目前没有这样检验项目，许多检验项目健康人与患者结果分布有交叉,一、敏感度和特异度,图4-2理想的检验项目健康群体与患者群体分布,图4-3实际的检验项目健康群体与患者群体分布,42,敏感度和特异度是矛盾的统一体，如图所示，他们随着诊断分界点（阈值）的变化而变化。,一、敏感度和特异度,43,一、敏感度和特异度,分界值的高低直接影响检验项目诊断性试验评价指标在这种情况下，一般是先初步确定几个分界值分别计算真阳性、真阴性、假阳性、假阴性数值进一步计算诊断敏感度、诊断特异度等指标最后根据早期诊断、疗效观察、流行病学调查等各种不同目的确定分界值,44,二、预测值和似然比,预测值(predictivevalue，PV)是表示试验能做出正确判断的概率，又分为：阳性预测值(positivepredictivevalue,PPV)阴性预测值(negativepredictivevalue,NPV),45,阳性预测值：诊断试验出现阳性的全部事例中，有病患者出现阳性所占的比率。,阴性预测值：诊断试验出现阴性的全部事例中，无病患者出现阴性所占的比率。,二、预测值和似然比,46,试验的敏感度愈高，阳性预测值就越高；特异度越高的试验，阴性预测值就越好。,检验项目的敏感度和特异度并不能完全决定检验的阳性预测值。与人群某病的患病率有关。,二、预测值和似然比,47,二、预测值和似然比,似然比(LR)：表达的是患某种疾病患者所测定不同结果范围中，患该病与不患该病的比值。阳性似然比阴性似然比,48,二、预测值和似然比,阳性似然比(+LR)=敏感度/(1特异度)=真阳性率/假阳性率当就诊者的该诊断试验结果为阳性时，其患病与不患病的机会的比值。比值越高，说明检验结果阳性时，诊断为某病的概率越大，该检测方法确诊疾病的能力就越强。,49,二、预测值和似然比,阴性似然比(-LR)=(1敏感度)特异度=假阴性率/真阴性率当就诊者的该诊断试验结果为阴性时，其患病与不患病的机会的比值。比值越小，则检验结果阴性时，不患某病的概率越小，该检测方法排除疾病的能力就越好,50,三、ROC曲线分析,ROC是受试者工作特征曲线(receiveroperatingcharacteristiccurve,ROC)又称相对工作特性曲线原来是雷达屏幕上通过飞行物的回响来判断飞行物的一种方法做临界值的判断及不同试验临床价值的比较,51,三、ROC曲线分析,首先要将测定结果分层分别计算其敏感度及特异度然后以真阳性率(敏感度)为纵坐标，假阳性率(1特异度)为横坐标，将各层结果绘图，连接各点形成曲线其中离左上角最近的一点，即其临界值,52,图4-4ROC曲线图,三、ROC曲线分析,53,ROC曲线的临床应用(1)选择最佳分界值：取ROC曲线上的拐点作为分界值将会得到最大的准确性，但是必须结合似然比、尤登指数以及筛查和确诊等试验目的综合确定(2)对检验结果的评价：敏感度和特异度随着诊断分界点的升高或降低而变化，进行诊断效率分析(3)利用曲线下的面积来评价不同检验项目或不同检测方法对某种疾病的诊断价值,三、ROC曲线分析,54,2019/12/12,55,可编辑,ROC曲线图还可比较两种诊断试验临床价值。其原则是曲线下覆盖面积越大临床价值越大。甲法比乙法临床价值要大,三、ROC曲线分析,图4-5ROC比较示意图,56,临床检验中若有多个独立的同类检验项目结果合并成sROC曲线(summaryROCcurve,sROC)该法与Meta分析方法的原理相同,Meta分析的目的是对多个同类独立研究的结果进行汇总和合并分析，以达到增大样本含量，提高检验效能的目的当多个研究结果不一致或都无统计学意义时，用Meta分析可得到更加接近真实情况的统计分析结果,三、ROC曲线分析,57,四、临床应用评价指标综合分析,特异度、敏感度两个最重要的指标，其他评价指标都可用它们来推导缺少这两个指标，该检验项目无法进行评价在撰写和评价论文，在引进或评价一项新检验项目，这两个指标必须具备可供分析的资料,58,阳性及阴性预测值指导临床诊断时比敏感度、特异度更直观、更容易理解的指标，应用广泛当患者的检验结果为阳性时，必须参考该检验项目的阳性预测值，结果为阴性时必须参考其阴性预测值在实验设计中，疾病组与对照组的样本组成有所变化时，可以影响到预测值的大小，造成误解,四、临床应用评价指标综合分析,59,似然比表达的是在某一检验项目的某个数值范围内患有或不患有某种疾病的概率似然比是将敏感度及特异度较好结合起来的指标。阳性似然比数值越大，当试验结果阳性时，诊断某病可能性越大阴性似然比数值越小，当试验结果阴性时，患某病可能性越小,四、临床应用评价指标综合分析,60,四、临床应用评价指标综合分析,ROC分析方法目前公认的评价准确度的标准方法在循证医学、临床试验、临床检验、统计模型好坏的判别等方面具有十分重要的应用价值,61,第四节提高检验项目效率的方法,一、选择患病率高的人群二、采用联合试验的方法,62,检验项目的敏感度与特异度是相对固定的人群患病率水平对一项检验项目阳性预测值的影响却很大如果将一项检验项目用于患病率低的人群，则阳性预测值较低，若将其用于高危人群，则可明显提高阳性预测值,一、选择患病率高的人群,63,二、采用联合试验的方法,1并联试验(paralleltest)又称平行试验只要一种试验是阳性即判断“异常”，并联试验提高了敏感度，降低了特异度并联试验敏感度=敏感度甲+(1敏感度甲)敏感度乙并联试验特异度=特异度甲特异度乙,64,二、采用联合试验的方法,1并联试验(paralleltest)又称平行试验如有三种试验联合应用(1)先计算甲、乙两种试验并联试验的敏感度，即敏感度甲+乙。(2)再计算三种试验联合应用时的敏感度(设为敏感度(甲+乙+丙)。敏感度(甲+乙+丙)=敏感度(甲+乙)+(1敏感度甲+乙)敏感度丙(3)三种试验联合应用时的特异度计算公式特异度甲+乙+丙=特异度甲特异度乙特异度丙,65,二、采用联合试验的方法,2串联试验(serialtest)又称序列试验，所有试验皆阳性才判为“异常”这种联合是提高了特异度，降低了敏感度敏感度(甲+乙)敏感度甲敏感度乙特异度(甲+乙)特异度甲+(1特异度甲)特异度乙,66,二、采用联合试验的方法,2串联试验(serialtest)如有三种试验联合应用时(1)敏感度甲+乙+丙敏感度甲敏感度乙敏感度丙(2)特异度（甲+乙+丙）=特异度（甲+乙)+(1特异度(甲+乙)特异度丙更多种试验联合应用时，其平行试验、序列试验之敏感度可按同理进行计算,67,本章小结,对检验项目临床应用价值评价，对其真实性、可靠性和实用性进行科学的客观的评价评价指标主要是敏感度、特异性、预测值、似然比、ROC曲线等临床效能评价首先要有抽样计划，必须严格选择金标准诊断方法，了解预测值与患病率的相互关系诊断分界点是平衡敏感度和特异性的砝码，采用ROC曲线找到合适的诊断分界点和最大的诊断效能通过联合试验来提高诊断效率,68,第十二章循证检验医学,循证医学,70,循证医学,概念：慎重、准确和明智地应用目前可获取的最佳研究证据，同时结合临床医师个人的专业技能和长期临床经验，考虑患者的价值观和意愿，完美地将三者结合在一起，制定出具体的治疗方案,71,传统医学与循证医学,传统医学以个人经验为主，医生根据自己的实践经验、高年资医师的指导，教科书和医学期刊上零散的研究报告为依据来处理病人。循证医学实践既重视个人临床经验又强调采用现有的、最好的研究证据，两者缺一不可。而这种研究的依据主要强调临床研究证据。（摘自2000年4月循证医学普训班王家良教授讲稿）,72,传统医学与循证医学的差异,传统医学循证医学1证据来源动物实验临床研究实验室研究零散的临床研究过时的教科书2收集证据不系统全面系统全面3评价证据不重视重视4判效指标实验室指标的改变病人最终结局5治疗依据基础研究、动物实验的推论可得到的最佳研究证据个人临床经验6治疗模式疾病医生为中心病人为中心,73,临床研究证据临床研究证据在循证医学实践中占据着核心位置通过循证医学方法获得的最佳临床证据及其在临床上的运用，在相当程度上弥合临床医生经验上的差异，并更好迎合患者的不同诉求,循证医学,74,1.临床研究证据的分类（1）原始研究证据：直接在患者中进行试验研究所获得的第一手数据，经过统计分析后得出的结论（2）二次研究证据：指收集某一临床问题的原始研究证据，经过严格评价、整合处理后得出的综合结论,循证医学,2.临床研究证据的分级1级是基于RCT的系统评价或meta分析，是最高级别证据2级是随机双盲对照试验3级是队列研究4级是病例对照研究5级是病例系列报告6级是个案报告7级是专家的观点、评述、意见8级是动物实验9级是体外/试管内研究,循证医学,76,3.最佳的研究证据指对临床研究的文献，应用临床流行病学的原则和方法以及有关质量评价的标准，经过认真分析与评价获得的新近最真实可靠，且有临床重要应用价值的研究成果。在证据分级中处于级（或1级）的系统评价或meta分析是循证医学中的最佳证据,循证医学,77,EBM证据信度“金字塔”,78,循证检验医学,79,循证检验医学,循证检验医学就是按照循证医学“以当前最好的证据为基础”的原则用临床流行病学的方法学规范检验医学的研究设计和项目评价用当前最好检测技术和质量控制体系对检测结果进行严格的质量控制和评价任务是向临床医生提供反映患者真实情况的证据,80,1评价诊断项目的临床效能为临床医生提供疾病诊断的正确依据是临床检验工作的终极目标对一个检验项目特别是新引进的检验项目，在应用于临床诊断时必须对其临床应用价值进行评价。一方面可以使特异性和灵敏度更好的检验项目得以运用，同时剔除一些不适当的旧项目，提高医疗资源的使用效率,循证检验医学的研究内容,81,循证检验医学的研究内容,2评价诊断试验的技术性能主要从研究设计、方法的精确性、准确性、重复性、敏感性、特异性等方面进行评价3制订循证检验医学指南按照循证医学的基本原理和方法科学地设计实验研究，科学地阅读、应用和评估他人的实验研究成果,82,循证检验医学的实践方法,1基本过程(1)提出问题：根据检验项目技术性能、诊断性能、临床影响、经济效果评价有效性，确定需解决问题(2)检索有关的文献：根据提出的问题，确定“关键词”应用电子检索系统和期刊系统检索相关文献(3)严格评价文献，得出最佳结论：将收集到的资料，应用临床流行病学及循证医学质量评价的标准从证据质量的真实性、可靠牲、临床价值、适用性及经济效益等方面作出具体的评价,83,循证检验医学的实践方法,2系统评价(systematicreview，SR)系统评价是一种全新的文献综合评价方法其过程是全面收集全世界有关研究结果对所有研究按照标准逐项进行评价、综合分析，得出可靠的结论该结论将随着新的研究出现被不断的更新,84,循证检验医学的实践方法,2.荟萃分析(meta-analysis)又称为汇总分析荟萃分析是系统评价的一种是一种将收集到的已完成临床研究的结果，进行系统、定量和定性的综合性统计分析的方法分析者并不直接参与原始研究，而是用数学或统计学方法将多个研究假说、研究方法相同的原始研究结果进行综合，提高结果的精度，检出低频率结局的改变，增加分析和结论的说服力,85,循证检验医学的实践方法,3证据质量的评价循证医学是应用新近的最佳证据来指导临床实践并非本身去创造最佳证据为获得最佳的临床研究证据，除了研究设计外，需应用正确的分析和评价的方法及其评价的标准对医学研究文献或成果进行严格的评价,86,3证据质量的评价(1)确定金标准(2)选择研究对象(3)盲法比较诊断性检验与金标准的结果(4)样本量的估算,循证检验医学的实践方法,87,临床效能评价基本步骤,88,89,临床效能评价基本步骤,4.检测受试对象,2.选择具有代表性样本,统计分析ROC,1.确定临床问题,3.确立每一受试对象“真实的”临床状态,1.确定临床问题,由于实验室检验方法旨在为临床诊断和治疗提供有帮助信息，就要涉及到相关临床问题。确定临床问题是最根本的，且要明确具体。在进行临床效能评价前，对临床问题相关群体的自然特征、病程以及疾病的严重程度，认真界定实验对象并进行分组。否则，将影响评价结果。,90,2.选择具有代表性样本,临床问题明确具体，是界定与被评价检验项目有关的受试对象的基础。就能从所界定的人群中抽取一定数量的样本进行研究样本必须具有群体代表性，才能够按检验方法预期得出相应的结论评价结果是否有意义依赖于受试群体的确定以及样本的选择。,91,2.选择具有代表性样本（举例）,当大便潜血检查的目的是旨在筛查无显著临床症状和体征中年人的直肠癌患者时：其受试对象必须是无症状中年人群而健康志愿者和已确诊直肠癌患者就不适合作为受试对象特别是医务工作者、学生、其他流动人员等“健康”志愿者,92,选择性偏倚降低研究的有效性偏离研究目的实验前选择实验对象避免偏倚的预防措施入选受试对象不能被剔除研究疾病患病率能反映实际发病率咨询专业统计人员确定临床问题样本量大小：按照估计总体率的样本含量估算方法，分别计算“有病”组样本含量和“无病组”的样本含量选择受试人群,2.选择具有代表性的样本,样本的群体代表性决定评价结果是否有意义,93,3.确立每一受试对象“真实的”临床状态,研究、评价诊断性检验的临床诊断价值，最基本的方法是确定金标准,盲法比较确定金标准：诊断性检验的金标准是指当前临床医师公认的诊断疾病最可靠的方法，也称为标准诊断通常的金标准包括活检、手术发现、细菌培养、尸检、特殊影像检查，长期随访结果,94,只有用“金标准”才能正确的诊断患者是否患有某病或不患有某病，也只有这样，才能正确评价某一试验的临床价值病例组应包括各型病例：如典型和不典型的，早、中与晚期病例，轻、中与重型的，有和无并发症者等，以便使诊断性检验的结果更具有临床实用价值如选择偏倚，必然产生不正确的结论，如肿瘤标志物的检测，仅选用住院晚期患者，诊断敏感度必定估计偏高,95,对照组选用金标准证实没有目标疾病其他病例，特别是与该病容易混淆病例，明确其鉴别诊断价值正常人一般不宜纳入对照组，选择健康人作对照组，特异度的估计必然偏高同时性别、年龄应与病例组相近这样对该试验的评价才比较客观按统计学要求，病例组、对照组样本量应30例以上与标准诊断法进行比对，为避免产生的偏倚，必须