临床检验方法确认与性能验证概要.ppt

临床检验方法确认与性能验证,贵阳市第二人民医院检验科 张正君,临床检验方法确认与性能验证,概念 目的 具体操作 其他,一.概念,确认（validation） 验证（verification）,确认（validation）,在实验室当前条件下，证实所得检验结果是否可以满足临床需要，能为患者提供可靠的的临床结果过程。本质上实际就是误差评价（error assessment），如果误差太大将会造成结果不正确的解释！ 确认的手段应是是实际的或是模拟的！,验证（verification）,实验室按厂商说明的方法能否得到预期结果 验证的手段可以是下述活动，如：变换方法进行计算；将新设计规范与已证实的类似设计规范进行比较；进行试验和演示；发布文件前的评审。,确认（validation） 通过提供客观证据对特定 的预期用途或应用要求已得到满足的认定。 注：“已确认”一词用于表示相应的状态。确 认所使用的条件可以是实际的或是模拟的。 验证（verification） 通过提供客观证据对规定 要求已得到满足的认定 注： “已验证”一词用于表示相应的状态。认定可包括下述活动，如：变换方法进行计算；将新设计规范与已证实的类似设计规范进行比较；进行试验和演示；发布文件前的评审。,ISO15189的概念,确认（validation） 通过提供客观证据对特定 的预期用途或应用要求已得到满足的认定。 注：“已确认”一词用于表示相应的状态。确 认所使用的条件可以是实际的或是模拟的。 验证（verification） 通过提供客观证据对规定 要求已得到满足的认定 注： “已验证”一词用于表示相应的状态。认定可包括下述活动，如：变换方法进行计算；将新设计规范与已证实的类似设计规范进行比较；进行试验和演示；发布文件前的评审。,二.目的,结果互认 医院实验室管理办法 CLIA88 CNAS-CL02,三.具体操作,（一）统计学基础知识 （二）检验方法分类 （三）方法的选择 （四）常用物质 （五）一些基本术语 （六）质量规范 （七）具体操作,（一）统计学基础知识,概述 临床检验结果质量检验数据的分类 统计方法的分类 随机变量及其分布 正态分布 抽样分布 大数定律和中心极限定律 平均数与标准差 均数的抽样误差与t分布 两均数差别的统计学意义检验 方差分析 直线回归与相关 观察值一致性,（二）检验方法分类,决定性方法（ definitive method ）： 经详尽研究尚未发现 不准确度或不确定性原因的方法； 参考方法（ reference method ）： 经详尽研究证实其不准确度与不 精密度可以忽略的方法； 常规方法（ routine method ）： 可满足临床或其他目的需要的日常使用的方法。,（三）方法的选择,足够特异、灵敏、精密度好 校准可溯源 有实验证据（杂志、自） 与其他检验项目相比有点何在,（四）常用物质,1.标准物质/参考物质（ reference material ） 2.校准品（ calibrator ） 3.质控物/控制品（ control material ）,1.标准物质,概念：又称参考物质（ reference material ），是一类充分均匀，并具有一个（或多个）确定的特性值的材料或物质，标准物质的定值结果一般表示为：标准值 总不确定度。 “ 标准物质证书“是介绍标准物质的技术文件，是研制单位向用户提出的质量保证书和使用说明。附有证书的标准物质称为有证标准物质（ certified reference material, CRM ），其特性值由建立了溯源性的程序确定，可溯源至准确复现该特性值的计量单位，且每个标准值都附有给定置信水平的不确定度。 作用：校准仪器设备、评价测量方法，或给其它物质赋值 分类：一级标准物质（ primary reference material ）：稳定、均一，采用高度准确、可靠的若干方法定值，可用于校准决定性方法及为二级标准物质定值。在我国，一级标准物质是测量准确度达到国内最高水平的有证标准物质，由国家技术监督局批准、颁布并授权生产。如： 人血清无机成分分析标准物质（ GBW09135 ）和血清胆固醇标准物质（ GBW 09138 ）。二级标准物质（ secondary reference material ）：用一级标准物质校准，参考方法定值。如： 红细胞微粒标准物质 GBW （ E ） 090001 、胆红素标准物质 GBW （ E ） 090002 、氰化高铁血红蛋白溶液标准物质 GBW （ E ） 090004 和纯化血红蛋白标准物质 GBW （ E ） 090011 。,2.校准品,3.质控品,概念： 分类：定值质控品 非定值质控品 检测系统配套的控制品 正确度控制品,质控品概念,具有与检测过程相适应的特性，其成份与检测样本的基质相同或相似。应使用充分均 一 和稳定的质控物， 其瓶间变异 必须小于监测系统预期的变异，其常规检测应有助于确认报告范围。,定值质控品,定值质控品,但是公司的定值是从保护自己利益出发的。它标示的预期范围只是想告诉用户，只要你的测定值在范围，说明它的控制品是好的。因此不要将预期范围认为是控制的允许范围！ 不定值控制品质量和定值的一样，只是厂商没有邀请实验室为控制品定值，在说明书上除定值内容外，其余都有，还告诉了用户高值或低值，当然更便宜！ 但无论定值或不定值，用户在使用时，须使用自己的检测系统建立自己的均值和标准差！只是定值控制品有一个预期的范围便于用户对照！但仅为对照，若两者相似不能说明用户结果准确，不相似也不说明结果有问题。 国内限于条件国产控制品很少，由经销商推出的国外控制品真正属于定值的也不多，定值控制品因为价格贵，用户不接受，但用户又要求是定值的控制品，因此不少经销商要求生产厂商提供一个公司自己检测的值，附在不定值控制品上，变成用户可接受的“定值”控制品！至于定值所用的检测系统，方法学原理、仪器、试剂盒来源、操作程序都无可奉告！此时如果用户的靶值和“所为定值”相差甚远，我们应该可以理解，并不是控制品质量有问题造成的！,检测系统配套的控制品 为了使用户及时了解检测系统的质量状况，大的诊断产品厂商（国际上六大），除提供仪器、试剂、校准品外，还提供检测系统专用的控制品，必要时还为使用相同检测系统的用户提供相同批号的控制品，同时组织质量服务！此类控制品专用性强。如罗氏的正常与病理控制品Precinorm/Precipath，它的控制品定值完全按照校准品定值程序获得！而且定值一旦发现中间环节出错，还在网上为用户提供更新！ 正确度控制品 为了随时保证检测系统对病人样本的检测结果具有溯源性，此时引入了正确度控制品，ISO17511标准定义正确度控制品为：用于评估检测系统检测偏倚的参考物质。而且有专门的定值过程，该定制过程比校准品定值还要严格，与定值控制品的定值属于相同检测系统测定值的简单统计处理一定要分开！,（五）一些基本术语,准确度 正确度 精密度 溯源性,a.准确度与误差 准确度（accuracy）的完整表达应是检测准确度（accuracy of measurement）：检测结果与被测量真值或约定真值（可接受参照值）之间的一致程度（GB/T3358.1、GB/T6379）. 可接受参照值：用来做比较的经协商同意的值，它可以是理论值（真值），赋值，公认值或由程序确定的值。准确度不能直接得出，只能用偏离（deviation）也就是误差从反面衡量 误差：测量值与真值之间的偏离，包括RE和SE。误差是用来度量不准确度的。 这样对于检测结果只做一次时，结果的偏离 即不准确度=分析过程的不正确度+分析过程的不精密度 也即不准确度=总误差=分析过程的随机误差+分析过程的系统误差 b.正确度与偏倚 正确度（trunees）即真实度，完整表达检测真实度：大量检测结果得到的均值与可接受参考值之间的一致程度（GB/T6379），用偏倚（bias）来表示,即测试结果的期望与真值（可接受参考值）之差。（GB/T6379） 系统误差：在可重复的条件下，大量检测结果的均值与真值之差 偏倚表示的是一种系统误差。 c.精密度和标准差 精密度（precision），完整表达检测精密度：在规定条件下独立测试结果之间一致程度（GB/T6379）。用标准差或变异系数来表示。分为两种，“重复性（repeatability）”相同条件下执行连续测量结果之间的一致性程度，又称为序列内精密度和批内精密度。“再现性（reproducibility）”在改变测量条件下执行测量结果之间的一致性程度。 随机误差（random error）：在可重复的条件下，对相同的被测量无数次检测结果的均值，与检测结果的差异。用标准差和变异系数度量。 d.总误差 总误差（total error,TE）:能影响分析准确度的确定误差的组合【CLSI EP15-A2】,即偏倚和不精密度的和。 基于科学原理的理论或确定值 基于一些国家或组织的实验工作的指定值或认证值 基于科学或工程组织赞助下合作实验工作中的同意值或认证值。 以上三点不能获得时，则用可获得的期望，即规定测量总体的均值。,溯源性,通过一条连续的比较连，使FPS检测结果与国际或国家的参考系统（在参考实验室，使用参考方法，参考品得到的结果）联系起来的特性,（六）质量规范,质量规范简史 1963年加拿大临床化学家David Tonks建议用参考区间的宽度1/4表示允许误差。 1968年临床化学家Roy Barnett博士提出标准差表示允许误差。 1976年CAP举办的分析目标讨论会议，Westgard提出了以“允许总误差”作为规定质量的最佳形式，一直沿用至今。,1999年斯德哥尔摩协商大会汇集了临床检验领域的许多专家协商一致的“建立全球分析质量规范”，其结果提出了“质量规范（quality specifications）”的层次结构：,1.评价在特定情况下分析性能对临床结果的影响 2.评价在一般情况下分析性能对临床决策的影响 3.基于生物学变异的规范 4.基于临床医生观点的分析 5.已发表专业推荐 来自国家和国际的专家组 来自地方组织或某个国家 6.基于法规和EQA的质量规范 法规机构 能力验证（PT）和（或）室间质评计划（EQAS）组织者 7.基于当前分析技术的目标 有时间质量质量评价或能力验证计划数据证实 由当前发表方法学性能文章,3.基于生物学变异的规范。,用法,CVA1/2CVI BA1/4（CVI2+CVG2）1/2 CV仪器之间1/3CVI TE1.65CVA+BA(0.05) TE2.33CVA+BA(0.01) 不精密度CV： 用于室内质控精密度分析 用于方法学性能验证：1.与客观比较 2.与厂家比较 偏差Bias：用于方法学比较，即考核真实度。 允许总误差Tea：用于EQA,5.已发表专业推荐,6.基于法规和EQA的质量规范,（七）具体操作,内容 常用的方案 具体方案,方法确认,内容： 总是包括可报告范围、精密度、准确度和参考区间。某些研究还应包括检出限（或灵敏度）、特异度、干扰和回收以及校准品确认。CLIA规则规定对不同复杂程度分类的方法需要确认不同的特征。对不太复杂的方法，要求很少的研究。对于自建检测系统或实验室修改的方法需要更多的实验。,方法验证,除应验证仪器的安装和检验程序的操作外 对于定量方法 应验证：测量精密度：包括重复性和再现性、患者结果与以前方法或参考程序之间的一致性、在整个分析测量范围内被测量的回收、高浓度的携带污染、干扰或非特异性（溶血、脂血、黄疸、容器添加剂、药物）、参考区间。 对于定性方法 应验证阳性和阴性及临界值上和下标本的再现性和重复性、患者结果的一致性、携带污染、干扰或非特异性。,常用的方案,1.相关机构：NCCLA/CLSI、CLIA 2.具体方案 定量实验室方法的初步评价: CLSI EP10 定性测试性能评估：CLSI EP12 基质效应的评价：CLSI EP14 精密度和正确度性能的用户验证：CLSI EP15-A 使用ROC曲线实验室试验临床准确度评价：CLSI GP10 总误差估计 :CLSI EP21-A：临床实验方法总分析误差的估计 精密度评价: EP5-A，临床化学设备精密性能的评价 准确度评价：方法比较试验EP9-A，使用病人样本进行方法比较和偏倚估计 回收实验 干扰试验EP7-P，临床化学干扰试验 总误差估计 :CLSI EP21-A：临床实验方法总分析误差的估计 患者结果可报告范围（即线性范围）的验证：EP6-A：定量分析方法线性的评价 临床可报告范围的确立 参考范围 ：NCCLS/CLSI C28-A ：临床实验室如何定义和确定参照区间 交叉污染:NCCLS/CLSI EP10-A 分析灵敏度:CLSI EP17-A：检出限和定量下限确定方案 分析特异性:NCCLA/CLSI EP7-A: 临床化学干扰试验,评价检验结果的准确度,除按ISO/IEC l7025对实验室质量体系评价外，在实际工作中我们常用以下几种方法来核验、评价检验结果的准确度。 用标准物质评价检验结果的准确度（t检验） 用标准方法评价分析结果的准确度 回收率试验,Westgard确定不精密度的方法,考虑因素 1.实验周期：20天以内 2.样本基质 3.检测材料数量和浓度水平：MDL 4.检测样本个数：20次 5.数据计算：CV/S 6.可接受性能准则 Sw-run/Sw-day1/4TEa SI-run1/3TEa 7.厂家声明的验证 8.推荐的最低程度研究 9.基于未来的考虑,厂家声明的验证,CLIA并没有严格地要求实验室确定性能的可接受性。更确切地，CLIA主张实验室应验证厂家精密度的声明。这可由F检验完成，如下： 1.从厂家声明材料（通常包括在仪器的文件中）中获得用于 重复性实验的预期标准差和测量个数，如基于31次测量的标 准差（s）为3mg/dl。 2.从你的重复实验获得的标准差和测量结果个数，如基于21 个测量的标准差为4mg/dl。 3.计算F值，较大s平方除较小s平方，即= 16/9 = 1.78。 4.查F值表，查分子自由度为20，分母自由度为30的临界F 值，其值为1.93。 5.在这一实例中，计算的F值小于临界F值，其表示实验室观 测的s与厂家声明的s之间没有真正的差异。 6.结论已验证厂家的声明。,推荐的最低程度研究,选择至少2个不同浓度控制物代表了研究项目的低和高的医 学决定性浓度。每一个浓度在一批内或一天内对每一控制物 检测20个样本获得短期的不精密度估计值。计算每一控制物 的均值、标准差和变异系数。在进行更进一步实验之前确定 短期不精密度是否可接受。 在20个不同天对两个控制物的每一种分析1个样本，确定长 期的不精密度。计算每一材料的均值、标准差和变异系数。 确定长期不精密度是否可接受。,基于未来的考虑,采用更为详细的实验设计提供关于短期和长期变异量的信息。这些设计通常使用方差分析（analysis ofvariance , ANOVA)，如CLSI精密度方案所阐述EP5方案预期用于厂家的精密度评价，而EP15方案预期用于临床实验室用户进行的评价。EP15明确指出在5天的时间内每天最少是采用3个重复测量，给出总的15个测量值。为了估计总的不精密度，计算提供确定批内和批间分量的方式，然后将其结合来提供总的不精密度。在EP15附录中描述了所需要的计算，以及一组数据实例显示如何验证厂家的声明。给出的EP15允许仅只有5天的数据就可进行精密度验证，很有可能它将成为许多实验室采用的方案。,CLSI EP5-A2,定量方法精密度性能评价Evaluation of Precision Performance of Quantitative Methods; Approved GuidelineSecond Edition,精密度的内容,批内精密度（重复性：repeatability） 批间精密度 日内精密度 日间精密度 实验室内精密度（within-laboratory precision）,实验方法,试剂和校准物：同一批号 样本：基质与临床样本相似，2个以上浓度 （参考医学决定水平）。 实验天数：20天以上 实验次数：每天2批，每批2个样本，每个 样本重复2次,Westgard确定偏倚的方法,概述 由新方法（试验方法）和可比较方法同时分析患者样本的实验，基于两方法观测的差值估计系统误差。 考虑因素 1.可比较方法 2.患者标本数量 3.单次或双份测量 4.时间周期 5.标本稳定性 6.数据分析 7.图形显示数据 8.计算适当的统计量 9.可接受性能标准 10.厂家声明的验证 11.推荐的最低程度的研究 12.未来的发展方向,1.可比较方法,“可比较方法” 并不意味方法已证明其正确性。大多数常规实验方法归为此类。必须仔细解释试验方法和常规方法之间的任何差异。如果差别很小，则两方法具有相同的相对的准确度。如果差别很大并医学上不可接受，则需要识别哪一方法是不准确的。可采用回收和干扰实验提供这一额外的信息。,2.患者标本数量,两个方法检测最少40份不同的患者标本。选择的这些标本覆盖整个方法的可报告范围及代表方法在常规应用预期疾病的浓度范围。检测标本的实际个数没有标本的质量重要。,3.单次或双份测量,双份测定 不同的批、或至少不同的顺序（而不是在同一样本杯中来回重复）不同的样本（或杯）,4.时间周期,一般建议最少5天 每天检测2至5个患者标本,5.标本稳定性,一般由试验和可比较方法在两个小时内对标本进行检测，除非标本有很短的稳定性,6.数据分析,方式存在争论和讨论,7.图形显示数据,差值图（difference plot） 比对图” （comparison plot）,8.计算适当的统计量,1.以比较方法测定值Xc为横坐标，试验方法测定值Yc为纵坐标，采用直线回归或最小二乘法拟合直线，建立回归方Yc=a+bXc，并由此计算在MDL时的SE，SE=Yc- Xc 2.另一常计算的指标是相关系数r，主要用于评价数据范围是否足够宽以便提供斜率和截距更好的估计。而不是判断方法的可接受性。当r为0.99或更大时，简单的线性回归计算可提供斜率和截距可靠的估计。如果r小于0.99，最好是收集额外的数据扩大浓度范围。考虑到使用t-检验计算估计数据均值的系统误差，或使用更复杂的回归计算适合于数据更窄的范围。 3.对于比对结果覆盖较窄的分析范围，如：钠或钙等，计算两方法平均值之间的差，也通常称为偏倚。这种计算的偏倚从统计程序可获得提供配对t-检验计算。例如，如果钠试验方法40个分析的均值是141.0mmol/L，相同样本比较方法的均值为138.5，则平均系统误差或偏倚是2.5mmol/L（141.0 138.5）。,9.可接受性能标准,判断可接受性依赖于允许分析误差的大小，任何单个试验的总误差（TE）包括系统误差（SE）加随机误差（RE）。“总误差”计算公式如下：TEcalc =SE+ RE TEcalc = Biasmeas+3Smeas S meas是重复性试验估计的方法标准差，Biasmeas是从回归方程Yc=a+bXc计算的Yc-Xc或从配对t-检验计算的平均差，当TEcalcTEa方法性能是可接受的 方法决定图,10.厂家声明的验证,CLIA并没有严格地要求实验室参照任何质量标准，甚至是其 能力验证可接受性能准则判断任何观测的偏倚或系统误差的可接受性。代之，CLIA强调验证厂家的准确度（或不准确度、偏倚，系统误差）声明。如果厂家的声明没有偏倚，t-检验统计量将揭示出实验室数据证实其声明是否符合。如果从配对t检验统计计算的t值小于临界t值，则没有显著性差异，或观测到没有真实的偏倚。如果厂家声明有限的偏倚，则有用的是确定你估计偏倚的置信区间，并将其与厂家的声明的偏倚进行比较。如果厂家的声明偏倚落在观测偏倚的上下置信限之内，则证实了声明；如果不在此区间内，则没有验证声明。,11.推荐的最低程度的研究,选择40份患者标本覆盖方法的整个可报告范围。由试验和比较方法在2小时内一天分析8份标本。很快地将结果绘制差值图并检查差异；重新分析给出差异结果的标本消除离群值，识别潜在的干扰。如果没有观测到差异的结果，继续实验5天。如果在头5天观测到差异，继续另外的5天。绘制所有数据的比对图评价范围，离群值和线性。计算相关系数，如果r为0.99或更大，计算简单直线回归统计量及在医学决定浓度水平上估计系统误差。如果r0.975，从t-检验统计量估计数据均值的偏倚或另外从更为复杂的回归技术进行估计。使用方法决定图结合估计的系统误差和随机误差，并对方法观测的总误差作出判断。,12.未来的发展方向,CLIA当前指南给出20为方法确认实验的“经验法则”。CLSIs EP15指南“真实度”或偏倚的用户验证也建议最少为20个患者样本。另外，EP15包括备选方法使用最少2个具有制定值参考物质，以在3到5批中以双份测定方式进行测量.在此参考物质可包括有证参考物质，如从国家标准和技术研究院获得，但也可来自能力验证样本，质量控制材料，或具有指定值的相同方法比对材料,CLSI EP9-A2,使用病人样本进行方法比较和偏倚估计,目的及用途,引进新方法前或用一种方法替代另一种方法时进行偏倚分析； 评价同一分析项目的两种分析方法间的偏倚。,评价操作要求,熟悉仪器操作 熟悉评价方案 质量控制 足够的数据,实验样本要求,来源于健康人或患者，无干扰，尽量避免储存； 测定物浓度范围应在医学决定水平范围内均匀分布； 样本数至少40例，增加数量能提高可信性,对比方法,厂家要求的实验室常规方法或公认的参考方法。 具有好的精密度 没有已知的干扰物 相同单位 相对国家标准或参考方法的偏倚是已知的,测定方法,每天分别用两种方法进行测定， 测定顺序： 1、2、3、4、5、6、7、8 8、7、6、5、4、3、2、1 测定次数：至少测定5天，共40个样本,数据监督,常规质控： 系统误差 人为误差,实验步骤, 熟悉仪器及方法 收集数据 检查方法内的离群点 界限： （双份测定）相对差值均值的4倍,绘图,散点图： 均值散点图（X，Y） 所有值散点图（Yij，Xi） 偏倚图： 散点图（ Yij -Xij），Xi）,均值散点图（X，Y）,偏差图：每次测定的Y均值与X均值 之差-相应X均值图,相关指标计算,适合范围： 计算r，r2 = 0.95 范围适合 r2 0.95 扩大数据范围 线性回归： 回归方程计算： 截距 a = - 9.05 斜率b = 1.17 Y = 1.17 X 9.05 均匀离散度的直观检查,结果判读,预期偏倚及可信范围 线性回归方程 计算偏倚（高、中、低3组） 解释实验结果并与内部标准比较,CLSI EP15-A,精密度和正确度性能的用户验证： User Verification of Performance for Precision and Trueness）,主要的3种方案：,1.精密度基于5天，每天分析3份重复控制样本； 2.真实度基于分析20份患者标本； 3.真实度基于分析至少2份具有指定值的参考物质。,EP15 精密度方案,规定熟悉时期学习分析系统的适当操作，包括校准、维护程序和监测程序（质量控制）。使用厂家推荐的质量控制程序监测在EP15检测方案期的性能。选择的控制物应具有的浓度水平接近医学决定性点。用于声明验证的控制物应选择接近于医学决定点的浓度及接近于厂家进行其精密度声明试验所具有的浓度。如果可能，它们应该与建立厂家声明使用相同的材料，或非常类似的材料（类似的基质）。,实验方案,1五天，每日一分析批，每日两个浓度水平，每一水平上同一样本三次重复测定。 2如果因为质量控制程序或操作困难判断一批为 失控，剔除数据，并执行额外的批。 3包括正常地使用每日质量控制样本。 4真实度试验样本可在同一批内进行检测。 5操作者按照厂家说明书规定进行校准。如果厂家指出在其声明它的精密度数据是在多个校准周期下产生的，则操作者在实验期间选择重新校准。,统计量的计算,建立EXCEL表格,用EXCEL表格计算T值,精密度声明的验证,EP15使用患者样本的真实度方案,推荐采用如下的实验方案： 1检测20份患者样本，其浓度水平覆盖方法的可报告范围。 2在实验室以常规操作方式检测新鲜患者样本。 3在3到4天时间内，每天由试验和可比较方法在4小时内测量5至7份样本。 4评价质量控制确保稳定的操作条件和有效的试验结果。 5检查比较数据识别任何差异的结果。 6计算配对结果之间的差值，并绘制差值与比较值之间的差值图提供数据的图形显示。 7将数据进行配对t-检验计算确定方法之间的平均差值（偏倚），以及差值的标准差； 8计算置信区间和