检测系统分析性能的建立和验证

1、 冯仁丰       近期，国内实验室认可委员会（CNAS）正式发布了2012年的ISO15189文件的翻译文件（CNAS-CL02）。在新版本的文件中，第节中要求，实验室应选择与其用途经过确认的检测系统（文件中将其描述为检验程序），每一个检验程序的规定要求（性能特性）应与该检验的预期用途有关。注：首选程序可以是体外诊断医疗器械使用说明中规定的程序。第节检验程序的验证（Validation）中，说明了什么是检测系统的验证。规定了：为未经修改而使用的已确认的检验程序在常规使用前，应经过实验室的独立验证。实验室应从制造

2、商或方法开发者处获得相应信息，以确定检验程序的性能特性。实验室进行的独立验证，应通过获取客观的证据（以性能特征形式）证实检验程序的性能与其声明相符。验证过程证实的检验程序的性能指标，应与检验结果的预期用途相关。在检验程序的确认（Verification）节中，说明了什么是检测系统的确认。被确认的检测系统（检验程序）为：非标方法；实验室设计或制定的方法；超出预期范围使用的标准方法；修改过的确认方法。在该节中说明了方法确认应尽量全面，并通过客观的证据（以性能特征形式）证实满足检验预期用途的特定要求。注：检验程序的性能特征宜包括：测量正确度、测量准确度、测量精密度、分析特异性、分析灵敏度、检出限和定

3、量限、测量区间等，并且要求：当对确认过的检验程序进行变更时，应将改变所引起的影响形成文件，适当时应重新进行确认。       美国政府对临床实验室管理的法规CLIA88，2003年版本的要求中，对于FDA认可的非简易检验项目，在首次使用报告患者结果前，你必须验证你的实验室检测性能和厂商提供的准确度、精密度、和检测范围是相似的。显示检测系统性能证实的记录应长期保存至该项目仍然使用该方法，但是不超过2年。       CLIA的第493.1253标准：建立和验

4、证性能规格（指标）(1) 性能规格的验证。每个实验室在引入未作修改的、FDA认可或批准的检测系统，在报告患者检测结果前，必须作下列事情：(i) 经核实，实验室能得到的性能规格，和厂商确定的下列性能具有可比性：(A) 准确度；(B) 精密度；(C) 可报告范围。(ii) 证实厂商的参考区间（正常值）适合于实验室患者的群体。(2) 性能指标的建立（Establishment）。修改了FDA-认可或批准的检测系统、或引入的检测系统未经FDA认可或批准的（包括自行发展的方法和标准方法，如：教科书方法，或使用不是由厂商提供性能指标的检测系统）的每个实验室，在报告患者检测结果前，必须建立每个检测系统的下列

5、性能特性的性能指标：(i) 准确度；(ii) 精密度；(iii) 分析灵敏度；(iv) 分析特异性，包括干扰物；() 检测系统检测报告的可报告范围；() 参考区间；() 在检测性能上要求的任何其他性能。       上述内容，ISO 15189文件已经明确了将检测系统（检验程序）的分析性能，区分为验证和确认。美国的CLIA法规早于10年前就已经明确了这样的做法。值得注意的是CLIA对未经任何修改的检测系统的分析性能验证，只要求实验室对四个性能给予验证，即精密度、准确度、可报告范围，加上对厂商提供的参考区间的证实，一共是四个内

6、容。       对于经实验室修改的原检测系统（如国内目前实验室自选试剂盒等的做法），则CLIA要求实验室对新形成的检测系统建立完整的分析性能，并予以确认符合使用要求。建立这些性能的做法大多会使用CLSI系列文件，如以EP-5文件建立精密度性能、以EP-9文件建立正确度性能、以EP-17建立分析灵敏度性能、以EP-7文件建立分析特异性性能、以EP-6文件建立可报告范围性能、和以EP-28文件建立参考区间等。经申报认为符合实验室检测要求后，方可检测患者样品。这些建立分析性能的内容，国内已经讲了许多，这里不再作介绍。 

7、      为了让美国临床实验室理解验证的具体做法，在CLIA的实施小册子中对新CLIA的要求做了简单易行的解释。另外，非常典型的是强生公司为了迎合2003年CLIA法规的修改，推出了一个验证性能的方案。所有这些应该对于我们理解验证分析性能的具体做法均有启发。以下对这两方面的内容做介绍。一、美国2003最终CLIA法规小册子#2的介绍：“这是什么？我如何去做？”如何进行检测系统分析性能的验证？1、CLIA法规现在对经FDA批准的未经修改的、中度复杂性项目性能指标验证的要求。     &

8、#160; CLIA质量体系法规于2003年4月24日生效。要求实验室在报告患者检测结果前，对每个新的、未经修改的中度复杂检测项目（在自动分析仪上检测的项目），检查（验证）厂商说明书上提供的性能指标-准确度、精密度、可报告范围、和参考范围。验证过程有助于确保在你的实验室内，你的检验人员对你的病人群体的检测，检测的项目具有和厂商预期一致的性能。       这个要求也应用于实验室在置换检测系统或仪器（相同或不同型号）；添加新项目；或更换检测试剂盒厂商等。2、正（准）确度你的检测结果正确吗？  &#

9、160;    实验室需要将它使用的检测系统检测结果正确度和厂商的正确度作比较。可以检测市售的校准品和定值控制品、具有确定值的能力比对试验调查样品、具有检测结果的检测过的患者样品等。若这些样品的检测结果在厂商规定的限值内，正确度被确认了。3、精密度       你是否能随时获得相同的结果？       实验室有责任确保：实验室的任何成员（操作人员的变动）可以在同一天重复检测相同的样品、在不同日期得到相同或可比较的结果

10、（可复现的）。实验室的一些检验人员应参与这个评价，有助于确定整个实验室的变异。例外：不依赖检验人员的全自动检测系统，操作人员的变动不会影响检测的精密度，不需要由更多人员作评价。4、可报告范围       可报告结果可以有多高和多低，而结果仍然是正确的？       为了确认厂商建立的某项目可报告范围，选择厂商说明检测系统正确的最高和最低水平已知值的样品。实验室只报告在确认水平内的患者检测结果。实验室主任和/或技术主管将需要决定实验室是否可以报告更高于或低于

11、确认水平以外的结果。5、参考范围/区间（正常值）       检测系统厂商提供的参考范围是否适合你的患者群体？       你开始以厂商建议的参考范围用于患者检测，或使用其它教科书或杂志上的参考范围。依据患者类型（如：儿科、男性、女性），参考范围各异。随着时间的推移，你可能需要判断你的参考范围是否较好地适合你常规检测的患者群体。当你检测已知正常患者，结果应在你的参考范围内；而不正常的患者，你应可以预期结果在参考范围之外。6、我需要检测多少样品？ 

12、      从统计角度，检测20例样品是基础，这不是魔术数。依据检测系统和实验室的检测量，需要的实际标本量，将随验证研究的各部分而不同。       实验室主任审核和确认了验证研究的结果后，实验室开始使用检测系统用于常规，并报告患者检测结果。反之，若验证结果说明检测不正确或结果不具有恒定重现性，实验室技术咨询和检测系统厂商应协商解决问题的步骤。7、要点！       在设计、验证检测系统的正确度时

13、；精密度，包括操作者的变动；和可报告范围均可使用相同样品。例如，你可检测厂商可报告范围的较高和较低限值处的已知值样品，同时检测你的患者群体的正常范围样品；在不同批、不同天，由多个能正常操作的人员进行检测。验证检测系统的人员的活动，也促进符合CLIA的人员能力要求。       另外，实验室主任可使用验证过程建立检测系统质量控制方案，符合CLIA要求，这是实验室整个质量体系的基础组分。二、美国强生（Johnson-Johnson）公司的奥索临床诊断公司（Ortho-Clinical Diagnostics），在2003年末为了

14、让客户对它们的检测系统产品，熟练进行检测系统分析性能的验证，公司推出了VITROS系统验证文件。我于8年前看到了这个文件，感到很有价值，开始在国内推广介绍。有关内容摘录如下：1、术语（Glossary）（1）理解实验误差（Understanding Experimental Error）-认识误差的最重要的是，误差总是出现于某个方面或另一个方面。尽管误差不可能消失，但是可以被控制（即：在可接受的限值内）。本研究的目的要确定两个内容：误差的大小和类型，仪器是否能得到满意的结果。（2）统计术语（Statistical Terms）() 集中趋势（Central Tendency）：统计上一组数据的

15、集中中心。单组数据的均值是集中趋势的估计量。成对比较的数据（如方法比较图上的数据），可由回归线估计集中趋势。() 离散（Dispersion）：数据点对于集中趋势的离散。单组数据的SD是离散的统计估计量。成对数据使用估计的标准误SEE（Standard Error of the Estimate）【即回归线的标准误差】是组成回归线的所有数据点对于线的离散估计。() 线性回归（Linear Regression）：为了对具有直线趋势的数据点绘制最佳配合的归纳线时，使各个数据点对于线的离散距离值的平方和为最小的技术为最小二乘法。描绘直线的两个指标为斜率和截距。2、PAR研究  

16、     CLIA88要求对未经修改的中等复杂方法的4个指标进行验证（Verification）。这些方法包括精密度、准确度、可报告范围和参考区间。PA R 研究证实精密度（Precision） 、准确度（Accuracy）和可报告范围（Reportable Range）。（1）精密度验证       若精密度指数（Precision Index）不超过1.0，则厂商精密度（Precision）的性能指标被验证。精密度指数为实际观测的标准差与厂商提供的性能标准差的比值。换言之

17、，精密度指数是仪器观测的精密度，相对于厂商说明的性能标准差的度量。（2）正确度验证       若存在的系统误差未超过厂商说明的仪器正（准）确度性能误差值，则厂商的正（准）确度性能被验证。对Vitros仪器，若使用CalKit为样品进行检测，实验观察的分析物浓度均值在规定的靶值±3SD范围内，则准确度符合要求。若使用Performance Verifier为样品进行检测，实验观察的分析物浓度均值在厂商的均值范围内，正（准）确度性能也被验证。不管怎样，报告将展示可报告的低限值和高限值。（3）对厂商的可报告范围性能的验

18、证，说明了仪器符合性能要求。若对Vitros仪器准确度性能验证实验使用的样品，含有的最低和最高浓度符合可报告范围的限值，则当实验结果的正（准）确度被验证后，也验证了厂商的可报告范围的性能。（4）在报告中，检测结果符合性能要求的被报告为“可接受的”，不符合要求的报告为“要求继续实验”。3、方法比较研究（Method Comparison Studies）       进行方法学比较实验有许多原因。最常见也是最重要的，是确定新方法与老方法在临床的医学判断限值处的关系。要确定换用新仪器后，实验室是否依然可以使用相同的医学判断限值。

19、记住：每个项目由多个医学判断限值。如果方法学比较的斜率与1、截距与0间的差异在统计上没有显著意义，则这些判断限值就不需要改动了。4、回归统计（Regression Statistics）（1）未加权的最小二乘法（ULS）直线回归（Unweighted leastsquares regression）       这是用于线性回归计算的经典方法。由于假定所有数据点的x结果没有误差（对于临床实验室的结果，这个假定经常不是真实的），这个统计方法几乎总是低估斜率，有时候会有非常显著的差异。但是，提供的ULS回归数据对于用户而言，至少

20、使用习惯的技术去确认部分数据。ULS的同义词为“惯用回归”。（2）Deming回归       也是线性的最小二乘法回归的方法。由于这个计算假设数据点的x也有误差，因此较之ULS回归，是临床实验室较好的统计方法。在Deming方法中的误差组分是依据x和y数据误差的相对大小，假设在所有情况下x和y的误差是相同的。（3）回归线估计的标准误（SEE）       这是每个x、y数据点对于回归线的离散程度，这个统计量是估计数据的随机误差。如果两个方法具有相似的随机

21、误差量，则SEE将是数据经典标准差的1.4倍（即2的开方值，来自2个相等标准差平方根和的平方根）。（4）相关系数（r）       是描述环绕数据点绘制椭圆形的数值，它与斜率和截距的大小无关。它有三个限值：1、1、和0。1表示所有数据点均在正斜率的直线上；1表示所有数据点均在负斜率的直线上。相关系数0表示数据点分布呈椭圆状。       r应用于确定斜率和截距的显著性。若r大于0.95，说明斜率和截距很有意义。随着r值的下降，特别当r小于0.9后，其显著性

22、也随之下降。当r小于0.5，应考虑很少或没有意义。       r用于内部确定计算正常范围的低限和高限偏倚的方法。（5） 在评价中最重要的统计量       在线性回归中，最重要的统计量为Deming斜率和Deming截距。不要忘记，这些是点的估计，事实上，是以这些点为中心的范围的真实估计。只有在评价实验数据点足够、并分布于整个可报告范围的，这些点才有效。（6）实验样品数（n）      

23、0;为了得到中肯的统计结论，在方法学比较中需要2030例标本，并且标本检测结果值分布相对较宽。（7）分析物浓度范围       由每个方法得到数据的整个范围。范围越大，回归统计可准确地叙述真实的统计关系也越好。       在x、y数据分布图上，将所有数据点绘制于图上。所有回归线均使用Deming线性回归。依据规定的允许误差，计算观察数据离散点的情况。（8）计算修正的斜率和截距      

24、0;修正的斜率和截距用于修饰Y仪器得到的结果更接近于X仪器的结果。使用惯用回归的斜率和截距会引入系统误差，只能使用Deming斜率和截距。可从方法比较数据中得到这些统计量。应使用以下公式：修正的斜率1/Deming斜率修正的截距-Deming截距/Deming斜率注1：使用惯用ULS回归计算的斜率和截距，低估了与相关系数（r）近似的真实斜率和截距。在r很接近1（如0.995）时，这个误差不明显，但是在r小于0.95时，误差变得很真实。注2：这个研究是方法学比较的严格实验。为了使这个研究获得可靠的正确因素，数据点至少为40例，并且这些点应较好地分布于整个报告范围。标本的分布较之标本个数更重要。另

25、外，建议在8天内完成标本的检测。请参见NCCLS EP9文件的细节。5、参考区间（正常范围）       CLIA88法规要求，在报告每台仪器的结果前，应核实每个项目的参考区间，也即核实内源性分析物的正常范围。由于获得这样的标本很困难，不要求对药物和其他分析物的参考区间进行核实。       正规建立正常范围，应对表面健康个体（最少为120名）的标本进行检测，计算所有结果的95分布范围。验证研究假设这个范围对实验室群体是正确的。然后，验证研究实验说明：所有

26、检测的标本少于10的结果超出了建议的正常范围（至少需要20例标本）。       关于参考区间验证内容，在强生验证资料中没有具体数据。但是，务必请实验室注意，这段话中已经说出了具体做法。首先假设公司提供的参考区间是正确的，然后，对20例表面健康群体的标本进行检测。如果所有检测结果有90%或以上在公司提供的参考区间之内，即表示实验室接触的群体的参考区间与公司建议的参考区间一致，实验室可以使用该建议的区间。       所以，强生的PAS研究对参考区间“通过”

27、了，公司强调：仅说明建议的参考区间与检测的样品一致。相对于供应商建议的正常范围，实验室的正常范围具有的偏离，没有检出具有显著差异（10到20或更多）要求的更多示例。但是，由供应商建立的参考区间使用的群体可能很严密，可能群体仅来自一个城市。每个实验室有责任要确保他们结果建立的参考区间，对于他们患者的群体是有效的。6、实验具体示例       以下以钠检测系统验证数据为例。使用的实验样品均为强生公司的校准品（CalKit2-1、CalKit2-3）和控制品（Chem Perf Ver和Chem Perf Ver）。实验

28、数据见表1。（1）精密度的验证       表1数据中，以两个ChemPerf Ver控制品的10次重复检测结果，将它们的CV除以公司规定的精密度限值1%，得到精密度指数（Index），这些指数若不超过1，说明实验室实验的不精密度CV值均比公司规定的CV要小，则精密度性能被验证为符合要求。图1为精密度指数以图示的做法。（2）正确度的验证       表1中两个校准品（Calkit）的两次重复检测均值、和两个控制品的10次重复检测均值若在公司规定的预期范围内，则说明正确度性能被验证。但是该示例中的ChemPerf Ver的均值不在预期范围内，说明其正确度有问题，因此为不可接受（Inaccpt），需要随访（RF）。（3）可报告范围的验证       由于两个校准品（Calkit）的两次重复检测均值均为符合正确度要求，这两个值一高一低，它们间范围即为可报告范围，也即同时验证了可报告范围符合要求。（4）强生公司的验证方案很强调以方法学比较来验证正确度。表2为多个检测项目的方法学比较资料的汇总。（5）