EP15A3用户对精密度验证和偏倚评估

1、EP文件培训二 EP15-A3用户对精密度验证和偏倚评估,科研项目组 2016.06.27 博奥赛斯（天津）生物科技有限公司,为实验室定量检测提供精密度性能验证和相对偏倚评估的指导方法（实验方案）。 注意：其中包括所持续时间、实验设计、所用分析物质、数据分析与总结、结果注释。,1,目的,EP15-A3用户对精密度验证和偏倚评估,在实验室引进一个新检测系统，在出具患者检测报告的检测方法之前，都必须对检测方法的基本性能进行一个评估。EP15-A3中提到的能力验证的性能指标指的是 重复性SR（批内不精密度）、实验室内不精密度SWL、相对偏倚。 通常，实验室设定该定量测定方法的性能要求，然后验证新方法

2、的性能是否符合设定要求。比较预期的性能和实际操作性是否相匹配。 如果实验室验证的性能与预期的不一致，那么需要联系联系制造商来解决此问题,1,作用,EP15-A3用户对精密度验证和偏倚评估,概况 适用范围 判别标准 验证方法 结果解释,1,主要内容,EP15-A3用户对精密度验证和偏倚评估,在5个工作日内，同时进行正确度和精密度的性能验证。 通过标准指南推荐的实验方案，实验室验证实检测方法的精密度是否与制造商声明的一致；来验证不精密度 通过已知浓度分析物与测定方法到的分析物浓度的相对偏倚和实验室设定允许偏倚进行比较，来评价正确度。,1,概述,EP15-A3用户对精密度验证和偏倚评估,1,流程图,

3、需要进行精密度验证和偏倚评估的定量检测方法,经过熟练训练的操作人员,选择用于验证实验的分析物,已建立质量控制（QC）程序,1 EP15-A3适用于协助实验室来验证已经建立的检测方法精密度和偏倚。其提供一个可行的方案来验证方法学性能是否与制造商声明的一致。 2 也适用于能力验证失败后或者是质量检测未通过，对实验方法改进或校正后再次进行精密度的验证。 3 但是，其不适用未建立精密度声明的新方法进行精密度性能的确认。,1,适用范围,在选择进行评价方法基本性能之前，实验室必须根据临床需要建立自己的最低标准。 1、一些医学的性能标准； 2、在标准机构中的能力验证测试中有设定的最低标准。,1,判别标准,E

4、P15-A3用户对精密度验证和偏倚评估,总误差：所有影响分析结果准确性的各种误差的总称。在本文中定义为偏倚和不精密度的总和为总误差。 正确度：无数次重复测定值和参考值之间的接近程度;正确度的评价通常是偏倚来表示。 偏倚：系统测量误差的的估计。,1,术语,EP15-A3用户对精密度验证和偏倚评估,重复性（SR）：在一系列相同的测定条件下获得的精密度。在之前版本的EP15-A2中成为批内精密度。 重复性测定的条件：相同的测定方法，相同的操作者，相同的测量系统，相同的操作条件，相同的地点，在一段较短的时期中重复测定相同或相似的分析物。1 实验室内不精密度(SWL)：在规定的时间内和相同的操作者使用相

5、同的仪器设备，校准和试剂可以是变化的，得到的不精密度。,1,术语,EP15-A3用户对精密度验证和偏倚评估,仪器校准,用QC验证校准程序,QC在控,验证制造商声明的精密度,每批分析至少两个浓度水平的分析物，重复测定5次，持续5天，每个浓度水平获得25数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （2.3.3）,收集整理数据 （2.3.4）,按照公式计算不精密度，重复性 SR 和实验室内不精密度SWL （2.3.5）,分别与制造商声明的R和WL重复性 SR 和实验室内不精密度SWL 进行比较,SR R,SWL WL,分

6、别 计算验证区间上限，与SR 和SWL 进行比较（）,SWL UVLWL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,SR UVLR,No,Yes,Yes,仪器熟悉的过程是给操作者一个熟悉仪器基本操作并熟练掌握测定方法的一个时间段。 方法熟悉的过程对于后续验证实验是至关重要的。 熟悉阶段的同时也可以同时进行质量控制。,1,仪器熟悉,EP15-A3用户对精密度验证和偏倚评估,（1）每天一个批次实验，至少两个浓度水平的样本，每个浓度分析样本重复测定5次，持续5天。 样本选择：偏好选择 患者样本、患者混和样本、与制造商建立精密度性能使用

7、一致的商业质控物质。（2.3.1） 浓度选择：偏好于临床意义的决定值（cutoffs）、参考限值、正常范围和异常范围内选择样本浓度。 如果是为验证制造商的声明，那么要根据其说明书中声明来选择几样本和哪几个水平浓度。 （2）样本的保存确保其稳定性和量足够实验过程的使用,1,样本选择与方法,1,精密度验证实验方法,离群值检验Grubbs Test 计算所有结果的平均值和SD n0 平均每批实验得到的有效结果 N 总共有效结果,1,精密度验证实验方法,1,精密度验证实验方法,1,精密度验证实验方法,132.9 147.3,分别按照CLSI EP15-A3公式，计算 a）重复性（批内精密度）SR b）

8、实验室内精密度（仪器精密度）SwL,1,精密度验证实验方法,1,计算SR 和S WL,1,计算SR 和S WL,1,计算SR 和S WL,1,1.1计算SR 和S WL,1,计算SR 和S WL,1,计算SR 和S WL,定义 VW MS2 .(1) 如果 MS1 MS2，则VB 0； 否则 VB （MS1 MS2）/n0 .(2) SR VW.(3) SB VB . (4) SWL VWVB.(5) %CVR SR *100/平均值 %CVWL SWL *100/平均值,1,计算SR 和S WL,SR R,仪器校准,用QC验证校准程序,QC在控,验证制造商声明的精密度,每批分析至少两个浓度水

9、平的分析物，重复测定5次，持续5天，每个浓度水平获得25数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （2.3.3）,收集整理数据 （2.3.4）,按照公式计算不精密度，重复性 SR 和实验室内不精密度SWL （2.3.5）,分别与制造商声明的R和WL重复性 SR 和实验室内不精密度SWL 进行比较,SR R,SWL WL,分别 计算验证区间上限，与SR 和SWL 进行比较（）,SWL UVL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,SR UVL,N

10、o,Yes,Yes,分别与制造商声明的R和WL进行比较。 （1）如果SR R， 那么重复性验证通过 （2）如果SR R； 需要计算验证区间上限值UVLR ，进行比较 实验室内不精密度的验证也同样如此,1,分别与制造商声明进行比较,（1）计算自由度df，分别计算dfR 和dfWL。 （2）UVL的F值，根据相应自由度和样本数量查表可得F值。 （3）计算UVL，与制造商声明精密度进行比较。,1,计算上限值UVL三步曲,计算自由度df，（dfR 和dfWL） A 重复性的自由度 dfR Nk B 实验室内不精密度的自由度 WL / R %CVWL/ %CVR,1,计算上限值UVL三步曲,1,1,1,

11、（ 计算UVL 表示R或WL %CV表示%CVWL/或%CVR,1,计算上限值（UVL）三步曲,SR UVLR,SWL UVLWL,仪器校准,用QC验证校准程序,QC在控,验证制造商声明的精密度,每批分析至少两个浓度水平的分析物，重复测定5次，持续5天，每个浓度水平获得25数据,每天检查数据有效性，是否有离群值，是否在控，是否出现实验失误，（抄写失误，样本混合操作失误，分析样本体积不足）等失误 （2.3.3）,收集整理数据 （2.3.4）,按照公式计算不精密度，重复性 SR 和实验室内不精密度SWL （2.3.5）,分别与制造商声明的R和WL重复性 SR 和实验室内不精密度SWL 进行比较,S

12、R R,SWL WL,分别 计算验证区间上限，与SR 和SWL 进行比较（）,SWL UVL,通过验证,未通过验证，联系供应商,再次进行校正程序,No,Yes,Yes,Yes,No,No,SR UVL,No,Yes,Yes,三种情况 1A 所有的评估都通过验证，都是低于制造商声明和低于最低限值的（两个水平浓度的样本的重复性和实验室内精密度） 1B 所有的评估都通过，只是略微比最低限值稍微低一点。谨慎做好每日QC，那么这个结果也算为通过。 2 大部分的评估都通过验证， 但有一些没有通过验证。实验室负责人应该了解全部的验证程序，以便决定精密度是否接受。（超出的不是很多，并且每天的QC

13、都在监控内） 3 大部分的验证没有通过。那么临床实验室有几种选择，通过制造商的协助进行原因的排查，重新进行精密度评价；另外，实验室可以选择按照EP5文件来进行更为严格的精密度验证试验。,1,精密度验证结果解释,试剂贮存方法不恰当 试剂处理的不恰当 样本处理和稳定性存在问题 用户和制造商在样本混合的处理方式上不一致导致精密度验证结果不理想 如果实验过程要求很严格移液操作，不熟练的移液技术可能会引起实验结果的不理想 仪器维护方式不恰当 检测环境造成结果不理想，如温度，湿度，电压或是无线电频率干扰,1,造成实验结果不理想的可能原因,评价偏倚采用的方法是有值测试样本来进行评价的，比对定值（TV）和测定

14、结果。 比对选择的样本：能力验证的检测物或其他的标准参考物。 其所选用的有值参考物同样适用于精密度的验证。 正确度为无限多次测量的均值与真值的接近程度，反应的是系统误差，通常用偏倚来表示。,2,偏倚实验概况,EP15-A3偏倚评估的实验,选择有值样本（TV）， 和精密度验证相同,按照制造商的说明 准备样本,进行精密度实验的 同时检测分析物,计算平均值和SD,确定TV标准误差 和测定分析物平均值,计算TV的自由度（DF）,计算TV的验证区间,确定测定分析物的平均值是都在验证区间内,通过正确度的验证,计算TV和测定平均值之间的偏差,如果偏差小于实验室允许偏差,则需要联系制造商,Yes,No,No,

15、在进行正确度的评价试验之前，首先是确定实验室允许偏倚。 实验过程是重复测定有值样本，计算测量的偏倚是否在允许偏倚范围内。,2,确定实验室允许偏倚,EP15-A3偏倚评估的实验,（1）如果想要达到一个比较理想的评估结果，那么最好选择的经过能力验证程序和质量控制程序的定值分析物，或者是商业质控品。 （2）至少两个水平浓度（与临床测定相关的浓度水平） （3）分析物的性质是稳定的 （4）分析物是有确定值（TV），这一项必备条件排除了一些新鲜人患者样本 （5）需要确定有值参考物的不确定度（seRM，标准差） （6）根据实际用量考虑，需要有足够充足的用量。,2,有值参考物的选择,EP15-A3偏倚评估的实

16、验,列举有值参考物的可靠来源 International Federation of Clinical Chemistry and Laboratory Medicine. National Institute of Standards and Technology (NIST). Institute for Reference Materials and Measurements. Joint Committee for Traceability in Laboratory Medicine(JCTLM) (/jctlm),2,有值参考物的选择,EP15-

17、A3偏倚评估的实验,正确度验证有值参考物进行比对 （1）选择两个参考物 （2）每天在同一实验批内，分别重复测定5次，共进行5批实验。 本实验中的精密度和正确度验证实验均在1批内同时测定。 （3）计算每个浓度水平的平均值（X）和标准差（Sx）,2,实验过程同精密度实验,1,精密度验证实验方法,2,计算seX的值,EP15-A3偏倚评估的实验,或,2,确定seRM的值,EP15-A3偏倚评估的实验,seRM参考物定值的不确定性 a） 假设参考物定值是来自能力验证的一致结果，那么这些结果的标准差（S）和所报告结果实验室的数量（ nLab ）之比。 那么seRM （=S/nLab）。 b）如果制造商提

18、供参考物定值的标准误差（u），那么seRM =u。 c）商业质控品95%或者是99%置信区间靶值的上下限范围，那么,计算sec（TV与平均值 之间的标准误差）,2,计算验证区间（VI）,EP15-A3偏倚评估的实验,计算dfC,2,计算验证区间（VI）,EP15-A3偏倚评估的实验,(a) df X nRun1 (b) dfRM 分为三种情况 当seRM 0， df c df X； 当 seRM 0， dfRM 无限大， df c df X *( sec / sex )4; 当 seRM 来自能力验证和质量验证有值参考物的给定值， 那么计算 tau seRM/ sex , 和验证实验所进行的批

19、次数nRun，查表得 dfc； (c) m t（1/2*nSam, dfc）, 查t值表得到m值。(nSam 样本数,2,计算验证区间（VI）,EP15-A3偏倚评估的实验,2,EP15-A3偏倚评估的实验,2,计算验证区间（VI）举例t值表,EP15-A3偏倚评估的实验,2,2,2,2,2,计算验证区间（VI）,EP15-A3偏倚评估的实验,测定得到的平均值在验证区间内则通过正确度验证,2,计算验证区间（VI）,EP15-A3偏倚评估的实验,TVmsec,TVmsec,有值参考物选择经过能力验证的三个不同浓度的标本， TV=142.5 g/L, SD = 4.5 g/L, 有43家实验室参加

20、能力测试。 用户设定的允许误差为10%，14.2 g/L。 偏倚试验方案55模式，得到平均值 140.1 g/L，SR=1.78 g/L, SWL=2.40 g/L。,2,举例,EP15-A2精密度验证的实验,2,举例,EP15-A2精密度验证的实验,2,举例,EP15-A3偏倚评估的实验,正确度验证有值参考物进行比对 验证正确度是否可接受的标准 如果所有测量结果的均值在验证区间内，则认为制造商声明的正确度通过验证。 （6）如果测量结果的均值没有包含在验证区间中，那么用户对正确度的验证与制造商声称的不一致。需要考虑进行一下步骤 a）确定偏倚和总误差是否符合实验室的要求。 联系供应商寻求协助,2,2.3正确度评价实验方法二,精密度和正确度验证通常在方法首次引入实验室时，或者是室间质量评价/能力验证结果未通过，实验室