EP15-A3用户对精密度验证和偏倚评估PPT课件.ppt

EP文件培训二 EP15 A3用户对精密度验证和偏倚评估 科研项目组2016 06 27博奥赛斯 天津 生物科技有限公司 1 为实验室定量检测提供精密度性能验证和相对偏倚评估的指导方法 实验方案 注意 其中包括所持续时间 实验设计 所用分析物质 数据分析与总结 结果注释 1 目的 EP15 A3用户对精密度验证和偏倚评估 2 在实验室引进一个新检测系统 在出具患者检测报告的检测方法之前 都必须对检测方法的基本性能进行一个评估 EP15 A3中提到的能力验证的性能指标指的是重复性SR 批内不精密度 实验室内不精密度SWL 相对偏倚 通常 实验室设定该定量测定方法的性能要求 然后验证新方法的性能是否符合设定要求 比较预期的性能和实际操作性是否相匹配 如果实验室验证的性能与预期的不一致 那么需要联系联系制造商来解决此问题 1 作用 EP15 A3用户对精密度验证和偏倚评估 3 概况适用范围判别标准验证方法结果解释 1 主要内容 EP15 A3用户对精密度验证和偏倚评估 4 在5个工作日内 同时进行正确度和精密度的性能验证 通过标准指南推荐的实验方案 实验室验证实检测方法的精密度是否与制造商声明的一致 来验证不精密度通过已知浓度分析物与测定方法到的分析物浓度的相对偏倚和实验室设定允许偏倚进行比较 来评价正确度 1 概述 EP15 A3用户对精密度验证和偏倚评估 5 1 流程图 需要进行精密度验证和偏倚评估的定量检测方法 经过熟练训练的操作人员 选择用于验证实验的分析物 已建立质量控制 QC 程序 6 1EP15 A3适用于协助实验室来验证已经建立的检测方法精密度和偏倚 其提供一个可行的方案来验证方法学性能是否与制造商声明的一致 2也适用于能力验证失败后或者是质量检测未通过 对实验方法改进或校正后再次进行精密度的验证 3但是 其不适用未建立精密度声明的新方法进行精密度性能的确认 1 适用范围 7 在选择进行评价方法基本性能之前 实验室必须根据临床需要建立自己的最低标准 1 一些医学的性能标准 2 在标准机构中的能力验证测试中有设定的最低标准 1 判别标准 EP15 A3用户对精密度验证和偏倚评估 8 总误差 所有影响分析结果准确性的各种误差的总称 在本文中定义为偏倚和不精密度的总和为总误差 正确度 无数次重复测定值和参考值之间的接近程度 正确度的评价通常是偏倚来表示 偏倚 系统测量误差的的估计 1 术语 EP15 A3用户对精密度验证和偏倚评估 9 重复性 SR 在一系列相同的测定条件下获得的精密度 在之前版本的EP15 A2中成为批内精密度 重复性测定的条件 相同的测定方法 相同的操作者 相同的测量系统 相同的操作条件 相同的地点 在一段较短的时期中重复测定相同或相似的分析物 1实验室内不精密度 SWL 在规定的时间内和相同的操作者使用相同的仪器设备 校准和试剂可以是变化的 得到的不精密度 1 术语 EP15 A3用户对精密度验证和偏倚评估 10 仪器校准 用QC验证校准程序 QC在控 验证制造商声明的精密度 每批分析至少两个浓度水平的分析物 重复测定5次 持续5天 每个浓度水平获得25数据 每天检查数据有效性 是否有离群值 是否在控 是否出现实验失误 抄写失误 样本混合操作失误 分析样本体积不足 等失误 2 3 3 收集整理数据 2 3 4 按照公式计算不精密度 重复性SR和实验室内不精密度SWL 2 3 5 分别与制造商声明的 R和 WL重复性SR和实验室内不精密度SWL进行比较 SR R SWL WL 分别计算验证区间上限 与SR和SWL进行比较 2 3 6 2 SWL UVLWL 通过验证 未通过验证 联系供应商 再次进行校正程序 No Yes Yes Yes No No SR UVLR No Yes Yes 11 仪器熟悉的过程是给操作者一个熟悉仪器基本操作并熟练掌握测定方法的一个时间段 方法熟悉的过程对于后续验证实验是至关重要的 熟悉阶段的同时也可以同时进行质量控制 1 仪器熟悉 EP15 A3用户对精密度验证和偏倚评估 12 1 每天一个批次实验 至少两个浓度水平的样本 每个浓度分析样本重复测定5次 持续5天 样本选择 偏好选择患者样本 患者混和样本 与制造商建立精密度性能使用一致的商业质控物质 2 3 1 浓度选择 偏好于临床意义的决定值 cutoffs 参考限值 正常范围和异常范围内选择样本浓度 如果是为验证制造商的声明 那么要根据其说明书中声明来选择几样本和哪几个水平浓度 2 样本的保存 确保其稳定性和量足够实验过程的使用 1 样本选择与方法 13 1 精密度验证实验方法 14 离群值检验 Grubbs Test计算所有结果的平均值和SDn0平均每批实验得到的有效结果N总共有效结果 1 精密度验证实验方法 15 1 精密度验证实验方法 16 1 精密度验证实验方法 132 9 147 3 17 分别按照CLSIEP15 A3公式 计算a 重复性 批内精密度 SRb 实验室内精密度 仪器精密度 SwL 1 精密度验证实验方法 18 1 计算SR和SWL 19 1 计算SR和SWL 20 1 计算SR和SWL 21 1 1 1计算SR和SWL 22 1 计算SR和SWL 23 1 计算SR和SWL 24 定义VW MS2 1 如果MS1 MS2 则VB 0 否则VB MS1 MS2 n0 2 SR VW 3 SB VB 4 SWL VW VB 5 CVR SR 100 平均值 CVWL SWL 100 平均值 1 计算SR和SWL SR R 25 仪器校准 用QC验证校准程序 QC在控 验证制造商声明的精密度 每批分析至少两个浓度水平的分析物 重复测定5次 持续5天 每个浓度水平获得25数据 每天检查数据有效性 是否有离群值 是否在控 是否出现实验失误 抄写失误 样本混合操作失误 分析样本体积不足 等失误 2 3 3 收集整理数据 2 3 4 按照公式计算不精密度 重复性SR和实验室内不精密度SWL 2 3 5 分别与制造商声明的 R和 WL重复性SR和实验室内不精密度SWL进行比较 SR R SWL WL 分别计算验证区间上限 与SR和SWL进行比较 2 3 6 2 SWL UVL 通过验证 未通过验证 联系供应商 再次进行校正程序 No Yes Yes Yes No No SR UVL No Yes Yes 26 分别与制造商声明的 R和 WL进行比较 1 如果SR R 那么重复性验证通过 2 如果SR R 需要计算验证区间上限值UVLR 进行比较实验室内不精密度的验证也同样如此 1 分别与制造商声明进行比较 27 1 计算自由度df 分别计算dfR和dfWL 2 UVL的F值 根据相应自由度和样本数量查表可得F值 3 计算UVL 与制造商声明精密度进行比较 1 计算上限值UVL三步曲 28 计算自由度df dfR和dfWL A重复性的自由度dfR N kB实验室内不精密度的自由度 WL R CVWL CVR 1 计算上限值UVL三步曲 29 1 30 1 31 1 32 计算UVL 表示 R或 WL CV表示 CVWL 或 CVR 1 计算上限值 UVL 三步曲 SR UVLR SWL UVLWL 33 仪器校准 用QC验证校准程序 QC在控 验证制造商声明的精密度 每批分析至少两个浓度水平的分析物 重复测定5次 持续5天 每个浓度水平获得25数据 每天检查数据有效性 是否有离群值 是否在控 是否出现实验失误 抄写失误 样本混合操作失误 分析样本体积不足 等失误 2 3 3 收集整理数据 2 3 4 按照公式计算不精密度 重复性SR和实验室内不精密度SWL 2 3 5 分别与制造商声明的 R和 WL重复性SR和实验室内不精密度SWL进行比较 SR R SWL WL 分别计算验证区间上限 与SR和SWL进行比较 2 3 6 2 SWL UVL 通过验证 未通过验证 联系供应商 再次进行校正程序 No Yes Yes Yes No No SR UVL No Yes Yes 34 三种情况1A所有的评估都通过验证 都是低于制造商声明和低于最低限值的 两个水平浓度的样本的重复性和实验室内精密度 1B所有的评估都通过 只是略微比最低限值稍微低一点 谨慎做好每日QC 那么这个结果也算为通过 2大部分的评估都通过验证 但有一些没有通过验证 实验室负责人应该了解全部的验证程序 以便决定精密度是否接受 超出的不是很多 并且每天的QC都在监控内 3大部分的验证没有通过 那么临床实验室有几种选择 通过制造商的协助进行原因的排查 重新进行精密度评价 另外 实验室可以选择按照EP5文件来进行更为严格的精密度验证试验 1 精密度验证结果解释 35 试剂贮存方法不恰当试剂处理的不恰当样本处理和稳定性存在问题用户和制造商在样本混合的处理方式上不一致导致精密度验证结果不理想如果实验过程要求很严格移液操作 不熟练的移液技术可能会引起实验结果的不理想仪器维护方式不恰当检测环境造成结果不理想 如温度 湿度 电压或是无线电频率干扰 1 造成实验结果不理想的可能原因 36 评价偏倚采用的方法是有值测试样本来进行评价的 比对定值 TV 和测定结果 比对选择的样本 能力验证的检测物或其他的标准参考物 其所选用的有值参考物同样适用于精密度的验证 正确度为无限多次测量的均值与真值的接近程度 反应的是系统误差 通常用偏倚来表示 2 偏倚实验概况 EP15 A3偏倚评估的实验 37 选择有值样本 TV 和精密度验证相同 按照制造商的说明准备样本 进行精密度实验的同时检测分析物 计算平均值和SD 确定TV标准误差和测定分析物平均值 计算TV的自由度 DF 计算TV的验证区间 确定测定分析物的平均值是都在验证区间内 通过正确度的验证 计算TV和测定平均值之间的偏差 如果偏差小于实验室允许偏差 则需要联系制造商 Yes No No 38 在进行正确度的评价试验之前 首先是确定实验室允许偏倚 实验过程是重复测定有值样本 计算测量的偏倚是否在允许偏倚范围内 2 确定实验室允许偏倚 EP15 A3偏倚评估的实验 39 1 如果想要达到一个比较理想的评估结果 那么最好选择的经过能力验证程序和质量控制程序的定值分析物 或者是商业质控品 2 至少两个水平浓度 与临床测定相关的浓度水平 3 分析物的性质是稳定的 4 分析物是有确定值 TV 这一项必备条件排除了一些新鲜人患者样本 5 需要确定有值参考物的不确定度 seRM 标准差 6 根据实际用量考虑 需要有足够充足的用量 2 有值参考物的选择 EP15 A3偏倚评估的实验 40 列举有值参考物的可靠来源InternationalFederationofClinicalChemistryandLaboratoryMedicine NationalInstituteofStandardsandTechnology NIST InstituteforReferenceMaterialsandMeasurements JointCommitteeforTraceabilityinLaboratoryMedicine JCTLM http www bipm org jctlm 2 有值参考物的选择 EP15 A3偏倚评估的实验 41 正确度验证 有值参考物进行比对 1 选择两个参考物 2 每天在同一实验批内 分别重复测定5次 共进行5批实验 本实验中的精密度和正确度验证实验均在1批内同时测定 3 计算每个浓度水平的平均值 X 和标准差 Sx 2 实验过程同精密度实验 42 1 精密度验证实验方法 43 2 计算seX的值 EP15 A3偏倚评估的实验 或 44 2 确定seRM的值 EP15 A3偏倚评估的实验 seRM 参考物定值的不确定性a 假设参考物定值是来自能力验证的一致结果 那么这些结果的标准差 S 和所报告结果实验室的数量 nLab 之比 那么seRM S nLab b 如果制造商提供参考物定值的标准误差 u 那么seRM u c 商业质控品95 或者是99 置信区间靶值的上下限范围 那么 45 计算sec TV与平均值之间的标准误差 2 计算验证区间 VI EP15 A3偏倚评估的实验 46 计算dfC 2 计算验证区间 VI EP15 A3偏倚评估的实验 47 a dfX nRun 1 b dfRM分为三种情况当seRM 0 dfc dfX 当seRM 0 dfRM 无限大 dfc dfX sec sex 4 当seRM来自能力验证和质量验证有值参考物的给定值 那么计算tau seRM sex 和验证实验所进行的批次数nRun 查表得dfc c m t 1 2 nSam dfc 查t值表得到m值 nSam样本数 2 计算验证区间 VI EP15 A3偏倚评估的实验 48 2 EP15 A3偏倚评估的实验 49 2 计算验证区间 VI 举例t值表 EP15 A3偏倚评估的实验 50 2 51 2 52 2 53 2 54 2 计算验证区间 VI EP15 A3偏倚评估的实验 55 测定得到的平均值在验证区间内则通过正确度验证 2 计算验证区间 VI EP15 A3偏倚评估的实验 TV m sec TV m sec 56 有值参考物选择经过能力验证的三个不同浓度的标本 TV 142 5 g L SD 4 5 g L 有43家实验室参加能力测试 用户设定的允许误差为10 14 2 g L 偏倚试验方案 5 5模式 得到平均值140 1 g L SR 1 78 g L SWL 2 40 g L 2 举例 EP15 A2精密度验证的实验 57 2 举例 EP15 A2精密度验证的实验 58 2 举例 EP15 A3偏倚评估的实验 59 正确度验证 有值参考物进行比对验证正确度是否可接受的标准如果所有测量结果的均值在验证区间内 则认为制造商声明的正确度通过验证 6 如果测量结果的均值没有包含在验证区间中 那么用户对正确度的验证与制造商声称的不一致 需要考虑进行一下步骤a 确定偏倚和总误差是否符合实验室的要求 联系供应商寻求协助 2 2 3正确度评价实验方法二 60 精密度和正确度验证通常在方