Grubbs检验法和Dixon检验法.ppt

数据的统计处理和解释 正态样本离群值的判断和处理1 Grubbs检验法2 Dixon检验法 数据的统计处理和解释 数据的统计处理和解释 包括12个国标 正态样本离群值的判断和处理 已知标准差 未知标准差 Nair检测法 离群值 1 离群值 1 Grubbs Dixon 偏度 峰度法 Dixon 主要内容出自GB T4883 2008 数据的统计处理和分析正态样本离群值的判断和处理 一部分文件引用自GB T4882 2001 数据的统计处理和解释正态性检验 范围 适用于来自正态分布的样本 数据的统计处理和解释 说明 这两个方法及引用术语均来自国家标准 一 术语和定义离群值outlier样本中的一个或几个观测值 他们离开其它观测值较远 暗示他们可能来自不同的总体检出水平detectionlevel为检出离群值而指定的统计检验的显著性水平 用 表示 除非约定 值应为0 05注1 用统计的方法检验测定值之间是否存在显著性差异 从而判定结果或分析方法的可靠性 这一过程称为显著性检验 注2 在显著性检验中 将具有显著性差异的测定值在随机误差分布中出现的概率 小概率 称为显著性水平 水准 用 表示 即这些测定值位于一定置信度所对应的随机误差界限之外 注3 在置信区间内包含真值的概率称为置信度 置信水平 用P表示 注4 置信度和显著性水平的关系 P 1 数据的统计处理和解释 统计离群值statisticaloutlier在剔除水平下统计检验为显著的离群值剔除水平deletionlevel为检出离群值是否高度离群而指定的统计检验的显著性水平 用 表示 除非约定 值应为0 01歧离值straggler在检出水平下显著 但在剔除水平下不显著的离群值 数据的统计处理和解释 二 符号和缩略语n样本量样本平均值 检验离群值所使用的显著水平 简称检出水平 检验统计离群值所使用的显著水平 简称剔除水平 x i 观测值从小到大排序后的第i个值 总体标准差s样本标准差GnGrubbs上统计量Gn Grubbs下统计量DnDixon上统计量Dn Dixon下统计量 数据的统计处理和解释 三 离群值的判断1 来源与判断来源a 第一类离群值是总体固有变异性的极端表现 他与样本中其余观测值属于同一总体 b 第二类离群值是由于试验条件和试验方法的偶然偏离所产生的结果 或产生于观测 记录 计算中的失误 他与样本中其余观测值不属于同一总体 判断对于离群值的判定通常可根据技术或物理上的理由直接进行 当上述理由不明确时 可用本判定方法 数据的统计处理和解释 2 离群值的三种情形a 上侧情形 根据实际情况或以往经验 离群值都为高端值 b 下侧情形 根据实际情况或以往经验 离群值都为低端值 c 双侧情形 根据实际情况或以往经验 离群值可为高端值 也可为低端值 3 检出离群值个数的上限应规定在样本中检出离群值个数的上限 与样品量相比较应较小 当检出离群值个数超出了这个上限时 对此样本应作慎重的研究和处理 数据的统计处理和解释 数据的统计处理和解释 单个离群值情形的判断 a 依据实际情况和以往经验 选定适宜的离群值检验规则 c 根据显著水平及样品量 确定检验的临界值 d 由观测值计算相应统计量的值 根据所得值与临界值的比较结果作出判断 b 确定适当的显著水平 数据的统计处理和解释 判定多个离群值的检验规则 在允许检出离群值的个数大于1的情况下 重复使用单个离群值的检验规则 若没有检出离群值 则整个检验停止 若检出离群值 当检出的个数超出规定样本中检出离群值的上限时 检验停止 对此样本应慎重处理 否则 采用相同的检出水平和规则 对除去已检出离群值后的余下观测值继续检验 这个是重要的哦 四 离群值的处理 数据的统计处理和解释 a 保留离群值并用于后续数据处理b 在找到实际原因时修正离群值 否则予以保留c 剔除离群值 不追加观测值d 剔除离群值 并追加新的观测值或用适宜的插补值代替 处理规则 a 在技术或物理上找到产生离群值的原因 则应剔除或修正 未找到则不得剔除或进行修正 b 找到产生离群值的原因 则应剔除或修正 否则保留歧离值 剔除或修正统计离群值 在重复使用同一检验规则检出多个离群值时 每次检出后 都要再检验它是否为统计离群值 若是 则其前检出的离群值 含歧离值 都应剔除或修正 c 检出的离群值 含歧离值 都被剔除或进行修正 处理方式 数据的统计处理和解释 Grubbs检验法1 计算统计量Gn和Gn 的值 Gn xi sGn x1 s 2 确定检出水平 在附表1中查出临界值G1 n 3 a 上侧判断当Gn G1 n 时 判定xi为离群值 否则判未发现xi是离群值 b 下侧判断当Gn G1 n 时 判定x1为离群值 否则判未发现x1是离群值 c 双侧判断当Gn Gn 且Gn G1 2 n 时 判定xi为离群值 当Gn Gn且Gn G1 2 n 时 判定x1为离群值 否则判断未发现离群值 数据的统计处理和解释 质量 数据的统计处理和解释 4 统计离群值的判断 单侧 A 当检出Xi或X1为离群值时 确定剔除水平 B 查附表1 G1 n 当Gn G1 n 时 判断Xi为统计离群值 否则 Xi为歧离值 判断X1为统计离群值 否则X1为歧离值 数据的统计处理和解释 当Gn G1 n 时 否则 数据的统计处理和解释 5 统计离群值的判断 双侧 A 当检出Xi或X1为离群值时 确定剔除水平 B 查附表1 G1 2 n 当Gn G1 2 n 时 判断X1为统计离群值 否则 X1为歧离值 判断Xi为统计离群值 否则Xi为歧离值 数据的统计处理和解释 当Gn G1 2 n 时 否则 数据的统计处理和解释 使用Grubbs法检验的实例 临时文件 soybeanmeal November2007 xls 数据的统计处理和解释 Dixon检验法 Dn r10 D n r 10 Dn r11 Dn r21 Dn r22 D n r 11 D n r 21 D n r 22 数据的统计处理和解释 Dixon检验法确认检出水平 在附表2中查出临界值D1 n 当Dn D1 n 时 判定Xn为离群值当D n D1 n 时 判定X1为离群值否则二者都判未发现离群值 附表2相见GB T4883 2008单侧Dixon检验的临界值表 这里将不再列举 数据的统计处理和解释 Dixon检验法 统计离群值的判断 单侧 A 当检出Xn或X1为离群值时 确定剔除水平 B 查附表3 D1 n Dixon检验法 统计离群值的判断 双侧 略 当D n D1 n 时 判断X1为统计离群值 否则 X1为歧离值 判断Xn为统计离群值 否则Xn为歧离值 数据的统计处理和解释 当Dn D1 n 时 否则 数据的统计处