Grubbs检验法和Dixon检验法.ppt

,数据的统计处理和解释,正态样本离群值的判断和处理 1、 Grubbs检验法 2、 Dixon检验法,数据的统计处理和解释,数据的统计处理和解释(包括12个国标),正态样本离群值的判断和处理,已知标准差,未知标准差,Nair检测法,离群值1,离群值1,Grubbs,Dixon,偏度-峰度法,Dixon,主要内容出自GB/T 4883-2008 数据的统计处理和分析 正态样本离群值的判断和处理 一部分文件引用自GB/T 4882-2001 数据的统计处理和解释 正态性检验 范围:适用于来自正态分布的样本,数据的统计处理和解释,说明：这两个方法及引用术语均来自国家标准,一：术语和定义 离群值 outlier 样本中的一个或几个观测值，他们离开其它观测值较远，暗示他们可能来自不同的总体 检出水平 detection level 为检出离群值而指定的统计检验的显著性水平，用表示。除非约定，值应为0.05 注1：用统计的方法检验测定值之间是否存在显著性差异，从而判定结果或分析方法的可靠性，这一过程称为显著 性检验。 注2：在显著性检验中，将具有显著性差异的测定值在随机误差分布中出现的概率（小概率）称为显著性水平（水准）用表示，即这些测定值位于一定置信度所对应的随机误差界限之外。 注3：在置信区间内包含真值的概率称为置信度（置信水平）用P表示。 注4：置信度和显著性水平的关系：P=1-,数据的统计处理和解释,统计离群值 statistical outlier 在剔除水平下统计检验为显著的离群值 剔除水平 deletion level 为检出离群值是否高度离群而指定的统计检验的显著性水平，用*表示，除非约定，*值应为0.01 歧离值 straggler 在检出水平下显著，但在剔除水平下不显著的离群值,数据的统计处理和解释,二：符号和缩略语 n 样本量 样本平均值 检验离群值所使用的显著水平，简称检出水平 *检验统计离群值所使用的显著水平，简称剔除水平(* ) x(i)观测值从小到大排序后的第i个值 总体标准差 s 样本标准差 Gn Grubbs 上统计量 Gn Grubbs 下统计量 Dn Dixon 上统计量 DnDixon 下统计量,数据的统计处理和解释,三：离群值的判断 1.来源与判断 来源 a.第一类离群值是总体固有变异性的极端表现，他与样本中其余观测值属于同一总体。 b.第二类离群值是由于试验条件和试验方法的偶然偏离所产生的结果，或产生于观测、记录、计算中的失误，他与样本中其余观测值不属于同一总体。 判断 对于离群值的判定通常可根据技术或物理上的理由直接进行，当上述理由不明确时，可用本判定方法。,数据的统计处理和解释,2.离群值的三种情形 a.上侧情形：根据实际情况或以往经验，离群值都为高端值； b.下侧情形：根据实际情况或以往经验，离群值都为低端值； c.双侧情形：根据实际情况或以往经验，离群值可为高端值，也可为低端值。 3.检出离群值个数的上限 应规定在样本中检出离群值个数的上限(与样品量相比较应较小)当检出离群值个数超出了这个上限时，对此样本应作慎重的研究和处理。,数据的统计处理和解释,数据的统计处理和解释,单个离群值情形的判断,a.依据实际情况和以往经验，选定适宜的离群值检验规则。,c.根据显著水平及样品量，确定检验的临界值,d.由观测值计算相应统计量的值，根据所得值与临界值的比较结果作出判断。,b.确定适当的显著水平,数据的统计处理和解释,判定多个离群值的检验规则 在允许检出离群值的个数大于1的情况下，重复使用单个离群值的检验规则，若没有检出离群值，则整个检验停止；若检出离群值，当检出的个数超出规定样本中检出离群值的上限时，检验停止，对此样本应慎重处理；否则，采用相同的检出水平和规则，对除去已检出离群值后的余下观测值继续检验。,这个是重要的哦！,四：离群值的处理,数据的统计处理和解释,a.保留离群值并用于后续数据处理 b.在找到实际原因时修正离群值，否则予以保留 c.剔除离群值，不追加观测值 d.剔除离群值，并追加新的观测值或用适宜的插补值代替,处理规则,a.在技术或物理上找到产生离群值的原因，则应剔除或修正；未找到则不得剔除或进行修正。 b.找到产生离群值的原因，则应剔除或修正；否则保留歧离值，剔除或修正统计离群值；在重复使用同一检验规则检出多个离群值时，每次检出后，都要再检验它是否为统计离群值。若是，则其前检出的离群值(含歧离值)都应剔除或修正。 c.检出的离群值(含歧离值)都被剔除或进行修正。,处理方式,数据的统计处理和解释,Grubbs检验法 1、计算统计量Gn和Gn的值： Gn=(xi- )/s Gn=( -x1)/s,2、确定检出水平，在附表1中查出临界值G1- (n) 3、a:上侧判断 当GnG1- (n)时，判定xi为离群值，否则判未发现xi是离群值。 b:下侧判断 当GnG1-(n)时，判定x1为离群值，否则判未发现x1是离群值。 c:双侧判断 当GnGn且GnG1-/2(n)时,判定xi为离群值; 当GnGn且GnG1-/2(n)时,判定x1为离群值; 否则判断未发现离群值。,数据的统计处理和解释,质量,数据的统计处理和解释,4、统计离群值的判断(单侧） A、当检出Xi或X1为离群值时，确定剔除水平* B、查附表1，G1-*(n),当GnG1-*(n)时,判断Xi为统计离群值,否则,Xi为歧离值,判断X1为统计离群值,否则X1为歧离值,数据的统计处理和解释,当GnG1-*(n)时,否则,数据的统计处理和解释,5、统计离群值的判断(双侧） A、当检出Xi或X1为离群值时，确定剔除水平* B、查附表1，G1-*/2(n),当GnG1-/2*(n)时,判断X1为统计离群值,否则,判断Xi为统计离群值,否则Xi为歧离值,数据的统计处理和解释,当GnG1-/2*(n)时,否则,数据的统计处理和解释,使用Grubbs法检验的实例临时文件soybean meal - November 2007.xls,数据的统计处理和解释,Dixon检验法：,Dn=r10=,Dn=r10=,Dn=r11=,Dn=r21=,Dn=r22=,Dn=r11=,Dn=r21=,Dn=r22=,数据的统计处理和解释,Dixon检验法 确认检出水平，在附表2中查出临界值D1-(n)。 当Dn D1-(n)时，判定Xn为离群值 当Dn D1-(n)时，判定X1为离群值 否则二者都判未发现离群值。 附表2相见GB/T4883-2008 单侧Dixon检验的临界值表，这里将不再列举。,数据的统计处理和解释,Dixon检验法:统计离群值的判断(单侧） A、当检出Xn或X1为离群值时，确定剔除水平* B、查附表3，D1-*(n) Dixon检验法:统计离群值的判断(双侧）略,当DnD1-*(n)时,判断X1为统计离群值,否则,X1为歧离值,判断Xn为统计离群值,否则Xn为歧离值,数据的统计处理和解释,当DnD1-*(n)时,否则,数据的统计处