正态样本异常值的判断和处理.ppt

正态样本异常值的判断和处理 数据的统计处理和解释GB4883 85 异常值 或异常观测值 是指样本中的个别值 其数值明显偏离它 或它们 所属样本的其余观测值 异常值可能是总体固有的随机变异性的极端表现 这种异常值和样本中其余观测值属于同一总体 异常值也可能是由于试验条件和试验方法的偶然偏离所产生的后果 或产生于观测 计算 记录中的失误 这种异常值和样本中其余观测值不属于同一总体 应用条件 所考查样本中诸观测值 或经过一定的函数变换后得到的值 除了个别异常值外 其余大部分值 样本主体 来自同一正态总体或近似正态总体 判断异常值的统计学原则 本标准在下述不同情形下判断样本中的异常值 上侧情形 根据以往经验 异常值都为高端值 下侧情形 根据以往经验 异常值都为低端值 双侧情形 异常值是在两端都可能出现的极端值 注 上侧情形和下侧情形统称单侧情形 判断单个异常值的检验规则 根据实际情况 选定适宜的异常值检验规则 指定为检出异常值的统计检验的显著性水平 简称检出水平 根据 和观测值个数n确定统计量的临界值 将各观测值代入检验规则中给出的统计量 所得值若超过临界值 则判断事先确定待查的极端观测值为异常值 否则就判断 没有异常值 检出水平 的宜取值是5 1 或10 判断多个异常值的检验规则 在允许检出异常值个数可大于1的情形 本标准规定的方法是重复使用同一种判断单个异常值的检验规则 即用指定的检出水平和符合2 3规定的规则首先检验全体观测值 若不能检出异常值 则整个检验停止 若检出一个异常值 就再用相同的检出水平和相同的规则 对除去已检出的异常值后余下的观测值继续检验 直到不能检出异常值 或检出的异常值个数超过上限为止 处理异常值的一般规则 对检出的异常值 应尽可能寻找产生异常值的技术上的 物理上的原因 作为处理异常值的依据 处理异常值的方式有 异常值保留在样本中参加其后的数据分析 允许剔除异常值 即把异常值从样本中排出 允许剔除异常值 并追加适宜的观测值计入样本 在找到实际原因时修正异常值 a 对任何异常值 若无充分的技术上的 物理上的说明其异常的理由 则不得剔除或进行修正 b 异常值中除有充分的技术上的 物理上的说明其异常的理由外 表现统计上高度异常的 也允许剔除或进行修正 其意义是 指定为判断异常值是否高度异常的统计检验的显著性水平 简称剔除水平 其值小于检出水平 实施时 按2 3规定进行检验后 立即对检出的异常值 再按2 3规定以剔除水平 代替检出水平 进行检验 若在剔除水平下此检验是显著的 则判 此异常值高度异常 在重复使用同一检验规则的情况下 每次检出了异常值后都要检验它在剔除水平下是否高度异常 若某次检验中检出的异常值为高度异常 则这个异常值及其它前面检出的异常值都可被剔除或进行修正 除特殊情况外 剔除水平一般采用1 或更小 而不宜采用大于5 的值 在选用剔除水平的情况下 检出水平可取5 或再大些 c 检出的异常值都可被剔除或进行修正 未知标准差情形下判断和处理异常值的规则 检出异常值的个数不超过1 格拉布斯检验法1上侧情形检验法a 对于观测值x1 xn 计算统计量Gn x n s的值 这里x n 是最大观测值 和s是样本均值和样本标准差 即 x1 xn n s b 确定检出水平 在表A2查出对应n 的临界值G 1 n c 当Gn G 1 n 判最大值x n 为异常值 否则 判断 没有异常值 d 在给出剔除水平 的情况下 在表A2查出对应n 的临界值G 1 n 当Gn G 1 n 判断最大值x n 高度异常 否则 判断 没有高度异常的异常值 2下侧情形检验法与上侧情形检验法规则相同 但要使用统计量G n x 1 s代替Gn 要判断的是最小值x 1 3双侧情形检验法a 计算Gn和G n的值 b 确定检出水平 在表A2查出对应n 2的临界值G 1 2 n c 当Gn G n 且Gn G 1 2 n 判断x n 为异常值 当G n Gn 且G n G 1 2 n 判断x 1 为异常值 否则 判断 没有异常值 d 在给出剔除水平 的情况下 在表A2查出对应n 的临界值G 1 n 当Gn G n 且Gn G 1 n 判断x n 高度异常 当G n Gn 且G n G 1 2 n 判断x 1 为异常值 否则 判断 没有高度异常的异常值 使用格拉布斯检验法的示例 例一 检验某种砖的一个交付批的10个样品的抗压强度数据 从小而大排列 4 7 5 4 6 0 6 5 7 3 7 7 8 2 9 0 10 1 14 0 单位 MPa 检验最大值是否异常 取检出水平 5 计算 7 89s 2 704G10 x 10 s 14 0 7 89 2 704 2 260对n 10 G 1 10 G0 95 10 2 176 因G10 G0 95 10 判断x 10 14 0为异常值 例二 我站在一工程鉴定中采用钻芯法评定一构筑物混凝土强度 测得19个芯样混凝土抗压强度为 26 7 27 6 29 9 30 5 31 7 31 9 33 3 33 3 33 5 34 8 34 8 35 0 35 0 35 3 35 7 36 0 38 2 40 5 61 3 单位 MPa 检验最大值是否异常 取检出水平 5 剔除水平 1 计算 35 0S 7 197G19 X 19 s 61 3 35 0 7 197 3 654对n 19 G 1 19 G0 95 19 2 532 因G19 G0 95 19 判断x 19 61 3为异常值 16 可编辑 G 1 19 G0 99 19 2 854 因G19 G0 99 19 判断x 19 61 3高度异常 剔除 格拉布斯检验法重复使用 n 18 33 5S 3 448G18 40 5 33 5 3 448 2 030G0 95 18 2 504 因G18 G0 95 18 判断没有异常值 表A2格拉布斯检验法的临界值表 n90 95 97 5 99 99 5 31 1481 1531 1551 1551 15541 4251 4631 4811 4921 49651 6021 6721 7151 7491 76461 7291 8221 8871 9441 97371 8281 9382 0202 0972 13981 9092 0322 1262 2212 27491 9772 1102 2152 3232 387102 0362 1762 2902 4102 482112 0882 2342 3552 4852 564 n90 95 97 5 99 99 5 122 1342 2852 4122 5502 636132 1752 3312 4622 6072 699142 2132 3712 5072 6592 755152 2472 4092 5492 7052 806162 2792 4432 5852 7472 852172 3092 4752 6202 7852 894182 3352 5042 6512 8212 932192 3612 5322 6812 8542 968202 3852 5572 7092 8843 001212 4082 5802 7332 9123 031222 4292 6032 7582 9393 060232 4482 6242 7812 9633 087242 4672 6442 8022 9873 112252 4862 6632 8223 0093 135 n90 95 97 5 99 99 5 262 5022 6812 8413 0293 157272 5192 6982 8593 0493 178282 5342 7142 8763 0683 199292 5492 7302 8933 0853 218302 5632 7452 9083 1033 236312 5772 7592 9243 1193 253322 5912 7732 9383 1353 270332 6042 7862 9523 1503 286342 6162 7992 9653 1643 301352 6282 8112 9793 1783 316362 6392 8232 9913 1913 330372 6502 8353 0033 2043 343382 6612 8463 0143 2163 356392 6712 8573 0253 2283 369402 6822 8663 0363 2403 381412 6922 8773 0463 2513 393 n90 95 97 5 99 99 5 422 7002 8873 0573 2613 404432 7102 8963 0673 2713 415442 7192 9053 0753 2823 425452 7272 9143 0853 2923 435462 7362 9233 0943 3023 445472 7442 9313 1033 3103 455482 7532 9403 1113 3193 464492 7602 9483 1203 3293 474502 7682 9563 1283 3363 483512 7752 9643 1363 3453 491522 7832 9713 1433 3533 500532 7902 9783 1513 3613 507542 7982 9863 1583 3683 516552 8042 9923 1663 3763 524562 8113 0003 1723 3833 531572 8183 0063 1803 3913 539 标准还介绍了 已知标准差情形下判断和处理异常值的规则 奈尔 Nair 检验法或奈尔检验法的重复使用方法 未知标准差情形下判断和处理异常值的规则 检出异常值的个数不超过1 狄克逊检验法 未知标准差情形下判断和处理异常值的规则 检出异常值的个数上限超过1 偏度 峰度检验法和狄克逊检验的重复使用方法 狄克逊检验法 1 单侧情形检验法a 对于按大小排列的观测值x x x n 计算统计量样本大小检验高端异常值检验低端异常值n 3 7D r10 x n x n 1 x n x 1 D r 10 x 2 x 1 x n x 1 n 8 10D r11 x n x n 1 x n x 2 D r 11 x 2 x 1 x n 1 x 1 样本大小检验高端异常值检验低端异常值n 11 13D r21 x n x n 2 x n x 2 D r 21 x 3 x 1 x n 1 x 1 n 14 30D r22 x n x n 2 x n x 3 D r 22 x 3 x 1 x n 2 x 1 b 确定检出水平 在表A3查出对应n 的临界值D1 n c 检验高端值时 当D D1 n 判断x n 为异常值 检验低端值时 当D D1 n 判断x 1 为异常值 否则 判断 没有异常值 d 在给出剔除水平 的情况下 在表A3查出对应n 的临界值D1 n 检验高端值时 当D D1 n 判断x n 为高度异常 检验低端值时 当D D1 n 判断x 1 为高度异常 否则 判断 没有高度异常的异常值 2 双侧情形检验法a 计算D和D 的值 b 确定检出水平 在表A3 查出对应n 的临界值1 n C 当D D D 1 n 判断x n 为异常值 当D D D 1 n 判断x 1 为异常值 否则 判断 没有异常值 d 在给出剔除水平 的情况下 在表A3 查出对应n 的临界值1 n 当D D D 1 n 判断x n 为高度异常 当D D D 1 n 判断x 1 为高度异常 否则 判断 没有高度异常的异常值 使用狄克逊检验法的实例 射击16发子弹 射程 自小到大排列 分别为 1125 1248 1250 1259 1273 1279 1285 1285 1293 1300 1305 1312 1315 1324 1325 1350 单位 m a 检验低端值是否异常 指定 1 对n 16 使用D r 22 x 3 x 1 x 14 x 1 1250 1125 1324 1125 0 6614因D0 99 16 0 595 D D0 99 16 故判断最小值1125为异常值 b 双侧情形对n 16 计算D 0 6614和D r22 x 16 x 14 x 16 x 3 1350 1324 1350 1250 0 26由查表3 得0 99 16 0 627 因r 22 r22 r 22 0 99 16 故判断最小值1125为异常值 表A3狄克逊检验法的临界值表 n统计量90 95 99 99 5 30 8660 9410 9880 99440 6790 7650 8890 9265r10或r 100 5570 6420 7800 82160 4820 5600 6980 74070 4340 5070 6370 68080 4790 5540 6830 7259r11或r 110 4410 5120 6350 6770 4090 4770 5970 639110 5170 5760 6790 71312r21或r 210 4900 5460 6420 675130 4670 5210 6150 649 n统计量90 95 99 99 5 140 4920 5460 6410 674150 4720 5250 6160 647160 4540 5070 5950 624170 4380 4900 5770 605180 4