试验数据异常值的检验及剔除方法(20201114005930

1、目录摘要. 错误! 未定义书签关键词 错误! 未定义书签1引言 . 错误! 未定义书签2异常值的判别方法 错误 ! 未定义书签检验（ 3S）准则 . 错误! 未定义书签狄克松（ Dixon）准则 . 错误! 未定义书签格拉布斯（ Grubbs）准则 错误 ! 未定义书签指数分布时异常值检验 错误! 未定义书签莱茵达准则（ PanTa）. 错误! 未定义书签肖维勒准则（ Chauvenet） 错误! 未定义书签3实验异常数据的处理 错误 ! 未定义书签4结束语 错误 ! 未定义书签参考文献 错误! 未定义书签试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存

2、在会 掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检 验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的 前提. 本文简述判别测量值异常的几种统计学方法，并利用 DPS软件检 验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者 用于实验的数据处理和分析 .关键词： 异常值检验；异常值剔除； DPS；测量数据1 引言在实验中， 由于测量产生误差， 从而导致个别数据出现异常， 往往导致结果 产生较大的误差，即出现数据的异常 . 而异常数据的出现会掩盖实验数据的变化 规律，以致使研究对象变化规律异常，得出错误结论 . 因此，正确分析并剔除异 常值有助于提高实验精度

3、.判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方 法、实验条件等过程，找出异常值出现的原因并予以剔除 .利用计算机剔除异常值的方法许多专家做了详细的文献 1报告. 如王鑫，吴 先球，用 Origin 剔除线形拟合中实验数据的异常值；严昌顺用计算机快速剔 除含粗大误差的“环值” ；运用了统计学中各种判别异常值的准则，各种准则的 优劣程度将体现在下文 .2 异常值的判别方法判别异常值的准则很多， 常用的有 t 检验（3S）准则、狄克松（Dixon）准则、 格拉布斯（ Grubbs）准则等准则 . 下面将一一简要介绍 .2.1 检验（ 3S）准则t检验准则又称罗曼诺夫斯基准则， 它

4、是按 t分布的实际误差分布范围来判别 异常值，对重复测量次数较少的情况比较合理 .基本思想：首先剔除一个可疑值，然后安 t 分布来检验被剔除的值是否为异 常值.设样本数据为 x1,x2,x3L xn，若认 xj为可疑值 .计算余下 n 1个数据平均值xn 1 及标准差 sn 1 ，即 xn 1n 1 i 1,ixi, sn 1 j然后，按 t 分布来判别被剔除的值 x j 是否为异常值 .若 xj xn1 kn（ ,a），则 x j为异常值，应予剔除，否则为正常值，应予以保留.其中： a为显著水平； n数据个数； k（n,a）为检验系数，可通过查表得到2.2 狄克松( Dixon )准则设有一

5、组测量数据 x1 x2 x3 L xn ，且为正态分布，则可能为异常值的测 量数据必然出现在两端，即 x1或 xn .狄克松给出了不同样本数量 n时检验统计量的计算公式(见表 1). 当显著 水平 a为 1%或 5%时，狄克松给出了其临界值 D1 a(n). 如果测量数据的检验统计量 D D1a(n)，则 x1为异常值，如果测量数据的检验统计量 D D1 a(n)，则 xn为异 常值.表 1 狄克松检验统计量计算公式为数据个数 n统计量 Dx1 为可疑值 Dxn 为可疑值 D3n7(x2 x1)/ (xn x1)(xn xn 1)/(xn x1)8 n 10(x2 x1)/(xn 1 x1)(

6、xn xn 1)/ (xn x2)11 n 13(x3 x1)/(xn 1 x1)(xn xn 2)/ (xn x2)14 n 30(x3 x1)/(xn 2 x1)(xn xn 2)/(xn x3)2.3 格拉布斯( Grubbs)准则 设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按 大小顺序排列，即 x1 x2 x3 L xn ，可能为异常值的测量数据一定出现在最大 或最小的数据中 .若最小值 x1是可疑的，则检验统计量 G (x x1)/s. 式中 x是均值、 s是标准差，即 x1nxis, ni11n1i1(xix)2.对于检验统计量 G ，格拉布斯导出了其统计分布，

7、 并给出了当显著水平 a 为1%或 5%时的临界值 G(1 n)(n) . G(1 n) (n)称格拉布斯系数，可通过抽查表得到 . 当最 小值 x1或最大值 xn对应的检验统计量 G 大于临界值时，则认为与之对应的 x1或 xn为可疑异常值，应予以剔除2.4 指数分布时异常值检验设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大 小顺序排列，即 x1 x2 x3 L xn . 检验最小值或最大值是否为异常值的检验方法 如下：nn 当样本量 n 100时，计算统计量 Tn(n) xn / xi 及 Tn(1) x1/ xii 1 i 1 对于给定的显著水平 a(通常取)和样本数量

8、 n ，通过查表得到 Tn(n) 及Tn(1) 分 别对应的临界值 Tn(n)(1 a)和Tn(1)(a) . 若Tn(n) Tn(n)(1 a)时，认为 xn为异常值；若 Tn(1) Tn(1)(a)时，认为 x1为异常值 .n 当样本容量 n 100 时，计算统计量 En()n (n 1)(xn xn 1)/( xi xn 1) 及 i1nEn(1) n(n 1)x1 / ( xi nx1).i11 对于给定显著水平 a和样本数量 n，若En()n F2,2n2,1 a (n 1)(a n 1 1)，则1判断 xn为异常值；若 En(1) F2,22n ,a (n 1)(1) a n 1

9、1 ，则判断 x1为异常值 .2.5 莱茵达准则( PanTa)n 对于实验数据测出值 x1,x2,x3,L ,xn ，求取其算术平均值 x 1/ n xi 及剩余 i1误差值 vi xi x ，然后求出其均方根偏差 ( vi2 / n 1)1/2 . 判别依据(假设 v 服从正态分布)：xi x 3 ，则 xi 相对而言误差较大，应舍去；xi x 3 ， xi 为正常数据，应该保留 . 有概率论统计可知，如果误差服从正要分布，误差大于 3 的观测数据出现 的概率小于，相当大于 300 次观测中有一次出现的可能 . 莱茵达准则只是进行粗 略的剔除，取舍的概率较小，可能将不合理的异常值保留 .2

10、.6 肖维勒准则( Chauvenet)次准则也是建立在实验数据服从正态分布 . 假设多次测量的 n个测量值中， 数据的参与误差 vi Zc ，则剔除该数据 .其中( vi2 /n 1)1/2 ，样品容量为 n时的判别系数 Zc 3 ，弥补了莱茵达准则的不足，故此准则优胜于莱茵达准则， 但条件更为苛刻 .3 实验异常数据的处理对于测定中异常数据的处理，必须慎重考虑，不能凭预感任意删除或添加 . 应该从所学知识上考虑， 异常值有时能反映试验中的某些新现象 . 这类“异常值” 正深化人们对客观事物的认识， 如果随意删除它， 可能深入了解和发现新事物的 一次机会，那么对学者深入研究非常可惜 . 所以

11、对任何异常数据都因首先在技术 上寻找原因，如果在技术上发现原因，理应舍去 . 如在技术上无法作出判断，却 可在上述准则中发现其高度异常，也因舍弃 .其中，运用 DPS软件进行异常数据的检验与剔除特别方便，而且不许编写 程序，它融合了 SPSS表格和 EXCELL表格，操作简单，实用性强 . 如图一下为 DPS数据处理系统对话框 .图一 数据处理系统对话框 只要执行菜单命令下的“数据分析异常值检验”弹出如图二下图的窗 口，然后进行选择检验分析方法及显著水平，点击确定即可 .图二 用户对话框 在测定中，有时发现个别数据离群严重，上述检验原则为异常值，但它与 其他测定值的差异在仪器的精度范围内，这种数据不应舍去，应予保留 .而对于一些分析而言，需要估计总体参数，异常数据一般都要舍去 . 对于不 同的之心度应作相应的处理，则要据实际情况而定 .4 结束语由上述可知，用 DPS软件进行异常值检验和剔除的过程简单、直观、快捷， 适用于大众学生进行各实验数据的处理和分析 . 将此软件运用于实验教学，可以 使学生快速准确判断实验结果，也可以提高教学质量 .参考文献1 王鑫，吴先球用 Origin 剔除线形拟合中实验数据的异常值 J 山 西师范大学学报， 2