基于稳健性的非正态数据转换方法研究

基于稳健性的非正态数据转换方法研究

地质统计学作为数学地质领域的一门学科，发展迅速，具有广阔的应用前景。它在异常评估、环境研究、矿床勘探、煤矿划定、储量计算、采矿设计、采矿生产和地质勘探等方面具有明显的优势。通常，基于不同的数据分布类型采用不同的网格方法。其基本前提是，区域变量的空间分布必须满足相对应的假设（或内部）假设，其内容是：如果实际区域变量的空间分布偏离给定假设，分布较大时，使用一种估算方法可以获得更令人满意的结果。换句话说，假设最小的偏差率，即限制下的最小散射偏差。影响克立格估计方差(克里格法估计误差的方差)的因素除了区域化变量的偏差分布外,还有特异值、变异函数、块体大小和估值搜索参数选择等很多因素,在此仅从区域化变量分布的稳健性着手.目前,克立格法因其分布的稳健性问题而衍生了对数正态克立格法、指示克立格法等多种估计方法.在实践中,不管采用何种方法,分布假设一般很难得到满足.因此,如何解决区域化变量的分布问题,以减小估计误差、提高估计精度和克立格估计的稳健性,是本文研究的问题.由于正态分布是应用最为广泛的一种随机分布,因此许多学者和工程师纷纷提出将非正态数据转变成正态数据.本文在对几种常见的数据转换方法进行简要分析的基础上,借鉴产品加工质量精度控制的方法,引入了一套非正态数据转换方法,并以SPSS和矿业软件为工具,通过实际案例研究验证了该方法在矿业领域进行数据转换的有效性和实用性.1直接数据转换算法非正态分布的原始数据转化为正态或近似正态分布的变换,目前相对有效的主要有两类方法:一是直接数据转换方法,该方法通过各种数据转换函数将非正态数据转变为正态;二是曲线拟合转换方法,该方法主要利用Pearson曲线族和Johnson分布曲线族对实际数据的频率分布进行拟合.1.1矿物微量元素含量n或反余弦系参数转换目前常用的主要方法是把原始数据的第i样品对应变量设为xi,转换后的对应值设为yi.(1)平方根转换yi=√xi+cyi=xi+c−−−−−√,主要用于具有泊松分布的离散型分布;(2)倒数转换yi=1/xi,或进行组合变化,平方根后取倒数yi=1/√xiyi=1/xi−−√;(3)平方根后再取反正弦yi=arcsin(√xi/10n)yi=arcsin(xi/10n−−−−−−√)(右偏)或反余弦yi=arccos(√xi/10n)cos(xi/10n−−−−−−√)(左偏);(4)幂转换yi=xλi-1λˉxλ-1yi=xλi−1λx¯λ−1,其中ˉxx¯为变量xi均值,参数λ∈[-1.5,1.0];(5)三参数对数正态转换yi=ln(xi-c)(c=x2m0-xminxmax2xm0-xmin-xmax,m0yi=ln(xi−c)(c=x2m0−xminxmax2xm0−xmin−xmax,m0为中位数,xmin为大于0的最小值,xmax为比样品中最大值更大的值;或者,c=x2m0-f1f22xm0-f1-f2‚f1和f2为对应于累加概率p和1-p的取样值,p取5%与20%之间的值.若为右偏,采用yi=ln(c-xi)),大多数内生有色、稀有及贵金属矿床中的有用组分,以及岩石矿石中微量元素,均具有对数正态分布特征.上述几种数据转换方式的实质是通过对数据分布的峰度和偏度进行调整,使其逼近正态性.因此只有当数据分布接近正态时,才有可能顺利实现;当数据分布特征不明显,或呈现其他随机分布特征时,数据转换效果不明显.1.2选择合适的表面活性剂的方法这种估计方法主要是利用Pearson曲线族和Johnson分布曲线族对非正态数据分布进行拟合.两种曲线族都覆盖了一个范围很广的分布,其实质也是一类函数转换方法.应用Pearson曲线族拟合非正态分布主要出现在早期的研究中,大多根据Pearson分位表来计算分位数,尽管计算上比较简单,但只提供了在有限的偏度和峰度范围内的百分位数估计值,而且难以获得任何关于拟合良好性的信息.Johnson提出了关于随机变量的三个分布曲线族,都可以很容易地转化为标准正态分布.这些分布分别表示为SB、SL和SU三种转换类型,三种类型的参数约束及变量取值范围如表1所示.Nicholas利用约翰逊曲线对非正态数据进行拟合,不仅能描述Pearson系统各类曲线的通用范围,而且计算过程比Pearson更简便可靠.因此,本文直接采用Johnson曲线族用于研究.针对一个具体的非正态数据应用场合,如何根据样本选择合适的Johnson曲线类型是首要的问题,其步骤如下.选择一个合适的z,通过标准正态表找出对应于{-sz,-z,z,sz}的分布概率{p-sz,p-z,pz,p-sz},并在实际样本数据中找出上述分布概率所对应分位数{x-sz,x-z,xz,x-sz},计算m=xsz-xz,n=x-z-x-3z,p=xz-x-z,求出分位数比率QR=mn/p2.一般通过标准正态分布确定s=3时,只要确定合适的z值就可以确定需要拟合数据类型,从而计算出相应的参数.其中,各参数可以通过以下公式求得.对于SB曲线:η=z{arcosh[12[(1+pm)(1+pn)]12]}-1‚γ=ηarsinh{(pn-pm)[(1+pm)(1+pn)-4]12[2(p2mn-1)]-1},λ=p{[(1+pm)(1+pn)-2]2-4}12(p2mn-1)-1,ε=xz+x-z2-λ2+p(pn-pm)[2(p2mn-1)]-1.对于SL曲线:η=2zln(m/p)‚γ=ηln[m/p-1p(m/p)1/2]‚ε=xz-x-z2-p2[m/p+1m/p-1].对于SU曲线:η=2z{arcosh[12(mp+np)]}-1‚γ=ηarsinh{(np-mp)[2(mnp2-1)12]-1}‚λ=2p(mnp-1)12[(mp+np-2)(mp+np+2)]12‚ε=xz+x-z2+p(np-mp)[2(mp+np-2)]-1.2正态转换方法本文针对上述数据转换方法提出了如图1所示的非正态数据的转换流程.下面对实施步骤简要描述.(1)先对数据进行处理,进行经典统计分析,然后用拟合优度进行检验,看其是否符合某一特殊分布(这里的特殊分布是指正态、对数正态、均匀、指数和威布尔分布),如果符合则可以直接用常用转换法进行正态转换.(2)如果不符合上述特殊分布,就尝试用Johnson拟合方法,先计算分位数比率QR,然后对Johnson分布的三种情况予以考虑,并考虑其约束条件,如果满足相应的约束条件,就可以进行数据正态转换.(3)正态转换计算后,同样对其进行统计分析,用拟合优度进行检验,看其转换后的分布及效果,如果通过检验则结束,否则以转换后的结果再进行第2次转换或考虑进行设置分区拟合,直至达到要求.3数据库的拟合本文针对某矿320个钻孔7730个金(区域化变量)的有效化验样品为依据.经细致检查,并在进行特异品位处理后的数据基础上开展研究工作.采用SPSS完成经典统计分析,其均值、中值、最小值、最大值和方差等如图2所示.对其进行正态概率图检验如图3所示,表明数据呈非正态分布.对其进行对数正态分布检验如图4所示,表明区域化变量金的数据分布趋于对数正态分布,但存在一定偏差.按照本次设计的数据处理流程及统计分析结果,此数据可以采用三参数对数正态转换法及Johnson分布曲线拟合法,在此仅对Johnson曲线拟合法步骤进行详细说明.首先进行Johnson曲线的确定.选定一个合适的z为0.68,通过标准正态表找出对应于{-3z,-z,z,3z}的分布概率为{0.0207,0.2483,0.7517,0.9793},并在实际样本数据中找出上述分布概率所对应分位数.因实际数据样品非常大,在此直接取样品累计概率{2.7%,24.83%,75.17%,97.93%}所对应的值{0.3062,1.1689,4.6147,16.4464}.计算m=11.832,n=0.863,p=3.446,求出分位数比率QR=0.8<1.选择SB曲线来拟合数据.计算对应SB曲线各参数:η=0.946,γ=3.376,λ=83.824,ε=0.034.由图2的统计结果可知,xmin=0.1,xmax=18.2,满足ε<xi<ε+λ条件.把上述对应参数代入下式正态转换方程并进行计算:yi=3.376+0.946ln(xi-0.03483.824+0.034-xi).最后对计算结果yi进行统计分析和采用正态概率图进行分布检验,如图5所示,均值、标准差、峰度和偏度均相对较小.如图6所示,实测值的累计概率与期望值的累计概率基本相等(呈直线),且与图4相比有明显改善.另对计算结果进行拟合优度检验.如表2所示,双尾渐近显著性水平为0.749,表明与检验样本无显著差异,因此可以认为通过Johnson的SB曲线转化后的数据服从正态分布.在上述计算中,在矿业领域一般可以考虑采用90%的置信度进行检验,若不满足则需要以上述转换结果作为区域化变量进行二次迭代,直至转换后的数据基本服从正态分布.4实验半变异函数模型建立、分析及验证结果在克立格估计方法使用中,因实际化验样品位均为正值,需对Johnson转换的最终结果进行相应平移,再以平移后的数据项为区域化变量.完成相应操作后,需再把估计值按下式再反算回实际的金品位:X结果=ε+λexp(z估计值-γ-Cη)×[1+exp(z估计值-γ-Cη)]-1,其中,C为平移的常数值.在此,为检验进行转化后方差的变化效果,分别以常用方法中取对数转换后的数据和采用Johnson法转换后的数据全部加上常数3为基础,采用GemcomSurpac○R矿业软件进行实验半变异函数模型的建立、分析及验证工作,分析对应理论方差、克立格方差及估计误差的变化.实验半变异函数模型拟合参数及交叉验证参数如图7和图8所示,交叉验证结果如表3所示,克立格估计误差分布如图9和图10.经上述统计分析可知,转换前区域化变量的标准差为3.787,采用直接对数转换法后区域化变量的标准方差为0.918,而采用Johnson法转换后,标准方差为0.873;分别按图7、图8所示参数进行交叉验证,其中,误差均值均趋于0;克立格估计方差分别为0.867、0.773,减小10.8%,与理论方差比值分别为1.029、1.023,趋于1;且置信区间范围均大于95%,具体如表3所示.验证结果对应相应数据均认为变异函数拟合结果满足克立格估