大坝安全监测中粗差的识别与识别

大坝安全监测中粗差的识别与识别

随着水库安全监测自动化水平的提高，测点的增加和测频的加密，观测数据的数量显著增加。由于观察仪器的质量问题、观测人员的不同水平以及外部环境变化的影响，观测值波动较大，精度较低，给数据的分析带来偏差，这直接影响了水库安全评价的分析和结论。因此在利用观测资料研究模型之前,必须对监测资料的可靠性加以判断,分析出异常的测值。粗大误差是数据误差中的一种,在数值上表现出较大的异常,与合理值明显相悖。对确定为粗差的数据,应及时重测,来不及重测的应进行处理,可直接将粗差值予以剔除,然后根据相邻观测值进行外插,或用拟合值予以代替。1经典的差异识别方法1.1过程线的明显超物理意义过程线法是通过绘制观测量与时间之间的关系曲线来直接判断测值是否存在异常点的方法。对绘制出来的过程线,观察其是否存在明显的尖点。如果存在,察看对应的监测值是否超出了物理意义允许的范围:比如扬压力异常高,甚至高于上游库水位等。对明显超出物理意义范围的监测值,就判其为异常测值并予以剔除。如不能确定,则标记为可疑测值,待进一步判断。1.2拉布丁准则适用的条件异常值统计检验法是建立在随机样本测定值遵从正态分布N(μ,σ2)和小概率原理的基础上的。根据测定值的正态分布特征,出现大的偏差测定值的概率是很小的,根据小概率原理,如果出现了大的偏差测定值则表明测试过程有异常情况,所得到的大偏差测定值只能被认为是异常值。己有的研究表明,大坝安全监测资料一般遵从正态分布,因此,可运用统计检验方法对其进行异常值检验。目前,常用的统计检验法有拉依达准则、格拉布斯准则、狄克松准则、t检验法等方法。(1)拉依达准则(3σ准则)。在各次测量值中,若某个测量值xi所对应的剩余残差|xi-ˉx|>3σ|xi−x¯|>3σ,则将该测量值判为粗差,予以剔除。拉依达准则以测量次数充分大为前提,实际测量中常以贝赛公式算得的S代替σ,以ˉXX¯¯¯代替真实值。对于某个可疑数据Xi,若满足:|Vi|=|Xi-ˉX|>3S‚S=√n∑i=1(Xi-ˉX)2n-1(1)则Xi含有粗差,对大于3S的部分粗差,予以剔除。值得注意的是,在运用拉依达准则时,是假定观测值不含系统误差且随机误差服从正态分布的。由于拉依达准则是建立在测量数据足够多的前提下的,当数据量n≤10时,用该准则剔除粗差是不可靠的。(2)格拉布斯准则(Grubbs)。格拉布斯准则适用于小样本情况。X1≤X2≤X3≤…≤Xn为按大小顺序排列的一个样本值,它遵从正态分布N(μ,σ2)。计算格拉布斯统计量,包括下侧格拉布斯数g(1)以及上侧格拉布斯数g(n):g(1)=ˉX-X1S‚g(n)=Xn-ˉXS(2)式中:ˉX,S分别为n次重复测量的监测数据算术平均值和标准差。显著性水平α(一般取0.05或0.01),由α和n(n为样本数)查表(此处略)得格拉布斯准则数T(n,α),若g(1)≥T(n,α),则X1为异常值,予以剔除;若g(n)≥T(n,α),则Xn为异常值,予以剔除。数学上证明,格拉布斯检验法在一组测定值中只有一个异常值的情况下是最优的检验法。但在一组测定值中有一个以上的异常值时,方差sn-1中包括了另一个异常值在内,使之变大,而比值sn/sn-1不一定大,使得一些异常值检验不出来,很容易犯“判多为少”或“判有为无”错误。(3)狄克松准则(Dixon)。该准则判断粗大误差是从最大抽样值和最小抽样值入手进行的。一般认为,狄克松准则适用于样本容量为3≤n<30的粗差剔除。若有一组来自正态分布N(μ,σ2)的样本值,按X1≤X2≤X3≤…≤Xn大小顺序排列,构造检验高端异常值X(n)和低端异常值X(1)的统计量,分以下几种情况:(1)样本3≤n≤7:r10=X(n)-X(n-1)X(n)-X(1)‚r´10=X(1)-X(2)X(1)-X(n)(3)②样本8≤n≤10:r11=X(n)-X(n-1)X(n)-X(2)‚r´11=X(1)-X(2)X(1)-X(n-1)(4)③样本11≤n≤13:r21=X(n)-X(n-2)X(n)-X(2)‚r´21=X(1)-X(3)X(1)-X(n-1)(5)④样本14≤n≤30:r22=X(n)-X(n-2)X(n)-X(3)‚r´22=X(1)-X(3)X(1)-X(n-2)(6)式中:r10,r′10,…,r22,r′22简记为rjk和r′jk。rjk为检验高端异常值X(n)的统计量,r′jk为检验低端异常值X(1)的统计量。选定显著性水平,查表(此处略)得出各统计量的临界值r0(n,α)。若用公式计算所得检验高端异常值的统计量大于临界值时,则认为X(n)中含粗大误差,应剔除;同样,若计算所得的检验低端异常值的统计量大于临界值时,则认为X(1)中含粗大误差,应剔除,然后以不包括被剔除样本值在内的新样本数据和样本容量重复以上方法,直到剔除所有的粗差为止。需注意的是,在剔除粗差的下一个重复过程中,切记要选取新的样本容量对应的狄克松临界值r0(n,α)以及狄克松统计量公式。(4)t检验法。t检验法又称为罗曼诺夫斯基准则,方法是首先剔除一个可疑的测得值,然后按t分布检验被剔除的值是否含有粗大误差。将可疑测定值xd以外的其余测定值当做一个总体,并假定该总体遵从正态分布,由这些测定值计算平均值ˉx与标准差s。而将可疑值xd当做一个样本容量为1的特殊总体。如果xd与其余测定值同属于一个总体,则它与其余的测定值之间不应有显著性差异。由xd计算的统计量值[ΗS2*3]k=xd-ˉxs(7)式中:ˉx、s分别为不包括xd在内的均值与标准差。其中:[ΗS2*3]ˉx=1n-1n∑i=1i≠dxi,s=√1n-2n-1∑i=1i≠d(xi-ˉx)2(8)根据测量次数n和选取的显著度a,可由t检验系数表查得t检验法的临界值k(n,a)。若:[ΗS1*3]|vd|=|xd-ˉx|>ks(9)则认为测量值xd含有粗大误差,应予以剔除。值得注意的是,由于xd不参与检验统计量中ˉx与s的计算,因此计算出的s变小,而计算出的xd与x值之差变大,从而使计算出的统计量值k变大,有可能将一些正常的测定值错判作为异常值。在实际工作中,应选择较小的显著水平。1.3相关系数的计算本文以冶勒沥青混凝土心墙堆石坝下游2623.3m高程马道上一外观变形监测点TP23的运行期水平位移监测数据和宝珠寺重力坝右岸绕坝渗流测点Y2的监测数据为例,分析比较各种统计检验方法的粗差识别的结果。为便于剔除粗差,现将TP23和Y2的数据制成监测效应量与环境量过程线,如图1、图2所示。图1中有26个位移监测数据,2007年12月19日水平位移值是明显的极大值,过程线中的尖点便是直观体现。而库水位一直呈周期性变化,没有特别情况发生,因此,初步判断此点为疑似粗差。图2中宝珠寺重力坝右岸绕坝渗流测点Y2有60个监测数据,2004年10月29日测值为极小值,同样体现为过程线中的尖点,而库水位呈现波动状的周期变化,现在分别采用上面几种粗差识别方法对两测点监测数据进行数据预处理计算。计算结果见表1。通过上面的计算我们可以看出:(1)拉依达准则在TP23的数据中没有找到粗差,而在Y2中找到,这种结果的原因主要是由于前者只有26个数据,而后者中有60个数据,拉依达准则在判别过程中,主要是通过贝赛尔公式算得的标准差S作为方差σ的估计值,这种估计要建立在测量次数充分大的前提下。当测量次数n较小时,S本身的误差会较大。如果设Xd为可疑值,那么Vd=Xd-ˉX(1≤d≤n),当n≤10时3S=√(V21+V22+L+V2n)≥Vd(10)说明当监测数据少于10个时,用3σ作界限,根本不能发现粗差。因此,建议在样本数据n不小于30的情况下使用拉依达准则,在这种情况下数据预处理粗差识别的可靠性较高。(2)在TP23的监测数据中,格拉布斯准则、狄克松准则以及t检验法都判断出了粗差,说明这三种方法都适用于系列较短的监测资料。通过比较发现,在数据预处理时,选择格拉布斯准则比较好。从表1可以看出,t检验准则比格拉布斯准则、狄克松准则严格,即t检验准则判为坏值的,其余两种方法不一定认为是坏值,而t检验认为是好值的,其余两种方法一定是同样结论。从可信程度上讲,t检验准则虽然剔除粗差的概率最大,但把不是粗差的误差错判为粗差的可能性也大,一般情况下,t准则偏严,狄克松准则偏宽,以格拉布斯准则较为适宜。曾有学者利用蒙特卡洛法对格拉布斯准则和狄克松准则进行一万多次的试验比较,证明了格拉布斯方法的鉴别能力比狄克松方法高,采用格拉布斯法较好。另外从判别的方法上来看,格拉布斯准则也最为方便。t检验准则须先将可疑值不包含在内计算均值和方差,狄克松准则要求不同的测量次数应用不同的极差比计算,公式多,不易区分,都不如格拉布斯准则有唯一的公式。因此,对于监测数据小于30的监测资料,选择用格拉布斯准则进行监测资料数据预处理较为合适。2改进的方法和差异识别方法2.1异常值的排序前述的过程线法简单明了,其依据的多是直观判断和工程经验,因此只适用于判断有明显异常测值且测点数较少的数据系列。统计检验法是以数据按正态分布为前提的,一般对测值系列进行大小排序,然后认为异常值出现在整个测值系列的两端(最大值端与最小值端),然而,在有些情况下,某些测值虽然在整个测值系列上不是最大或最小值,但它在某一时段的测值系列中有可能是离群值(即测值过程线上的尖点,这些测值不能反映大坝安全的真实信息,有时对大坝结构形态分析评价是有害的)。另外,统计检验法对粗差的检测只是用单纯的数学理论,未涉及到效应量的成因,而且所检验出的离群测值很有可能是因为大坝的结构状况或环境等因素发生较大的变化而引起的离群值,这种值实际上是正确的,反映了大坝实际状况,因此,该种离群值不能被当做是粗差。2.2．确定大坝安全监测的量计模型针对统计检验法的不足,在大坝监测数据预处理时,引进数学模型对测值序列进行数据预处理。即根据大坝结构效应量测值,结合坝体结构特点、环境条件和地质条件,运用坝工理论和相应的数学方法对它们进行定量分析建立起来的分析模型。这种数学模型是对大坝效应量监测值建立起来的具有一定形式和构造的数学方程式。这种数学方程式能够反映大坝效应量监测值的变化规律,确定大坝效应量与环境量的确定性关系或统计关系。如果建立的数学模型比较准确,大坝安全监测的实测值与模型预测值之间的差不应偏离太大,研究认为此误差服从正态分布。因而可以再通过统计检验法对残差进行误差校验,从而判断对应监测值是否属于粗差。下面以宝珠寺重力坝坝基渗流量测点16IP11的观测值为例加以说明。根据其监测数据,建立该测点的统计回归模型,计算残差,再利用合适的统计检验方法对残差进行粗差判别。计算过程如下:2.2.1渗流量模型结果分析大坝的渗漏量的大小主要受水库入渗、降雨入渗、温度以及时效等因素的影响,因此本次考虑库水位、降雨、温度和时效因子来构建渗漏量分析数学模型。运用逐步线性回归方法构造出如下的统计模型:W(t)=0.136Η(t)-0.095Τ60(t)-0.676t100-14.085lnt100+70.312(11)式中:W(t)为渗漏量监测值在时间t的统计估计值;H(t)为变形观测日及前续20d的平均水位减去基准水位(在此取坝底高程468m);T60(t)为渗漏观测日前60d的温度;t为观测时刻距初始时刻的天数,初始时刻取1999年1月1日。经逐步回归计算,该模型相关系数为0.974,回归效果很好,说明该模型是有效的。利用该模型计算出渗流量的模型预测值与该测点实际监测值基本吻合。监测数据,回归值和残差参见图3。2.2.2数据的粗差判断该系列数据容量为70,因此选择拉依达准则来剔除粗差。表2为引入数学模型前后判别粗差的结果。值得注意的是,引入数学模型后,是对所得的测值序列的残差进行粗差的判断。由表2可以看出:(1)引入数学模型进行数据处理后利用统计检验法对残差进行粗差识别的能力增强了。2004年6月28日的测值并不是该系列中的最大值(最大值为49mL/s),但确是2003～2004时段的离群值,因此可以判断该日期的残差所对应的观测值是异常值。(2)由于数学模型考虑了该测点环境效应的影响,使得粗差识别不再是单纯的数学计算,更加符合实际,对于大坝安全监测数据预处理更为适用。从模型方程中可清楚看出,观测值与环境量的关系。3改进的拉