（大地测量学与测量工程专业论文）ev模型在大坝变形监测数据处理中的应用研究.pdf

摘要摘要大坝观测资料的分析是掌握大坝运行性态的重要手段，是判断大坝安危的科学依据。因此对大坝观测资料做出及时、合理、有效的分析是大坝安全监控的重要工作之一。回归模型作为大坝变形监测资料分析的常用方法，有着成熟的理论和方法。该模型方法简单方便，不需要进行十分复杂的计算，且效果良好，预报周期长，最重要的是回归模型还能很好对变形原因进行解释。但是回归模型在数据处理过程中，只考虑模型因变量的观测误差，并不考虑模型自变量的观测误差，容易造成模型失真。本文针对回归模型的局限性引入自变量含有误差的改进模型，即e v 模型( e r r o r s i n - v a r i a b l e s 模型) 。在初步研究e v 模型基本理论的基础上，探讨了其参数估计方法，同时研究了e v 模型在大坝变形监测数据处理中的应用。本文的主要研究内容有：1 结合回归模型的基本理论，对e v 模型的基本理论及其特点进行研究，详细分析了e v 模型与回归模型的区别与联系，探讨了e v 模型的分类以及参数估计的必要条件。2 研究了非线性e v 模型的参数估计方法，给出了f i s h e r 算法及其改进算法，探讨了一种可分量变量模型的易于实现的h e i v 算法，并分析了这些参数估计方法的局限性和应用范围。3 对青铜峡大坝的变形监测数据建立非线性e v 模型进行处理，研究了模型误差协方差阵的解决方法，探讨了基于实用的改进的e v 模型，并详细分析了e v 模型和回归模型在建模精度和预报精度上的差异，验证了e v 模型的有效性和优越性。4 在回归诊断理论基础上研究了e v 模型的统计诊断方法，并结合青铜峡大坝监测数据实例，探讨了e v 模型统计诊断方法在监测数据异常值探测上的应用效果。关键词：大坝变形监测e v 模型数据处理统计诊断a b s t r a c ti ti sa ni m p o r t a n tm e a n st oa n a l y z et h eo b s e r v a t i o nm a t e r i a lt om a s t e r yt h ew o r k i n gs t a t eo fd a m s ，t h es a f e t yd e g r e eo fd a m sa l s oc a nb ej u d g e da c c o r d i n gt ot h eo b s e r v a t i o nm a t e r i a l s oi ti so n eo ft h ei m p o r t a n tt a s k st om a k et i m e l y , r e a s o n a b l ea n de f f e c t i v ea n a l y s i sf o rd a mo b s e r v a t i o nd a t a r e g r e s s i o nm o d e lh a sd e v e l o p e dt h e o r ya sab a s i cm e t h o di na n a l y z i n gt h eo b s e r v a t i o nm a t e r i a lo fd a m s t h em e t h o dh a sm a n ym e r i t s ，f o ri n s t a n c e ，i ti ss i m p l e ,n o td e m a n d sc o m p l i c a t e dc a l c u l a t i o n ，a n di t sp r e d i c t i n gp e r i o di sc o m p a r a t i v el o n g t h em o s ti m p o r t a n to fa 1 1 t h er e g r e s s i o nc a ne x p l a i nt h er e l a t i o n si na l lv a r i a b l e s r u tt h er e g r e s s i o nd o e s n tc o n s i d e rt h ee r r o r si na l lv a r i a b l e s ；h e n c et h er e s u l tc a r lb ea n a m o r p h i e a c c o r d i n gt or e g r e s s i o n ss h o r t a g e ，t h i sp a p e ri n t r o d u c e dan e wm o d e l ，n a m e l ye v ( e r r o r s i n v a r i a b l e s ) m o d e l t h i sp a p e rs t u d i e dt h eb a s i ct h e o r i e so fe vm o d e la n dt h em e a n sf o rp a r a m e t e re s t i m a t i o n ，a n de x p l o r e dt h ea p p l i c a t i o ni na n a l y z i n gt h eo b s e r v a t i o nm a t e r i a lo fd a m s t h em a i nc o n t e n t so ft h i sp a p e ra r ea sf o l i o w s ,1 t h ec h a r a c t e r i s t i c sa n db a s i ct h e o r i e so fe vm o d e li ss t u d i e dc o m p a r e dw i t ht h er e g r e s s i o n a n dt h i sp a p e rd i s c u s s e dt h es p e c i e so fe vm o d e l sa n dt h em e a n sf o rp a r a m e t e re s t i m a t i o n 2 e s t i m a t i o no fn o n l i n e a re vm o d e l si ss t u d i e d p r e s e n t e dag e n e r a li t e r a t i v ef o r m u l af o rp a r a m e t e re s t i m a t i o nb a s e do nt h em a x i m u m l i k e l i h o o de s t i m a t i o n ，a n dp r e s e n t e da ne a s i e ra r i t h m e t i cs o c a l l e dh e i va r i t h m e t i cf o rak i n do fe s p e c i a le q u a t i o n sw h o s ep a r a m e t e r sc a nb es e p a r a t e df o r mv a r i a b l e s 3 e x p l o r e dt h ea p p l i c a t i o no fn o n l i n e a re vm o d e li no b s e r v a t i o nd a t u mo fq i n g t o n g x i ad a m ，a n de s t a b l i s h e dm a t e r i a ln o n l i n e a re vm o d e l s o l v e dt h ee r r o l 苫c o v a r i 卸c em a t r i xp r o b l e m a n dm e n d e dt h em o d e l f u r t h e r m o r e a n a l y z e dt h ep r e c i s i o no f t h em o d e l ，a n dd i s c u s s e di t sc a p a b i l i t yi nf o r e c a s t i n gd i s t o r t i o n 4 p r e s e n t e dt h es t a t i s t i c sd i a g n o s t i c so fe vm o d e l s a n dd i s c u s s e ds e v e r a ld i a g n o s t i cm e a s u r e s a tl e n g t h , t h i sp a p e re x p l o r e dt h ea p p l i c a t i o no fe vm o d e l ss t a t i s t i c sd i a g n o s t i c si nt h ed i s p l a c e m e n td a t u mo f q i n g t o n g x i ad a m k e yw o r d s ：d a m ，d e f o r m a t i o nm o n i t o r i n g , e vm o d e l ，d a t ap r o c e s s i n g , s t a t i s t i c sd i a g n o s t i c si l学位论文独创性声明：本人所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同事对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。如不实，本人负全部责任。论文作者( 签名) ：盔尊2 0 0 7够月，厂日学位论文使用授权说明河海大学、中国科学技术信息研究所、国家图书馆、中国学术期刊( 光盘版) 电子杂志社有权保留本人所送交学位论文的复印件或电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅。论文全部或部分内容的公布( 包括刊登) 授权河海大学研究生院办理。论文作者( 签名) ：互曼鱼2 0 0 7月日河海大学硕士学位论文1 1 引言第一章绪论拦河筑坝、兴建水库给人类带来了巨大的综合经济效益，包括防洪发电、供水、航运、灌溉、旅游、养殖等；同时在提高城市化水平、促进区域性社会经济发展和生态环境建设方面也发挥了重要作用。但是修建大坝会打破江河流域原来的生态平衡，可能对水环境造成不良影响。此外，如果大坝运行管理不善，造成失事或者溃决，则将会对人民的生命财产带来灾难性结果。国内外发生溃坝事故并不罕见。据国际大坝委员会的调研和大坝注册簿的统计，1 9 0 0 1 9 5 1 年共建大坝5 2 8 6 座( 不包括中国) ，其中溃坝1 1 7 座，溃坝概率为2 2 ；1 9 5 1 1 9 8 6 年共建大坝1 2 1 3 8 座，溃坝5 9 座，占0 4 9 。在中国，截至1 9 9 0 年底的统计，全国已建各类大、中、小型水库大坝8 2 8 4 8 座，总库容4 6 1 7 1 3亿m 3 ，发生溃坝的有3 2 4 3 座，溃坝概率为3 9 ，溃坝库容为6 4 1 7 亿m 3 ，造成十分巨大的损失，它不仅使工程本身遭受损毁，更严重的是给水库下游人民的生命财产安全和经济建设造成灾害，有的甚至是毁灭性灾害。如：19 7 5 年8 月中国河南板桥、石漫滩两座大型水库发生垮坝，溃坝流量分别达8 0 0 0 0 m z s 和2 0 0 0 0 m 2 $以上，下游数十个县顿成泽国，人员伤亡数以万计，经济损失十分严重【“。目前在我国，由于多种原因( 如水文、地质、旌工质量以及坝体老化等原因) ，部分大坝存在安全问题，影响着这些工程效益的发挥，甚至威胁下游人民的生命财产安全。另外随着水资源的深入开发，新建大坝坝址的地质条件越来越复杂，规模也逐渐向高、大型方向发展，从而使大坝安全监测问题变得更为突出。大坝变形监测是利用测量专用仪器和方法对大坝的变形现象进行监视、观测和分析的工作。其主要目的在于：其一，监视大坝在初次蓄水期间以及随后长期运行的安全；其二，在施工过程中不断反馈，提高设计和施工水平；其三，通过实际工作性态的反分析，检验设计和施工，为提高和修正大坝设计理论提供科学依据【2 j 。可见，大坝变形监测在保证大坝安全上具有重要作用。因此在大坝变形监测过程中，必须从监测手段、监测数据处理等环节上全面控制数据精度，保证对大坝的变形状况进行有效地监测。第一章绪论1 2 大坝变形监测资料分析现状大坝安全监测是大坝安全管理工作的耳目，是降低工程风险、减少事故、揭示大坝实际工作性态的重要手段【2 】，而大坝安全监测资料的分析是判断工程安危的科学依据。因此在大坝设计、运行期间，必须对大坝进行实时监控，掌握第一手资料，并对观测资料进行及时科学的分析，及早发现大坝存在的安全隐患，制定处理措旄，以确保大坝安全运行。我国水库大坝安全管理条例中就明确规定：“大坝管理单位必须按照有关技术标准，对大坝进行安全监测和检查：对监测资料应当及时整理分析，随时掌握大坝运行状况”。综上所述，分析大坝原型观测资料，研究大坝安全监控模型，并对大坝进行安全评价是个值得深入研究的课题。目前对大坝变形进行分析的主要任务是：对具有一定精度的观测资料，通过合理的数学处理，寻找出大坝变形的时空分布情况及其发展规律；掌握变形量与各种内外因素的关系，判断大坝变形是正常还是异常，防止变形朝不安全的方向发展。对大坝安全观测资料进行分析处理包括三个部分，即观测资料的正分析、反演分析以及反馈分析。正分析的主要任务是由实测资料建立数学模型，应用这些模型对大坝的运行进行实时监控，同时对模型中的各个分量进行物理解释，并由此分析大坝的工作性态。变形模型的研究是安全监测数据分析处理中一项很重要的内容，目前主要有以下几种模型，但是各种模型都具有各自特点和适用条件。( 1 ) 回归分析模型【3 叫该方法是研究一个变量( 因变量) 和多个因子( 自变量、解释变量) 之间非确定关系的最基本方法，也是目前使用最为广泛的方法。通常对大量的试验和观测数据进行逐步回归分析，得到变形与显著因子之间的函数关系，该模型除用于物理解释外也可用于变形预测。这种经典的变形预报方法，在目前的大坝变形监测数据处理方面应用较多。例如，大坝的位移量y ，其包含的解释变量有时间、温度、水位等。但是回归分析模型的参数估计往往需要大样本，在只有少量观测数据的情况下，模型容易产生较大偏差。( 2 ) 时序分析模型【6 h当逐次观测值之间存在相关性时，就可根据这些动态数据建立预报模型进行预测，这就是时间序列分析方法( 简称时序分析) 的理论依据。该方法是一种较成熟的动态数据处理方法，它通过对观测值序列进行分析，找出反映事物随时间的变化规律，从而对数据变化趋势做出正确地预报，2河海大学硕士学位论文它具有表达简洁并能以较高的精度进行短期预报等优点。( 3 ) 灰色模型【6 ，“1 川该方法将观测序列看作是随时间变化的灰色量或灰色过程，通过累加或相减生成新序列，对生成的观测序列建立微分方程解的模型来对序列作出灰色预测。它是建立在生成数列基础上的，因此不必知道原始数据分布的先验特征。而且同回归分析、时间序列分析等概率回归模型的大样本要求不同，灰色预测模型的建立只需要较短的观测资料。但是用灰色预测方法不是所有的形变预测都能达到较高的精度，特别是对于突变，灰色预测是无能为力的。( 4 ) 卡尔曼滤波模型1 1 , 1 2 】该方法将变形体视为一个动态系统，其状态可用卡尔曼滤波模型即状态方程和观测方程描述。卡尔曼滤波模型通常是一组递推公式，其计算过程是不断地预测、修正过程。它在求解时不需要存贮大量的观测数据，并且当得到最新的观测数据时，可随时算得新的滤波值，便于实时反映变形体的状态，因此是一种较好的处理动态变形数据的模型。该方法的局限性在于它要求精确已知系统的数学模型和噪声统计，并且当噪声统计以及模型参数估值器与状态估值器是相互耦合时，模型易出现滤波发散现象。( 5 ) 人工神经网络模型1 3 1 3 l以神经网络为代表的智能计算方法中，单个神经元有较简单却又反映非线性本质特征的非线性核，通过这些基本的非线性核自组织符合，使其能够重建任意的非线性连续函数。通过学习这一归纳过程，使得模型学习得到序列的内在规律，并用模型较好的范化能力对未来进行预测。使用神经网络方法避免了繁琐的常规建模过程，且神经网络模型有良好的适应和自学习能力、较强的抗干扰能力，是目前研究较为热门的一种方法。( 6 ) 小波分析模型包1 4 】小波变换是指用一族函数去逼近或表示一复杂的信号函数，被誉为“数学显微镜”。在信号处理技术中，通过小波变换，可对信号的不同频率成分进行有效地分解，为信噪分离及其基本特征的提取提供可行的方法。它能从时频域的局部信号中有效地提取信息，利用离散小波变换对变形观测数据进行分解和重构，可有效地分离误差，能更好地反映局部变形特征和整体变形趋势。小波变换也能探测周期性的变形。随着各种信息论、系统论、控制论等科学思想被引入，变形预报模型也变得更加丰富了。针对各种模型的优缺点，很多学者根据工程的实际情况尝试多种模型相结合使用，取长补短，并取得了较好的效果。第一章绪论1 3e v 模型的研究和应用现状1 3 1 模型简介分析变形测量数据是变形测量工作的一个重要部分。由于变形测量的方法日益精密，变形测量的手段日益增多，所获取的变形测量数据种类以及数据量也越来越多，对测量成果的分析提出了更高的要求。另一方面，由于计算机技术发展，又为这一工作提供了最理想的工具。经典的回归分析方法是一种很好的方法，广泛地被应用于各种领域，但是其不足也是明显的。它要求观测值具有较大样本，而且一般只能进行短期变形预测，最重要的是这种方法在使用过程中，假设作为自变量的监测数据都是确定值，是没有误差的。然而这是不符实际情况的，测量值一定是包含有误差的。同样其他的预测分析方法如时序模型、灰色模型等，也都存在这个问题。为此，在变形监测数据处理中引入一种新的建模方法，建立变量含有误差的模型e h o r s i n - v a r i a b l e s 模型( 简称e i v 模型或者e v 模型) 。该方法是由经典的回归分析模型发展而来，发展初期称为m e a s u r e m e n te r r o r 模型，之后逐渐演变为e r r o r s i n v a r i a b l e s 模型。e v 模型认为所有观测值都是含有误差的，同时不再剔除已经经过慎重选择的解释变量。e v 模型完全摒弃以前这些建模数据使用方法，把变量含有误差的概念很好地集成到模型的创建过程中。因此，从理论上来说，e v 模型比其他模型考虑问题更加完善，可以达到更好的建模精度和预测精度 1 6 1 。e v 模型的提出也是比较早的，在1 9 世纪五六十年代由国外的统计学家提出。但是因为模型中考虑了自变量的随机观测误差，并把自变量的误差值也作为参数来处理，使计算变得十分复杂，并且难以做统计推断，特别是非线性情况。所以自模型提出后到2 0 世纪上半叶，国外虽然有学者在不断研究，但是研究人数极少，国内更是无人问津，以致理论发展非常缓慢，期间更无实际应用方面的成果或论文面世【l ”。直至后来计算机的发明及其飞速发展，使得计算量不再困惑人们的时候，国外研究e v 模型的学者才逐渐多了起来，并且国内也有学者开始涉足e v 模型的理论研究。近年来，计算机处理数据的能力越来越强，况且自变量存在误差的问题不得不面对，使得有越来越多的学者开始重视e v 模型的研究。4河海大学硕士学位论文1 3 2 国内外研究现状( 1 ) e v 模型的理论研究国外e v 模型的研究时间相对较长，早在1 9 世纪末就有学者关注，后来i c p e a r s o n 、a w a l d 及j n e y m a n 等一些大统计学家也曾作过一些基础性的研究 1 6 1 。虽然2 0 世纪上半叶回归模型得到了较大的发展，但是由于e v 模型的复杂性，其理论研究较回归模型远远滞后。1 9 9 0 年之前主要是集中在线性方面的研究，在这期间形成了相对较为成熟的线性e v 模型理论，但从方法上看主要是极大似然方法和最小二乘方法【”l 。同时在非线性方面也开始有初步研究，1 9 8 5 年h u b e r ts c h w e t l i c k 和v o l k e r t i l l e r 给出了非线性e v 模型的一种易于实现的简单算法【1 8 】。1 9 8 7 年f u l l e rw a 在其著作( m e a s u r e m e n te r r o rm o d e l s 中，对前人在线性e v 模型的参数估计和参数的统计性质方面的研究进行了详细的归纳总纠1 7 1 ，该书在e v 模型的研究过程中具有里程碑式的意义。在1 9 9 0 年以后主要集中在对多项式模型、非线性模型、半参数模型以及一些非参数模型的研究，对特定条件下参数的大样本性质( 相合性，渐近正态性等) 的研究，并且也都取得了较好的成果 1 5 , 1 9 1 。随着e v 模型理论的发展，最近在e v 模型方面的研究逐渐细化，开始在e v 模型中应用各自统计方法，并且也开始结合其他各种模型。如在参数估计方面，t o n gl i 对非线性e v 模型进行了稳健估计，并讨论了稳健估计的相合性2 0 】；j y k o o 和k w l e e 提出了b 样条估计方法【2 1 】；s h u n p u z h a n g 和rj k a r u n a m u n i提出了对e v 模型参数估的b a y e s 方法 2 2 1 ；b o g d a nm a t e i 和p e t e rm e e r 提出了一种易于计算机实现的e v 模型参数估计的通用算法 2 3 】。同时在时间序列模型、半参数模型中也开始引入e v 模型的误差处理思想【2 抛7 1 。国内学者对e v 模型的研究开始于2 0 世纪8 0 年代，前期工作主要在国外研究的基础上，作一些线性e v 模型方面的基础性研究。随后国内有越来越多的学者开始从事e v 模型的研究，并且不断有研究成果问世。1 9 9 5 年崔恒建讨论了e v 模型中参数m 估计的渐近正态性【2 8 】，1 9 9 7 年给出了e v 模型中广义最小一乘估计的渐进性质1 2 9 ，1 9 9 8 年研究了线性半参数e v 模型的参数估计 3 0 1 。2 0 0 2 年马江洪、张文修给出了多元测量误差模型的稳健g m 一估计量【3 “。张三国、陈希孺在有重复测量数据的e v 模型做了比较多的工作，主要研究了有重复测量数据下的线性和二次e v 模型参数估计的渐近正态性和强相合性等【3 2 j 3 1 。1 9 9 9 年第一章绪论和2 0 0 3 年宗序平分别给出了线性e v 模型以及非线性e v 模型的影响分析方法【3 6 】。2 0 0 5 年闫长华、张忠占给出m a r 型数据缺失情况下的一类线性e v 模型参数的估计【翊，填补了国内在数据不全情况下e v 模型参数估计方面理论研究的空白。但是，目前e v 模型理论方面的研究还远远不够成熟。( 2 ) e v 模型的实际应用无论国外还是国内，目前e v 模型研究的大部分工作还是集中在理论研究。至于e v 模型的实际应用，国外目前虽然还是很少见，但是也有一些很成功的应用实例。如较早期的有1 9 8 3 年g a n s e 采用e v 模型讨论了地震强度( 4 i 】。最近的有2 0 0 4 年f a b e r r i c h a r d 等人使用e v 模型探讨了煤气工业提纯方面的问题【4 2 1 ；2 0 0 5 年s t o k e r 、t h o m a sm 等人应用e v 模型对美国煤矿的劳动生产率方面进行应用分析 4 3 1 ：2 0 0 6 年b o g d a nm a t e i 和p e t e rm e e r 针对计算机图像处理中存在的问题提出了e v 模型处理方法【2 3 0 钔。国内在e v 模型应用的成果更为少见，目前能检索到的只有2 0 0 5 年时正华应用e v 模型在水文预报方面进行了一些有益探讨【1 5 1 ；2 0 0 5 年程龙生对民航客运量预测方面的应用研究1 1 6 1 ；以及2 0 0 4 年谢田法在对临床试验数据采用e v 模型进行应用研列1 9 4 5 1 等。虽然目前对e v 模型的应用还处于初期阶段，但是e v 模型已经越来越受到统计学家的重视。并且现在一些大型的软件公司也开始看好e v 模型的应用前景，纷纷在其产品中加入简单的e v 模型功能模块。目前面世的有美国的x p l o r e 公司，他们把e v 模型( 仅仅是线性e v 模型) 作为其软件的重要特点( 技术) 加入了其产品x p l o r c 中。从其软件来看，x p l o r e 有f r e e 、a c a d e m i c 、p r o f e s s i o n a l - - - 个版本，其中只有p r o f e s s i o n a l 版本才提供e v 模型的功能模块。关于x p l o r e 软件的相关信息可以查询x p l o r e 公司网址：h t t p ：w w w x p l o r e - s t a t d e i n d e xj s h t m lm a t hw o r k s 公司的著名数值计算软件m a t l a b ，也在其o p t i m i z a t i o n 工具箱中加入了e r r o r s i n v a r i a b l e s 回归方法，但也只是线性的。相关信息可以查询该公司网址：h t t p ：w w w m a t h w o r k s c o r r g m a t l a b c e n t r a l f i l e e x c h a n g e此外，还有s t a t a 公司在其软件s t a t a 的最新版本中也加入了基于通用线性e v 模型方法的功能模块。相关信息可查询s t a t a 公司网址：h t t p ：w w w s t a t a c o m m e r r o r6河海大学硕士学位论文1 4 本文主要研究内容和组织结构1 4 1 主要研究内容本文拟采用理论研究与实例应用分析相结合的方式，针对大坝变形监测数据的特点，有选择地探讨了e v 模型的基本理论和参数估计方法，并利用e v 模型对大坝变形监测数据进行尝试性应用研究。本文主要的研究内容有：( 1 ) 在变形监测数据处理领域引进了e v 模型建模方法，使传统的回归模型更加科学、完善，建模更加准确、有效。( 2 ) 针对大坝变形监测数据的特点，探讨e v 模型中误差协方差问题的解决方法，使变量的误差协方差阵相对易于求解。( 3 ) 研究非线性e v 模型参数估计的简单算法，建立相对易于求解的大坝变形监测数据的e v 模型。( 4 ) 探讨非线性e v 模型在大坝变形监测数据处理中的应用效果，并同常用的回归模型进行应用效果的对比分析，分析e v 模型的建模精度以及短期预报和长期预报的精度。( 5 ) 探讨e v 模型的统计诊断方法，同时分析e v 模型统计诊断方法的异常值诊断效果，利用e v 模型统计诊断结果，对原有大坝变形监测数据的e v 模型作出改进，并探讨改进后的模型精度以及预报效果。1 4 2 本文组织结构全文共为分六章。第一章在分析大坝变形监测的重要性、目前常用的大坝变形监测数据分析处理方法的基础上，引入e v 模型的基本概念，以及其在国内外研究应用的现状。第二章以回归模型为引子，对线性e v 模型的理论进行讨论，比较了两种模型之问的区别和联系，并探讨了e v 模型中存在的一些问题。第三章结合变形监测数据处理的特点，总结了非线性e v 模型的参数估计的三种方法，并探讨了该三种方法在应用上的局限性。第四章结合青铜峡大坝的实测数据，详细探讨了非线性e v 模型在大坝变形监测数据处理中的应用方法及其应用效果，同时提出求误差协方差阵值的简单解决方法，并针对大坝变形监测数据特点，对大坝变形监测数据的e v 模型进行适当改进，使计算量相对减小，模型参数易于求得。第五章讨论了回归模型和e v 模型的统计诊断方法，最后结合实例比较两种模型统计诊断方法的优缺点，同时结合诊断结果，分别对e v 模型和回归模7第一章绪论型进行改进，并且比较了改进后两种模型的模型精度和预报精度。第六章回顾了本文的研究内容和创新点，并指出了尚待进一步研究解决的问题。章节之间的组织结构关系如图1 1 所示。l 绪论ijlj r线性e v 模型的基本理论及其参数估计i山i非线性e v 模型的参数估计ii上上e v 模型在大坝变形监e v 模型的诊断分析测数据处理中的应用及其应用i 总结与展望图卜1 本文组织结构关系图河海大学硕士学位论文第二章线性e v 模型的基本理论及其参数估计在实际工程中，大坝建筑物的变形情况是非常复杂的，它是由多种因素的综合影响而产生的。通常大坝顶部位移与大气温度、日照作用、风力风向、地下水位、基础情况以及渗流作用等各种因素密切相关，因此很难用数学表达式来准确描述这些变形因素之间的关系。回归分析就是根据数理统计的基本理论，找出这种变量间的相关关系，并用数学表达式表示这种相关关系的方法。同时在回归分析中，可对这些数学表达式进行精度估计，并可对未知变量作出预测或监测其变化，以采取适当的应对措施。回归分析的成果就是建立回归模型，分析观测资料，进行预测预报。e v 模型是建立在回归分析基础上的一种优化模型，但是它作为回归模型的改进模型，在回归模型的基础上考虑了自变量的观测误差，使得回归分析更加完善。因此从理论上讲，e v 模型比回归模型可以得到更精确的模型，能更精确地反映各种因素间的密切关系。本章根据线性回归分析的基本理论，讨论线性e v模型的基本概念以及线性e v 模型的参数估计方法。2 1 回归分析模型回归分析方法有着广泛的应用，但是在实际应用中，因受各种因素的限制而无法确定回归函数的确切形式，以至于要从统计角度对回归函数的形式作一些必要的、合理的假设，但是这种假设必须反映问题的实质。例如，为了研究自变量玉，x 2 ，工，与因变量夕之间的数值变化规律，可设回归方程为线性函数：y = p o + 届五+ 屈x 2 + + 以工，( 2 - 1 )回归方程式( 2 - 1 ) 包含p 个自变量，称为多元线性回归模型。此外还有一类线性回归模型，它可从一类简单的非线性模型转换而来。例如如下几种非线性回归模型都可以通过变量代换等方法直接转换为式( 2 - 1 ) 形式的线性回归模型来处理：9第二章线性e v 模型的基本理论及其参数估计( 1 ) 指数函数模型：( 2 ) 幂函数模型：( 3 ) 对数函数模型：( 4 ) 双曲线函数模型：( 5 ) 多项式函数模型：( 6 ) 三角多项式模型：y = 屁p 即y = 屁妒y = 屁+ 届l n xx户而y = 风+ 屈x + 历石2 + + 以x 9my = a 0 + ( 吼c o s k x + b is i n k x )；l( 2 - 2 )( 2 3 )( 2 4 )( 2 5 )( 2 6 )( 2 7 )对于如式( 2 1 ) 的线性回归模型，通常只考虑因变量含有随机误差s ，则多元线性回归模型( 2 1 ) 可表达如下形式：y = p b + p i + 9 l + + p x p 七st 2 - 8 遗若记：1 1卜e则式( 2 8 ) 可用矩8 =阵表示巨为：q岛：毛x =五lx 2 i ix 1 2 恐2 x p 2五 屯。石。y = x p + s( 2 - 9 )按最小二乘法，即令套= m i n ，可得模型( 2 9 ) 的参数估计为：矽= ( x 7 彳) 1 x 7 y( 2 1 0 )在回归模型中，通常只是考虑因变量y 的观测误差，而假设自变量是无误差的固定值。在满足上述条件下，式( 2 ，1 0 ) 的参数估计与真值是相合的，并具有渐进正态性。但是这个假设显然是不够完善的，通常与实际是不相符的，一般情况下自变量而，x 2 ，的观测值也是含有观测误差的。因此在实际应用中，仅仅考虑y 的观测误差，而不考虑x 的观测误差是不够的，会导致参数估计出现偏差，所以还需要考虑自变量x 的测量误差艿。记实际观测数据为：x = 工+ 万，其中x 表示自变量的真值，占为自变量观测值的观测误差。通常假设：e ( 8 ) = 0 ，并且有x 的观测误差的协方差阵为矿，假设不同自变量之间的误差协方差为零，由此可见矿为对角阵，且艿和相互独立，存在对角阵矿。1 0河海大学硕士学位论文由最小二乘法估计可得：孱= ( ，工) 。1 x r y( 2 1 1 )该式与式( 2 一l o ) 所示的矽= ( x 7 z ) “x 7 y 有差异，所以按通常的最小二乘法对多元线性回归模型进行参数估计，得到的参数估计历并不是的相合估计。可以证明，当n 充分大时，有占= n ( x 7 x ) 一1 即，其中矿是矿的一个粗估计，并且有当v = d i a g ( 砰，霹，吒2 ) 时，可以找到一个关于6 的近似估计” 1 8 , 4 6 1 。2 2 线性e v 模型2 2 1 线性e v 模型概述【1 ”9 1在回归分析中，无论是线性的还是非线性的回归模型都存在上述的问题，这时若勉强采用回归分析方法来处理，常常出现回归模型应用效果不是很理想的情况。为此需要对回归模型进行改进，e v 模型就是对回归分析中变量进行进一步定义，在建模过程中考虑了各个变量的观测误差。在一个回归模型中，不但要有对变量参数的说明和对变量间关系的基本假定，还要有对随机变量性质的某些假定。线性e v 模型变量真值间假定关系的表达方式有多种f 1 6 1 ，这里讨论最常用也最接近回归模型的一种写法，即常见的自变量和因变量形式：y = a + p xq 一1 2 )其中，工、y 都可以为一维或多维。根据x 的维数不同，可将模型分为简单线性e v 模型、多元线性e v 模型和多重线性e v 模型。具体有：( 1 ) 当d i m ( x ) = 1 ，d i m ( a ) = 1 时，称模型( 2 - 1 2 ) 为简单线性e v 模型：( 2 ) 当d i m ( x ) l ，d i m ( a ) = 1 时，称模型( 2 1 2 ) 为多元线性e v 模型；( 3 ) 当d i m ( x ) d i m ( a ) 1 时，称模型( 2 1 2 ) 为多重线性e v 模型。其中，d i m ( x ) 、d i m ( a 1 分别表示x 、口的维数。在e v 模型中，真值x 、y 均不可直接观测，能观测到的是随机变量z 、r ，因此有z = x + 8 ，y = y + s 。这里万、占分别为石、】，的随机观测误差。对j 、s有基本假定：e ( a ) = e ( 8 ) = 0 ，此外还假定j 、占不相关。在工为随机变量时，第二章线性e v 模型的基本理论及其参数估计还通常假定占、占与x 无关。有时根据研究需要，对这些随机变量甚至有一些很强的假定，如假定它们为正态分布等。当然，对模型中的随机变量假定越强，这种模型也就越特殊，其适用范围也就越窄。根据上述讨论，一般简单线性e v 模型归纳为：y = 口+ ；b x z = x + g ，y = y + s ( 2 1 3 )l e ( 8 ) = e ( 占) ；0 ，( 8 ，占) 与j f 无关若有弹次观测，每次观测对x 、y 是同时进行的，则观测模型可表示为：y j = a + p x ，x t = 墨+ 6 l ，y i = y i ie ( 磊) = e ( t ) = 0c o y ( 4 ，毛) = c o v ( 4 ，x j ) = c o v ( 8 j ，t ) = 0( 2 - 1 4 )c o y ( 4 ，6 0 = 口k q ，c o y ( e , ，8 j ) 2 0 。k 口i = l ，2 ，”j = 1 ，2 ，厅其中，巧表示强啪e c k e r 符号，即巧= ：i ；，而最后两等式是整补假设当然也有更一般的假定，即 4 ) 、弛) 是两个相关误差组，只是这种模型要复杂很多。不管真值间关系用哪种表示方法，e v 模型的研究都与真值的统计特征有关，据此可将线性e v 模型分成三类。下面就简单线性e v 模型来讨论这种分类方法。( i ) 当自变量x 的真值的玎次观测五，五，以为独立同分布时，则称模型( 2 1 4 ) 为结构关系模型( s t r u c t u r a lm o d e l ) 。( 2 ) 当自变量z 的真值的n 次观测，五，以为固定变量( 即未知分布的随机变量) 时，则称模型( 2 1 4 ) 为函数关系模型( f u n c t i o n a lm o d e l ) 。( 3 ) 当f l 变量- x 的真值的，1 次观测墨，五，以相互独立但不同分布时，则称模型( 2 一1 4 ) 为超结构关系模型( u l t r as t r u c t u r a lm o d e l ) 。可以看出超结构关系模型是结构关系模型和函数关系模型的推广。由于协)的不同分别通常仅限于不等均值，因此当r ) 的均值相等时超结构关系模型就可简化成结构关系模型。而当v a r ( x ) = 0 时，超结构关系模型就可简化成函数关系模型。河海大学硕士学位论文随着e v 模型深入研究，提出了一种新的、更广义的方程有误差的e v 模型。在这种模型中，真值关系方程式中多了一个随机误差项g ，与此对应的没有随机误差项e 的模型称为方程无误差的线性e v 模型，目前研究主要还是针对方程无误差的e v 模型。如图2 1 所示，给出线性e v 模型的分类树状图，虚线框的为本章主要研究探讨的内容。- 酉茬面疆主一j图2 - 1 线性e v 模型的分类树状图2 2 2e v 模型与回归模型的比较e v 模型正视观测误差的存在，对实际问题研究产生了巨大影响，有着广泛的实际应用前景。在变形监测数据处理领域，目前采用的方法通常对观测误差的考虑都不是很完善，要么不考虑测量误差，要么片面的理解测量误差。相对比较好的处理方法有滤波方法，它采用将误差剔除的方法，对剩余数据进行处理，而e v 模型是充分考虑加入测量误差的方法，可见这两种方法各有特点，处理数据的思想互为补充。第二章线性e v 模型的基本理论及其参数估计e v 模型作为回归模型的改进，与回归模型相比，区别主要体现在以下几个方耐1 6 4 7 】：( 1 ) 在回归建模分析过程中对自变量五，而，j 。的处理方式都是一样的，即在认为自变量不是随机变量，自变量中并不包含有随机误差，这与经典的测量误差理论是不相符合的。回归建模的观测数据样本量不能太小，如果太小则解算建立回归模型可能偏差较大，不能正确反映事物的真实情况。回归模型的预测点不宜远离自变量的历史资料中心，通常只适用于中短期预测。回归模型建立的过程中往往会通过模型评价过程剔除影响度较小的解释变量，再重建模型以逐步优化回归模型。这一处理方式的结果往往会导致一些有用的解释变量被剔除，是很多实际建模过程中所不愿看到的。( 2 ) e v 模型在对测量数据的认识上跳出回归模型的框架，认为变量的观测值均含有误差，观测值是由变量的真值与观测误差混合而成的结果，因此相比回归模型对变量观测值的认识要更接近实际情况。而且在e v模型建模分析过程中引入误差协方差，使各个变量之间的联系变得更加紧密、透明，因此并不需要对回归模型进行过分的优化。只要认为是有作用的解释变量都可以不用剔除，让这些解释变量发挥其应有的作用。( 3 ) e v 模型也有其自身的不足。如在简单线性e v 模型中，虽然仅仅比回归模型多考虑了自变量本身观测误差，但是由于把自变量也作为参数来进行估计，使得计算变得异常复杂。如假设模型有k 个参数和p 个自变量，共有n 次观测值，则除了求k 个参数外，还要求月p 个中间参数，计算量急剧放大，而且e v 模型的估计形式与回归模型相比也完全不同，参数的统计推断更加困难。并且一些常规的用于处理线性模型的方法不再适用，如多项式模型在e v 模型中就不能再化为线性方式来简化计算了。( 4 ) e v 模型还通常要求靠j 相互独立和其中某个方差已知，或者要求s 、占的方差比已知等，模型的应用前提条件相对较为苛刻。而且在实际应用中，也会发现x 、万的独立条件常常满足不了。一个典型的例子就是当z 为二值随机变量时，z 、万必定是相关的，一般来说，如果x 的取值是有界的，往往就有z 、万是相关的，从而造成e v 模型应用的局限性。1 4河海大学硕士学位论文2 3 线性e v 模型的参数估计2 3 1 线性e v 模型参数估计的一般条件【1 9 j 5 1一般情况下，主要讨论线性e v 模型中的参数，以下给出两种基本处理思想以及在模型参数估计时应满足的基本条件：( 1 ) 约束参数法已知测量误差的方差或；已知测量误差方差口0 和口啬的比值口0 d k ；已知自变量观测值的可靠度d 0 d h 。这些值可以通过重复测量或者先验信息获得。在上述任一条件下，线性e v模型中的所有参数都可以识别，且参数的估计在定条件下，具有较好的大样本性质。( 2 ) 工具变量法假定除了有线性e v 模型的样本数据外，还能通过完全独立的方式得到第三个与z 相关的观测变量，其相应的观测值为劬，一般有国与占、j 均不相关。这样通过样本数据，并利用统计回归的思想，可以参数化国和工的相关关系。然后在一般条件下，可以利用矩估计，把参数表示成矩的已知函数，从而来识别它们。上述两种方法中，方法( 1 ) 对误差的一二阶矩的要求较强一些，如要求占、占相互独立和其中某个方差已知等条件。而方法( 2 ) 的对应限制条件较少，具有一定的普遍性，应用范围更广，且在一定条件下，由此得到的主要参数的估计都具有渐进正态性，但是往往第三个独立观测变量国的观测数据不易得到。2 3 2 线性e v 模型参数的校正似然估计【”3 伽1线性e v 模型可表示如下： y 2 石+ 占( o ，o - 2 厶)( 2 1 5 )i x = x + 占占n ( o ，l 圆矿)、。其中，】，是分量为z 的一维观测相应向量，x 是n x p 维第所亍为的变量真值矩阵，l 为l l 阶单位阵，芦为p 维未知参数，x 是”p 维第f 行为霹的变量观测值矩阵，且s 和艿