工程安全预报与预警技术

,工程安全监测与预警主讲教师：花向红,第3章预报与预警技术3.1工程安全分析与物理解释3.2预测预报建模理论,3.1工程安全分析与物理解释,人们对自然界现象的观察，总是对有变化、无规律的部分感兴趣，而对无变化、规律性很强的部分反映比较平淡。如何从平静中找出变化，从变化中找出规律，由规律预测未来，这是人们认识事物、认识世界的常规辨证思维过程。变化越多、反应越快，系统越复杂，这就导致了非线性系统的产生。人的思维实际是非线性的，而不是线性的，不是对表面现象的简单反应，而是透过现象看本质，从杂乱无章中找出其内在规律性，然后遵循规律办事。变形分析的真正内涵就是这样。变形分析的内涵就是从错综复杂的变形现象中找出其内在规律性。,1工程变形分析,变形分析的研究内容涉及到变形数据处理与分析、变形物理解释和变形预报的各个方面。变形的几何分析是对变形体的形状和大小的变形作几何描述，其任务在于描述变形体变形的空间状态和时间特性。变形物理解释的任务是确定变形体的变形和变形原因之间的关系，解释变形的原因。自1978年，FIG工程测量专业委员会设立了由国际测绘界五所权威大学组成的特别委员会“变形观测分析专门委员会”，极大地推动了变形分析方法的研究，并取得了显著成果。正如A.Chrzanowski（1996）所评价的，变形几何分析的主要问题已经得到解决。,1工程变形分析,1工程变形分析,实质上，自20世纪70年代末至90年代初，几何变形分析研究较为完善的是常规地面测量技术进行周期性监测的静态模型，考虑的仅是变形体在不同观测时刻的空间状态，并没有很好地建立各个状态间的联系，更谈不上变形监测自动化系统的变形分析研究。,事实上，变形体在不同状态之间是具有时间关联性的。为此，后来许多学者将目光转向时序观测数据的动态模型研究，如：变形的时间序列分析方法建模；基于数字信号处理的数字滤波技术分离时效分量；变形的卡尔曼滤波模型；用FIR（FiniteImpulseResponse）滤波器抑制GPS多路径效应。,1工程变形分析,动态变形分析既可以在时间域进行，也可以在频率域进行。频谱分析方法是将时域内的数据序列通过傅立叶（Fourier）级数转换到频域内进行分析，它有利于确定时间序列的准确周期并判别隐蔽性和复杂性的周期数据。频谱分析法用于确定动态变形特征（频率和幅值）是一种常用方法，尤其在建筑物结构振动监测方面被广为采用。但是，频谱分析法的苛刻条件是数据序列的等时间间隔要求，这为一些工程变形监测分析的实用性增加了难度，因为对于非等间隔时间序列进行插补和平滑处理必然会带入人为因素的影响。,1工程变形分析,多年来，对变形数据分析方法研究是极为活跃。应用灰关联分析方法研究多个因变量和多个自变量的变形问题；应用灰色理论建模预测深基坑事故隐患；应用人工神经网络建模进行短期变形预测。变形分析中，为弥补单一方法的缺陷，多种方法的结合得到了发展，例如：模糊数学与灰色理论相结合，应用灰关联聚类分析法进行多测点建模预测；模糊数学与人工神经网络相结合，应用模糊人工神经网络方法建模进行边坡和大坝的变形预报；应用抗差估计理论对多元回归分析模型进行改进的抗差多元回归模型，处理数据序列的粗差问题；,1工程变形分析,由于变形体变形的错综复杂，可以看作为一个复杂性系统。复杂系统含有许多非线性、不确定性等复杂因素及它们之间相互作用所形成复杂的动力学特性。创立于20世纪70年代的非线性科学理论在变形研究中也得到了反映。例如，根据突变理论，用尖点突变模型研究大坝及岩基的稳定性；将大坝运行性态看成为一种非线性动力系统，研究了大坝观测数据序列中的混沌现象。在变形分析中，出于实用、简便上的考虑，我们一般应用较多的是单测点模型，为顾及监测点的整体空间分布特性，多测点变形监控模型也得到了发展。,1工程变形分析,从现行的变形分析方法中，我们不难发现，大多都是离线的（事后的），不能进行即时预报与监控，无法在紧急关头为突发性灾害提供即时决策咨询，这与目前自动化监测系统的要求很不相符，为此，研究在线实时分析与监控的方法成为技术关键。已有研究表明，采用递推算法的贝叶斯动态模型进行大坝监测的动态分析认为是可行的。在隔河岩大坝GPS自动化监测系统中，采用递推式卡尔曼滤波模型进行全自动在线实时数据处理起到了较好效果。,1工程变形分析,诞生于20世纪80年代末的小波分析理论，是一种最新的时频局部化分析方法，被认为是傅立叶分析方法的突破性进展。应用小波方法，进行时频分析，可望有效地求解变形的非线性系统问题，通过小波变换提取变形特征。第21届IUGG大会“小波理论及其应用”被IAG确定为大地测量新理论研究方向之一。在1999年召开的第22届IUGG大会上，“小波理论及其在大地测量和地球动力学中的应用”再次被IAG确定为GIV分会（大地测量理论与方法）的新的研究小组。可见，开展小波理论及其应用研究的重要性。,1工程变形分析,从目前应用来看，虽然小波分析要求大子样容量的时间序列数据，但是，长序列数据可从GPS、TPS等集成的自动化监测系统中得到保障。小波分析为高精度变形特征提取提供了一种数学工具，可实现其它方法无法解决的难题，对非平稳信号消噪有着其它方法不可比拟的优点。小波理论在变形监测（尤其是动态变形监测）的数据分析方面将会发挥巨大作用。,1工程变形分析,现代变形分析方法：,时间序列分析频谱分析小波分析滤波技术：数字滤波、卡尔曼滤波、贝叶斯滤波灰色理论：灰关联分析神经网络：人工神经网络、专家系统模糊数学：模糊人工神经网络抗差估计理论：抗差多元回归模型非线性理论：突变理论、混沌现象,变形物理解释的方法可分为：统计分析法确定函数法混合模型法,2变形物理解释,统计分析法：以回归分析模型为主，是通过分析所观测的变形（效应量）和外因（原因量）之间的相关性，来建立荷载-变形之间关系的数学模型，它具有“后验”的性质，是目前应用比较广泛的变形成因分析法。,统计分析法：由于影响变形因子的多样性和不确定性，以及观测资料本身的有限，因此，很大程度上制约着回归分析建模的准确性。回归分析模型中包括多元回归分析模型、逐步回归分析模型、主成份回归分析模型和岭回归分析模型等。统计模型的发展包括时间序列分析模型、灰关联分析模型、模糊聚类分析模型以及动态响应分析模型等。,2变形物理解释,确定函数法：以有限元法为主，它是在一定的假设条件下，利用变形体的力学性质和物理性质，通过应力与应变关系建立荷载与变形的函数模型，然后利用确定函数模型，预报在荷载作用下变形体可能的变形。确定性模型具有“先验”的性质，比统计模型有更明确的物理概念，但往往计算工作量较大，并对用作计算的基本资料有一定的要求。,2变形物理解释,2变形物理解释,混合模型：统计模型和确定性模型的进一步发展是混合模型和反分析方法的研究，已在大坝安全监测中得到了较好应用。是对于那些与效应量关系比较明确的原因量（比如水质分量）用有限元法（FEM,FiniteElementMethod）的计算值，而对于另一些与效应量关系不很明确或采用相应的物理理论计算成果难以确定它们之间函数关系的原因量（比如温度，时效）则仍用统计模式，然后与实际值进行拟合而建立的模型。,反分析方法：是仿效系统识别理论，将正分析成果作为依据，通过一定的理论分析，借以反求建筑物及其周围的材料参数，以及寻找某些规律和信息，及时反馈到设计、施工和运行中去，它包含有反演分析和反馈分析。,2变形物理解释,由于变形的物理解释涉及到多学科的知识，已远不是测量人员所能够独立完成的，所以需要相关学科专家的共同合作。,数据处理与分析将向自动化、智能化、系统化、网络化方向发展，更注重时空模型和时频分析（尤其是动态分析）的研究，数字信号处理技术将会得到更好应用；会加强对各种方法和模型的实用性研究，变形监测系统软件的开发不会局限于某一固定模式，随着变形监测技术的发展，变形分析新方法研究将不断涌现；由于变形体变形的不确定性和错综复杂性，对它的进一步研究呼唤着新的思维方式和方法。由系统论、控制论、信息论、耗散结构论、相同学、突变论、分形与混沌动力学等所构成的系统科学和非线性科学在变形分析中的应用研究将得到加强；几何变形分析和物理解释的综合研究将深入发展，以知识库、方法库、数据库和多媒体库为主体的安全监测专家系统的建立是未来发展的方向，变形的非线性系统问题将是一个长期研究的课题。,3发展趋势,3.2预测预报建模理论,随着现代科学技术的发展和计算机应用水平提高，各种理论和方法为变形分析和预报提供了广泛的研究途径。由于变形体变形机理的复杂性和多样性，对变形分析与建模理论和方法的研究，需要结合地质、力学和水文等相关学科的信息和方法，引入数学、数字信号处理、系统科学以及非线性科学的理论，采用数学模型来逼近、模拟和揭示变形体的变形规律和动态特征，为工程设计和灾害防治提供科学的依据。,监测信息分析和预报的方法很多，但主要可分为经验统计分析预测和力学模型分析预测两大类。前者是以现场监测数据为基础，借助各种数理统计方法建立预报模型，以实现对反馈信息进行分析和今后变化趋势进行预测的一类方法。该方法是传统的常用方法，在现行的监测信息分析和预报中，相当一部分都属于这类方法；后者是将变形体的变形、破坏的发展过程视为某种力学模型的变化，从而建立变形体的预报模型，并以此来预报监测对象变化趋势的一类方法。,监测曲线形态判断法,在对变形体监测时，通常采用计算机或手工将被监测部位的某种物理量（如位移、应变等）测值的变化作出随时间而变化的曲线。一般将时间取横轴，被测物理量则被标在纵轴上。当某段曲线接近水平时，说明该被监测对象在该段时间内处于稳定或基本稳定状态；如曲线逐渐向上抬起或向下弯曲，则说明该变形体有所变化，而且曲线变化越陡表示变化越激烈。但如果曲线发生突然变化，那么这一现象有可能是即将发生灾害的重要前兆。显然，大幅度的突变，将预示着大的变化，这就是根据被监测物理量与时间关系曲线进行监测信息分析和发展趋势的曲线形态判断法。,监测曲线形态判断法,观测点正常曲线与反常曲线,1回归分析法,在对变形体多期观测所获得的大量观测数据中，隐含着变形体本身发生、发展的规律以及与外界因素之间的相互关系。回归分析方法是一种研究变量之间相关关系的统计方法，回归预测模型是一种重要的预测方法，它适合于某种预测对象与其它因素有关，从因果分析的角度来说，常常可用回归预测模型。变形体的变形一般是由内外因素引起的，可以通过在大量的监测数据的基础上，找出变量之间的内部规律，即统计上的回归关系，相应的计算方法和理论称为回归分析。,1回归分析法,1）曲线拟合,曲线拟合是趋势分析法中的一种，又称曲线回归、趋势外推或趋势曲线分析，它是迄今为止研究最多，也最为流行的定量预测方法。,式中，,为预测对象；,为预测误差；,根据不同情况合假设，可取不同的形式，而其中的,代表某些特定的参数。,幂函数趋势模型,指数趋势模型,双曲线趋势模型,修正指数模型,逻辑斯蒂（Logistic）模型,龚伯次（Gompertz）模型,对数趋势模型,多项式趋势模型,曲线模型分为线性模型和非线性模型：,1）指数模型y=aebx，取对数得到lny=lna+bx；2）对数模型y=a+blnx，取z=lnx，化为线性模型y=a+bz；3）双曲线模型y=1/(a+bx)，取z=1/y，化为线性模型z=a+bx；4）双曲线模型y=x/(a+bx)，取z=1/y,u=1/x，化为z=b+au；5）双曲线模型y=(a+bx)/x，取z=1/x，化为线性模型y=b+az。然后，利用最小二乘法求出参数a,b。,非线性模型比线性模型复杂的多，有些非线性模型可通过变换，转化为线性模型：,非线性模型拟合,2）多元线性回归分析,实际中，变形值与变形因素之间的关系并非都是线性的，常呈现曲线关系，另外，影响变形值的因素是多方面的。为此，需要解决一个变量与多个因子之间的相关关系，而且，许多因子对变量的影响还是非线性关系。,1回归分析法,对于非线性关系，可以通过变量的变换转化为线性问题。例如，多项式关系,应用变量变换,转化成线性关系,由于许多非线性问题转化线性问题来解决，因此，我们所需解决的问题可看成是一个变量与多个变量之间的线性相关问题，即多元线性回归问题。多元线性回归的中心问题是：确定对变量影响的因子及它们之间的关系运用最小二乘法求回归方程中的回归系数,多元线性回归模型,其中，设有N个变形量：有p个影响因子：,回归系数为,多元线性回归模型,由最小二乘法可求得回归系数的估值b：,由回归系数的估值可求得回归方程：,标准离差（S）检验,标准离差S用来检验回归模型的精度，其计算公式为一般要求,回归模型建立后，能否用模型进行预测，还需要进行模型检验。常用的统计检验有：标准离差（S）检验、相关系数（r）检验、显著性（F）检验和随机性（DW）检验。,相关系数（r）检验,相关系数r用来检验两个变量之间的线性相关的显著程度，其计算公式为,相关系数（r）检验,显著性（F）检验,随机性（DW）检验,DW的检验方法,DW检验判别表,回归模型的预测和置信区间的计算,回归模型的预测和置信区间的计算,回归方程显著性检验,模型中因变量与自变量之间是否存在线性关系，需要进行检验。,建立原假,求统计量,进行F检验,回归系数显著性检验,回归方程显著并不意味着每个自变量对因变量的影响都是重要的，这就需要对每个变量进行考察。如果某个变量对的作用不显著，则相应的回归系数就应为零。,进行检验原假求统计量,进行F检验,由于多元回归本身不能判断各个自变量对因变量是否都是显著的，由它所求得的回归方程不是最佳的。最佳回归方程：满足选进回归方程的因子都是显著的，而未选进回归方程的其它因子的影响不显著。,3）逐步回归计算,逐步回归计算过程：1）选第一个因子。由分析结果，对每一影响因子x与因变量y建立一元线性回归方程。由显著性检验来接纳因子进入回归方程。2）选第二个因子。对一元回归方程中已选入的因子，加入另外一个因子，建立二元线性回归方程进行检验。3）选第三个因子。根据已选入的二个因子，依次与未选入每一因子，用多元回归模型建立三元线性回归方程，进行检验来接纳因子。在选入第三个因子后，应对原先已选入回归方程的因子重新进行显著性检验。4）继续选因子。,由于自变量之间的相关性，使得多元线性回归模型在最小二乘法下，矩阵回存在接近于零的特征根，从而使得接近不可估，为此提出了一些新的估计方法，其特点是估值的有偏性，故称为回归的有偏估计。例如，岭估计；Stein估计；主成分估计；特征根估计等。,2时间序列分析模型,无论是按时间序列排列的观测数据还是按空间位置顺序排列的观测数据，数据之间都或多或少地存在统计自相关现象。然而长期以来，变形数据分析与处理的方法都是假设观测数据是统计上独立的或互不相关的，如回归分析法等。这类统计方法是一种静态的数据处理方法，从严格意义上说，它不能直接应用于所考虑的数据是统计相关的情况。,2时间序列分析模型,时间序列是指随时间变化的具有随机性的前后又有关联的一些观测数据。在变形监测数据中有很多可以看成为时间序列，时间序列分析是针对已知的历史数据进行分析，从而对我们所关心的事情作出较为准确的判断和预测。因此，时间序列在变形预测中占有重要地位。,2时间序列分析模型,时间序列分析的特点在于逐次的观测值通常是不独立的，且分析必须考虑到观测资料的时间顺序，当逐次观测值相关时，未来数值可以由过去观测资料来预测，可以利用观测数据之间的自相关性建立相应的数学模型来描述客观现象的动态特征。时间序列的影响因素很复杂，难以一一加以分析，从其作用效果来看，可以划分为四种变化特征。,2时间序列分析模型,趋势性,某个变量由于受到某些因素持续地影响，其时间序列表现为持续的上升或者下降的总体变化趋势，期间的变动幅度可能有时不等，可能是线性的，也可能是非线性的。如最近几年我国的经济增长率，由于受到各种因素的影响，其表现为持续的增长。,考察的时间序列以一年为周期，随着自然季节的变化而出现明显的季节性特征。如空调的销售，各种服装的销售等。,季节性,2时间序列分析模型,周期性,比季节性更一般，时间序列随着一个时间段的变化呈现周期性。这样的周期可以是年、月、日等。如民用住宅（商品房）的销售随着一代年轻人结婚周期的到来呈现出来的周期性。,不规则性主要是指时间序列变化的突然性和随机性。突然性的变动一般是由于目前难以预料的作用因素而引起的，其规律性或其概率难以认识和推测。随机性变动则是可以利用概率统计的方法来进行描述的变动。,不规则性,2时间序列分析模型,任何一个时间序列，可能同时具有以上几个特征，也可能是上述几个特征总的某几个特征的组合。在预测技术中，一般将不规则变动视为干扰，必须设法将其排除或过滤去掉，而将趋势性变动特征反映出来，以预测时间序列的主要变化趋势，必要时也应将季节性或周期性特征反映出来。时间序列的不同特征，要用不同的方法才能反映出来。要作好预测，首先需要认识清楚时间序列的变动特征，根据不同的特征选择不同的预测方法。,2时间序列分析模型,2.1平稳时间序列分析模型,2时间序列分析模型,2.1平稳时间序列分析模型,2时间序列分析模型,2时间序列分析模型,2时间序列分析模型,的建模方法,2时间序列分析模型,时间序列特征识别,Box法是采用先分析、后建模的处理方法，模型识别是关键。Box法以自相关分析为基础来识别模型与确定模型阶数，自相关分析就是对时间序列求其本期与不同滞后期的一系列自相关函数，以此来识别时间序列特性。由于时间序列是随着时间变化而变化的一些数据。识别时间序列特征的简单方法就是作图。如时间序列(32,16,24,10,18,22,22,12,30,16,18,24,10,26,16,24)。,2时间序列分析模型,时间序列特征识别,2时间序列分析模型,用自相关函数来判断时间序列的随机特征,2时间序列分析模型,用自相关分析时间序列特征有以下5个准则。,2时间序列分析模型,用自相关分析时间序列特征有以下5个准则,2时间序列分析模型,模型识别,2时间序列分析模型,参数估计,2时间序列分析模型,预报,2时间序列分析模型,变形监测时间序列分析实例,2时间序列分析模型,变形监测时间序列分析实例,2时间序列分析模型,变形监测时间序列分析实例,2时间序列分析模型,变形监测时间序列分析实例,2时间序列分析模型,应用算例,例:对某建筑物进行沉降观测，共30期（每月观测一次），观测数据见表，进行时序分析并预报,2时间序列分析模型,2时间序列分析模型,2时间序列分析模型,2时间序列分析模型,2时间序列分析模型,2时间序列分析模型,2.2非平稳监测数据时间序列分析方法,2时间序列分析模型,非平稳监测数据时间序列分析方法,2时间序列分析模型,非平稳时序平稳处理,2时间序列分析模型,时间序列预测方法，是一种历史资料延伸预测。主要有趋势外推和季节变动预测两类方法。趋势曲线预测是长期预测的主要方法，它是根据时间序列的发展变化趋势，配合合适的趋势曲线模型，利用模型来推测未来的趋势值。常用的趋势曲线模型有指数曲线模型、多项式曲线模型和成长曲线模型等。进行季节的分析和预测，首先应该分析时间序列是否呈季节性变动，在确定存在季节性变动之后，考虑到时间序列还受长期趋势、周期波动和不规则变动影响，所以应设法剔除上述因素的影响，以测定季节变动。常见季节预测方法有平均数趋势整理法、趋势比环法、环比法和温特斯法等。,2.3时间序列预测常用方法,2时间序列分析模型,趋势外推法,使用该法的时间序列有两个假设条件：一是假设变形过程没有跳变式变化，一般属于渐进变化；二是假设变形体变形的因素也决定变形体未来发展。大量统计资料表明，多数变形体变形规律随时间按指数或接近指数规律增长。但是，同任何事物的发展一样，变形体的变形都不能按指数规律无限外推，否则将达到离奇的程度。变形体的变形有一个极限，并且接近极限时，变形速度减慢，即曲线斜率变小，所以一般指数曲线仅适用于预测远离极限值的变形发展情况。在趋势外推法中，由于模型种类很多，为了根据历史数据正确选择模型，常常利用差分把原时间序列转换为平稳序列，即利用差分法把数据修匀，使非平稳序列达到平稳序列。很多事物发展的模型可用多项式来表示，一次多项式（线性模型）在图形上是一条直线，而一阶差分是常数，它可用来描述随时间均匀变化的过程；二次多项式在图形上是一条抛物线，一阶差分是一条直线，用来描述均匀变化的事物发展过程，二阶差分是一常数。指数曲线预测不能预测接近极限值时的特性值，因为当接近极限值时，特性值已不按指数规律变化。如果考虑极限值的影响，就会发现事物经历发生、发展到成熟的过程，每一个阶段的发展速度是不同的，这就是常用的生长曲线。,2时间序列分析模型,指数平滑预测法,3灰色系统分析模型,灰色系统理论应用于变形分析，与时序分析一样，是通过观测值自身，寻找变化规律。时序分析需要大子样的观测值，而对于小子样的观测值，只要有4个以上数据,就可以进行灰色系统建模:灰色模型GreyModel,即GM。,灰色系统：部分信息已知、部分信息未知的系统(即信息不完全的系统)。灰色系统理论是20世纪80年代由我国邓聚龙教授提出的。变形监测中灰色建模的基本思路：对离散的带有随机性的变形监测数据进行“生成”处理,达到弱化随机性、增强规律性的作用；然后由微分方程建立数学模型；建模后经过“逆生成”还原后得到结果数据。,灰色系统的生成函数,设原始数据序列为,对作一次累加生成,得到一次累加生成序列,若对作m次累加生成,则有,累加生成(AccumulatedGeneratingOperation,AGO):对原始数据序列中各时刻的数据依次累加,从而形成新的序列。,累减生成(InverseAccumulatedGeneratingOperation,IAGO):为累加生成的逆运算,即对序列中前后两数据进行差值运算。,累加生成m-AGO与累减生成m-IAGO的关系,3灰色系统分析模型,关联度分析,关联度:对于两个系统或系统中两个因素之间随时间变化的关联性大小的量度。不确定性的关联度为灰关联度。,3灰色系统分析模型,灰关联分析的步骤:,1)确定比较数列(子数列)-原因量:,参考数列(母数列)-效应量:,3灰色系统分析模型,2)求关联系数:与的关联系数为,式中,为分辨系数。越小,分辨率越大,一般为,通常取,3灰色系统分析模型,如果记,于是,可求出与对应的关联系数为,3灰色系统分析模型,3)求关联度:取各个的关联系数的平均值，灰关联度,3灰色系统分析模型,4)灰关联序:灰关联度按大小排序设灰关联序为,它表明比较数列与参考数列最接近,即对的影响最大；次之,通过关联度排序,可以确定变形的主要影响因素。在此基础上可建立GM(1,N)模型。,GM(1,1)模型,GM(1,1)模型,模型应用实例,=29.5,60.8,93.8,128.3,166.1,206.8,248.6,293.1,342.8,GM(1,n)模型,4Kalman滤波模型,Kalman滤波技术是20世纪60年代初由卡尔曼（Kalman）等人提出的一种递推式滤波算法，是一种对动态系统进行实时数据处理的有效方法。测量界开展了多方面的Kalman应用研究工作，尤其是在变形监测中的应用较为广泛。例如，用于滑坡监测的数据处理；形变测量数据的动态处理；危岩体变形趋势预报；GPS变形监测网的动态数据处理等。,4Kalman滤波模型,4.1Kalman滤波的基本原理与公式,对于动态系统，Kalman滤波采用递推的方式，借助于系统本身的状态转移矩阵和观测资料，实时最优估计系统的状态，并且能对未来时刻系统的状态进行预报，因此，这种方法可用于动态系统的实时控制和快速预报。,4Kalman滤波模型,4.1Kalman滤波的基本原理与公式,Kalman滤波的数学模型包括状态方程（也称动态方程）和观测方程两部分，其离散化形式为,为时刻的观测噪声，m维。,为时刻系统的状态向量，n维；,为时刻系统的观测向量，m维；,为时间至的系统状态转移矩阵，nn；,为时刻的动态噪声，r维；,为动态噪声矩阵，nr；,为时刻的观测矩阵，mn；,4Kalman滤波模型,4.1Kalman滤波的基本原理与公式,如果和满足如下统计特性：,式中，和分别为动态噪声和观测噪声的方差阵，是Kronecker函数，即,4Kalman滤波模型,4.1Kalman滤波的基本原理与公式,可推得Kalman滤波递推公式为：,状态预报状态协方差阵预报状态估计状态协方差阵估计,4Kalman滤波模型,4.1Kalman滤波的基本原理与公式,可推得Kalman滤波递推公式为：,状态预报状态协方差阵预报状态估计状态协方差阵估计其中，为滤波增益矩阵,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程,三维变形监测自动化系统中的典型工具是GPS和自动跟踪全站仪（RTS）。GPS监测工程变形，其监测点的位置可以是GPS的空间三维坐标（X,Y,Z）或大地坐标（B,L,H）,也可以是工程本身独立坐标系中的坐标（x,y,h）。为说明问题方便起见，以工程独立坐标系中某一测点为例，来列出变形系统的状态方程和观测方程。,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),考虑测点的位置、变形速率和加速率为状态参数，其状态方程为,式中，0和分别为三阶零矩阵和三阶单位阵；,为相邻观测时刻之差。,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),以测点的三维坐标结果作为观测量，观测方程为,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程,变形系统的状态参数选择应与所监测的对象和观测频率有关。如果被监测对象的动态性强，变化快，就有必要考虑测点的变化速率和加速率；如果被监测对象的动态性不强，变形趋势缓慢，并且观测频率较高，可仅考虑测点的变化速率，而将速率的瞬间变化视为随机干扰。此时，单一测点的状态方程和观测方程为,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),仅考虑测点的变化速率，而将速率的瞬间变化视为随机干扰。此时，单一测点的状态方程和观测方程为,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),如果将变形系统看作为离散随机线性系统，观测数据采样较密，短时间内完全可以忽略其位置的变化，即将位置的瞬间变化视为随机干扰，此时，可以采用数据窗口定长的递推式Kalman滤波，即定长递推算法进行。其单一测点的状态方程和观测方程为,4Kalman滤波模型,4.2变形监测自动化系统中Kalman滤波的应用,2.滤波初值的确定,系统滤波的初值包括：初始状态向量及其相应的方差阵动态噪声的方差阵观测噪声的方差阵,4Kalman滤波模型,4.3递推式Kalman滤波的应用实例,实施步骤为:1）由变形系统的数学模型关系式（状态方程和观测方程），确定系统状态转移矩阵、动态噪声矩阵和观测矩阵；2）利用组观测数据中的第一组观测数据，确定滤波的初值，包括：状态向量的初值及其相应的协方差阵、观测噪声的协方差阵和动态噪声的协方差阵；3）读取组观测数据，实施Kalman滤波；,4.3递推式Kalman滤波的应用实例,实施步骤为:4）存储滤波结果中最后一组的状态向量估计和相应的协方差阵；5）等待当前观测时段的数据；6）将上述组观测数据中的第一组观测数据去掉，把当前新的一组观测数据放在其最后位置，重新构成组观测数据，回到上述的第1）步，重新进行Kalman滤波。如此递推下去，达到自动滤波的目的。,4.3递推式Kalman滤波的应用实例,以隔河岩大坝GPS自动监测系统为例，来说明递推式Kalman滤波的应用。递推式滤波就是对定长的活动窗口数据进行处理，应用时，不仅要达到滤波自动化的目的，而且要确保系统的高度稳定性与安全性，计算速度要快。取拱冠点GPS6径向方向(x)的部分资料，其时段结果中有6h解和2h解。,4.3递推式Kalman滤波的应用实例,5人工神经网络模型,5.1人工神经网络的基本概念,人工神经网络的特点神经细胞的结构神经网络的处理单元处理单元的转移函数,5人工神经网络模型,5.2BP网络结构及算法,5人工神经网络模型,5.2BP网络结构及算法,BP网络的拓扑结构,5人工神经网络模型,5.2BP网络结构及算法,5人工神经网络模型,5.2BP网络结构及算法,2.BP网络的学习算法BP网络的学习过程：正向传播、误差反向传播、重复过程。网络的一般学习步骤：1）产生随机数作为节点间连接权的初值；2）计算网络的实际输出Y；3）由目标输出D与实际输出Y之差，计算输出节点的总能量E；4)调整权值；5）进行下一个训练样本，直至训练样本集合中的每一个训练样本都满足目标输出。,5人工神经网络模型,5.3BP模型在滑坡及沉降预测中的应用,例1BP模型用于在滑坡变形预测,5.3BP模型在滑坡及沉降预测中的应用,例1BP模型用于在滑坡变形预测,5人工神经网络模型,5.3BP模型在滑坡及沉降预测中的应用,例2BP模型用于在沉降预测,5人工神经网络模型,6频谱分析及其应用,原理假设任何一种无趋势的时间序列都可以分解成若干不同频率的周期波动发展过程早期的频域分析方法借助富里埃分析从频率的角度揭示时间序列的规律后来借助了傅里叶变换，用正弦、余弦项之和来逼近某个函数20世纪60年代，引入最大熵谱估计理论，进入现代谱分析阶段特点非常有用的动态数据分析方法，但是由于分析方法复杂，结果抽象，有一定的使用局限性,将时域内的观测数据序列通过傅立叶级数转换到频域内进行分析，确定时间序列的准确周期并判别隐蔽性和复杂性的周期数据。谱分析就是指对信号中所含各种频率成分的分析，通常，要得到序列的真实功率谱，需要无限长的时间序列，但实际得到的序列总是有限的，因此，我们只能由有限长的序列来估计其真实的功率谱，这样得到的功率谱就称为功率谱估计。,图1连续时间序列的频谱图图2离散时间序列的频谱图,图1为一个连续时间序列在频域中的图象，表示了频率和振幅的关系，峰值大意味着相应的频率在该时间序列中占主导地位。,图2是一个离散时间序列的频谱图，从图上我们同样可以找到所含的主频率。,6频谱分析及其应用,频谱分析是动态观测时间序列研究的一个途径。该方法是将时域内的观测数据序列通过傅立叶级数转换到频域内进行分析，它有助于确定时间序列的准确周期并判别隐蔽性和复杂性的周期数据。,由于谱分析在信号检测中具有重要的作用，因而对于功率谱估计的研究一直是一个热点问题。目前，被广泛应用的功率谱估计可分为两大类：非参数谱估计法和参数谱估计法非参数谱估计又称为经典谱估计，主要包括周期图法和自相关法。周期图法是直接求随机样本信号本身的傅立叶变换（FourierTransform）得到功率谱，也称为直接法；自相关法是在时域上先求样本序列的自相关函数，然后再通过傅立叶变换得到功率谱，也称为间接法或Blackman-Tukey法。因为它们都不需要事先给出关于谱的任何函数形式，故而把它们称为非参数谱估计，参数法谱估计的功率谱依赖于所采用的模型参数，它包括自回归（AR）谱估计（又称为最大熵谱估计）滑动平均谱估计以及自回归滑动平均谱估计和极大似然谱估计。,频域分析方法,经典功率谱估计包括周期图法和Blackman-Tukey法，他们都是通过傅立叶变换将时间序列转换到频域，分析其频谱特征。傅立叶级数是将周期函数f(t)表达成无数个正弦和余弦谐波分量之和。谐波的要素是波的振幅、相位和频率。对于任一非周期函数，只要满足一定条件都可以看作是周期趋向无穷大的周期函数的极限情况。用傅立叶级数公式推导，将非周期时间函数转为频率函数，以此进行时频特性分析，即为傅立叶变换。,用傅立叶分析实际问题，连续函数的解析式是难以得到的，而且计算时需用离散观测序列，以求和代替积分运算。因此就形成离散傅立叶变换和级数的问题。虽然用计算机与离散傅立叶变换和级数相配合，使得计算任何一个性能相当良好的函数的傅立叶变换和级数成为可能。但由于计算工作量实在太大以致影响实用。直到60年代中期，快速傅立叶变换（FFT）的出现，才解决了实用计算。FFT实际上并不是一种变换，但它却是离散傅立叶变换的一种很有效的算法。,FFT的基本思想,如前所述FFT并不是离散傅立叶变换（DFT）不同的另一种变换，而是为了减少DFT计算次数的一种有效算法，因而要很好理解FFT，首先必须对DFT有充分的理解。1、离散傅立叶变换傅立叶变换是信号处理和分析的一个重要工具，它将数据序列从时域变换到频域上来进行分析，可有效的研究和发现包含在数据序列中的周期特性，从而能更清楚的了解序列的动态特征。,假定x(t)是时间t的非周期实函数，其傅立叶变换式为：其中x()为x(t)的频谱，它表示x(t)的值按频率的分布，而x()2表示信号x(t)的能量按频率分布的情况，故称x()2为能谱密度。但是由于在实际过程中的采样都是离散和有限的，即使对于连续信号，在应用计算机时也需要进行截断并离散化，这些离散后的序列均满足傅立叶变换的条件，因此在实际处理时都可采用离散傅立叶变换。,为的逆傅立叶变换，记为：,通常是一个复数，可表示为：,实部虚部振幅频谱，相位谱。,假定有一离散时间序列x(t),t=1,2,3N其观测间隔为t,它不含明显的趋势项(如果有,可以通过多项式拟合剔除),相应的测量频率为f=1/t。根据上面的傅立叶变换式,得到离散傅立叶变换计算公式式为:k=0,1,2,N-1其中,由此可见时域中周期信号的周期T对应频域中等间隔离散频率的离散间隔f，即f=1/T;而等间隔离散时间信号的离散间隔t对应于频域周期频率的周期f,即f=1/t。离散傅立叶变换是傅立叶变换的离散形式。它能将时域中的取样信号变换成频域中的取样信号表达式。对时域中真实信号进行数字化并完成离散傅立叶变换，便形成信号的频域表示。因此，离散傅立叶变换不仅仅是一种分析工具，还可信号分析仪中直接计算而得所需要的结果。,对于离散傅立叶变换式来说，所要求的复数乘法与加法运算的次数与N2成正比运算量较大，因此库利图基于1965年提出了一种非常有效的计算离散傅立叶变换的算法快速傅立叶变换（FFT）。2、快速傅立叶变换（FFT）FFT是实施离散傅立叶变换的一种及其迅速而有效的算法。FFT算法通过仔细选择和重新排列中间结果，在速度上较之离散傅立叶变换有明显的优点。忽略数学计算中精度的影响时，无论采用的是FFT还是DFT，结果都一样。,2020/4/30,157,凡是可以利用傅立叶变换来进行分析、综合、变换和处理的地方，都可以利用FFT算法及数字计算技术来加以实现。FFT在数字通讯、语言信号处理、图像处理、匹配滤波器以及功率谱估算、仿真、系统分析、数值分析等各个领域都得到广泛的应用。利用FFT对信号进行谱分析所谓谱分析是在频域内研究信号的某种特征随频率的分布，如幅度谱、功率谱；或者说，计算信号的频谱，并由此计算出幅度谱和功率谱。这有助于了解信号的特点，因而对信号进行谱分析是相当重要的。,1、单标量过程的功率谱定义：若用x(t)表示任一标量过程，其功率谱定义式中R（）为过程的自相关函数，定义为：R（）=EX（t）X（t+）在实际问题中，大都是有限长度的记录估计功率谱，此时需根据以上两式对具体的具体的计算公式作一些调整。若给定的有限记录可表示为Xn，n=1，2，N。根据统计理论，自相关函数可改写为：,为便于计算，上式可近似为：相应的功率谱可以表示为：,式中的F（）为傅立叶变换系数,可通过FFT计算得出。若要精确的求得xn的功率谱，根据定义可知需无穷长的序列，而实际计算的序列往往是有限的，所以，由此得到的功率谱只是对真实谱的一种近似或叫估计，所以在S（）上用符号“”加以区别真实谱。2、功率谱分析功率谱分析就是通过能量相对于频率的分布来确定构成波面(t)各组成波的相对大小，并依据在线性下导出的功率谱矩与外观特征量之间的理论关系，来确定该标量过程的外观统计特征。,参数模型法谱估计,经典方法原理简单，便于实现，但它的方差性能较差，分辨率较低。方差性能差的原因是无法实现功率谱原始定义中的求均值和求极限运算；分辨率低是因为对周期图法假定数据窗以外的数据全为零，对自相关法是假定延迟窗外的数据为零。由于这种不符合实际的假设产生了经典谱估计较差的分辨率。以参数模型法为主要内容的现代谱估计旨在有效的改善谱估计的分辨率，参数模型法是指利用已观测到的数据，选择一个好的模型，然后利用已知的自协方差函数或数据求模型的参数、进而利用求出的模型参数估计该信号的功率谱。,基于参数建模的功率谱估计方法的基本思路,假定所研究的过程是由一个输入序列激励一个线性系统的输出；由已知的序列或其自相关函数估计出系统的参数；根据的参数估计序列的功率谱。,AR模型谱估计原理,设有一线性非时变系统，它的冲击响应为，若输入一平稳随机信号，则其输出仍为一平稳随机信号，且其输出功率谱和输入功率谱之间有如下关系：,一个离散时间系统的输入、输出之间的关系可用如下的差分方程描述，即：,对上式做Z变换可得：,则系统的传递函数为：,若输入是方差为的白噪声，则输出的功率谱为：,（1）如果模型参数全为零，,称为阶自回归（auto-regression）模型，简称AR模型,（2）如果全为零,称为滑动平均模型（moving-average）模型，简称MA模型,（3）若不全为零，则称为自回归滑动平均模型,AR模型参数提取的算法,对于AR模型,对上式两边同乘以，并求均值，得,由于输入是方差为的白噪声，即上式整理可得：,上式写成矩阵形式：,上述两式即是AR模型的正则方程，又称为YuleWalker方程。系数矩阵对称而且沿着和主对角线平行的任一条对角线上得元素都相等，称为Toeplitz矩阵,根据线性预测原理，求解其系数的算法主要包括自相关法、Burg算法、改进的协方差法等，自相关法是令序列前向预测误差功率最小，Burg算法是使序列的前后向预测误差功率之和最小，改进的协方差方法不仅使前后向预测误差功率之和最小，而且要求它相对于模型参数也是最小。在自相关法、Burg法与改进协方差法中，改进的协方差的谱估计性能最好，但计算比较复杂；自相关法的计算最为简单，但谱估计的分辨率相对较差；Burg方法是较为通用的方法，计算不太复杂，且具有较好的谱估计质量。,最小二乘谱分析:快速傅立叶变换是谱分析最常用的方法，这种方法的特点在于数据必须等间隔、等权、连续和平稳。对于不满足这些条件的数据处理，快速傅立叶变换采用的方法是通过数据内插如线性内插使间断的数据连续，使不等间距数据等间距化以及提取趋势项，修正数据漂移等使之平稳连续。-由Vanicek(1970)提出的最小二乘谱分析针对了快速傅立叶变换的不足和局限性，将最小二乘原理用于谱分析之中，该方法具有以下的优越性：（1）系统误差可以得到严格抑制，而不产生谱峰的漂移；（2）不等间距的序列不需要预处理；（3）可以处理具有协方差矩阵的时间序列；（4）能进行谱峰显著性的统计检验。,最小二乘谱分析,小波分析技术在测量数据处理中的应用初探,小波分析(WaveletAnalysis)是1986年以来由Y.Meyer，S.Mallat及L.Daubechies等的奠基工作而迅速发展起来的一门应用数学学科，它是泛函分析、Fourier分析、样条分析、调和分析的完美结合，是当前数学家关注和研究的一个热点；也是傅里叶分析发展史上的一个里程碑。,小波分析是傅里叶分析思想方法的发展与延拓，它的核心内容是小波变换。小波函数源于多分辨分析，多分辨分析（MulG-RcsolulionAnalys-isMRA），又称多尺度分析，是建立在函数空间概念基础上的理论。,小波函数对于函数，若满足相容性条件时，称为小波函数或基小波，它通过平移和缩放产生的一个函数族称为由小波基生成的依赖参数a，b的分析小波或连续小波，其中a为尺度因子，b为平移因子。,容许性条件：时，小波变换是可逆的，且具有以下重构公式(小波反变换)：在实际中，对信号的分析一般运用二进离散小波变换对含噪信号进行分析。,小波分析进行测量数据处理前提,前提：将测量所取得的数据用信号序列x(t)来表示，该序列可看成s(t)和e(t)两部分组成，即x(t)=s(t)+e(t)其中s(t)是“有用信号”部分，即观测数据中无误差或是误差较小的部分；e(t)是噪声信号部分，即误差部分。在本文的处理过程中提到的信号都是指观测数据序列。,用小波分析进行数据去噪的关键是小波函数的选取、分解层数的确定以及阈值的选取与量化。在测量数据处理方面Daubechies小波占有很大的优势。当然，对于具体的数据序列，也不能笼统地说用Daubechies小波效果就是最佳的。,对于时间序列x(t)的傅立叶级数展开式为:,式中，f=1/T为x(t)的基本频率；,对于时间序列x(t)的傅立叶级数展开式也可写为:,