变形分析与建模的基本理论和方法.ppt

变形监测数据处理 第六章 变形分析与建模的基本理论与方法,许承权 30141842第六章 变形分析与建模的基本理论与方法,6.1 回归分析法 6.2 时间序列分析模型 6.3 灰色系统分析模型 6.4 Kalman滤波模型 6.5 人工神经网络模型 6.6 频谱分析及其应用,6.1 回归分析法,一、曲线拟合,几类典型的趋势模型: 1 多项式趋势模型 2 对数趋势模型 3 幂函数趋势模型,6.1 回归分析法,一、曲线拟合,几类典型的趋势模型: 4 指数趋势模型 5 双曲线趋势模型 6 修正指数模型,6.1回归分析法,一、曲线拟合回归参数的最小二乘估计,例1，某水电站为了监测和预报库水位和大坝坝基沉陷量之间的关系，统计了某年12个月的月平均库水位和沉陷量的数据如表所示，试分析库水位与坝基沉陷量之间的关系。,一、曲线拟合回归参数的最小二乘估计,现以X轴表示库水位，以Y轴表示大坝坝基沉陷量，作散点图，由图认为，这些散点的分布可用一条直线方程表示，即,，这是一元回归分析问题。,6.1 回归分析法,6.1 回归分析法,6.1 回归分析法,或，,6.1 回归分析法,6.1 回归分析法,例2：用例1观测的数据，求出表示大坝库水位和坝基沉陷量之间的一元线性回归方程。,6.1 回归分析法,6.1 回归分析法,当采用多项式模型进行拟合，多项式模型中的阶数n，事先并不知道。 比较科学的方法应采用建模法。,dsmin=999999; for i=1:100 %讨论1：这里的多项式次数i并不是越大越好 dp,ds,dmu= polyfit(dx,dy,i); %讨论2：这里的ds用来计算拟合误差 dyi,ddelta=polyval(dp,dxi,ds,dmu); %计算dxi对应的dyi if dsminds.normr dsmin=ds.normr; imin=i; end; end;,二、多元线性回归分析,一元线性回归模型中只有一个自变量，但在实际问题中，影响变量Y的因素往往不只一个，而包含多种影响的多个自变量，例如在大坝变形监测中，影响大坝的位移Y的因素有温度、水位压力等多个自变量，这就是多元回归问题。而且，许多因子对变量的影响还是非线性关系。,6.1 回归分析法,对于非线性关系，我们可以通过变量的变换转化为线性问题。例如，多项式关系,应用变量变换,转化成线性关系,6.1 回归分析法,由于许多非线性问题转化线性问题来解决，因此，我们所需解决的问题可看成是一个变量与多个变量之间的线性相关问题，即多元线性回归问题。 多元线性回归的中心问题是： 确定对变量影响的因子及它们之间的关系 运用最小二乘法求回归方程中的回归系数,6.1 回归分析法,1. 多元线性回归模型,其中，设有N个变形量： 有p个影响因子：,回归系数为,6.1 回归分析法,1. 多元线性回归模型,由最小二乘法可求得回归系数的估值b：,由回归系数的估值可求得回归方程：,6.1 回归分析法,6.1 回归分析法,在实际问题中，我们事先并不能断定x与y之间有线性关系，如在一元回归分析中，试验点不那么接近一条直线，这时也可用最小二乘法得到一条回归直线，但这条直线并没有很好地反映变量x和y的实际关系，没有应用价值，因此，必须有一个数量性指标来描述两个变量间线性相关的程度，这一指标通常采用相关系数。,2. 回归方程显著性检验,模型 中因变量 与自变量 之间是否存在线性关系，需要进行检验。,建立原假设,求统计量,进行F检验,6.1 回归分析法,6.1 回归分析法,3. 回归系数显著性检验,回归方程显著并不意味着每个自变量 对因变量 的影响都是重要的，这就需要对每个变量进行考察。如果某个变量 对 的作用不显著，则相应的回归系数 就应为零。,进行检验原假设 求统计量,进行F检验,6.1 回归分析法,由于多元回归本身不能判断各个自变量对因变量是否都是显著的，由它所求得的回归方程不是最佳的。 最佳回归方程：满足选进回归方程的因子都是显著的，而未选进回归方程的其它因子的影响不显著。,三、逐步回归计算,例3：试用相关系数检验该直线回归方程的显著性。,逐步回归计算过程： 1.选第一个因子。由分析结果，对每一影响因子x与因变量y建立一元线性回归方程。由显著性检验来接纳因子进入回归方程。 2. 选第二个因子。对一元回归方程中已选入的因子，加入另外一个因子，建立二元线性回归方程进行检验。,6.1 回归分析法,6.1 回归分析法,逐步回归计算过程： 3.选第三个因子。根据已选入的二个因子，依次与未选入每一因子，用多元回归模型建立三元线性回归方程，进行检验来接纳因子。 在选入第三个因子后，应对原先已选入回归方程的因子重新进行显著性检验。 4.继续选因子。,由于自变量之间的相关性，使得多元线性回归模型 ，在最小二乘法下， 矩阵会存在接近于零的特征根，从而使得 接近不可估，为此提出了一些新的估计方法，其特点是估值的有偏性，故称为回归的有偏估计。例如，岭估计；Stein估计；主成分估计；特征根估计等。,6.1 回归分析法,Matlab的Curve Fitting 工具箱,Matlab的逐步回归工具箱,load hald stepwisefit(ingredients, heat, penter, .08),6.2 时间序列分析模型,观测数据之间呈现相关性, 对时间序列 (t= ,1,2,3, ) 有数学模型,对模型f取线性形式,且假定at是白噪声序列,其均值为零,当取有限项时,模型成为,为自回归过程,记作AR(p)。现用线性推移算子Bk表示,即,代入得,6.2 时间序列分析模型,令,顾及Bk为线性推移算子,则,则,此式为滑动平均过程,记作MA(q),6.2 时间序列分析模型,称为自回归滑动平均过程,记为ARMA(p,q),实际中,要进行模拟,既包括自回归部分,也包括滑动平均部分,这时数学模型为,6.2 时间序列分析模型,6.3 灰色系统分析模型,一、基本概念,灰色系统理论应用于变形分析，与时序分析一样，是通过观测值自身，寻找变化规律。时序分析需要大子样的观测值，而对于小子样的观测值，只要有4个以上数据,就可以进行灰色系统建模:灰色模型Grey Model,即GM。,6.3 灰色系统分析模型,灰色系统：部分信息已知、部分信息未知的系统(即信息不完全的系统)。灰色系统理论是20世纪80年代由我国邓聚龙教授提出的。 变形监测中灰色建模的基本思路： 对离散的带有随机性的变形监测数据进行“生成”处理, 达到弱化随机性、增强规律性的作用； 然后由微分方程建立数学模型； 建模后经过“逆生成”还原后得到结果数据。,6.3 灰色系统分析模型,二、灰色系统的生成函数,1. 累加生成(Accumulated Generating Operation, AGO): 对原始数据序列中各时刻的数据依次 累加, 从而形成新的序列。,6.3 灰色系统分析模型,设原始数据序列为,对 作一次累加生成,得到一次累加生成序列,若对 作m次累加生成, 则有,6.3 灰色系统分析模型,2. 累减生成(Inverse Accumulated Generating Operation,IAGO): 为累加生成的逆运算, 即对序列中前后两数据进行差值运算。,6.3 灰色系统分析模型,累加生成m-AGO与累减生成m-IAGO的关系,6.3 灰色系统分析模型,三、关联度分析,关联度: 对于两个系统或系统中两个因素之间随时间变化的关联性大小的量度。 不确定性的关联度为灰关联度。,6.3 灰色系统分析模型,灰关联分析的步骤:,1. 确定 比较数列(子数列)-原因量:,参考数列(母数列)-效应量:,6.3 灰色系统分析模型,2. 求关联系数: 与 的关联系数为,式中, 为分辨系数。 越小,分辨率越大, 一般为 , 通常取,6.3 灰色系统分析模型,如果记,于是, 可求出 与对应 的关联系数为,则,6.3 灰色系统分析模型,3. 求关联度: 取各个的关联系数的平均值， 灰关联度,6.3 灰色系统分析模型,4. 灰关联序:灰关联度按大小排序 设灰关联序为 ,它表明比较数列 与参考数列 最接近, 即对 的影响最大； 次之, 通过关联度排序, 可以确定变形的主要影响因素。在此基础上可建立GM(1,N)模型。,6.3 灰色系统分析模型,四、 GM(1,N)模型,如果将关联度分析所确定的变形影响原因量（N-1）个序列和效应量序列一起构成N个序列，每个序列有n个数值：,其中，效应量序列为,6.3 灰色系统分析模型,对 作一次累加生成，即,则,建立白化形式的微分方程：,这就是1阶N个变量的微分方程模型，记为GM(1,N),6.3 灰色系统分析模型,将GM(1,N)微分方程模型离散化，写成矩阵形式：,其中，,6.3 灰色系统分析模型,简写为：,按最小二乘法求解，得,将求得的参数值 代入微分方程中，对微分方程求解，可得效应量的离散关系式：,6.3 灰色系统分析模型,这样我们便可以根据k时刻的已知值（原因量）：,来预测同一时刻的效应量 ，并求其还原值：,6.3 灰色系统分析模型,五、 GM(1,1)模型及其在沉降预测中的应用,对于n个数值的离散序列：,一次累加生成序列为,由生成序列建立一阶微分方程：,记为GM(1,1),6.3 灰色系统分析模型,按最小二乘法求解，得白化值：,式中，,6.3 灰色系统分析模型,求得参数值 后，代入微分方程中，对微分方程求解，可得,对 作累减生成，可得其还原值：,6.4 Kalman滤波模型,Kalman滤波技术是20世纪60年代初由卡尔曼（Kalman）等人提出的一种递推式滤波算法，是一种对动态系统进行实时数据处理的有效方法。 测量界开展了多方面的Kalman应用研究工作，尤其是在变形监测中的应用较为广泛。例如，用于滑坡监测的数据处理；形变测量数据的动态处理；危岩体变形趋势预报；GPS变形监测网的动态数据处理等。 本节着重介绍Kalman滤波的基本原理及其在GPS变形监测自动化系统中的应用问题。,6.4 Kalman滤波模型,一、Kalman滤波的基本原理与公式,对于动态系统，Kalman滤波采用递推的方式，借助于系统本身的状态转移矩阵和观测资料，实时最优估计系统的状态，并且能对未来时刻系统的状态进行预报，因此，这种方法可用于动态系统的实时控制和快速预报。,6.4 Kalman滤波模型,一、Kalman滤波的基本原理与公式,Kalman滤波的数学模型包括状态方程（也称动态方程）和观测方程两部分，其离散化形式为,为 时刻的观测噪声，m维。,为 时刻系统的状态向量，n维；,为 时刻系统的观测向量，m维；,为时间 至 的系统状态转移矩阵，nn；,为 时刻的动态噪声，r维；,为动态噪声矩阵，nr；,为 时刻的观测矩阵，mn；,6.4 Kalman滤波模型,一、Kalman滤波的基本原理与公式,如果 和 满足如下统计特性：,式中， 和 分别为动态噪声和观测噪声的方差阵， 是Kronecker函数，即,6.4 Kalman滤波模型,一、Kalman滤波的基本原理与公式,可推得Kalman滤波递推公式为：,状态预报 状态协方差阵预报 状态估计 状态协方差阵估计,6.4 Kalman滤波模型,一、Kalman滤波的基本原理与公式,可推得Kalman滤波递推公式为：,状态预报 状态协方差阵预报 状态估计 状态协方差阵估计 其中， 为滤波增益矩阵,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程,三维变形监测自动化系统中的典型工具是GPS和自动跟踪全站仪（RTS）。GPS监测工程变形，其监测点的位置可以是GPS的空间三维坐标（X,Y,Z）或大地坐标（B,L,H）,也可以是工程本身独立坐标系中的坐标（x,y,h）。为说明问题方便起见，以工程独立坐标系中某一测点为例，来列出变形系统的状态方程和观测方程。,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),考虑测点的位置 、变形速率 和加速率 为状态参数，其状态方程为,式中，0和 分别为三阶零矩阵和三阶单位阵； ,为相邻观测时刻之差。,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),以测点的三维坐标结果作为观测量，观测方程为,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程,变形系统的状态参数选择应与所监测的对象和观测频率有关。 如果被监测对象的动态性强，变化快，就有必要考虑测点的变化速率和加速率； 如果被监测对象的动态性不强，变形趋势缓慢，并且观测频率较高，可仅考虑测点的变化速率，而将速率的瞬间变化视为随机干扰。此时，单一测点的状态方程和观测方程为,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),仅考虑测点的变化速率，而将速率的瞬间变化视为随机干扰。此时，单一测点的状态方程和观测方程为,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,1.测点的状态方程和观测方程(续),如果将变形系统看作为离散随机线性系统，观测数据采样较密，短时间内完全可以忽略其位置的变化，即将位置的瞬间变化视为随机干扰，此时，可以采用数据窗口定长的递推式Kalman滤波，即定长递推算法进行。其单一测点的状态方程和观测方程为,6.4 Kalman滤波模型,二、变形监测自动化系统中Kalman滤波的应用,2.滤波初值的确定,系统滤波的初值包括： 初始状态向量及其相应的方差阵 动态噪声的方差阵 观测噪声的方差阵,6.4 Kalman滤波模型,三、递推式Kalman滤波的应用实例,实施步骤为: 1）由变形系统的数学模型关系式（状态方程和观测方程），确定系统状态转移矩阵、动态噪声矩阵和观测矩阵； 2）利用组观测数据中的第一组观测数据，确定滤波的初值，包括：状态向量的初值及其相应的协方差阵、观测噪声的协方差阵和动态噪声的协方差阵； 3）读取组观测数据，实施Kalman滤波；,6.4 Kalman滤波模型,三、递推式Kalman滤波的应用实例,实施步骤为: 4）存储滤波结果中最后一组的状态向量估计和相应的协方差阵； 5）等待当前观测时段的数据； 6）将上述组观测数据中的第一组观测数据去掉，把当前新的一组观测数据放在其最后位置，重新构成组观测数据，回到上述的第1）步，重新进行Kalman滤波。如此递推下去，达到自动滤波的目的。,6.4 Kalman滤波模型,6.5 人工神经网络模型,人工神经网络是一种模拟人脑功能的信息处理系统。 它主要借鉴了人脑神经系统处理信息的过程，以数学网络拓扑结构为理论基础。 自从人工神经网络这一技术诞生以来，它己经被应用于许多领域，如用于大坝变形预测、股票市场预测、工业控制、疾病诊断、光谱分析、降雨径流模拟、河川径流预报、水质参数预报以及水库调度决策等方面。,6.5 人工神经网络模型,神经网络的基本单元称为神经元，神经元是构成神经网络的最基本单元，它是对生物神经元的简化与模拟。神经元的特性在某种程度上决定了神经网络的总体特性。 人工神经元是生物神经元的一种近似，在功能上讲是一种逼近。 大量简单神经元的相互连接即构成了神经网络。神经元一般是一个多输入、单输出的非线性元件。 在人工神经网络中，神经元常被称为“处理单元”，有时从网络的观点出发又称为“节点”。,6.5 人工神经网络模型,人工神经网络的工作过程可分为训练和测试两个阶段。 在训练阶段，以一组输入模式对和一组输出模式对作为训练样本集来训练网络。网络训练的过程是网络参数(包括权值、阈值等等)和结构(比如BP、RBF网络)的调整过程。在测试运行阶段，给定新的输入，网络便可以计算得到相应的输出。,6.5 人工神经网络模型,人工神经网络以巨量并行性、高度的容错能力、信息加工与存储的一体化、自组织和自学习功能为主要特征，从随机选定的权重开始，经过多次学习和训练样本，同时反复修正计算误差，以至进行到训练样本的网络输出等于或接近合理的标准值为止。 即当网络的所有实际输出与理想输出一致时，表明训练结束，否则通过实际输出与理想输出的误差来修改连接权值与相应的阈值。,6.5 人工神经网络模型,二、BP网络结构及算法,BP网络的拓扑结构,6.5 人工神经网络模型,二、BP网络结构及算法,2. BP网络的学习算法 BP网络的学习过程：正向传播、误差反向传播、重复过程。 网络的一般学习步骤： 1）产生随机数作为节点间连接权的初值； 2）计算网络的实际输出Y； 3）由目标输出D与实际输出Y之差，计算输出节点的总能量E； 4) 调整权值； 5）进行下一个训练样本，直至训练样本集合中的每一个训练样本都满足目标输出。,6.5 人工神经网络模型,三、BP模型在滑坡及沉降预测中的应用,例1 BP模型用于在滑坡变形预测,6.5 人工神经网络模型,三、BP模型在滑坡及沉降预测中的应用,例1 BP模型用于在滑坡变形预测,6.5 人工神经网络模型,三、BP模型在滑坡及沉降预测中的应用,例2 BP模型用于在沉降预测,6.5 人工神经网络模型,Matlab神经网络工具箱 最新版本的Matlab神经网络工具箱几乎涵盖了所有的神经网络的基本常用模型。 如感知器(perceptron)、Bp网络(Back propagation)、径向基函数网络(Radial Basis Network)、自组织映射网络(Self-organizing Map)等，对于各种不同的网络模型，神经网络工具箱集成了多种学习算法。 另外，工具箱还给出了大量的示例程序和帮助文档，能够快速的帮助用户掌握工具箱的应用方法。,6.5 人工神经网络模型,6.5 人工神经网络模型,算例1：大坝变形监测数据 ex651nnDam.m 算例2：大范围GPS高程拟合 ex652nnGeoin.m,6.6 频谱分析及其应用,一、线性系统原理,动态变形观测理想化的线性系统,系统 （变形体）,输入x(t),(作用荷载),输出y(t),(观测的变形值),6.6 频谱分析及其应用,一、线性系统原理,含有测量误差的线性系统,线性系统,x(t),y(t),6.6 频谱分析及其应用,二、频谱分析法,频谱分析是动态观测时间序列研究的一个途径。该方法是将时域内的观测数据序列通过傅立叶级数转换到频域内进行分析，它有助于确定时间序列的准确周期并判别隐蔽性和复杂性的周期数据。,6.6 频谱分析及其应用,二、频谱分析法,图6-11为一个连续时间序列在频域中的图象，表示了频率和振幅的关系，峰值大意味着相应的频率在该时间序列中占主导地位。图6-12是一个离散时间序列的频谱图，从图上我们同样可以找到所含的主频率。,图6-11