第9章系统建模灰箱方法PPT演示课件

控制相关专业研究生选修课程,系统建模方法,马宏军,东北大学信息学院控制理论与导航技术研究所,2013年3月,逸夫楼203,第9章系统建模灰箱方法,1、问题的提出,1、问题的提出,辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。,Process,Input,Output,a,b,1、问题的提出,辨识目的：根据过程所提供的测量信息，在某种准则意义下，估计模型的未知参数。,Process,Input,Output,m次独立试验的数据,1、问题的提出,m次独立试验的数据,1、问题的提出,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,1795年，高斯提出的最小二乘的基本原理是,1、问题的提出,Gauss（1777-1855）,2、最小二乘辨识方法的基本概念,通过试验确定热敏电阻阻值和温度间的关系,当测量没有任何误差时，仅需2个测量值。每次测量总是存在随机误差。,2.1利用最小二乘法求模型参数,根据最小二乘的准则有,根据求极值的方法，对上式求导,2.1利用最小二乘法求模型参数,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,若考虑被辨识系统或观测信息中含有噪声,如果定义,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,最小二乘法的几何解释,2.2一般最小二乘法原理及算法,最小二乘法的几何解释,2.2一般最小二乘法原理及算法,最小,证明：,2.2一般最小二乘法原理及算法,如果由测量噪声及模型误差等引起的误差V的均值为0，且V与输入矢量Hm是统计独立，最小二乘的估计值是无偏的。,证明：,根据第（1）式的证明，显然有,2.2一般最小二乘法原理及算法,证明：,2.2一般最小二乘法原理及算法,2.2一般最小二乘法原理及算法,解：由题意得量测方程,2.2一般最小二乘法原理及算法,2.3加权最小二乘法原理及算法,一般最小二乘估计精度不高的原因之一是对测量数据同等对待各次测量数据很难在相同的条件下获得的有的测量值置信度高，有的测量值置信度低对不同置信度的测量值采用加权的办法分别对待置信度高的，权重取得大些；置信度低的，权重取的小些,2.3加权最小二乘法原理及算法,2.2加权最小二乘法原理及算法,2.3加权最小二乘法原理及算法,2.3加权最小二乘法原理及算法,马尔可夫估计,2.3加权最小二乘法原理及算法,例3.2用2台仪器对未知标量各直接测量一次，量测量分别为z1和z2，仪器的测量误差均值为0，方差分别为r和4r的随机量，求其最小二乘估计，并计算估计的均方误差。,2.3加权最小二乘法原理及算法,解：由题意得量测方程,例3.4考虑仿真对象,选择如下的辨识模型进行一般的最小二乘参数辨识。,2.3加权最小二乘法原理及算法,4阶M序列,输出信号,一般最小二乘参数辨识流程图,3.3递推最小二乘法原理及算法,一般最小二乘或加权最小二乘为一次完成算法或批处理算法。,计算量大、存储大、不适合在线辨识。,采用参数递推估计递推最小二乘算法。,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,如果设,则有,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,令,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,例3.5对3.4采用递推最小二乘估计辨识模型参数,选择如下的辨识模型进行递推最小二乘参数辨识。,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,数据饱和后，由于递推计算的舍入误差，不仅新的观测值对参数估计不起修正作用，反而使失去正定性，导致估计误差增加。,3.3递推最小二乘法原理及算法,当系统参数随时间变化时，因新数据被旧数据所淹没，递推算法无法直接使用。为适应时变参数的情况，修改算法时旧数据的权重(降低)，增加新数据的作用。,3.3递推最小二乘法原理及算法,矩形窗,3.3递推最小二乘法原理及算法,矩形窗,3.3递推最小二乘法原理及算法,指数窗,3.3递推最小二乘法原理及算法,3.3递推最小二乘法原理及算法,指数窗,参数快时变小,参数慢时变大,由上述最小二乘参数辨识的统计特性可知，当在量测噪声的均值为0时，才能保其估计值是无偏的。,在实际工程和社会系统的辨识中，量测噪声Vm是各种系统内外扰动和结构建模误差等因素的综合反映；Vm不一定为统计独立的白噪声。,3.4.1处理有色噪声扰动的最小二乘类方法,3.4.1处理有色噪声扰动的最小二乘类方法,当量测噪声Vm不是统计独立的白噪声。,量测噪声Vm是有色噪声，如何获得无偏估计？,增广最小二乘法广义最小二乘法辅助变量法多级最小二乘法偏差补偿最小二乘法,不同的有色噪声特性不同的有色噪声模型不同的辨识要求,3.4.2增广最小二乘法原理及算法,平稳相关序列,由关于有色噪声的结论和假设可知，平稳的相关扰动v(k)可被建模如下,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,当上述观测数据向量h(k)精确已知时，利用前面讨论的批处理最小二乘法可求得向量的最小二乘估计值。,向量h(k)中包含有不可测的噪声量v(k-1)，.，v(k-n)对自回归模型并不能直接用最小二乘方法.用递推参数估计在线估计噪声v(k)以实现模型参数在线递推估计,循环估计参数,在递推估计过程中，假设当前或前一步的在线参数估计值已相当程度可用的前提下,3.4.2增广最小二乘法原理及算法,利用该参数估计值来在线估计白噪声v(k)的值以替代数据向量h(k)中的白噪声v(k),噪声v(k)的具体的估计算法是如下的事后估计或事前估计算法:,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,渐消记忆递推增广最小二乘法,3.4.2增广最小二乘法原理及算法,增广最小二乘参数和噪声v(k)的估计可交替进行计算,事前估计：,3.4.2增广最小二乘法原理及算法,例3.6考虑理想数学模型为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,下面给出随机线性离散系统在线辨识的伪代码,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,3.4.2增广最小二乘法原理及算法,也可采用事前估计,例3.7考虑如图下所示的仿真对象,辨识中,选择如下模型结构y(k)+a1y(k-1)+a2y(k-2)=b1u(k-1)+b2u(k-2)+v(k)+c1v(k-1)+c2v(k-2),v(k)是服从均值为零,方差为1的正态分布的不相关随机噪声;输入信号u(k)采用伪随机二进制序列;通过控制v值来改变数据的噪信比.,3.4.2增广最小二乘法原理及算法,计算机仿真结果(噪信比=23%,数据组数1000),3.4.2增广最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,遗忘因子=1时递推辨识结果,噪声估计误差,3.4.2增广最小二乘法原理及算法,遗忘因子=0.98时递推辨识结果,噪声估计误差,3.4.2增广最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,增广最小二乘法是最小二乘法的一种简单推广只是扩充了参数向量和数据向量h(k)的维数辨识过程模型参数的同时辨识噪声模型就这种意义上说，可称之为增广最小二乘法噪声模型参数估计的收敛过程比过程模型参数估计值的收敛速度慢从实用角度来说，噪声模型阶次不宜取太高,3.4.2增广最小二乘法原理及算法,增广最小二乘算法的特点,3.4.2增广最小二乘法原理及算法,课后作业,查阅相关系统辨识书籍根据递推最小二乘的工作流程图画出递推增广最小二乘的流程图,3.4.2增广最小二乘法原理及算法,对于有色噪声v(k)，可通过对噪声建模的方式来使其估计为无偏估计。,噪声模型参数估计比过程模型参数估计的收敛速度慢噪声模型的阶次不能太高实际工程中存在一些系统，其噪声模型阶次很高建模精度和应用比较困难,广义最小二乘法引入一个白色滤波器，将相关残差过滤成白色残差。,3.4.2增广最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,形成滤波器,未知的、稳定的、有限阶的线性滤波器,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,两边左乘线性滤波器N(z-1),记为,用最小二乘法估计A(z-1)和B(z-1),用最小二乘法估计N(z-1),修正滤波器N(z-1),3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,广义最小二乘算法的计算步骤如下:Step1.确定模型的结构及A(z-1)、B(z-1)和N(z-1)的阶次；Step2.选定稳定的初始滤波器N(z-1)；Step3.采样获取新的观测数据y(k)和u(k)；,3.4.3广义最小二乘法原理及算法,Step5.列成如下自回归方程:,Step4.基于滤波器N(z-1),进行如下滤波计算y(k)=N(z-1)y(k)u(k)=N(z-1)u(k),3.4.3广义最小二乘法原理及算法,Step7.计算模型残差的估计值,Step6.用最小二乘法计算,Step8.计算有色噪声v(k)和白噪声v(k)的自回归方程,3.4.3广义最小二乘法原理及算法,Step10.修正滤波器N(z-1),Step9.用最小二乘法计算,Step11.如满足精度，辨识结束，否则转入Step3.,GLS法的思想是对输入输出数据先进行一次滤波预处理，然后利用普通LS法对滤波后的数据进行辨识，并反复迭代受滤波模型好坏的影响较大滤波模型的好坏也直接与系统模型辨识结果有关系.从优化理论的角度来说，GLS法其实属于非线性优化方法难以避免出现非线性优化中的局部极值点情况该方法并不能保证得到的估计值是一致无偏的这是GLS法的一个不太令人满意之处.,3.4.3广义最小二乘法原理及算法,思考题：量测噪声Vm是有色噪声，利用递推广义最小二乘法辨识参数的步骤分哪几步？能否画出流程图？,3.4.3广义最小二乘法原理及算法,递推广义最小二乘法,递推GLS法的基本思想是与成批型LS法大致相同，不同的是:由于是递推估计，不能像成批型那样作反复迭代；解决的方法是分别对过程模型和噪声模型两个模型的辨识设计两个递推估计算法，并在每一个递推步中，让它们依顺序递推一次；随着递推过程的深入，将不断改进噪声模型N(z-1)的辨识结果，同时亦得到较佳的A(z-1)和B(z-1)的辨识结果。,3.4.3广义最小二乘法原理及算法,递推广义最小二乘算法的计算步骤如下:Step1.确定模型的结构及A(z-1)、B(z-1)和N(z-1)的阶次；Step2.初始化两个辨识过程，并选定稳定的初始滤波器N(z-1)；Step3.采样获取新的观测数据y(k)和u(k)；,递推广义最小二乘法,3.4.3广义最小二乘法原理及算法,Step5.列成如下自回归方程:,Step4.基于滤波器N(z-1),进行如下滤波计算y(k)=N(z-1)y(k)u(k)=N(z-1)u(k),3.4.3广义最小二乘法原理及算法,Step7.计算模型残差的估计值,Step6.用最小二乘法计算,Step8.计算有色噪声v(k)和白噪声v(k)的自回归方程,3.4.3广义最小二乘法原理及算法,Step9.用最小二乘法计算,Step10.修正滤波器N(z-1),Step11.如满足精度，辨识结束，否则转入Step3.,考虑如下有色噪声扰动的随机线性离散系统,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,例3.8考虑数学模型的结构为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,计算机仿真结果,3.4.3广义最小二乘法原理及算法,递推辨识过程的辨识值如下图所示,噪信比=73%,初始白化滤波器Df=1时递推辨识结果,噪声估计误差,3.4.3广义最小二乘法原理及算法,噪信比=73%,初始白化滤波器Df=1+0.5z-1-0.5z-2时递推辨识结果,噪声估计误差,3.4.3广义最小二乘法原理及算法,噪信比=23%,初始白化滤波器Df=1时递推辨识结果,噪声估计误差,3.4.3广义最小二乘法原理及算法,3.4.3广义最小二乘法原理及算法,广义最小二乘算法的特点,用于自回归输入模型，是一种迭代的算法有色干扰下估计精度较高基本思想是基于对数据先进行一次滤波处理，后利用普通最小二乘法对滤波后的数据进行辨识迭代收敛较快,但是收敛性未得到证明能同时得到过程参数和噪声参数的估计当过程的输出信噪比比较大或模型参数较多时，数据白色化处理的可靠性就会下降，辨识结果可能数据要充分多，否则辨识精度下降。模型阶次不宜过高，初始值对辨识结果有较大影响计算量大,费机时,ELS和GLS可同时辨识系统模型和噪声模型在一些实际系统中不需要知道噪声模型，即不需要对噪声建模(辨识),系统量测噪声为有色噪声,若采用ELS法和GLS法来辨识,需花费较多的计算时间,而且辨识的参数越多则辨识的精度和效果越差，广义最小二乘法尤其突出.,问题：系统噪声Vm是有色噪声，不需要对噪声建模，还想达到无偏估计，如何做？,3.4.3广义最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,辅助变量（InstrumentVariable,IV)最小二乘算法,系统噪声Vm是有色噪声，不需要对噪声建模，引入辅助系统，只要辅助系统选择恰当，可获得高精度的无偏估计。,有偏估计,3.4.4辅助变量最小二乘法原理及算法,（非奇异矩阵）,（无偏估计）,零均值白噪声,3.4.4辅助变量最小二乘法原理及算法,当量测噪声Vm是有色噪声,不一定成立,不一定是无偏估计,问题：在有色噪声Vm下，如何获得无偏估计？,3.4.4辅助变量最小二乘法原理及算法,定义如下辅助观测矩阵，并使下列极限成立,（非奇异矩阵）,问题：如何构造或选择辅助变量？,3.4.4辅助变量最小二乘法原理及算法,辅助变量的选择,3.4.4辅助变量最小二乘法原理及算法,辅助变量的选择,。,选取,3.4.4辅助变量最小二乘法原理及算法,辅助变量的选择,。,（无偏估计）,辅助变量的选取还有更简单的方法,辅助变量最小二乘法有递推形式，思路类同,3.4.4辅助变量最小二乘法原理及算法,递推辅助变量最小二乘法,Step1：确定被辨识模型的结构及多项式A(z-1)和B(z-1)的阶次；Step2：确定或设计所采用的辅助变量系统；Step3：设定递推参数初值(0)，P(0)；Step4：采样获取新的观测数据y(k)和u(k),并组成观测数据h(k)；Step5：计算辅助变量x(k),并组成辅助变量观测数据向量h*(k)；Step6：用递推辅助变量最小二乘法计算当前参数递推估计值；Step7：循环次数k加1，然后转回到第4步继续循环。,3.4.4辅助变量最小二乘法原理及算法,递推辅助变量最小二乘法的步骤,下面给出针对随机线性离散系统，给出辨识伪代码,3.4.4辅助变量最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,例3.9考虑数学模型的结构为,选择如下的辨识模型进行增广递推最小二乘参数辨识。,计算机仿真结果(噪信比=73%,C(z-1)=1-1.0z-1+0.2z-2),3.4.4辅助变量最小二乘法原理及算法,d=3时的纯滞后法辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,d=4时的纯滞后法辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,d=5时的纯滞后法辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,d=3时的Tally原理辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,d=4时的Tally原理辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,d=5时的Tally原理辅助变量递推辨识结果,3.4.4辅助变量最小二乘法原理及算法,3.4.4辅助变量最小二乘法原理及算法,辅助变量最小二乘（IVLS）法的特点,IVLS的计算量比LS估计增加不多，在相关噪声情况下估计精度确有明显改善；IVLS法与递推IVLS法思路相似，但不等价；递推IVLS法的计算量与RLS法接近，在相关噪声情况下估计精度优于RLS法；递推IVLS法对初值P(0)的选择非常敏感，为了提高递推IV法的可靠性，在递推的前几十步最好用RLS法过渡.,3.5.1多变量系统的最小二乘辨识的原理,MIMO系统,3.5.1多变量系统的最小二乘辨识的原理,MIMO系统的子系统,3.5.1多变量系统的最小二乘辨识的原理,3.5.1多变量系统的最小二乘辨识的原理,待辨识的参数：,3.5.1多变量系统的最小二乘辨识的原理,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,3.5.2多变量系统的最小二乘辨识的算法与设计,多变量系统的最小二乘辨识的算法的递推形式,3.5.2多变量系统的最小二乘辨识的算法与设计,例3.8采用多变量系统的最小二乘辨识方法辨识如下MIMO系统的参数,3.5.2多变量系统的最小二乘辨识的算法与设计,4、最小二乘应用惯性器件标定,陀螺仪,加速度计,4、最小二乘应用惯性器件标定,4、最小二乘应用惯性器件标定,4、最小二乘应用惯性器件标定,4、最小二乘应用景像