系统辨识课件5__ok

1、第4章 极大似然法辨识,方法特点： (1)无偏估计方法； (2)适用于(k)相关情况； (3)当系统信噪比较小时有较好的估计效果； (4)算法稳定度好； (5)是一种递推算法； (6)实际工程中广泛使用。,辨识准则： 以观测值的出现概率最大为准则。,1,4.1 辨识基本原理,可见，似然函数最直接的取法为： 观察值概率分布密度函数的乘积,辨识准则：以观测值的出现概率最大作为准则。,如何构造指标函数？,称为似然函数,因此，使该似然函数为最大时的参数估计值就称为： 极大似然参数辨识,简称ML参数辨识方法。,2,定义似然函数L为：,ML辨识基本原理,设某离散随机过程V(k)与待辨识参数有关。,其分布密

2、度为：,若测得n个独立的观测值,3,辨识的原则就是使得L达到极大值，即：,通常对L取对数求解，即,lnL取得极大则L取得极大，则有：,由(4.1)或(4.2)解出的即为极大似然估计,(4.1),(4.2),4,4.2 差分方程的极大似然辨识,1.白噪声情况,式中，(k)为高斯白噪声序列且与u(k)无关。,系统差分方程：,上式写成向量形式为：,系统估计残差为：,5,设e(k) 方差为,则似然函数L为：,由于(k)为高斯白噪声，故而e(k)也为高斯白噪声。,因为高斯分布概率密度函数：,6,则依极大似然辨识原理有：,解上述方程有：,可见在(k)为高斯白噪声序列这一特殊情况下，极大似然辨识与一般最小二

3、乘法辨识具有相同结果。,7,2.有色噪声情况,其向量形式为：,式中：,预测误差e(k)为：,系统差分方程：,8,因为(k)为高斯白噪声，故而e(k)可假设为零均值的高斯白噪声。则似然函数L为：,由,记,讨论：y(k)出现的概率最大，亦即J达到极小值。即使对概率密度不作任何假设，使J极小也是极有意义的。因此，ML估计就变成了如何求取J极小的算法。可见，使L为最大的估计值，等价于使J为极小的估计值。,9,式中：,称为J的梯度矩阵,称为J的海赛矩阵,求J的极小值问题只能采用循环迭代方法。 常用的迭代算法有：拉格朗日乘子法和牛顿-拉卜森法。,牛顿-拉卜森法的迭代公式：,注意：上式中J的梯度矩阵和海赛矩

4、阵，依不同辨识对象，需进行详细推导，推导出矩阵中每个元素的具体表达式。推导时要非常仔细。,10,Newton-Raphson迭代计算步骤,(1) 初始值的选定,(2) 计算预测误差(残差)及J值,指标函数J值：,预测误差：,误差方差估计值：,11,(3)计算梯度矩阵及海赛矩阵,当估值比较接近真值时，e(k)接近于0，后一项可忽略，则海赛矩阵为：,12,(4) 按牛顿-拉卜森迭代公式计算新的估计值,(5) 计算残差方差比,则终止迭代。,返回(2)进行循环迭代，若：,13,的解算,则各参数的偏导数如下：,上式均为差分方程，其初始条件均为零。通过求解上述差分方程，可得到e(k)对各参数的全部偏导数。

5、,14,4.3 递推极大似然法,递推ML算法的特点：,按不同的估计方法，可得不同的递推极大似然算法。 常用的有按牛顿-拉卜森法、二次型函数逼近法的递推ML算法。,(1)其性能介于递推广义最小二乘法与离线ML法之间； (2)收敛性好，以概率1收敛于局部极小值； (3)在高噪声时，采用递推ML效果好。,递推极大似然法由同学们自学。,15,目的：随时间t变化而变化，估计,第5章 时变参数辨识方法,卡尔曼滤波法：采用卡尔曼预测公式估算。,方法：仍为老方法，只是更加强调新数据作用。,矩形窗法： 只取后N个数据，前面全抛弃。,本章自学,指数窗法：,16,第6章 多输入多输出系统的辨识,主要方法有：,本章自

6、学,MIMO的最小二乘辨识,MIMO的极大似然辨识,17,第7章 随机时序列模型的建立,本章自学,观点：无“因”有“果”模型的辨识，即只有输出而无输入 模型的建立及辨识。,上述知识在随机过程课程讲述。,主要随机模型： 回归模型、自回归模型、移动平均模型、 自回归移动平均模型,18,第8章 系统结构辨识,目的：确定系统模型阶次n。,常用的定阶方法有以下六种：,(1)按残差方差定阶 (2) AIC准则 (3)按残差白色定阶 (4)零点极点消去检验定阶 (5)利用行列式比定阶 (6)利用Hankel矩阵定阶,重点掌握前三种定阶方法。,19,8.1 按残差方差定阶,定阶原理：,(1)按估计误差方差最小

7、定阶 (2)F检验法,该方法可细分为两种方法：,实际工程中采用F检验法。,计算不同阶次n辨识结果的估计误差方差，按估计误差方差最小或最显著变化原则来确定模型阶次n。,20,指标函数：,向量形式：,LS估计：,残差：,1.按估计误差方差最小定阶,系统差分方程：,依次计算n=1,2,3,时的指标函数Jn，并将其绘制成曲线。,21,定阶原则：则随着n增大，J值是下降的。若n0为正确的阶次，此时J值所在的点是曲线上最大的拐点，此后J值基本不变化或变化很小。,Jn曲线如下：,依上述原则，上述曲线模型阶次为3。,22,2.F检验法,选取F变化最大时的n为系统的阶次。,实际工程应用时，在定阶过程中，我们并不

8、是取Jn最小时 n值，作为系统模型的阶次，而是对在n增大过程中，使Jn显著减小的n值感兴趣。,为了避免人为主观判断的影响，引入准则：,依F检验法，系统模型阶次为3。,23,8.2 AIC信息准则（akaike）,L-是模型的似然函数； P-是模型中的参数个数。,AIC准则定义为：,1.AIC定阶原则,式中：,含义：使L最大时的最小的n值为模型阶次。,定阶原则：AIC最小值所对应的n即为系统阶次。,24,e(k)为服从正态分布的白噪声, 则似然函数为：,2.AIC计算公式,系统模型：,(1) 白噪声情况,25,由,选取不同的阶数n1、n2，按上式计算AIC值，其中最小AIC对应的n1、n2值即为

9、系统的阶次。,取：,按AIC准则n1=3、n2=2。,26,(k)为服从正态分布的白噪声, 经推导可得：,系统模型：,(2) 有色噪声情况,计算不同n1、n2、n3时的AIC值，取最小的AIC值对应的n1、n2、n3值为系统的阶次。,式中：,27,8.3 按残差白色定阶,定阶原理：若阶次n设计合适，则残差近似为白噪声。因此可利用计算残差e(k)的自相关函数来检查白色性。,自相关函数的计算如下：,由上图可知n=2残差近似为白噪声，则系统阶次为2。,28,8.4 零点-极点消去检验,则系统的闭环脉冲传函G(z)为：,G(z)中必有零极点可对消。,就可判定阶次的合理性。,定阶原理：,29,8.5 行

10、列式比定阶,如果输入u(k)为持续激励信号，则有,因此有,也是满秩的，定阶困难。,定义:,30,8.6 Hankel矩阵定阶,但存在噪声则无上述结论，因此定义指标：,当D达到极大时L值即为系统阶次n。,31,另一种求D的方法,计算脉冲响应序列的自相关值：,归一化处理：,当D达到极大值时的l值就是系统的阶次n。,32,第9章 闭环系统的辨识,9.1 闭环辨识的问题,辨识对象：,控制器：,问题：在闭环工作下辨识,33,方法：直接辨识法和间接辨识法。,特点：闭环系统有的可以辨识，有的不可辨识。 因此，闭环辨识存在可辨识性概念。,原因：开环不稳定或该系统是大系统的一部分， 不可分割。,为系统脉冲传递函

11、数：,34,9.2 可辨识性概念,将u(k)=dy(k)代入阵，即,某系统：,35,结论：闭环系统可辨识性与控制器的结构、阶次和反馈通道 的噪声有关。,若系统的反馈通道改为：,或,或,36,1.直接辨识,9.3 SISO闭环系统的辨识,辨识的计算公式可由LS可得。 我们主要讨论可辨识性条件和闭环辨识的一致性估计。,闭环系统差分方程为：,式中：(k)与s(k)互不相关， P和q分别是反馈通道和前向通道的滞后时间。,37,可以证明：,(1)当 (k)和s(k)均存在互不相关时，若p0或q0， 则LS为一致性和惟一性估计。,(2)当(k)存在且s(k)=0，若q0或p0，则LS为一致 性估计。若ncnb-q或ndna-q, 则LS为惟一性估计。,(3)当(k)=0，LS为一致性和惟一性估计。,(4)若(k)为有色噪声，LS不是一致性估