《系统辨识第四章》PPT课件.ppt

1,系统辨识基础,2,系统辨识,第一章 模型方法与辨识 第二章 脉冲响应辨识 第三章 最小二乘辨识 第四章 极大似然辨识 第五章 时间序列建模与随机逼近辨识 第六章 模型阶次的辨识 第七章 闭环系统辨识,3,第四章 极大似然辨识, 前言 4-1 极大似然原理 4-2 动态系统模型参数的极大似然估计 4-3 极大似然估计的一致性 4-4 预报误差参数辨识法,4,第四章 极大似然辨识,极大似然法，是一种适用范围非常广泛的传统辨识方法，1906年，由R.A.Fisher提出。极大似然估计方法在随机系统参数估计、故障检测及容错控制等方面，有广泛应用。把这种经典的估计方法用于动态过程或动态系统辨识，可以获得良好的估计性质。,极大似然法要求已知输出量的条件概率密度函数，建立随机观测数据与未知参数之间的概率特性和统计关系，通过使条件概率密度函数为极大的准则，求出未知参数的估计值。因而，极大似然辨识法是一种概率性的参数估计方法。,5,4-1 极大似然原理,一、似然函数,6,7,可见，条件概率密度函数与似然函数有不同的物理含义，但其数学表达形式一致，即,8,9,10,11,二、极大似然估计求法,极大似然估计定义,12,似然方程与对数似然方程,故可通过,由于,13,14,正态独立同分布随机过程均值与方差的极大似然估计,15,取对数似然函数,16,17,18,求出,19,验证：,20,例4-1,解,21,相应的对数似然函数,22,且,23,例4-2,解,24,相应的对数似然函数,25,4-2 动态系统模型参数的极大似然估计,一、第1种模型噪声情况,设动态系统差分方程为,26,式中,27,28,噪声的联合概率密度函数,29,30,31,输出观测向量的似然函数,根据随机向量变换法则，可以导出,32,模型参数的极大似然估计,观测向量Y的对数似然函数为,33,34,35,两点注意事项,36,37,38,39,方差阵,联合概率密度函数,40,41,42,43,构造预报误差方程：,因此，预报误差方程中的,44,可见，预报误差方程代表一大类含噪声的线性动态系统。,假设：,45,噪声的条件期望,取性能指标为,(残差平方和的均值),46,47,下面给出简要证明。由预报误差模型，预报误差：,由预报误差方程知：,因而预报误差,48,式中,49,50,51,于是有,从而证明了预报误差估计和正态条件下的极大似然估计具有一致性，都是真实参数 的一致估计。,52,4-4 预报误差参数辨识法,极大似然法要求已知数据的概率分布，通常都假设数据服从正态(高斯)分布。然而，实际问题中的数据不一定都是正态分布的。当数据的概率分布不知道时，无法应用极大似然估计。,预报误差参数辨识法不要求数据概率分布先验知识，是一种更加一般的参数辨识方法，也是极大似然估计的一种推广。,业已证明，当数据的概率服从正态分布时，预报误差估计法等价于极大似然法（Goodwin澳大利亚教授,1977）.,53,54,则预报误差模型：,预报误差模型表明：k时刻的输出，可以用k时刻以前的数据来“预报”。,55,56,57,而在多入-多出情况下,58,59,由预报误差模型,60,61,幅值相乘,相角相加,62,63,64,65,预报误差协方差 未知时的似然函数,取负对数似然函数，有,根据矩阵迹的微分运算法则：,66,67,以 代替 ，负对数似然函数为,68,69,三、预报误差参数估计方法(Newton-Raphson法),预报误差参数估计法实质,由于预报误差准则 或 一般都是参数,的非线性函数，故令 极小化求 的方法，,归纳为极小化 的最优化算法。,若预报误差 的协方差阵 已知，则取,作为预报误差准则，且取权阵 ；,若 未知，则应选 为预报误差准则。,70,预报误差准则极小化的最优化算法,根据NewtonRaphson原理，,的最优化算法归纳为如下迭代方程：,式中：, 第 次迭代的参数估计值；, 预报误差准则 关于 的梯度；,71, Hessian矩阵；, 迭代步长，使,显然，上述最优化算法的关键是： 关于 的梯度,及Hessian矩阵的具体计算式；利用一维搜索法求 ，使,。,72,梯度与Hessian矩阵的计算,设 的协方差矩阵已知，即 已知，取权阵,，而,(n为系统阶