系统辨识（System Identification）课程计稿：第17讲

系统辨识第17讲要点第8章 极大似然法和预报误差方法8.1 引言l 方法：构造似然函数，通过极大化似然函数获得模型的参数估计l 要求的先验知识：模型输出量的条件概率密度函数l 优点：此方法所获得的参数估计具有良好的渐近性质l 缺点：此方法的计算量较大l 预报误差方法本质上是极大似然法的一种推广8.2 极大似然参数估计辨识方法8.2.1 极大似然原理 设是随机变量，已知条件概率密度函数，观测序列为，记为向量形式，则的联合条件概率密度函数为，那么参数的极大化似然估计就是使的参数估计值。即有： 或 给定一组数据，此时只是的函数，我们称为的似然函数，记为。因此极大似然原理可表示为： （A）或 （B）其中称为对数似然函数。称作极大似然参数估计值。物理意义：对一组确定的随机序列，设法找到参数估计值，使得随机变量在条件下的概率密度函数最大可能地逼近随机变量在（真值）条件下的概率密度函数，即有：可以证明：（A）或（B）式是实现上式的条件。KullbackLeibler信息测度：我们称为KullbackLeibler信息测度。可以证明：8.2.2 动态过程模型参数的极大似然估计考虑以下模型： （C）其中：是均值为零，方差为的服从正态分布的白噪声。令：且假定过程是渐近稳定的，即、和没有公共因子，且和的零点都位于平面的单位圆内。l 噪声模型已知的情形（已知）将模型（C）写成最小二乘格式：其中：因为：则有：记噪声的协方差阵为，则由的正态性，可知：因此，有：对应的对数似然函数为：由极大似然原理可得： （D）并且因此（D）式给出了参数的极大似然估计值。此时的恰好是参数的Markov估计。如果，则此时，参数的极大似然估计和最小二乘估计是等价的。对噪声方差的极大似然估计：对噪声方差的最小二乘估计：注意两者的区别。l 噪声模型未知的情形（未知）此时，令我们有：根据考察的模型（C），有：将此式代入到上式，我们有：由于当观测至时刻时，时刻以前的、和都已经确定，且与及无关，因此上式可以写成：记：则有对数似然函数： （E）其中满足： （F）利用极大似然原理，由得噪声方差的极大似然估计：将此式代入（E），可得：再次利用极大似然原理，参数的极大似然估计必须使得：令： （G）则这等价于使得 （H）其中满足（F）的约束条件。结论：在未知的情形下，求模型（C）的参数的极大似然估计等价于以下带有约束条件的优化问题：优化的目标函数为（G），约束条件为（F）。同时噪声方差的极大似然估计值为。（1） Lagrangian乘子法：根据以上得到的结论，求解带有约束条件的优化问题。引入Lagrangian乘子，构造Lagrangian函数：由此，上述优化问题转化为Lagrangian函数对、和的求最小值问题。第一步：取并令：得到下面的方程组： （I）第二步：就Lagrangian函数对求导，并令其为零，得： （J）因此，当给定和的初始值及输入输出数据，则由（J）可以计算得到，再利用由（I）式可以计算得到。由于和与有关，对不能以线性的形式进行估计，因此必须对进行搜索，方可求得，使得。具体的搜索过程参见P238。（2） NewtonRaphson法注意： NewtonRaphson法求解以上优化问题，本质上是一种递推算法，每得到L次观测数据递推一次的算法。优化问题见上面。设是利用第批输入输出数据 ，所求得的极大似然估计值，它使得或达到最小。当我们进一步获得一批新的输入输出数据 ，由此可以求得，使得 （K）达到最小。根据NewtonRaphson原理，我们有： （P）其中为Hessian矩阵。将