极大似然参数辨识方法(共8页)

1、2 极大似然参数辨识方法极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。2.1 极大似然原理设有离散随机过程与未知参数有关，假定已知概率分布密度。如果我们得到n个独立的观测值，则可得分布密度，,。要求根据这些观测值来估计未知参数，估计的准则是观测值的出现概率为最大。为此，定义一个似然函数 （2.1.1） 上式的右边是n个概率密度函数的连乘，似然函数L是的函数。如果L达到极大值，的出现概率为最大。因此，极大似然法的实质就是求出使L达到极大值的的估值。为了便于求，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 （2.1.2

2、）由于对数函数是单调递增函数，当L取极大值时，lnL也同时取极大值。求式（2.1.2）对的偏导数，令偏导数为0，可得 （2.1.3）解上式可得的极大似然估计。 2.2 系统参数的极大似然估计设系统的差分方程为 （2.2.1）式中 因为是相关随机向量，故（2.2.1）可写成 （2.2.2）式中 （2.2.3） （2.2.4）是均值为0的高斯分布白噪声序列。多项式，和中的系数和序列的均方差都是未知参数。设待估参数 （2.2.5）并设的预测值为 （2.2.6）式中为预测误差；，为，的估值。预测误差可表示为 （2.2.7）或者 = （2.2.8）因此预测误差满足关系式 （2.2.9）式中假定预测误差服

3、从均值为0的高斯分布，并设序列具有相同的方差。因为与，和有关，所以是被估参数的函数。为了书写方便，把式（2.2.9）写成 （2.2.10） （2.2.11）或写成 （2.2.12）令k=n+1,n+2,n+N,可得的N个方程式，把这N个方程式写成向量-矩阵形式 （2.2.13）式中 , , 因为已假定是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为 （2.2.14）式中y为观测值，和m为y的方差和均值，那么 （2.2.15）对于符合高斯噪声序列的极大似然函数为 （2.2.16）或 （2.2.17）对上式（2.2.17）等号两边取对数得 （2.2.18） 或写为 （2.2.19）求对的偏导

4、数，令其等于0，可得 （2.2.20）则 （2.2.21）式中 （2.2.22）越小越好，因为当方差最小时，最小，即残差最小。因此希望的估值取最小 （2.2.23）因为式（2.2.10）可理解为预测模型，而e(k)可看做预测误差。因此使式（2.2.22）最小就是使误差的平方之和最小，即使对概率密度不作任何假设，这样的准则也是有意义的。因此可按J最小来求的估计值。由于e(k)式参数的线性函数，因此J是这些参数的二次型函数。求使最大的，等价于在式（2.2.10）的约束条件下求使J为最小。由于J对是非线性的，因而求J的极小值问题并不好解，只能用迭代方法求解。求J极小值的常用迭代算法有拉格朗日乘子法和

5、牛顿-拉卜森法。下面介绍牛顿-拉卜森法。整个迭代计算步骤如下：(1)确定初始的值。对于中的可按模型 （2.2.24）用最小二乘法来求，而对于中的可先假定一些值。(2)计算预测误差 （2.2.25）给出 并计算 （2.2.26）(3)计算J的梯度 和海赛矩阵 ,有 （2.2.27）式中 （2.2.28）即 （2.2.29）同理可得 （2.2.30） （2.2.31）将式（2.2.29）移项化简，有 （2.2.32）因为 （2.2.33）由求偏导，故 （2.2.34）将（2.2.34）代入（2.2.32），所以 （2.2.35）所以得 （2.2.36）同理可得（2.2.30）和（2.2.31）为

6、（2.2.37） （2.2.38）根据（2.2.36）构造公式 （2.2.39）将其代入（2.2.36），可得 (2.2.40）消除可得 （2.2.41）同理可得（2.2.37）和（2.2.38）式 （2.2.42） （2.2.43）式（2.2.29）、式（2.2.30）和式（2.2.31）均为差分方程，这些差分方程的初始条件为0，可通过求解这些差分方程，分别求出e(k)关于的全部偏导数，而这些偏导数分别为，和的线性函数。下面求关于的二阶偏导数，即 （2.2.44） 当接近于真值时，e(k)接近于0。在这种情况下，式（2.2.44）等号右边第2项接近于0，可近似表示为 （2.2.45）则利用式（2.2.45）计算比较简单。(4)按牛顿-拉卜森计算的新估值，有 （2.2.46）重复(2)至(4)的计算步骤，经过r次迭代计算之后可得，近一步迭代计算可得 （2.2.47）如果 （2.2.48）则可停止计算，否则继续迭代计算。式（2.2.48）表明，当残差方差的计算误差小于