系统辨识（System Identification）课程计稿：第10讲

系统辨识第10讲要点第5章 线性动态模型参数辨识最小二乘法引言：最小二乘法的缺陷：（1）噪声问题，（2）数据饱和问题（适应算法）下面的一些算法就是为了解决上面两个问题而引入的。5.10.3 遗忘因子法 遗忘因子算法通过对数据加遗忘因子的办法来降低老数据的信息量，为补充新数据的信息创造条件。取准则函数为其中称遗忘因子，取值为极小化这个准则函数，可得到参数辨识算法：式中 这种参数辨识方法称作遗忘因子法，记作FF(Forgetting Factor algorithm)。如果遗忘因子，算法退化成普通最小二乘法。与推导加权最小二乘递推算法一样，同样可以推导出遗忘因子算法的递推计算形式式中遗忘因子可按下面的原则取值： 若要求步后数据衰减至,则； 取作时变因子，其中。遗忘因子的取值大小对算法的性能会产生直接的影响。值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。 遗忘因子法和加权最小二乘算法主要的差别： 加权方式不同加权最小二乘法各时刻权重是不相关的，也不随时间变化；遗忘因子法各时刻权重是有关联的，满足关系，各时刻权重的大小随时间变化，当前时刻的权重总为1。 加权的效果不一样加权最小二乘法获得的是系统的平均特性；遗忘因子法能实时跟踪系统明显的变化，具有跟踪能力。 算法的协方差矩阵P(k)的内容不一样，两者的关系为。 和加权最小二乘递推算法一样，遗忘因子算法下的残差与新息关系：或由此可推出准则函数J(k)的递推计算式：式中， 是k 时刻的新息，它与k-1 时刻的参数估计值有关。5.10.4 限定记忆法 限定记忆法依赖于有限长度的数据，每增加一个新的数据信息，就要去掉一个老数据的信息，数据长度始终保持不变。这种方法的参数估计递推算法如下： 算法前三个式子用于去掉老数据的信息，后三个式子用来增加新数据的信息，初始值取其中a 为充分大实数， ，为充分小实向量相应的准则函数递推计算式为：其中5.10.5 折息法 折息法把加权最小二乘法和遗忘因子法融合起来，形成如下算法： 折息因子与加权因子和遗忘因子之间的关系为，当遗忘因子取常数时，折息因子又可表示成。折息法同时具备加权最小二乘法和遗忘因子法的作用，既可获得系统的平均特性，又具有时变跟踪能力。5.10.6 协方差重调最小二乘法 在辨识递推计算过程中，协方差矩阵P(k)衰减很快，此时算法的增益矩阵K(k)也急剧衰减。这种现象的出现，促使人们去考虑一种修正的方案，即在指定的时刻重新调整协方差矩阵P(k)，使算法始终保持较快的收敛速度。这种协方差重调的最小二乘算法描述如下： 当时，P(k)按上式算法计算；当时，把P(k)重调为 。5.10.7 协方差修正最小二乘法 对时变系统辨识来说，为了防止矩阵P(k)趋于零，当参数估计值超过某阀值时，矩阵P(k)自动加上附加项Q, 具体算法如下：注意：上面的方法是为了解决“数据饱和”问题而引入的。下面的方法处理噪声是有色噪声时的问题，学习的时候注意区别。引言 最小二乘法是一种最基本的辨识方法，但如果模型的噪声不是白噪声，最小二乘法不一定能给出无偏、一致估计。以下着重讨论模型噪声是有色噪声时的各种最小二乘辨识方法。5.11 增广最小二乘法5.11.1 增广最小二乘原理 考虑如下模型式中u(k)和z(k) 分别为模型输入和输出变量；v(k) 是均值为零、方差为的不相关随机噪声或称白噪声；为噪声模型； 和为迟延算子多项式，记作其中na和nb 为模型阶次。为了运用最小二乘原理来辨识这种模型的参数，需要把上述模型写成最小二乘格式这样就必须把噪声模型的参数包含在参数向量 中，从而引出增广概念，用来构造上式的参数向量 和数据向量，具体的构成形式会因噪声模型的结构不同而不同。下面是三种不同噪声模型的向量构成方法： 若，可按下式构成参数向量和数据向量： 若，参数向量和数据向量的构成形式为： 若，参数向量和数据向量的构成形式为： 以上这种构成参数向量和数据向量的思想就是所谓的增广原理，它是增广最小二乘法的根本。5.11.2 增广最小二乘算法 运用最小二乘原理，可导出如下的增广最小二乘批处理算法式中又有如下与之对应的参数估计递推算法，记作RELS(Recursive Extended Least Squares algorithm)：式中数据向量视不同的噪声模型可以具有不同的增广结构。 这种参数估计算法的实质，在于把噪声模型参数混在参数向量中一起进行辨识就这种意义上说，称之为增广最小二乘法。它是普通最小二乘法的一种推广，其递推形式和性质与普通最小二乘法完全相同。优点是可用来解决有色噪声模型的辨识问题，但噪声模型部分本身的辨识并不一定是无偏、一致估计。5.12 广义最小二乘法5.12.1 批处理算法 考虑如下模型式中u(k)和z(k)分别为模型输入和输出变量；v(k)是均值为零、方差为的白噪声；迟延算子多项式、和记作：其中na、nb和 nc 为模型阶次令,且定义则可写成如下的最小二乘格式：式中 为了获得模型参数的无偏、一致估计，可运用Markov估计算法（假设此时v(k)为正态白噪声）获得如下的模型参数估计：其中为噪声向量的协方差阵根据噪声e(k)和v(k)之间的关系，可求得：式中 若令 ，则算法可写成： 如果噪声模型已知，则可直接估计出模型参数。如果噪声模型未知，则要用迭代的方法先求得参数的估计值，再求噪声模型参数的估计值。求估计值的方法依然可以是最小二乘法。把噪声e(k)和v(k)之间的关系写成最小二乘格式：式中则有其中 这种迭代估计模型参数的方法称作广义最小二乘法。这种方法的基本思想是基于对数据先进行一次滤波预处理，然后利用最小二乘算法来辨识模型的参数。广义最