最小二乘类辨识算法

1第5章

最小二乘类参数辨识办法25.1自适应辨识算法

最小二乘算法存在着两方面的缺点（1）当模型噪声是有色噪声时,最小二乘参数预计不是无偏一致预计。（2）随着数据的增加，最小二乘法将出现数据饱和现象，这是由于增益矩阵K(k)随着k的增加将逐步趋近于零，以致递推算法慢慢失去修正能力。3针对这些现象提出了某些修正算法解决数据饱和问题介绍两种办法遗忘因子法限定记忆法（RWLS-RegressiveWeightedLeastSquare）：（1）根据一批数据，运用一次完毕算法，预先求得（2）直接给定初始值，a-充足大的实数，-充足小的实向量5根据定义，是正定的，则也是正定的，那么有：即6可见P(k)是递减的正定矩阵，当，因此增益矩阵K(k)随着k的增加将逐步趋于0向量，从而使RLS算法失去修正能力。7当k较大时，P(k)的全部元素都变得很小，不仅新数据所含的信息对改善参数预计不起作用，并且由于计算机的误差，反而使P(k)矩阵失去正定性，甚至破坏对称性，造成参数预计值偏离真值越来越大。85.1.1遗忘因子法针对下列模型将其写成最小二乘格式L-数据长度（1）（2）（3）10数据加上衰减因子（）后记作因此（4）（5）（6）则11仍为白噪声向量可得一次完毕算法为（7）12递推算法为

（8）（9）式中遗忘因子可按下面的原则取值：①若规定步后数据衰减至36%,则；②取作时变因子，其中。

遗忘因子的取值大小对算法的性能会产生直接的影响。值增加时，算法的跟踪能力下降，但算法的鲁棒性增强；值减少时，算法的跟踪能力增强，但算法的鲁棒性下降，对噪声更显得敏感。13问题讨论（１）残差与新息的关系或14（２）准则函数的递推计算15遗忘因子LS法和加权RLS算法重要的差别:加权方式不同加权RLS法各时刻权重是不有关的,也不随时间变化;遗忘因子法各时刻权重是有关联的,各时刻权重的大小随时间变化.加权的效果不同加权RLS法获得的是系统的平均特性;遗忘因子法能实时跟踪系统明显的变化,对系统的时变特性含有跟踪能力.175.1.2限定记忆法

限定记忆法的参数预计值始终依赖于有限个最新数据所提供的信息,每增加一种新数据，就去掉一种老数据，数据长度始终不变。特点离现时刻L以前的老数据所含的信息从算法中彻底抛除18a为充足大的数,充足小的实向量L为数据长度（10）（11）对应的准则函数递推计算式为其中1920a为充足大的数,充足小的实向量

（2）运用最小二乘递推算法，获得初步的参数预计值和P阵，作为RFM递推算法的初始状态和。（3）每获得一组新的数据就运用递推算法的后三式计算和，再运用前三式计算和。如此不停迭代，可获得最后的辨识成果。后三式用来增加新数据的信息，前三式则用于去掉老数据的信息。a为充足大的数,

充足小的实向量②运用最小二乘递推算法，获得初步的预计值和P矩阵，作为REM递推的初始状态①22（10）（11）③④235.2偏差赔偿最小二乘法若噪声为有色噪声则最小二乘法是有偏的，故提出称为偏差赔偿最小二乘法过程和是过程的输入和输出；是输出测量值；是均值为零，方差为的不有关随机测量噪声。24当过程的模型取测量方程为式中（12）（13）（14）对模型（13），参数的最小二乘预计量为模型（13）能够写为26两边同取极限，得28上式第一项趋于0，第二项将收敛于29因此有其中（15）（16）（17）30引入赔偿项，则参数的预计值能够写成：其中P(k)定义为为噪声w(k)的方差的预计值（18）（19）31

偏差赔偿最小二乘递推算法（20）32

（21）335.3增广最小二乘算法

假设过程采用下列模型式中u(k)和z(k)分别为模型输入和输出变量；v(k)是均值为零、方差为的不有关随机噪声或称白噪声；为噪声模型；和为迟延算子多项式，记作（22）（23）其中na和nb

为模型阶次。为了运用最小二乘原理来辨识这种模型的参数，需要把上述模型写成最小二乘格式这样就必须把噪声模型的参数包含在参数向量中，从而引出增广概念，用来构造上式的参数向量和数据向量，具体的构成形式会因噪声模型的构造不同而不同。下面是三种不同噪声模型的向量构成办法：①若可按下式构成参数向量和数据向量：②若参数向量和数据向量的构成形式为：③若参数向量和数据向量的构成形式为：以上这种构成参数向量和数据向量的思想就是所谓的增广原理，它是增广最小二乘法的根本。40令

则（24）（25）针对以下模型41v(k)-白噪声因h(k)中含v(k-1)则令或

新息残差（26）（27）（28）42则增广最小二乘算法(RELS)为

（29）或RELS算法是RLS算法的推广，只是信息向量和参数向量中分别增加了噪声模型的信息和参数；RELS算法同样可引入遗忘因子，构成对应的遗忘因子最小二乘算法。43445.4广义最小二乘法

假定过程模型为其中u(k)和z(k)表达过程的输入和输出，v(k)是零均值的不有关随机噪声，且（30）（31）45令则

（32）（33）（34）46令则

（35）（36）47上式中

残差上式中（37）（38）48算法为

（39）49

（40）（41）50计算环节给定初始条件（41）式；运用（32）式计算zf(k)和uf(k)；运用（33）式构造hf(k)；运用（39）式递推计算；运用（37）式计算构造he(k)；运用（40）式计算；返回第二步进行迭代，直至获得满意的辨识成果。GLS的递推算法

(1).给定初始条件

(2).计算或

(3).根据计算

(4).计算偏差:或

(5).根据,计算

(6).返回第三步进行迭代计算,直至收敛.52广义最小二乘的基本思想是基于对数据先进行一次滤波预解决，然后运用普通最小二乘法对滤波后的数据进行辨识。如果滤波模型选择适宜，对数据进行了较好的白化解决，直接运用普通最小二乘法就能获得无偏一致预计。这种滤波模型能够是预先选定的固定模型，也能够是动态变化模型。广义最小二乘所用的滤波模型事实上就是一种动态模型，在整个迭代过程中不停靠偏差信息来调节这个滤波模型，使它逐步逼近于一种较好的滤波模型，方便对数据进行较好的白化解决，使模型参数预计成为无偏一致预计。535.4辅助变量法

假定过程模型为由于-零均值的有色噪声直接运用最小二乘法无法获得模型参数的无偏一致预计,这时能够应用辅助变量法（42）（43）54令（44）55则模型（42）式可化成最小二乘格式或参数的最小二乘预计量为（45）（46）56其中如果e(k)是白噪声，则否则（47）（48）（49）57为了在e(k)不是白噪声时，仍然有定义（50）（51）58使之满足以下两个条件即互相独立。其中称做辅助向量。（52）非奇异59如果采用（选择）适宜的辅助变量（满足上述两个条件）则辅助变量预计值能够得到无偏一致预计（53）60辅助变量选择的基本原则是上述两个条件必须得到满足辅助变量的选择61作为辅助变量，则当u(k)是持续激励信号时，必有是非奇异矩阵，且x(k)只与u(k)有关，也即必与噪声无关，故有。这样的辅助变量常有以下几个选择办法。（54）62惯用的辅助变量的选择办法（1）自适应滤波（2）纯滞后（3）Tally原理63（1）自适应滤波或取0.01-0.1，d取0–10其中表达k时刻的辅助变量参数预计值，它可由递推算法给出。（55）（56）64（2）纯滞后则辅助向量为只要u(k)是持续激励信号，且与噪声e(k)无关，则辅助变量满足以上两个条件。（57）（3）Tally原理如果噪声当作下列模型其中v(k)是零均值的不有关随机噪声，且65（58）（59）66则选即能够满足上述两个条件。递推算法（61）（60）67辅助变量法的递推算法

（62）其中h*(k)为辅助向量。问题讨论1、残差与新息的关系2、准则函数的递推计算68最小二乘类算法仿真举例例1.基本最小二乘7071

727374例2.遗忘因子法一次性算法，75递推算法7677例3.限定记忆法78例4.增广最小二乘79选择以下辨识模型观察数据长度L=402，加权矩阵为单位矩阵。8081例5.广义最小二乘初始条件82838485例6.辅助变量法5.5有关两步法考虑以下模型式中u(k)和z(k)分别为模型输入和输出变量；e(k)是均值为零、方差为的有色噪声；和为迟延算子多项式，记作：其中，na和nb为模型阶次，e(k)是零均值噪声，且与输入信号无关。如果过程的输入输出数据是平稳随机则输入信号的自有关函数和输入输出信号的互有关函数为它们的预计值为90并且预计值可按下式递推91上述模型可变换成：其中n(l)表达有关函数用对应的预计值替代后所造成的误差，且定义写成最小二乘格式：阐明：模型噪声已经不存在，是计算有关函数带来的误差。对上述最小二乘格式可运用最小二乘算法来预计模型参数。最小二乘预计为：1、当输入为白噪声序列的时候，由

，及：

我们有：2、当输入是M序列时，由：我们有：96递推算法97其中式中的数据都是有关函数，需在计算k时刻的参数预计值之前，按前述公式计算k时刻的有关函数，才干构造向量。983、当取

时，可将模型写成99若令则有或100写成101对该式运用最小二乘算法，可得得到的成果与辅助变量法的成果是一致的。102对应的递推算法为103例7：辨识模型以下：104v(k)为零均值的不有关随机噪声。1055.6多级最小二乘法考虑以下模型式中u(k)和z(k)分别为模型输入和输出变量；v(k)是均值为零、方差为的白噪声。应用广义最小二乘法时，当噪声较大时，很难得到全局最小。现在用多级最小二乘法来辨识。106第一级：辅助模型参数辨识令则有107设则有：108由此能够辨识参数：其中：109第二级：过程模型参数辨识由于令比较上式两边的次数，有：110其中111用的预计值替代上面的矩阵得，则有：由此能够辨识参数：112第三级：噪声模型参数辨识由：令比较上面式子两边得次数，我们有：113114用第一级、第二级获得的预计值替代上式中的，得：由此能够辨识参数：115上述（1）、（2）、（3）构成了多级最小二乘法，运用输入输出数据，能够分别求得辅助模型、过程模型和噪声模型的参数预计值。在高噪信比状况下，多级最小二乘法将明显优于广义最小二乘法、广义最小二