最小二乘类辨识算法.ppt

1、1,第章最小二乘类参数辨识方法（一）,2,4.0 引言 4.1 最小二乘法的基本概念 4.2 最小二乘问题的提法 4.3 最小二乘问题的解 4.4 最小二乘估计的可辨识性 4.5 最小二乘估计的几何解析 4.6 最小二乘参数估计值的统计性质 4.7 噪声方差估计 4.8 最小二乘参数估计的递推算法,m次独立试验的数据,4.0 引言,1801年初，天文学家皮亚齐发现了谷神星。 1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 1802年又成功地预测了智神星的轨道。,高斯自己独创了一套行星轨道计算 理论。 高斯仅用1小时就算出了谷神星的 轨道形状，并进行了预测,1794年，高

2、斯提出了最小二乘的思想。,1794年，高斯提出的最小二乘的基本原理是,未知量的最可能值是使各项实际观测值和计算值之间差的平方乘以其精确度的数值以后的和为最小。,6,最小二乘类辨识算法的主要内容,最小二乘辨识算法 自适应辨识算法 偏差补偿最小二乘法 增广最小二乘算法 广义最小二乘法 辅助变量法 相关二步法,7,如果 仅仅关心所要辨识的过程输入输出特性 可以将所过程视为“黑箱” 而不考虑过程的内部机理,8,过程的“黑箱”结构 u(k) 和 z(k) 分别是过程的输入和输出 - 描述输入输出关系的模型，称为过程模型,9,通常可以表示成 其中,（4.0.1）,（4.0.2）,10,n(k)为噪声 可以

3、表示成均值为零的平稳随机系列 式中,（4.0.5）,（4.0.4）,（4.0.3）,11,各种方法所用的辨识模型结构略有不同 最小二乘法（受控自回归 CAR模型） 增广最小二乘法(受控自回归滑动平均 CARMA模型) 广义最小二乘法(动态调节 DA模型),（4.0.9）,（4.0.8）,（4.0.7）,12,经比较可以看出 各种方法所用过程模型一样 只是噪声模型有所不同,根据不同的辨识原理，参数模型辨识方法可归纳成三类： 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函数来估计模型参数： 其中 代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广最小二乘法、辅助变量法、广义最小二

4、乘法等。,（4.0.10）, 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向逐步修正模型参数，使准则函数达到最小，如随机逼近法。 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率密度 最大限度地逼近条件 下的概率密度 ，即 典型的方法是极大似然法。,（4.0.11）,15,4.1 最小二乘法的基本概念,最小二乘法 1795年高斯在其著名的星体运动轨迹预报研究工作中提出的,后来成了估计理论的奠基石。 最小二乘的基本结果有两种算法： 一次完成算法或批处理算法：利用一批观测数据，一次计算或经反复迭代，以获得模型参数的估计值。, 递推算法：在上次模型参数估计值 的基础上，根据当前获

5、得的数据提出修正，进而获得本次模型参数估计值 ，广泛采用的递推算法形式为 其中 表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由观测数据组成的输入数据向量，d 为整数， 表示新息。,（4.1.1）,17,假设 过程的输入输出关系可以描述成以下最小二乘格式 z(k) 过程的输出 参数 h(k) 观测的数据向量 n(k) 均值为零的随机噪声,（4.1.2）,18,利用数据序列z(k)和h(k) 极小化下列准则函数 使 J 最小的 的估计值 ，称为的最小二乘估计值。,（4.1.3）, 最小二乘原理表明，未知参数估计问题，就是求参数估计值 ，使序列的估计值尽可能地接近实际序列，两

6、者的接近程度用实际序列与序列估计值之差的平方和来度量。 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最小值处，所得到的模型输出能最好地逼近实际系统的输出。,20,.2 最小二乘问题的提法,设时不变 SISO 动态过程的数学模型为 所要解决的最小二乘问题 如何利用过程的输入、输出数据 确定多项式 和 的系数,（4.2.1）,21,在最小二乘问题中，一般对模型作以下假设 首先，模型的阶次 ， 已定 且一般 其次，将（4.1.4）模型写成最小二乘格式 式中,（4.2.2）,（4.2.3）,22,对 (4.1.5)式构成一个线性方程组 可以写成,（4.2.4）,23,（4.2.5）,24,另

7、外 设模型的噪声 n(k) 特征为,（4.2.6）,25,在最小二乘法中 假定 n(k) 是白噪声序列 - n(k)的方差 最后，假设数据长度,（4.2.8）,（4.2.7）,(4.2.4)式有L个方程，包括 个未知数。 如果 ，方程的个数少于未知数的个数，模型参数 不是唯一确定。 如果 ，则只有当 时， 才有唯一确定解。 当 时，只有取 ，才有可能确定一个最优的模型参数 ，而且为了保证辨识的精度，L必须充分大。,27,.3 最小二乘问题的解,取准则函数 - 加权因子，对 如 K=1 时 ，K=L时,体现对不同时刻的数据给予不同程度的信任,（4.3.1）,28,准则函数 可写成二次型形式 -

8、加权矩，一般为正定的对角矩阵,（4.3.3）,（4.3.2）,29,设 使 则有 则得,（4.3.4）,（4.3.5）,（4.3.6）,30,当 可逆时（称为正则）时 充分条件 因 所以 , 是唯一的,（4.3.8）,（4.3.7）,31,通过极小化（4.3.2）式 计算 称为加权最小二乘法 取 则（4.3.7）式变化成 - 最小二乘估计值,（4.3.9）,（4.3.10）,32,上述最小二乘法的计算步骤为：首先获取一批足够数量的过程输入输出数据和，并确定加权矩阵，计算的逆矩阵（要求必须是正则矩阵），按照式(4.3.7)即可计算出过程参数的估计值。这种方法称为“一次完成算法”，它为理论分析提供

9、了便利，但在计算时需要对矩阵求逆，如果矩阵维数过大，矩阵求逆的计算量将急剧增加，对计算机造成一定的负担。较为实用的方法是“递推算法”，即把式(4.3.7)化成递推计算的形式，这样便于实现在线辨识。,33,一次性完成算法要求必须是正则矩阵，其充分必要条件是过程的输入信号必须是阶持续激励信号。即要求,（4.3.11）,34,其中,（4.3.12）,35,上述条件称为开环可辨识性条件。即辨识所用的输入信号不能随意选择，否则可能造成不可辨识。目前常用的信号有： ）随机序列（白噪声） ）伪随机序列（如序列） ）离散序列，通常指对含有种频率（各频率不能满足整数倍关系）的正弦信号进行采样处理获得的离散序列。

10、,例 考虑仿真对象,选择如下的辨识模型进行一般的最小二乘参数辨识。,式中，v(k)是服从正态分布的白噪声N(0,1)。输入信号采用4阶M序列，其幅值为1.,4阶M序列,输出信号,一般最小二乘参数辨识流程图,56,.6 最小二乘参数估计值的统计性质,最小二乘参数估计值具有随机性，因此需要研究它们的统计性质 1. 无偏性 2. 参数估计偏差的协方差性质 3一致性 4. 有效性 5. 渐近正态性,57,1. 无偏性(无偏性是用来衡量参数估计值是否围绕真值波动的一个性质。) 定理 1 若模型 中的噪声向量 的均值为零，即 ，并且 与 是统计独立的，即 ，则加权最小二乘参数估计值 是无偏估计量，即 其中

11、 表示系统的真实值。,(4.6.1),58,证明:根据（5.3.7）及定理1所给的条件，参数估计量 的数学期望为 所以 是无偏估计。,(4.6.2),59,无偏性并不要求噪声一定是白噪声，只要求它与统计独立即可。如果是白噪声，则与一定统计独立。 另外，定理所给出是条件是为无偏估计的充分条件，并不是必要条件。它的必要条件应是,(4.6.3),60,即与正交。 当定理的条件不能满足时，它提供了一种获取无偏估计的方法，即可通过选择加权矩阵使之满足正交条件。,61,2. 参数估计偏差的协方差性质 （ 参数估计偏差的协方差阵是用来评价参数估计精度的一个依据。） 定理 2 若模型 的 是均值为零，即 ，协

12、方差阵为 ，并且与 统计独立的噪声向量，则参数估计偏差 的协方差阵为,(4.6.4),62,证明：根据（5.3.7）及定理1、定理2所给出的条件，有,(4.6.5),63,推论 1，在定理2的条件下，如果加权矩阵 ，则模型 的参数估计值为 相应的参数估计偏差的协方差为,此时参数的估计值称为Markov估计，或最小方差估计,(4.6.7),(4.6.6),64,推论 2 若模型 中的 是零均值的白噪声向量，且加权矩阵取 ，则参数估计偏差的协方差阵为 其中 是噪声的方差，且定义,（5.6.8）,推论1、推论2可以由定理2直接得出，它们是评价最小二乘参数辨识方法的重要依据。如果噪声同时又服从正态分布

13、，则（4.6.6）式给出的参数估计值其偏差的方差达到最小值，称为最小方差估计，也称Markov估计。,65,66,3一致性 如果估计值具有一致性，说明它将以概率 1 收敛于真值。 定理 3 在推论2的条件下，最小二乘参数估计是一致性收敛的，即 w.p（with probability）1,W. P. 1,(4.6.9),67,证明： 根据（4.5.8）式，有 式中 将依概率1收敛于一个正定阵，且 是有界的，因而,（4.6.10）,（4.6.11）,68,又因 所以,（4.6.12）,69,需要特别指出：只有当是白噪声时，定理才能成立。,74,4. 有效性 即估计值偏差的协方差阵将达到最小值。

14、定理4 在推论2的条件下，并设噪声 服从正态分布，则最小二乘参数估计 是有效估计值，即参数估计偏差的协方差达到Cramer-Rao不等式的下界 其中，M为Fisher信息矩阵,（4.6.21）,（4.6.22）,75,证明：因为 其中 由定理3知,（4.6.23）,（4.6.24）,76,则 ，故有 那么 即,（4.6.25）,（4.6.26a）,（4.6.26b）,77,上式取偏导数，得 于是,（4.6.27）,（4.6.28）,78,推论3 在推论1 的条件下，并设噪声 服从正态分布，则最小误差方差估计 是有效估计，即 其中，M为Fisher信息矩阵。,（4.6.29）,证明：和证明定理3

15、类似，同类可以证明Markov参数估计 将依概率1收敛于 。则可得Fisher信息矩阵为 与（4.6.7）比较知，（4.6.29）式成立。 定理4和推论3表明，在一定条件下，最小二乘参数估计值和Markov参数估计值都是有效估计量。,（4.6.30）,80,5. 渐近正态性 定理5 在推论2的条件下，设噪声 服从正态分布，则最小二乘估计值 服从正态分布，即,（4.6.31）,81,证明：根据及 可得 由知 可见，是的线性函数，则 整理，即为（）式。,（4.6.32）,（4.6.33）,（4.6.34）,82,推论 在推论1 的条件下，并设噪声 服从正态分布，则最小误差方差估计 服从正态分布。即

16、,（4.6.35）,83,4.7 噪声方差估计,定理：在推论 2的条件下噪声方差 的估计值由下式计算 其中 ， 为输出残差，即,（4.7.1）,84,该定理提供了一种计算噪声方差估计值的方法。它必须先获得参数估计值，继而进一步求得输出残差 然后按上式求的估计值。 而且是的无偏估计量。,85,证明是的无偏估计,因 ，故为同幂矩阵， ，则,（4.7.2）,（4.7.3）,（4.7.4）,86,利用下列公式,并考虑到 是白噪声向量，它必与 统计独立，则有,（4.7.5）,87,（4.7.6）,表 不同噪声水平下的辨识结果,90,4.8 最小二乘参数估计的递推算法,新的估计值 = 老的估计值 + 修正

17、项,（4.8.1）,91,初值的选取 （1）根据一批数据，利用一次完成算法，预先求得 （2）直接给定初始值 ，a - 充分大的实数 ， - 充分小的实向量,（4.8.2）,最小二乘参数估计的递推算法,目的：减小重复计算量和贮存空间、便于在线应用 思想：按观测次序一步一修正，即 新的估计值 =老的估计值 + 修正项,改写一次性完成算法：,(na+nb) (na+nb),L 1,(na+nb) 1,（4.8.3）,基于数据长度为L的测量值，所得参数最小二乘估计为：,L,L-1,L-2,1,Past,Future,“估计” z(1)所用数据, 这些数据构成 h(1),max(na , nb)拍,ma

18、x(na , nb)拍,“估计” z(L)所用数据, 这些数据构成 h(L),令k=L（即假设观测方程个数为k）, 可得：,其中：,以下省去,k(na+nb),L被称作记忆长度或数据长度,（4.8.4）,（4.8.5）,（4.8.6）,进一步：,重温,可知,(na+nb) (na+nb),此 k 指观测 数据长度,（4.8.8）,（4.8.9）,（4.8.7）,这样：,因为,（4.8.10）,（4.8.11）,引进增益矩阵,可得加权最小二乘的另一表述式：,上式中除K(k)以外均为迭代计算形式。能否对K(k) ，本质上是P(k), 也实现迭代计算呢？ P(k)已经被定义为逆矩阵：,欲实现其迭代计

19、算，需用到矩阵反演公式。,（4.8.12）,（4.8.13）,（4.8.14）,设A为nn非奇异阵，C为n m维矩阵，则有矩阵反演 公式：,两边同时右乘矩阵（A+CCT）可以证明上式是成立的。,将,改写为,标量,A C CT,mm,nn,（4.8.16）,（4.8.15）,标量,标量,(na+nb) (na+nb),与P(k-1)同维,（4.8.17）,（4.8.19）,（4.8.18）,（4.8.17）,至此，可得加权最小二乘参数估计递推算法（RWLS-Recursive Weighted Least Square）：,新息,时变矩阵,对称阵,（4.8.20）,为了保证P(k)的对称性，有时

20、将上式的第3式写成：,这样在计算过程中即使有舍入误差，也能保证P(k)始终是对称的。,（4.8.21）,104,初值的选取 （1）根据一批数据，利用一次完成算法，预先求得 （2）直接给定初始值 ，a - 充分大的实数 ， - 充分小的实向量,（4.8.22）,（4.8.23）,因为,根据参数估计公式有,显然，使上式成立的条件是 故有（4.8.23）式,（4.8.25）,（4.8.24）,可用下式作为递推算法的终止条件,（4.8.26）,例题 考虑如图所示的仿真对象。图中v(k)是服从N(0,1)正态分布的不相关随机噪声输入信号u(k)采用4阶逆M序列，幅值为1。控制值，使数据的信噪比=73%。

21、,+,+,选择如下模型结构 加权因子取为(k)=1，数据长度L=480；初始条件取为 利用最小二乘递推算法在线估计参数 ，结果如表所示。,为了进一步确认辨识结果，需要对所获得的模型进行检验。计算输出残差序列的均值和自相关系数，结果如下表。,上述结果表明，输出残差序列接近于白噪声，因此获得的模型是可靠的。,112,几点讨论 1. 残差与新息的关系 2. 准则函数的递推计算 3. 递推算法的收敛性,113,1残差与新息的关系 新息 描述 时刻的输出预报误差 残差 用来描述 时刻的输出偏差 定义,（4.8.27）,（4.8.28）,114,残差与新息的之间存在以下联系 或者,（4.8.30）,（4.

22、8.29）,证明：根据残差、新息的定义和递推估计算法，有,（4.8.31）,116,2. 准则函数的递推计算 准则函数的递推计算为,采用上式计算准则函数，因为 和 在参数估计递推公式中已经求过了，可以直接利用，所以，递推计算准则函数速度非常快。,（4.8.32）,117,3. 递推算法的收敛性 如果噪声是零均值的白噪声 那么 6节中递推算法给出的参数估计值是一致收敛的,（4.8.33）,RWLS的收敛性,对模型z(k)=hT(k)+n(k), 若n(k)是均值为0的白噪声，可以证明WLS一次性估计算法是一致收敛的, 即 以概率1收敛于真值0。对RWLS算法，同样可以证明：,（4.8.34）,证

23、明：构造关于 的差分方程， 由于0是真值，故：,得,利用,（4.8.35）,（4.8.36）,（4.8.37）,（4.8.38）,由于,令,故,研究差分方程 的稳定性问题：,设矩阵A(k)的特征值为，则有 A(k) x=x 其中x为非0特征向量,（4.8.39）,（4.8.40）,（4.8.41）,（4.8.42）,A(k) x=x,由于(k)0且P-1(k-1)和h(k)(k) hT(k)为正定阵，故对所有非0向量x, (1-)和必须同号，即,0 1,系统 稳定,（4.8.43）,（4.8.44）,（4.8.45）,（4.8.46）,（4.8.47）,（4.8.48）,递推最小二乘法的步骤

24、用最初的 组数据 作矩阵 及 ，求出参数的初始估计 和 作为初始值。 求出 。 用新取得的观测数据 ，求出新的参数估计 。 继续进行新的采样，并从第2步开始重复,从上述步骤可以看出，递推最小二乘初始值是 用 组数据求得的 和 ，为此，必须 求逆矩阵，比较麻烦。下面介绍一种简单的求初值 的算法。 在取得 组数据后，可设,仿真研究,已知系统模型 x(k)-1.5x(k-1)+0.7x(k-2)=2u(k-1)+0.5u(k-2), y(k)=x(k)+v(k), v(k)=(k)， u、x、y、v分别为模型输入、模型输出、测量输出、干扰噪声。输入u为逆M序列：信号幅值a=1、寄存器位数为n=5(信

25、号长度N=2n-1=31),为噪信比调整因子，噪信比定义为：,、 分别为模型输出x和噪声v的均方差（标准差），有两种模型：(1)为白噪声，(2)为有色噪声，噪声模型为：,(k)=e(k)+0.5e(k-1)+0.9(k-1)-0.95(k-2),e(k)为白噪声,定义辨识误差值：,其中：为独立的实验次数, 为模型真值 为模型估计值,选择自相关特性好的M序列作为输入。利用MATLAB产生寄存器位数n=5，每周期长为31，重复周期数q=40的M序列，并将其作为输入得到系统输出。绘出一个周期的输入输出图形分别如图2和图3所示。,产生系统噪声 为了后面能较好的区分每种辨识方法的性能，我们分别在输出中叠

26、加白噪声和有色噪声。取NSR=20%，用同一噪声源产生两种噪声模型，分别绘制白噪声、用相同噪声模型产生的有色噪声和不同噪声影响下的系统输出的曲线。,最小二乘辨识模型辨识 为较好的研究最小二乘辨识模型的性能，分别在不同的噪声模型下，用不同的噪信比影响系统输出，利用输入输出数据对系统进行辨识。分别采用白噪声模型和有色噪声模型，取NSR=0%、5%、10%、15%、20%、25%、30%、35%、40%、45%、50%，每种工况下取独立试验次数N=50（每次独立产生噪声），数据序列取前1024点，用最小二乘法辨识模型，分别画出NSR曲线。图中的纵坐标（辨识误差）是50次辨识误差的均值。,由图可见： 在白噪声影响下，各系数的辨识误差都很小，欲辨识参数为a1