最小二乘法综述

1、大学20132014学年第一学期期末考试系统辨识（小论文）题目：最小二乘法综述学院：电气与信息工程学院系:自动化系专业：自动化班级：自动化*班学生姓名：学号：日期：2016/12/27最小二乘法综述摘要：最小二乘法是一种最基本的辨识方法，本文首先对系统辨识概念以及最小二乘法原理进行了介绍，针对最小二乘存在的缺陷：一是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象；二是存在有色噪声时不能获得无偏一致估计。进行了分析并阐述了几种能有效解决上述问题的改进型最小二乘法，分别称为遗忘因子法、限定记忆法和广义最小二乘法，并且在Matlab上进行了仿真分析。最后对最小二乘法在系统辨识中的发展趋势做了

2、预测。关键词：最小二乘法改进型最小二乘法Matlab发展趋势引言系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。1962年，L.A.Zadeh最先提出了系统辨识的定义：“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而根据最小二乘法的定义：”最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识

3、所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法限定记忆法和遗忘因子法，并通过Matlab进行仿真分析，最后给出了系统辨识的发展趋势。1 .基于最小二乘法的系统辨识的理论基础及应用1.1 最小二乘法历史简介1801年，意大利天文学家朱赛普皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位谿。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结

4、果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作天体运动论中。经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。1.2 系统辨识的理论基础从字面上讲，系统辨识(SystemIdentfication)就是识别一个系统、辨识一个系统。系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包含系统结构辨识(SystemStructureIdentification)和参数

5、估计(ParameterEstimation).系统结构(或模型结构)就是系统数学表达式的形式。对单输入单输出线性系统而言，模型结构就是系统的阶次(Order);对多变量线性系统而言，模型结构就是系统的能控性结构指数(ControllabilityStructureIndex)或能观测性结构指数(ObservabilityStructureIndex),系统阶次等于系统的能控性结构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient),系统阶次就是传递函数分母多项式的次数(Degree);对状态空间模型而言，系统参数就是状态空间模型的A

6、,B,C,D矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及得到系统参数。1.3 最小二乘法原理最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。因此要用最小二乘法解决实

7、际的辨识问题，首先要对最小二乘法有深刻理解。根据最小二乘法原理，也就是误差的平方和最小原理，设：z(k)为k时刻的测量值，z'(k)为k时刻的估计值，误差的平方和J=£(z(k)-z'(k)2，考虑线性离散系统下的差分方程knanbz,(k)=£az(k-i)+£Qu(k-i)+v(k),i1i=0将其写成最小二乘格式z,(k)=hT(k尸v(k)h(k)=z(k-1),.,z(k-na),u(k-1),.,u(k-，)=二信1,.启鹏,。，.儿J八(z(k)-hT(k户)2=(zH)t(zHl)kzL=z(nab1),.,z(nabL)tHl=h

8、T(nab1),.,hT(nabL)tnab=max%,为当事使彳#J=0时，j在s处取极值。c6考虑到不同时刻的测量值的可信度，可以引入加权因子A(k)A(1)则J=(zLHLH)TAL(zLHlH),而Al=A(k)<A(L)j,J由一=0得e=(hTAlHl)(hTAlzl)2JT一、当aL正定时，T=2H：alHl正定，2J即(k)0kN.Y正定因此f使得J为极小值。1/最小二乘法处理辨识问题的应用举例考虑如下线性系统：zkazk-1anazk-na=huk-1bnbuk-qek其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。其系统模型如图1所示:图1SIS

9、O的系统模型结构图其中G(z-1)是系统函数模型，N(z-1)为有色噪声系统模型，e(k)为白口声v(k)经过系统函数为N(z-1)的系统后的输出。通常BzGz'=-AzDzNz=-Cz式中:'1.1_2_nAz=1a1za2zanaza_112Bz=bzb2z.bnbzbCz=1Gz，k2c%zi11_2n.Dz=dzd2z''bndzd取，三是辨识算法的选择，下面一一探讨。1.4.1 选择输入为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机

10、噪声，因此我们通常选择M序列或逆M序列作为输入。1.4.2 准则函数因为本文主要探讨最小二乘类辨识方法，在此选取准则函数望一_2*_T_2J(9)=Ze(k=£z(k)h(k户1k注-km-使准则函数J(日产min的e估计值记做eLS,称作参数e的最小二乘估计值在式z(k)=hT(k户+e(k)中，令k=1,2,3,L,可构成线性方程组：ZLk=H【k，k式中ZL二一41)z(2)Hl=-z0-z1.Z(L)j-z1-na一z2-na.e(L)Ju0u1u(1-nb)1u(2-nb)-e(1)1e(2)uL-nbZl-HL：liZl-HL。；z(L-1)准则函数相应变为:-2一-r-

11、2J(8户工_e(k)=Ez(k)h(k户=(kzi极小化JS)，求得参数9的估计值，将使模型更好的预报系统的输出1.4.3最小辨识二乘算法cJ(9)设%s使得J(日)=min,则有TT一Zl-Hl.zL-HL.=0co展开上式，并根据以下两个向量微分公式:二TTax=a.xxTAx=2xTA出对称阵:x得正则方程：HlHlUlS=HlZl1当HlHl为正则阵时，有仇s=(HlHl)HlZl且有"%卜=2H1Hl>0,所以满足上式的限唯一使得J(e)=min,这种通过极小化式J(0尸min计算&ls的方法称作最小二乘法。而且可以证明，当噪声e(k柱均值为0的高斯白噪声时

12、，可实现无偏估计。2.最小二乘法在辨识时存在的问题及其改进型最小二乘法2.1 传统最小二乘存在的问题最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。主要是有一下两方面的缺陷：一是当模型是有色噪声时，最小二乘参数估计不是无偏、一致估计；二是随着数据的增长，最小二乘法将出现所谓的“数据饱和”现象。这是由于增益矩阵K(k)随着k的增加将逐渐趋近与零，以致递推算法慢慢失去修正能力之故。本节先给出了最小二乘的递推算法，由递推算法看出“数据饱和”现在，然后阐述了两种解决这种现象的算法称为遗忘因子法和限定记忆法，最后还阐

13、述了一种解决存在有色噪声不能进行无偏估计的算法，称为广义最小二乘法。2.2 最小二乘法的递推算法为了减少计算量，减少数据在计算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。首先，将准则函数的最小二乘一次完成算法写为T一,一TTwls=HlHlHlZl=PLHlZlLhihTi，hizi_i3定义kP,k=HkXhihTii=1kJP(k1)=H；Hy=£h(i)h'(i)式中HkhT1hT(2)Hk4=hT1h12)?T(k)J?T(k-1)J式中，h(i)是一个列向量，也就是Hl的第i行的倒谿，P(k)是一个

14、方阵，它的维数取决于未知参数的个数，假设未知参数的个数是n,则P(k)的维数是nxn.o由定义中的式子可得P(k)的递推关系为:kP，k八hihTihkhTki1=P“k-1hkhTk卜=z,z(2)，z(k-1)TTZk-|仔1，z2，一，zk则-1TTe(k-1)=(Hk/Hj)HkZkk二=pk-1"hizikJ由此可得：P1k-1-k-1)=，,hizii4由上述推导可得TTkfk=H"H>k=Pk'hizi=PkPk-k-1hkzki"r=PkiP,k-hkhTkk-1hkzk?i"r-k-1PkhkzkhTkp"k-1

15、力引进增益矩阵K(k),定义K(k)=P(k)h(k式成(k网以进一步写为6(k)=S(k-1)+K(k)z(k)-hT(k)6(k-1)接下来可以进一步把P(k)写为：Pk)=，P4k-1hkhTk,11利用矩阵反演公式ACCT=A-ACICTACCtA将P(k演变成：Pk：.：Pk-1-Pk-1hkhTkPk-1)hTkPk-1hk1'Pk-1P(k-Oh(kT(k)IhT(k)P(k1)h(k)+1将上式代入K(k)中，整理后可得Kk=Pk_1hk)(hTkPk-1hk1综合上式可得最小二乘递推参数估计算法RLS6(k)=9(k1)+K(k)z(khT(k用(k1)Kk,>

16、Pk-1hkhTkPk一1hk1P(k产j-K(k)hT(k)P(k-1)，J2.3遗忘因子递推算法所谓“数据饱和”饱和现象就是随着时间的推移，采集到的数据越来越多，新数据所提供的信息被淹没在老数据的海洋之中，由上节推导的RLS可知，k时刻的参数估计值是依靠新信息与增益矩阵K(k)的乘积来修正的，K(k)的值越大，算法的修正能力越强，可是随着时间k的增加，K(k)的值会逐渐趋近于零，故算法就会失去修正能力，为此本节阐述的遗忘因子算法能改善这种现象。这种方法的基本思想是对老数据加上遗忘因子，以降低老数据所提供的信息量，增加新数据的信息量。设SISO过程采用如下的数学模型：A(z-1)z(k)=B

17、(z-1)u(k)v(k)其中u(k)和z(k)是过程的输入输出量，v(k)是零均值的不相关随机噪声，改成最小二乘的格式为：z(k)=K(k)uv(k)又可写为：。二七十、当数据加衰减因子后，一次算法可以写成：LL彳L)=u(J)h(i)K(i)-卜u(L-i)h(i)z(i)i=1i=1其中u称为遗忘因子，并且u大于0小于等于1。定义kP(k)-uk-ihCDhtdHH；tkP(k-1)-uk-1Jh(i)ht(i)H；tiH；ii"则P(k)=uP(k-1)h(k)ht(k)最后得1?k)=彳k-1)Rk)h(k)z(k)-ht(k)k-1)令增益矩阵K(k)=P(k)h(k)综

18、上分析，遗忘因子的递推算法可以写为:彳k)=a-1)K(k)z(k)-h，(k)彳k-1)K(k)=P(k-1)h(k)ht(k)P(k-1)h(k)u一1一P(k)I-K(k)ht(k)P(k-1)u0u三1可见，遗忘因子的递推算法和普通最小二乘法的递推算法的计算流程基本一致，但是遗忘因子必须选择接近于1的正数，通常不小于0.9,如果过程是线性的，应把u限定在0.95和1之间。2.4限定记忆递推算法最小二乘法或遗忘因子法在一次完成算法中所用的数据长度L是一定的但在递推算法中，数据长度L就不是固定的了，它随着时间k的推移而逐渐增加。这意味着老数据所含的信息在不断积累，长期下去新数据所含的信息将

19、被淹没。新数据的作用就会被削弱。这种数据长度岁k不断增长的辨识算法称作增长记忆法，其特点是老数据所含的信息始终在起作用，相对将影响新数据的作用。另一类辨识算法叫做限定记忆法。这种方法的参数估计值始终依赖于有限个最新数据所提供的信息，每增加一个新数据的信息，就要去掉一个老数据的信息，数据的长度始终保持不变。它的特点是离现时刻L以前的老数据所含的信息从算法中彻底被刨除，影响参数估计值的数据始终是最新的L个数据，不像最小二乘法或遗忘因子法那样，不管多老的数据都在起作用。就这点而言，限定记忆法更适合于用来克服“数据饱和”现象。具体算法如下：首先这里不需要考虑不同时刻测量值得可信度所以A(k)=1所以这

20、里最小二乘法递推公式是K(k)=P(k-1)h(k)hTP(k-1)h(k)1-1P(k)=I-K(k)hT(k)P(k-1)1(k)-(k-1)K(k)z(k)-hT(k尸(k-1)限定记忆法的思想是每增加一个新数据的信息就减少一个老数据的信息，使得数据长度保持不变设第k-1步的时候P(k,kL-1)=P(k-1),"k,kL-1)-(k-1)第k步增加新数据的信息，也就是加入z(k+L),h(k+L)的信息这里直接用最小二乘法将z(k+L),h(k+L)增加到P中去因此，由上式增加后得:二-«k,kL)="k-1)K(k,kL)z(kL)-hT(kL尸(k-1

21、)T="k,kL-1)K(k,kL)z(kL)-hT(kL尸(k,kL-1)K(k,kL)=P(k,kL-1)h(kL)hTP(k,kL-1)h(kL)1P(k,kL)=I-K(k,kL)hT(kL)P(k,kL-1)去掉k时刻的数据即z(k),h(k)的信息去掉k时刻的数据信息后T1P=P(k1,kL)=(HT(k1,kL)H(k1,kL)TMk1,kL)=PHT(k1,kL)z(k1,kL)=P(k1,kL)HT(k1,kL)z(k1,kL)这里z(k1,kL)=z(k1),.,z(kL)Y最后整理得«k+1,k+L)=&k,k+L)K(k+1,k+L)z(k)

22、-ht(k演k,k+L)t1K(k1,kL)=Rk,kL)h(k)1-ht(k)P(k,kL)h(k)Rk+1,k+L)=I+K(k+1,k+L)ht(k)Rk,k+L)k,kL)=Mk,kL-1)Rk,kL)z(kL)-ht(kL)k,kL-1)K(k,k+L)=P(k,k+L-1*k+L)1+ht(k+L)P(k,k+L-1h(k+L)<Rk,k+L)=I-K(k,k+L)K(k+L)P(k,k+L-1)2.5广义二乘递推算法设SISO系统采用如下模型：1Az4zk=Bz'uk-vkCz其中A(z-1),B(z-1)和C(z-1)的定义见1.4节令1Zfk=Cz-zkiUfk

23、=Czuk及1-ai,a2,-,ana,bi,b2,bnbTThfk=-zfk-1,-Zfk-na,ufk-1,ufk-nb将模型化为最小二乘格式：zf(k)=h；(kp十v(k)由于v(k)是白噪声，所以用最小二乘可以获得参数由勺无偏估计，由于噪声模型C(z-1)未知，还需要用迭代的方法来求得C(z-1)。令,1.ek1vkCz貉<k=G，C2，,CnTT1hek=-ek-1；，-ek-ncJ这样就把噪声模型也转变为最小二乘格式：e(k)=hT(k)9e+v(k)由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数亳的无偏估计，但是数据向量中依然含有不可测的噪声量-e(k-1),，-

24、e(k-兀),可用相T应的估计值来代替，谿he(k)=-e(k-1),，-e(k)，其中k<0时，e(k)=0;k>0时，按照ek=zk-hTk计算，式中Thk=-zk-1,-zk-na,uk-1,uk-、综上所述，广义最小二乘法可归纳为日(k)=e(k1)+Kf(k)zf(k)hT(kR(k1)Kf(k)=P(k-1)hf(k)h；(k印(k1泌(k)+11Pf(k产IKf(k)h；(k)P“k1)i"r-A-K9e(k尸为处一1户Ke(k)(k)_h：(k)9e(k_1)Ke(k尸旦(k1)he(k)hT(k)R(k1)he(k)+1pe(k)=i-Ke(k)hT(k

25、)pe(k-1)3.仿真结果与性能比较3.1 仿真模型图2SISO系统辨识“黑箱”结构图模型选用差分方程：z(k+2)=1.5*z(k+1)-0.7*z(k)+u(k+1)+0.5u(k)+v(k)噪信比为0.73其中v(k)为正态分布的白噪声。u(k)为取值1和-1的逆M序列，系统参数可以表示为9=-1.50.710.53.2 遗忘因子递推算法的仿真结果取数据长度L=402,初始条件6=0,遗忘因子u=0.98o则参数估计值的变化过程如图:恃估麟数过渡过程200估计方差变化过程:估讨方差变化过程10050100150200250300350400450最后的参数估计值0=-1.51500.7

26、4771.08860.63543.3 限定记忆递推算法的仿真结果取数据长度Lo=402,记忆长度L=20,初始条件E0=0o则参数估计值的变化过程如图：估计方差变化过程:估W疔荽变化过程最后的参数估计值9=-1.47860.67680.96080.51293.4 限定记忆法和遗忘因子法结果分析与比较从遗忘因子法和限定记忆法的最终估计值来看，两者的效果基本差不多。但遗忘因子法的参数跟踪过程变化浮动比较大，而限定记忆法则相对平稳许多，这说明遗忘因子法是新老数据一起起作用才造成这个结果，即对老数据加上遗忘因子，以降低老数据对辨识的影响，相对增加新数据对辨识的影响，不会出现“数据饱和”现象，这也只是消

27、弱影响，并没有完全剔除老数据的影响。但是限定记忆法辨识所使用的数据长度保持不变，每增加一个新数据就抛掉一个老数据，使参数估计值始终只依赖于有限个新数据所提供的新消息，克服了遗忘因子法不管多老的数据都在起作用的缺点，因此该算法更能有效的克服数据饱和现象。3.5 广义最小二乘递推算法的仿真结果实际给定的方程为：Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+e(k),e(k+2)+2.1*e(k+1)-2.5*e(k)=v(k+2),即实际的a1=-1.5,a2=0.7,b1=1,b2=0.5程序运行结果如图：估计方差变化过程：FiguresX文件让)碗瓦口查

28、卷3插入(!工具3京面回窗口(四】悟助也1f3日*k琬0片口明aO拈计方差变化过程UUIIJII90-8070-60-40I-30-20-10°0501W15D2002503003504DD待估参数过渡过程:Figure1OX支件但相辑旧音看M插入山工以3鼻面时口曲用明回3U二k、，门臬，0口口口最后的参数估计值0=-1.53320.72281.01850.4954-0.02780.0521估计值中的最后两个值表示噪声传递系数的估计值。3.5广义最小二乘递推算法的结果分析广义最小二乘法其实就是对数据先进行一次滤波预处理，然后利用普通最小二乘法对滤波后的数据进行辨识。将广义最小二乘法的

29、结果与上述限定记忆法和遗忘因子法结果比较，发现结果基本是一致的，那是因为噪声模型C(z-1)=1,故都能获得无偏一致估计，且广义最小二乘法还能获得噪声模型的估计值。但若C(z-1)不为1时，必须利用广义最小二乘法才能获得无偏一致估计4.系统辨识的发展及对策最小二乘法(LS猫一种经典的和最基本的，也是应用最广泛的方法。但是，最小二乘估计是非一致的，是有偏差的，所以为了克服它的缺陷，而形成了一些以最小二乘法为基础的系统辨识方法：广义最小二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法，有最小二乘两步法（COR-LS和随机逼近算法等。广义最小二乘法的基本思想是

30、引入一个白化滤波器，把相关噪声转换为白噪声，基于对观测数据先进行一次滤波处理，然后利用普通最小二乘法对滤波后的数据进行辨识。递推算法的基本思想是用新估计值对老的估计值进行修正，应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值，而且此方法占据计算机存储量小，因此在辨识系统中得到了广泛的应用。遗忘因子的最小二乘法在对系统模型参数进行辨识时强调新数据的作用，贬低老数据的作用，将遗忘因子人引入系统中，在实际应用中遗忘因子人的大小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响，所以选取合适的遗忘因子会显著提高系统的辨识能力。而限定记忆的最小二乘法的参数估计值始终依赖于有限个最新数据所提供的信息，每增加一个新数据的信息，就要去掉一个老数据的信息，数据的长度始终保持不变。它的特点是离现时刻L以前的老数据所含的信息从算法中彻底被刨除，影响参数估计值的数据始终是最新的L个数据，不像最小二乘法或遗忘因子法那样，不管多老的数据都在起作用，因此比起遗忘因子法，更能提高系统的辨识能力。5.结论系统辨识的方法有很多，但是最小二乘法是其中最重要、应用最广泛的一种系统辨识方法。针对经典的最小二乘法存在的一些不足，广义