基于最小二乘法的系统辨识问题研究综述

1、基于最小二乘法的系统辨识问题研究综述摘要：对基于最小二乘法的系统辨识方法进行了介绍。首先对系统辨识概念以及最小二乘法原理进行了介绍，然后根据例子来说明怎样运用最小二乘法来解决实际辨识问题。而且本文针对最小二乘存在的缺陷进一步阐述了一些改进型最小二乘法在系统辨识中的应用，最后对系统辨识的发展趋势做了预测。关键字：系统辨识最小二乘法改进型最小二乘法发展趋势1引言系统辨识归根到底是一种数学建模的过程，而建模过程中运用的方法并不唯一，最小二乘法是较早被应用于系统辨识中的一类方法。1962年，L.A.Zadeh最先提出了系统辨识的定义1:“辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个

2、与所测系统等价的模型。”简单的来说，就是在现有数据的基础上，按照一个准则在一组模型类中选择一个与提供的数据拟合得最好的模型。而根据最小二乘法的定义2:“最小二乘法是一种数学优化技术，它通过最小化误差的平方和寻找数据的最佳函数匹配。”其基本思想就是让实测数据和估计数据之间的平方和最小，这恰恰是系统辨识所需要解决的问题，所以最小二乘法很早就被用来求解辨识中需要的拟合数学模型。本文在阐述最小二乘法理论的基础上对于其在系统辨识中的应用做了介绍，并指出实际应用中存在的不足，列举了几种改进型的最小二乘算法来改进系统辨识能力，最后给出了系统辨识的发展趋势。2基于最小二乘法的系统辨识的理论基础及应用2.1 系

3、统辨识的理论基础从字面上讲，系统辨识(SystemIdentification)就是识别一个系统、辨识一个系统网。系统通常是由表征系统输入输出关系的数学模型描述的，这个模型有其特定的结构和参数。因此，系统辨识包含系统结构辨识(SystemStructureIdentification)和参数估计(ParameterEstimation).系统结构(或模型结构)就是系统数学表达式的形式。对单输入单输出线性系统而言，模型结构就是系统的阶次(Order);对多变量线性系统而言，模型结构就是系统的能控性结构指数(ControllabilityStructureIndex)或能观测性结构指数(Obser

4、vabilityStructureIndex),系统阶次等于系统的能控性结构指数或能观测性结构指数之和。对传递函数而言，系统参数就是传递函数分子分母多项式的系数(Coeffi-cient),系统阶次就是传递函数分母多项式的次数(Degree);对状态空间模型而言，系统参数就是状态空间模型的A,B,C,D矩阵，就是状态向量的维数或矩阵的维数，它等于系统的能控性结构指数系统阶次或能观测性结构指数之和。求解系统辨识问题实质上就是找到合适的数学方法来判断系统的结构以及得到系统参数。2.2 最小二乘法的理论基础最小二乘法作为一种传统的参数估计方法，早已经被大家所了解。然而大多同学对最小二乘法的认识都比较

5、模糊，仅仅把最小二乘法理解为简单的线性参数估计。事实上，最小二乘法在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的应用。特别是针对动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。因此要用最小二乘法解决实际的辨识问题，首先要对最小二乘法有深刻理解。下面是一般的最小二乘法问题：实系数线性方程组aiixi+ai2X2+,+ainXn-bi=0821X1+822X2+,+a2nXn-b2=0,(2.i)amiXi+am2X2+,+amnXn-bm=0方程组可能无解。即可能不存在一组实数Xi,X2,Xs使m2

6、(aMXiai2X2,ainXn-bi)=0(2.2)iW恒成立。因此我们转而求其次，设法找到实数组Xi,X2,Xs使误差的平方和最小，这样的Xi,X2,Xs称为方程组的最小二乘解，这样问题就叫最小二乘法问题。2.3 最小二乘法处理辨识问题的应用举例考虑如下线性系统：z(k广a1z(k-1)+anz(k-na尸bu(k一1)+bnbu(k-nb广e(k)(1)其中，u(k)为系统激励信号，y(k)为系统输出，e(k)为模型噪声。其系统模型如图1所示：图1SISO的系统模型结构图其中G(z-1)是系统函数模型，N(z1)为有色噪声系统模型，e(k)为白噪声v(k)经过系统函数为N(z-1)的系统

7、后的输出。通常(2)(3)BzGzAz式中：-2.2-2dA(z)=1+a1z+a2z+anazBz=bzbzzAz。Cz=1cz4dg-4(4)Dz，=dzd?zbndzdBz4Dz，则系统可表不为：z(k)=4u(k)+/v(k)(5)Az4Cz，设样本和参数集为：Jh(k)=-z(k-1),-z(k-2),-z(k-n),u(k-1),u(k-2),，u(k-n)T“、VTi-a,an,h,d,bnh(k)为可观测的量，差分方程可写为最小二乘形式z(k)=hT(k冷+e(k)(7)如何在系统噪声e(k)存在的情况下从该方程中正确的解出日，即是系统辨识的任务。为了求出日，我们面临三大问题：

8、一是输入信号的选择，二是判决准则的选取，三是辨识算法的选择，下面一一探讨。1 .选择输入为了准确辨识系统参数，我们对输入信号有两大要求，一是信号要能持续的激励系统所有状态，二是信号频带能覆盖系统的频带宽度。除此之外还要求信号有可重复性，不能是不可重复的随机噪声，因此我们通常选择M序列或逆M序列作为输入。2 .准则函数因为本文主要探讨最小二乘类辨识方法，在此选取准则函数二2二T2J（e）=e（k）1=z（k）-hT（k）6（8）k4-k4-使准则函数J但）=min的e估计值记做日LS,称作参数e的最小二乘估计值。在式中，令k=l,2,3,L,可构成线性方程组：Zlk=HTk-eLk式中-z(1)

9、1z(2)a：z(LJb1e(2)I-：e(L)|z0-z1-nau0u1-nb中)-Z(2-Uu(2-期)HL=：:：z(L-1)-z(L-%)u(L-1)u(L-nb)j准则函数相应变为:J(8)=e(k)j=Zz(k)-hT(k声2=(入hl。Zl-hl。)k3-kz1极小化J（日，求得参数e的估计值，将使模型更好的预报系统的输出。三.最小二乘辨识算法设先使彳导J但尸min，则有曾卜=言（4-出强（%=0展开上式，并根据以下两个向量微分公式：二丁tax=ax.f一xTAx=2xTA助对称阵(9)(10)(11)(12)(13)x得正则方程：（H【Hl州LS=H【Zl（14）1当H【Hl为

10、正则阵时，有%s=（H【Hl）H【Zl（15）且有&=2H【Hl0,所以满足式（15）的eLS唯一使得J（e）=min,这种通过极小化式（11）计算S的方法称作最小二乘法。而且可以证明，当噪声e（k）是均值为0的高斯白噪声时，可实现无偏估计3最小二乘法在辨识时存在的问题及其改进型的系统辨识应用举例3.1传统最小二乘存在的问题最小二乘法存在一些缺陷制约着最小二乘法在系统辨识中的应用，在处理日益复杂的系统辨识问题中，最小二乘法在系统辨识中存在的缺陷逐渐显现出来。如传统的最小二乘法不适合在动态辨识系统中使用，而且其参数估计存在偏差，耗时较长的问题。3. 2递推最小二乘算法为了减少计算量，减少数据在计

11、算机中占用的内存，并实时辨识出系统动态特性，我们常利用最小二乘法的递推形式。下面我们来推导递推最小二乘算法的原理。首先，将式（11）的最小二乘一次完成算法写为1(16)(17)wls=HlHlHlZl=PLHlZl=vhihTiLhizi_i1_i1定义rkP(k)=HTHk=2h(i)hT(i)-kP，k-1=HHk4=、hihTi式中Hk一hT1-2)HkJ-hT1hT(2)(18)hT(k)式中，h(i)是一个列向量，也就是未知参数的个数，假设未知参数的个数是由式17可彳导P(k)的递推关系为：k1-hT(k-1)HL的第i行的倒置，P(k)是一个方阵，它的维数取决于n,则P(k)的维数

12、是nXn.。PJk八hihTihkhTki11T=Pk-1hkhk(19)卜7=卯);(2，z(k1)fTZk-IIz1,z2，zk(20)18k-1)=(H：Hk)H：Zk=Pk-1%hizi(21)kJ由此可得：P,(k1)8(k1)=h(i)z(i)(22)i工由式19和22可得jk口k=HTHkHT，=PkhiziJm=P(kP，(k1p(k1)+h(k)z(k)3NO/=Pk“P,k-hkhTkik-1hkzk)-ik-1Pkhkzk-hTkk-1引进增益矩阵K(k),定义K(k)=P(k)h(k)(24)式23可以进一步写为e伙)=8(k1)+K(k)z(k)-hT(k声(k-1)

13、1(25)接下来可以进一步把式20写为P(k户P-*(k1)十h(k)hT(k)(26)11利用矩阵反演公式ACCT=A-ACICTACCTA将式(26)演变成(27)(28)(30)(31)(32)(33)C(z-1)(34)(35)(36)1Pk=Pk-1-Pk-1hkhTkPk-1hTkPk-1hk1Pk-1一詈15收hT(k)P(k1)h(k)+1将上式代入式24,整理后可得Kk=Pk_1hk)hTkPk-1hk1综合式25、27和28可得最小二乘递推参数估计算法RLS41-Ke(k)=H(k1)+K(k)-z(k)-hT(k)9(k-1)1JK(k)=P(k-1)h(k)-hT(k)

14、P(k-1)h(k)+1P(k)=I-K(k)hT(k)P(k-1)3.3广义最小二乘法设SISO系统采用如下模型:.11.1.Azzk=Bzuk-vkCz其中A(z-1),B(z-1)和C(z-1)的定义见式？假定模型阶次国,昭和小已知，用广义最小二乘法可以得到无偏一致估计。令zfk=Cz，zkUfk=Cz，uk丁=a1,a2,ana,b1,b2,bnbT,Ufk-1,Ufk-nb、hf(k)=zf(k1);，zf(kna将模型化为最小二乘格式：zf(k)=h：(k)0+v(k)由于v(k)是白噪声，所以用最小二乘可以获得参数9的无偏估计，由于噪声模型未知，还需要用迭代的方法来求得C(z1)

15、。令,1.ek=-vkCz置ek=72；,CncTThek：-|L-ek-1,-ek-nc这样就把噪声模型也转变为最小二乘格式：e(k)=h；(kWe+v(k)由于上式中的噪声已为白噪声，所以用最小二乘也可获得参数人的无偏估计，但是数据向量中依然含有不可测的噪声量e(k-1);-,-e(k-nc)l,可用相应的估计值来代替，置he(k)=e(k1)，-e(knc)1,其中k0时，按照T.e(k尸z(k)h(k)9(37)计算，式中h(k)|_z(k_1),_z(k_na),u(k/)u(k_nb)1(38)综上所述，广义最小二乘法可归纳为(k)=0k-1)+Kf(k)zf(kh；(k)0(k1

16、)Kf(k尸P(k-1九(k)h；(k时(k-1两(k)+11产(k)=Kf(k)h：(k)Pf(k1)田(k尸露(卜一1)+Ke(kFe(k)hT(k曲(k一1)Ke(k)=(k-1)he(k)-her(k)P；(k-1)he(k)+1Pe(k)=|_Ke(k*(k)R(k-1)4系统辨识的发展及对策最小二乘法(LS隹一种经典的和最基本的，也是应用最广泛的方法。但是，最小二乘估计是非一致的，是有偏差的，所以为了克服他的缺陷，而形成了一些以最小二乘法为基础的系统辨识方法：广义最小二乘法、增量最小二乘法、渐消记忆的最小二乘法以及将一般的最小二乘法与其他方法相结合的方法，有最小二乘两步法(COR-

17、LS和随机逼近算法等。广义最小二乘法的基本思想是引入一个白化滤波器，把相关噪声转换为白噪声，基于对观测数据先进行一次滤波处理，然后利用普通最小二乘法对滤波后的数据进行辨识。递推算法的基本思想是用新估计值对老的估计值进行修正，应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值，而且此方法占据计算机存储量小，因此在辨识系统中得到了广泛的应用。【最小二乘参数估计的递推算法及其C语言实现】渐消记忆的最小二乘法在对系统模型参数进行辨识时强调新数据的作用，贬低老数据的作用，将遗忘因子入引入系统中，在实际应用中遗传因子入的大小对参数估计的精度以及参数估计值跟踪真值的变化的能力都有很大的影响，所以选取合适的遗传因子会显著提高系统的辨识能力。5结论系统辨识的方法有很多，但是最小二乘法是其中最重要、应用最广泛的一种系统辨识方法。针对经典的最小二乘法存在的一些不足，广义最小