第04讲 RLS法.ppt

第四讲RLS法(1/5),第四讲递推最小二乘法上一讲中已经给出了LS法的一次成批型算法,即在获得所有系统输入输出检测数据之后,利用LS估计式一次性计算出估计值.成批型LS法在具体使用时不仅计算量大,占用内存多,而且不能很好适用于在线辨识.随着控制科学和系统科学的发展,迫切需要发展一种递推参数估计算法,以能实现实时在线地进行辨识系统模型参数以供进行实时控制和预报,如在线估计自适应控制和预报自适应预报,第四讲RLS法(2/5),时变参数辨识故障监测与诊断仿真等.如对时变系统斌是，需要以采样频率实时更新模型充分利用过去的辨识模型(参数值),减少在线计算量递推算法辨识值要尽可能等效为成批算法辨识值计算机计算技术的发展,为发展这种能在线辨识、在线控制和预报的算法提供了强有力的工具.,第四讲RLS法(3/5),递推辨识算法的思想可以概括成新的参数估计值=旧的参数估计值+修正项(1)即新的递推参数估计值是在旧的递推估计值的基础上修正而成,这就是递推的概念.递推算法不仅可减少计算量和存储量,而且能实现在线实时辨识.,第四讲RLS法(4/5),递推算法的特性,第四讲RLS法(5/5),本讲主要讲授递推最小二乘(RecursiveLeast-square,RLS)法的思想及推导,主要内容为:递推算法加权RLS法和渐消记忆递推RLS法计算机仿真,重点喔,1递推算法(1/12),1递推算法递推算法就是依时间顺序,每获得一次新的观测数据就修正一次参数估计值,随着时间的推移,便能获得满意的辨识结果.RLS法即为上一讲的成批型LS算法的递推化，即将成批型LS算法化成依时间顺序递推计算即可.该工作是1950年由Plackett完成的。,1递推算法(2/12),下面讨论无加权因素时的一般LS法的递推算法的推导.即将成批型算法化,等效变换成如下所示的随时间演变的递推算法.新的参数估计值=旧的参数估计值+修正项(1)递推算法具有良好的在线学习、自适应能力，在系统辨识自适应控制在线学习系统数据挖掘等有广泛的应用。,1递推算法(3/12),设在k-1时刻和k时刻,系统的参数估计结果为,其中(k)和(k-1)分别为根据前k次和前k-1次观测/采样数据得到的LS参数估计值(k-1).,Yk-1=y(1),y(2),.,y(k-1),1递推算法(3/12),k=(0),(1),.,(k-1)=(k-1),Yk=y(1),y(2),.,y(k)=y(k),首先,假定在第k-1次递推中,我们已计算好参数估计值(k-1).在第k次递推时,我们已获得新的观测数据向量(k-1)和y(k),则记,k-1=(0),(1),.,(k-2),仔细考察上述LS法,可以知道,该算法进行递推化的关键是算法中的矩阵求逆的递推计算问题.因此,下面先讨论该逆矩阵的递推计算.,1递推算法(4/12),令,将k展开,故有,利用定义式,1递推算法(5/12),为便于逆矩阵递推算式的推导,下面引入如下矩阵反演公式(设A和C为可逆方阵)(A+BCD)-1=A-1-A-1B(C-1+DA-1B)-1DA-1(4)该公式可以证明如下:由于(A+BCD)A-1-A-1B(C-1+DA-1B)-1DA-1=I-B(C-1+DA-1B)-1DA-1+BCDA-1-BCDA-1B(C-1+DA-1B)-1DA-1,将这后3项同做左边归纳B,右边归纳(C-1+DA-1B)-1DA-1合并,=I-BI-C(C-1+DA-1B)+CDA-1B(C-1+DA-1B)-1DA-1=I因此,矩阵反演公式(4)成立.,下面讨论参数估计值(k)的递推计算.由上一讲的一般LS估计式,1递推算法(6/12),由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式,有,该乘积为标量,利用公式,利用公式P(k-1)=P-1(k-2)+(k-1)(k-1)-1,1递推算法(7/12),即,1递推算法(8/12),将式(5)和(6)整理可得如下RLS估计算法表示,其中的计算顺序为先计算P(k-1),然后再计算(k).,1递推算法(9/12),有时,为计算方便并便于理解,上述RLS估计算法又可表示为,其中K(k-1)称为增益向量.上述算法的计算顺序为先计算K(k-1),然后再分别计算(k)和P(k-1).,1递推算法(10/12),值得指出的是矩阵P(k)是一个对称、非增的矩阵.若在递推计算过程中破坏了P(k)的对称性,随着递推的推进,计算(辨识)误差将越来越大,并将导致辨识不一致收敛.为了保证计算过程中P(k)矩阵始终是对称的,算法中的P(k)的计算可采用下面的计算式,以保证不破坏P(k)矩阵的对称性.,1递推算法(11/12),综上所述,RLS法的基本计算步骤可总结如下:1.确定被辨识系统模型的结构,以及多项式A(z-1)和B(z-1)的阶次;2.设定递推参数初值(0),P(-1);3.采样获取新的观测数据y(k)和u(k),并组成观测数据向量(k-1);4.用式(7)(8)或(9)(11)所示的RLS法计算当前参数递推估计值(k);5.采样次数k加1,然后转回到第3步骤继续循环.,1递推算法(12/12),下面关于该RLS算法,有关于其实现问题的如下讨论:递推初始值选取成批LS与RLS的比较信号充分丰富与系统充分激励数据饱和计算复杂性最小二乘估计的几何意义,1递推算法-递推初始值选取(1/1),A.递推初始值选取在递推辨识中,如何选取递推计算中的(k)和P(k-1)的初值是一个相当重要的问题.一般来说,有如下两种选取方法:(1)选取(0)各元素为零或较小的参数,P(-1)=2I,其中为充分大的实数;(2)先将大于所需辨识的参数个数的L组数据,利用成批型的LS法求取参数估计值LS和协方差阵P(L-1),并将这些量作为递推估计的初值.,1递推算法-LS法和RLS法的比较(1/1),B.LS法和RLS法的比较LS法和RLS法的比较LS法是一次完成算法,适于离线辩识,要记忆全部测量数据,程序长;RLS法是递推算法,适于在线辩识和时变过程,只需要记忆n+1步数据,程序简单;RLS法用粗糙初值时,如若N(即样本数少)较小时,估计精度不如LS法.,1递推算法-信号充分丰富与系统充分激励(1/2),C.信号充分丰富与系统充分激励对于所有学习系统与自适应系统,信号充分丰富(系统充分激励)是非常重要的.若系统没有充分激励,则学习系统与自适应系统就不能一致收敛.不一致收敛则意味着所建模型存在未建模动态或模型误差较大,这对模型的应用带来巨大隐患.如对自适应控制,未建模动态可能导致系统崩溃.为保证学习系统与自适应系统一致收敛,则所产生的系统的学习样本数据(系统输入输出信号)应具有尽可能多的模态,其频带要足够宽,而且其信号强度不能以指数律衰减.,1递推算法-信号充分丰富与系统充分激励(2/2),这样才能保证系统具有充分激励,所测取的信号数据是充分丰富的,相关性矩阵P(k)不为病态.,1递推算法-数据饱和(1/3),D.数据饱和在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参数估计值的修正能力.这种现象称为数据饱和.因此需要考虑修正方案,以保持新数据对参数估计值的一定的修正能力,使得能得到更准确的参数估计值,或能适应对慢时变参数的辨识.避免数据饱和,适应慢时变参数的修正方案主要有:,1递推算法-数据饱和(2/3),遗忘因子法通过对不同时刻的数据赋予一定的加权系数,使得对旧数据逐渐遗忘,加强新数据对当前辨识结果的影响,从而避免协方差矩阵P(k)与增益矩阵K(k)急剧衰减而失去对参数估计的修正能力,使算法始终保持较快的收敛速度.遗忘因子法在后面将给与重点讨论.协方差重调即在指定的时刻重新调整协方差矩阵P(k)至某一给定值,避免协方差矩阵P(k)与增益矩阵K(k)急剧衰减而失去对参数估计的修正能力,使算法始终保持较快的收敛速度.,1递推算法-数据饱和(3/3),协方差修正为了防止矩阵P(k)趋于零,当参数估计值超过某阈值时,矩阵P(k)自动加上附加项Q,避免协方差矩阵P(k)急剧衰减.限定记忆法限定记忆法依赖于有限长度的数据,每增加一个新的数据信息,就要去掉一个老数据的信息,数据长度始终保持不变.限定记忆法通过两步递推过程来实现:一步递推为将需要去掉的历史数据从辨识中通过递推来将其影响去掉.另一步即为前面介绍的RLS,其作用为根据新数据进行地推辨识.,:n3次,:(n-1)n2次,:n次,:n次,1递推算法-计算复杂性(1/2),E.计算复杂性下面简单讨论一下RLS的计算复杂性。设辨识参数个数n=na+nb，则RLS各部分的计算复杂性为,:n次,:n次,:n2次,:n次,:n次,:n次,1递推算法-计算复杂性(2/2),因此，整个RLS算法的计算复杂性为:n3+2n2+4n次,:n3+3n次,重复计算,:n2次,:n(n-1)次,:n次,F.最小二乘估计的几何意义对上述RLS,从投影的观点,如下图所示,有如下几何意义解释:,1递推算法-LS估计的几何意义(1/2),新的观测数据y(k)对于前k-1步所建立的系统模型(k-1)来说,并不能完全吻合(适应),其中:图中y(k)对前k-1步的模型(k-1)的投影Q为y(k)对k步以前产生的数据和模型(k-1)的适应部分,1递推算法-LS估计的几何意义(1/2),S部分为y(k)对模型(k-1)的不适应部分,即为新的观测数据y(k)与k步以前产生的数据和模型相比较的新的信息部分,称为新息.根据新的观测数据y(k)修正而得到的新的辨识模型(k)为新息S与前k-1步的模型(k-1)的叠加,其中:修正项,为新的观测数据y(k)对模型(k-1)的不适应部分-新息S,其与模型(k-1)正交.,2加权RLS法和渐消记忆RLS法前面讨论了不考虑加权因素时的一般LS法的递推算法.若考虑到观测数据的可信度和重要性以及噪声分布w(k)对估计值的影响等,为得到较佳的参数估计值,在实时辨识中需引入加权RLS法和渐消记忆RLS法.下面将不加推导的给出上述递推算法,其具体推导过程作为作业,读者可仿照前面的一般RLS法的推导过程自己完成.,2加权RLS法和渐消记忆递推RLS法(1/1),一、加权递推最小二乘法考虑到补偿各种因素对参数估计值的影响,设在第k次的加权因子取为lk,即加权矩阵为Lk=diagl1,l2,.,lk,此时加权RLS法为,一、加权RLS法(1/2),一、加权RLS法(2/2),加权RLS法的计算顺序为先计算K(k-1),然后再分别计算(k)和P(k-1).其算法步骤类似于上述的RLS法的算法步骤.,其中协方差阵为,二、带遗忘因子的渐消记忆递推最小二乘法在使用RLS法的实时辨识中,随着k的增大,矩阵P(k)将逐渐趋近于零阵而出现数据饱和,即新数据将逐渐失去对参数估计值的影响力.此外,许多实际工程和社会系统的模型参数随系统环境和内外扰动而缓慢变化,为能跟踪好这些缓慢时变的参数,需逐步赐除老数据对估计值的影响.因此上一节的RLS法并不适用于这类具有时变参数的系统的参数估计.为降低老数据的影响力,增加新数据提供的信息量,下面引入带遗忘因子的渐消记忆RLS法.,二、带遗忘因子的渐消记忆RLS法(1/5),设所选定的遗忘因子为了l(0l1).遗忘因子法相当于加权因子li=lk-i,i=1,.,k,时的加权LS法.因此,有,二、带遗忘因子的渐消记忆RLS法(2/5),类似于本讲第一部分中的RLS法的推导,有如下带遗忘因子的渐消记忆RLS算法,二、带遗忘因子的渐消记忆RLS法(3/5),其中的计算顺序与算法步骤与RLS法类似.如果遗忘因子l=1,算法退化成普通RLS法.,关于遗忘因子，有如下讨论,二、带遗忘因子的渐消记忆RLS法(4/5),遗忘因子LS法和加权RLS算法主要的差别:加权方式不同加权RLS法各时刻权重是不相关的,也不随时间变化;遗忘因子法各时刻权重是有关联的,满足关系,各时刻权重的大小随时间变化,当前时刻的权重总为1.加权的效果不一样加权RLS法获得的是系统的平均特性;遗忘因子法能实时跟踪系统明显的变化,对系统的时变特性具有跟踪能力.,二、带遗忘因子的渐消记忆RLS法(5/5),3计算机仿真现代系统辨识算法是计算机数值计算算法,只能通过计算设备来实现.目前许多控制软件与系统都含有系统辨识软件,如许多商品化的集散系统及其工控软件都集成有系统辨识软件.用户只要熟悉辨识原理以及各种算法的特性与应用中的要点,就能应用这些辨识软件于实际工程中,或在此基础上进行二次开发.在应用系统辨识进行工程应用时,需要对各种辨识方法进行大量计算机仿真,以正确选择适宜的辨识方法,得到最佳的辨识模型.,3计算机仿真(1/2),系统辨识算法,尤其是在线递推辨识算法,是一个反复迭代的数值计算过程.因此在系统辨识方法的学习中,需要通过大量计算机仿真才能更好地体会各种递推辨识算法的迭代过程的特性,更好地掌握辨识方法.因此,计算机仿真在系统辨识方法学习和应用中起着重要的作用.下面分别介绍系统辨识的仿真方法与过程与仿真算例,3计算机仿真(2/2),一、仿真方法与过程(1/1),一、仿真方法与过程系统辨识算法的计算机仿真计算主要有两种形式:面向实际被控对象实验/实测数据的辨识计算面向被控对象模型的辨识仿真计算下面分别加以简介.,一、仿真方法与过程-面向实际被控对象实验/实测数据(1/1),A.面向实际被控对象实验/实测数据对面向实际被控对象实验/实测数据的仿真计算的主要过程为:通过实验/实测数据建立关于对象输入与输出的数据文件根据先验知识及仿真要求,确定模型类和辨识准则函数进行数据的预处理根据确定的模型类和辨识准则函数,根据仿真要求,确定参数估计方法,进行模型参数的估计模型验证,一、仿真方法与过程-面向被控对象模型(1/7),B.面向被控对象模型对面向被控对象模型的仿真计算的主要过程可分为如下两大模块:对被控对象模型仿真,产生用于辨识的仿真数据进行过程辨识仿真,辨识对象模型这两大模块的过程分别为:对被控对象模型仿真根据辨识仿真要求及仿真对象特点,设计产生仿真数据的被控对象的仿真实验设计,主要包括被控对象的输入控制信号(信号类型、幅度和频带等)、,一、仿真方法与过程-面向被控对象模型(2/7),噪声信号(包括随机信号的概率分布模型,相关函数模型,幅值等)采样周期、仿真时间(数据长度)、根据仿真实验设计,产生输入信号和噪声信号数据,并施加于仿真对象的输入端与输出端根据仿真模型,计算系统的输出信号将系统的输入与输出信号数据作为辨识环节的实验/实测数据供辨识仿真之用,一、仿真方法与过程-面向被控对象模型(3/7),检测/测量过程仿真接受被控对象模型仿真模块产生的关于被控对象输入与输出的数据文件可模拟实际检测环节，对检测数据叠加测量噪声（误差）进行过程辨识仿真根据先验知识及仿真要求,确定模型类和辨识准则函数进行数据的预处理根据确定的模型类和辨识准则函数,根据仿真要求,确定参数估计方法,进行模型参数的估计模型验证,一、仿真方法与过程-面向被控对象模型(4/7),一、仿真方法与过程-面向被控对象模型(5/7),下面给出针对随机线