（控制理论与控制工程专业论文）递推与迭代学习辨识算法及其应用研究.pdf

浙江工业大学硕士学位论文 递推与迭代学习辨识算法及其应用研究 摘要 系统辨识是高性能自动化技术( 如适应控制与学习控制) 中的重要内容。随着人们生 活水平和工业生产水平的提高，人们对工业产品质量的要求越来越高，生产工艺对自动化 技术的依赖程度也随之提高，对系统辨识理论与方法提出了更高的要求。许多实际系统动 力学特性中的参数随时间变化，这要求辨识方法具有跟踪能力，能够估计时变参数。在实 际中也存在着受突发异常干扰的辨识环境，因此，有必要研究鲁棒辨识算法。针对这样两 个方面，本文的研究工作主要包括以下几部分： 1 讨论时变遗忘因子和加权配合的递推辨识算法的算法性质和确定性收敛性。 2 针对一类在有限时间区间上重复运行的离散时变系统，讨论用于系统时变参数估 计的迭代学习辨识算法。文中进一步讨论迭代学习投影算法、迭代学习最小二乘算法的理 论性质，并给出数值仿真结果；推导得到两种迭代学习辨识算法：迭代学习贝叶斯法和迭 代学习随机牛顿法。不同于常规跟踪算法的有界收敛性，迭代学习辨识算法可在有限时间 区间上实现对时变参数的完全估计，使得沿整个区间参数估计误差为零。 3 将近似最小厶模递推算法应用于回波消除，分析了这种算法的收敛性能。分析表明， 这种算法一旦收敛，对于有界干扰具有强鲁棒性。这一性能有利于提高回波消除质量。双 讲时在不增加系统硬件( 对讲检测器) 情形下，算法仍具有良好的收敛性能，避免了在双讲 情况下设置双方对讲监测器。 4 依据非线性p c a 准则，以迭代加权最b - - 乘算法极小化目标函数，近似一类，。模 指标下的盲分离递推算法，文中给出了算法性质。和r l s 算法相比，所提算法未显著增加 计算复杂度，对幅度较大的非正态分布或统计特性未知的噪声有较强的抑止能力。 5 设计实现冰球式蓄冷空调系统。用时变系统来近似实际系统，采用遗忘和加权配 合的辨识算法来预测能量。在系统实现上，利用组态王实现数据采集、友好人机界面设计， 利用i v i a t l a b 完成复杂的预测算法，充分发挥组态软件在工业控制上组态方便、开发周 期短和m a t l a b 强大数值计算功能的优势，两者之间通过d d e 技术实现数据实时通信。 浙江工业大学硕士学位论文 关键词：离散系统，时变系统，迭代学习辨识，鲁棒辨识，自适应信号处理，回波消 除，盲信号分离 浙江工业大学硕士学位论文 r e c u r s 】卫a n di t e r a l 。i v el ea r n i n g i d e n t 琢i c a t i o na l g o 砒t h m sw i t h a p p l i c a t i o n s a b s t r l a c t s y s t e mi d e n t i f i c a t i o np l a y sa l li m p o r t a n tr o l ei nh i g hp e r f o r m a n c ea u t o m a t i o nt c c h n o l o g i e s s u c ha sa d a p t i v ec o n t r o la n dl e a r n i n gc o n t r 0 1 m o r eh i g hq u a l i t yo fp r o d u c t si sr e q u k e d ，i n n o w a d a y sp l a n t s ，t om e e tt h en e e d so fp e o p l e sp r o d u c t i o na n dl i v i n gd e m a n d s i ts h o u l db e c h a l l e n g e df o rs y s t e mi d e n t i f i c a t i o nw h e nh i g hc o n t r o lp e r f o r m a n c ei sp u r s u e d mp a r a m e t e r s i nd y n a m i c so fm a n yr e a ls y s t e m sa r et i m e - d e p e n d e n t ，w h i c hr e q u i r e st h a ti d e n t i f i c a t i o n t e c h n i q u e sa r eo f t h ea b i t i t yo f t r a c k i n g , a n dc a ne s t i m a t et i m e - v a r y i n gp a r a m e t e r s w ea l s on e e d r o b u s ti d e n t i f i c a t i o na l g o r i t h m so w i n gt ot h ep r e s e n c eo fa b r u p td i s t u r b a n c e s t a k ei n t oa c c o u n t t h ei s s u e sa b o v em e n t i o n e d , t h i st h e s i sf o c u s e so nt h ef o l l o w i n ga s p e c t s ： 1 t h ep r o p e r t i e sa n dd e t e r m i n i s t i cc o n v e r g e n c eo fr e c u r s i v ei d e n t i f i c a t i o na l g o r i t h ma r e c o n s i d e r e d , i nw h i c hb o t haf o r g e t t i n gf a c t o ra n dw r i g h t sh a v eb e e ni n c o r p o r a t e d 2 i t e r a t i v el e a r n i n gi d e n t i f i c a t i o na l g o r i t h m sa r ep r e s e n t e df o re s t i m a t i n gt i m e - v a r y i n g p a r a m e t e r so fac l a s so fd i s c r e t et i m e - v a r y i n gs y s t e m so v e raf i n i t et i m ei n t e r v a l t h et h e o r e t i c p r o p e r t i e so fi t e r a f i v el e a r n i n gp 喇e c t i o na n dl e a s ts q u a r e sa l g o r i t h m sa r ef u r t h o rd i s c u s s e d , a n d c o r r e s p o n d i n gn u m e r i c a ls i m u l a t i o n s a r ep r e s e n t e d t w op r o t o t y p ea l g o r i t h m so fi t e r a t i v e l e a r n i n gi d e n t i f i c a t i o n , i t e r a t i v el e a r n i n gb a y e sa n ds t o c h a s t i cn e w t o na l g o r i t h m s ，a r ep r o p o s e d w i t hd e t a i l d i f f v r e n tf r o mt h eb o u n d e dc o n v e r g e n c ep e r f o r m a n c eo b t a i n e db yc o n v e n t i o n a l t r a c k i n ga l g o r i t h m s ，p e r f e c te s t i m a t i o nf o rt h et i m e - v a r y i n gu n k n o w n si sa c h i e v e dt h r o u g h i t e r a t i v el e a r n i n g ，a n dt h ep a r a m e t e re s t i m a t i o ne n 0 ri sg u a r a n t e e dt oc o n v e r g et oz e r oo v c l t h e e n t i r et i m ei n t e r v a l 3 t h ea p p r o x i m a t el e a s t - n o r mr e c u r s i v ea l g o r i t h mi sp r e s e n t e df o ra d a p t i v ea c o u s t i c e c h oc a n c e l l a t i o n t h ec o n v e r g e n c ep e r f o r m a n c eo ft h ea l g o r i t h mi sa n a l y z e a , b yw h i c ht h e a l g o r i t h me x h i b i t sr o b u s t n e s sw i t hr e s p e c tt ob o u n d e dd i s t u r b a n c e sa ts t e a d y - s t a t e i ti si nt u r n u s e f u lf o rp e r f o r m a n c ei m p r o v e m e n to ft h ea c o u s t i ce c h oc a n c e l l a t i o n d u r i n gd u p l e xt a l k , t h e p r o p o s e da l g o r i t h mw o r k sw e l lw i t h o u tr e q u i r i n gd o u b l e t a l kd e t e c t o ra n dw i t h o u tr e q u i r i n g m o r eh a r d w a r ei nt h es y s t e m 浙江工业大学硕士学位论文 4 b a s e do nt h en o n l i n e a rp c ac r i t e r i o n , a l li t e r a t i v ew e i g h t e dl e a s ts q u a r e sa l g o r i t h mi s p r e s e n t e df o rb l i n ds o u r c es e p a r a t i o n t h ei t e r a t i v ea l g o r i t h mi sf o r t h ep u r p o s et oa p p r o x i m a t e t h e l p - n o r mi n d e x ，a n dt h et h e o r e t i c a lp r o p e r t i e so ft h ea l g o r i t h m 8 1 0d e r i v e d i nc o m p a r i s o n w i t ht h ec o n v e n t i o n a lr l sa l g o r i t h m ，t h ep r o p o s e da l g o r i t h mh a sc o m p a r a b l ec o m p u t a t i o n a l c o m p l e x i t y , a n di sr o b u s tw i t hr e s p e c tt on o n - g a u s s i a nd i s t u r b a n c e so r t h o s ew i t h “n 妇d 铂 s t a t i s t i c a ld i s t r i b u t i o n 5 a ni c es t o r a g ea i rc o n d i t i o ns y s t e mi sd e s i g n e da n di m p l e m e n t e d t h er e a ls y s t e mi s m o d e l e da sat i m e - v a r y i n gs y s t e m ，a n dt h ee n e r g yi sp r e d i c t e db yt h ei d e n t i f i c a t i o na l g o r i t h m w i t hb o t hf o r g e t t i n ga n dw e i g h t e df a c t o r s f o rt h ei m p l e m e n t a t i o n ，k i n g v i e wi sa d o p t e df o rd a t a a c q u i s i t i o n ，w i t hf r i e n d l yh u m a nm a c h i n ei n t e r f a c ed e s i g n ，a n dm a t l a b i su s e dt oc a l t 吖o u tt h e o n - l i n ep r e d i c t i o nc o m p u t i n g i nt h ei c es t o r a g es y s t e m ，d d et e c h n i q u ei sa p p l i e df o rt h er e a l t i m ed a t ae x c h a n g eb e t w e e nt h ec o n f i g u r a t i o ns o f t w a r ea n dm a t l a b k e yw o r d s ：d i s c r e t e - t i m es y s t e m s ，t i m e - v a r y i n gs y s t e m s ，i t e r a t i v el e a r n i n gi d e n t i f i c a t i o n , r o b u s ti d e n t i f i c a t i o n , a d a p t i v es i g n a lp r o c e s s i n g ，a c o u s t i ce c h oc a n c e l l a t i o n ( a e c ) ，b l i n ds o u r c e s e p a r a t i o n ( b s s ) 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究作出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名：更扔 圯日期：搠绰月3o 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打“扩) 作者签名：芙彰忿 别程轹勰叨印 日期：加日绛兮月了de 1 日强滞r 羁弘e l 浙江工业大学硕士学位论文 第1 章绪论 1 1 引言 为了分析、研究及控制一个系统，首先要建立起系统的模型。通过对系统输入输出 数据的测量与处理从而建立系统模型的技术就称为系统辨识技术，它已成为系统科学的一 个重要分支。 实际系统的动态特性本质上都是时变的。在理论上，我们可以用简化的模型来近似实 际的研究对象，采用最多的方法是用一线性时不变( l t i ) 系数的微分方程( 离散情况下为差 分方程) 来表示简单数学模型，直接采用此类模型的优点是分析简单，计算量小，在某些 场合也是对真实对象很好的近似，设计的控制系统也能取得较好效果。然而，当系统参数 随着时间推移有明显变化时，如运动的机器人动力臂、发射时的火箭系统、推进中的航天 飞行器与空间站的对接过程等，其结构的模态参数是随时间快速变化的，再加上系统建模 时必然存在或大或小的模型误差和检测输出时的量测误差，如果仍然采用线性时不变模型 来近似系统，将使估计参数严重偏离真实值甚至发散，这给系统的分析和控制带来了相当 大的难度。时变系统广泛存在于工业、交通、经济及科技等各个领域，其参数可能是慢变、 快变或者是存在第二类间断点的跳变i 要对此类系统进行高性能控制，其前提是辨识出对 象精确可靠的模型参数，此时我们就必须采用时变参数辨识技术来分析系统。 在许多场合下，在对系统作出任何判断之前，必须先建立一个动态系统的数学模型。 比如，控制、预测、滤波或信号处理等都必须以对象的数学模型已知为前提。然而，实际 对象的动力学特性基本上都是未知的，许多情况下控制、预报、滤波和信号处理需要采用 辨识技术，实现自适应控制、自适应预报、自适应滤波和自适应信号处理等。常见的方法 是从系统采集一批数据，得到有关系统特性的信息。然后用离线的方式分析这批数据，建 立系统的模型。但是，在很多情况下，系统的性质实际上是时变的，此时比较理想的做法 是利用在线辨识来更新系统参数。自适应估计就是在期望信号不完全或完全未知情况下， 只根据观测信号值来解决估计问题的一些方法，并在自适应信号处理领域得到广泛应用。 信号处理中所用模型的典型特点，是待估参数向量的维数往往相当高，这使得以计算量较 小为显著优点的l m s 算法广泛应用于自适应信号处理。而在近期，快速收敛的最小二乘 算法得到了广泛关注。本论文的五、六两章将探讨基于最小二乘参数估计的递推辨识算法 浙江工业大学硕士学位论文 在自适应回波消除及盲信号分离上的应用。 1 2 系统辨识及信号处理概述 系统辨识是用系统的方法根据输入输出数据来得到或者改进动态模型【m 】，z a d c h 4 给系统辨识下的定义是：辨识就是在输入和输出数据的基础上，从一组给定的模型类( t y p e ， o f m o d e l0 1 m o d e ls e t ) 中，确定一个与所测系统等价的模型。这个定义包含系统辨识的三 个要素：输入、输出数据；模型类：等价原理。后来，巧硼g 【5 】更明确指出：系统辨识要 有三要素一一数据、模型类和准则。总而言之，辨识的实质就是从一组模型类中选择一个 模型，按照某种准则，使之能最好地拟和所关心的实际过程的动态特性。常采用的数学模 型有以下四种基本形式：1 ) 基于常偏微分方程的等式模型，2 ) 系统传递函数模型，3 ) 状态 空间模型，4 ) 基于自回归滑动平均( a r x ，a r m a ，a r m a x ) 的动态模型。虽然模型形式 不同，但是它们之间容易相互转换，所以，本质上具有一致性，选择何种模型的依据主要 是使用者分析方便、熟悉或者符合传统习惯。系统辨识的内部结构原理如图1 1 【6 】所示。 图1 - 1 辨识原理图 早期，人们通过观测系统输出数据来估计未知参数，从而来预测系统未来的输出。在 估计理论的发展史中，最小二乘( l s ) 算法是一座重要的里程碑，这一著名算法最早是由高 斯( g a u s s ) 在天文学研究中提出来的，由法国数学家勒让德( l c g c n d r e ) 于1 8 0 5 年正式发表。 此后，关于最小二乘及其改进应用算法的科学文献、著作竟相诞生【7 】。 w e 证等【8 ，明第一次把最t j 、- - 乘算法推广到了随机过程，v a nt r c c s 1 0 , l i 】、s t i m e r 【1 2 】和 l i n d s e y t l 3 1 继续并深化了w e i n e r 的研究工作，提出了调制理论。k a l m a n 把传统最小二乘 算法应用在一种新的模型【1 q ( 状态空间模型) 上。在1 9 6 0 年，k a l m a n 正式发表了估计离散 时间系统状态的著名卡尔曼滤波算法【1 5 】，两年后，他又发表了连续时间系统的卡尔曼滤 2 浙江工业大学硕士学位论文 波算法，就在同一时代，g i l b e r t 和k a l m a n 在控制系统的可控性、可观性和可辨识性理论 研究上做出了重要贡献。自适应卡尔曼滤波【1 6 】仍然采用卡尔曼滤波器的结构，但是改进 了滤波器增益的更新计算规则，自适应滤波器根据前一次的估计误差来修正模型参数从而 提高跟踪精度。但是大多数现存的自适应卡尔曼滤波算法和噪声协方差( 滤波增益) 估计方 法的计算量都很大，不利于在线实现。g o o d w i n 2 1 在系统模型未知情况下，引进扩展状态 向量，来估计系统参数，这种方法可以将系统的参数和状态同时估计出来。 系统辨识是信号处理的有力工具，是为改善信号质量，研究在噪声干扰中所感兴趣信 号波形的最佳恢复，或在离散状态下表征信号在各离散时刻状态的最佳动态估计提供依据 的，最直接的作用就是为自适应信号处理系统实时调整系数。文献 1 7 】着重强调了辨识技 术和信号处理之间的密切关系。 在实际的许多工程中，系统的数学模型事先是难以确定的，即使在某一条件下被确定 了的数学模型，在工况和条件改变后，其动态参数乃至于模型的结构仍经常发生变化。在 发生这些问题时，常规调节器不可能得到好的处理品质，而自适应系统正是一种能够自动 地补偿在模型阶次、参数和输入信号方面非预知变化的智能系统。自适应系统需要不断地 测量系统的状态、性能或参数，从而“认识”或“掌握刀系统当前的运行指标并与期望的 指标相比较，进而做出决策调整参数，以保证系统运行在某种意义下的最优或次最优状态。 自适应信号处理离不开估计和系统辨识，而满意的辨识效果离不开选取正确的模型类和好 的递推算法。自适应信号处理系纠1 8 】通过在线估计系统模型参数，进而实时调整参数， 以使系统适应环境的变化。 最小均方( l m s ) 算法和最小二乘( l s ) 算法对自适应技术的发展起了极大的作用。 由于l m s 算法简单和易于实现，已被广泛应用。人们对算法的性能和改进已做了相当多 的研究，并且至今仍然是一个重要的研究课题。19 9 6 年h a s s i b i 等证明l m s 算法在m m s e ( 最小均方误差) 准则下为最佳，这是l m s 算法研究的一个重要进展。但当输入相关矩阵 的特征值分散时，算法的收敛性变差。为了改善l m s 算法的收敛性，文献中已提出了包 括变步长算法在内的很多改进算法。在这些算法中，由n a g u m o 等人提出的归一化算法得 到了较广泛的应用。l m s 算法属于随机梯度算法类。l s 算法相比l m s 算法具有较好的 收敛性，但是直接利用l s 算法时运算量大，且每输入一新数据必须对所有数据处理一次， 因而在自适应滤波中应用有限。递推最小二乘算法s ) 通过递推方式寻求最佳解。由于 其复杂程度比l s 算法小，因而获得了广泛应用。许多学者给出了r l s 算法的一系列重要 性质，其中包括g o o d w i n 、l o z a n o 等人的工作。s a y e d 和k a i l a t h 建立了k a l m a n 滤波和 r l s 算法的对应关系。这不但使人们对r l s 算法有了进一步的理解，而且由于k a l m a n 1 浙江工业大学硕士学位论文 滤波的大量研究成果可应用于自适应滤波处理，所以对自适应滤波技术也起了重要的推动 作用。 自适应系统最基本、最主要的性质是它的时变，自调整性能。在很多情况下，系统输 入条件的整个范围、哪怕是统计意义下也可能是不知道的，或者它是随时间改变的。对于 这样的环境，采用一种有序的搜索过程，在一类允许的可能范围内不断地寻找最佳值的自 适应系统比之固定设计的系统将给出更为优越的性能。因此，无论在理论上还是应用上， 研究时变系统辨识显得尤为重要。 1 3 时变系统辨识 考虑如下离散时变系统模型： y o ) = x 7o ) 口o 一1 ) + 1 ，o ) x t o ) = 卜y ( t - 1 ) ，叫o 一) ，u ( t - 1 ) ，u ( t 一) 】 口r o ) = q o ) ，o ) ，2 5 i o ) ，气( f ) 】 ( 1 1 ) 其中伽( f ) ) 、秒o ) 和p ( f ) ) 分别为系统的输入、输出和随机噪声序列。 时变参数自适应辨识的目标是根据系统的输入输出数据来估计未知参数o ( t ) 。记萨o ) 为真实参数口o ) 的估计值，则常规参数辨识算法由下式给出： 6 ( 0 = 扩o 一1 ) + 置( f ) y o ) 一x r o ) 萨o 1 ) 】 ( 1 2 ) 其中石( f ) 称为自适应增益矩阵，根据实际需要它有许多选取方式，但时变参数跟踪的基 本思想是阻止增益向量趋向于零，即当t o o 时，要满足置o ) 爷0 。这是显然的，因为如 果五( f ) 一0 ，那么当参数发生变化时，由于算法已不具有修正能力，新的观测数据将不 对参数估计起作用，即不能跟踪时变参数。视五( t ) 具体取法不同，衍生出了多种多样的 时变系统跟踪算法【1 9 1 。 1 3 1 随机逼近法 r o b b i n s 和m o n r o 的著作 2 0 】是随机逼近的奠基性文献，首先提出了按时间递推求解 方程零点的一个递推算法。b l u m ( 1 9 5 4 ) 、d v o r e t s k y ( 1 9 5 6 ) 、a l b e r t ( 1 9 6 7 ) 、f a b i a n ( 1 9 6 0 ，1 9 6 8 ) 等人的文章建立和发展了随机逼近法的统计学原理，并在一定的假设条件下，研究了算法 的收敛性。s a r i d i s ( 1 9 6 8 ) 、s a k r i s o n ( 1 9 6 7 ) 、t s y p k i n ( 1 9 7 3 ) 将随机逼近法应用于线性回归， 得到用来估计模型参数的递推算法： 浙江工业大学硕士学位论文 一o ) = 口q 1 ) + ( f ) x ( f ) y o ) 一x 7 ( f ) 一o 一1 ) 】 ( 1 3 ) 并对所提出的算法进行了验证。文 2 1 ，2 2 对随机逼近算法在估计和控制方面的作用，作 了全面深入的研究。 算法( 1 3 ) 也广泛地应用于自适应信号处理 2 3 1 ，并称作最小均方( l m s ) 算法，w i d r o w 和h o 一2 4 1 首先提出了这种算法，并把它应用到自适应信号处理领域。 规范化的最小均方算法【2 5 】将( 1 3 ) 式改写为 万l j f ) = 万。一1 ) + o ) t ：乖簖 y o ) 一x r o ) 萨。一1 ) 】 ( 1 - 4 ) 其中( o ，1 】称为步长或收敛速率、调节速率，l m s 算法一般用来跟踪存在随机噪声时 的慢时变系统，在不同情况下，增益的选择至关重要。一般，较大的增益跟踪时变参 数能力较强，但同时对噪声也越敏感；相反，较小的增益对噪声不敏感，但同时对时变 参数的跟踪能力也不强，所以的选取要根据具体情况来决定。例如，如果被跟踪系统 存在个别突变点，基于以上原因，要想实现快速跟踪和得到较好的稳态性能，这里的t 也 必须是时变的，即当参数真实值突变，出现较大参数估计误差时，要取较大增益以使算 法具有快速跟踪能力，而当参数基本不变或算法接近稳态时，必须减小增益。但是参数 变化情况事先是未知的，所以要根据先验知识( 如噪声的统计特性) 和得到的测量数据来分 析参数变化的情况【2 6 1 。 文献 2 7 】给出了l m s 算法权向量均值收敛于最佳权向量的步长界限，文 2 8 1 在不相关 的高斯数据输入时，讨论权向量的方差与m s e 的收敛条件。b i t m e a d ( 1 9 8 0 ，1 9 8 4 ，1 9 8 6 ) 在 持续激励条件下，建立了l m s 算法指数收敛性理论。w i d r o w ( 1 9 7 6 ) 在回归向量时间独立 假设条件下，研究l m s 算法分别在定常系统和时变系统上的均方误差。文 2 9 】在输入向 量满足一定的混合条件下，得出l m s 算法估计定常系统时，参数估计误差存在上下界的 结论，且参数失调误差是指数收敛的；对于时变系统的跟踪，文献讨论了量测噪声和参数 变化率对参数估计误差界的影响。文 3 0 ，3 1 1 讨论时变参数是马尔可夫过程的一阶时变随机 系统，分析投影算法估计时变参数的自校正控制系统稳定性，给出了闭环系统稳定的必要 条件。n e v e l s o n ( 1 9 7 6 ) 总结了随机逼近和递推估计的已有成果，用鞅收敛方法研究随机逼 近算法收敛性。文 3 2 针对自回归部分参数发生慢时变的受控模型j 利用鞅收敛定理分析 了改进最小均方算法的收敛性。文 3 3 1 在辨识和自适应控制的递推算法的收敛性和微分方 程的稳定性之间建立了严格的数学关系。文 3 4 】在更符合实际情况的假设条件：在有限长 时间区间上，输入向量相关。得出均方误差与l m s 算法步长的比例关系，且给出了参数 浙江工业大学硕士学位论文 估计误差的渐进上界。文 3 5 】在和文献 3 4 1 相同条件下，把l m s 算法应用到确定性时变系 统的跟踪，并给出参数估计误差界，其界一项与增益步长成正比，而另一项却与步长成反 比，因此，算法步长的选取要综合考虑稳态精度和算法跟踪性能。 文献 3 6 = 2 6 讨论了增 益的选择问题，以极小化指标函数。 1 3 2 遗忘因子递推最小二乘算法 算法由( 1 - 5 ) 、( 1 6 ) 式给出 萨( f ) = 萨。一1 ) + 五j 三；芸羔陟o ) 一工r ) 萨。一1 ) 】 ( 1 - 5 ) p o ，= 去c p o 一，一! 警；兰丢等觜， ( 1 石) 其中p ( o ) 0 ，五( 0 ，1 】称为遗忘因子。这种算法的基本思想是对旧数据进行指数级遗忘。 文 3 7 】讨论了指数加权递推最小二乘算法性质，并和l m s 算法跟踪性能作了比较。文 3 8 】 采用可变遗忘因子最小二乘算法来跟踪时变参数，其中遗忘因子a ( t ) 根据残差平方，即 e 2 ( t ) 来自动调整，当残差增大时，则减小当前时刻遗忘因子值。要估计时变参数，关键 是防止增益矩阵趋向于零，因此，对于最d x - - 乘算法，可以直接通过重置或修改协方差阵 来实现【2 捌。文 4 0 】得到带遗忘因子的最小二乘算法辨识时不变系统时，均方误差m s e 正 比于( 1 - 2 ) ，而跟踪时变参数时，其均方误差反比与( 1 一a ) 的结论，其中力为遗忘因子。 文【4 1 研究带遗忘因子最d x - 乘算法的收敛性，指出参数估计误差存在上界，其界和( 1 一见) 成正比，和( 1 一善) 成反比，孝表示输入向量x ( o 的相关度，参数估计误差上界随着x 0 ) 相 关度的增加而增大。文【4 2 讨论r l s 算法参数估计期望值皿萨( 明及期望偏差的性质，除 遗忘因子外，文中还讨论了用定常矩形窗加权的最小二乘算法来估计时变参数，并得出估 计参数萨o ) 期望偏差可分为两部分：量测噪声和参数变化率引起的估计偏差。文 4 3 】分析 了带遗忘因子的递推最d , - 乘算法跟踪时变参数的算法性能，给出了协方差矩阵p 有界 的必要条件，并讨论了遗忘因子取值及参数变化速率对参数估计误差的影响。文 4 4 以失 调误差为性能指标，比较了l m s 和r l s 算法。 1 3 3 滤波方法 著名的卡尔曼滤波呸f ) 算法由式( 1 8 ) 、( 1 9 ) 给出 浙江工业大学硕士学位论文 萨( ，) = 6 ( t 一1 ) + j i f 三等毒蒜【y o ) 一x f ( f ) 矿( f 1 ) 】 ( 1 8 ) p ( f ) = p ( t - 1 ) 一! 笔 萎；善觜。 1 - q ( 1 - 9 ) 其中p ( o ) 0 ，r 0 ，q o 及萨( 0 ) 可取任何常值，但且、q 一般分别取为随机噪声 和参数变化率的方差的先验估计。 文 4 5 i i e 明了r l s 算法、卡尔曼滤波器和随机逼近法三者之间有密切的关系。b o h l i n ( 1 9 7 0 ) 从贝叶斯法的角度对r l s 算法作了进一步的讨论。文 4 6 】提到，在把卡尔曼滤波器 公式应用于解决与自适应控制有关的最小二乘辨识问题时，该公式得到的结果确实也是条 件均值。其后，该法在许多不同场合得到了广泛的应用。 文【4 7 】在不利用平稳及混合型条件的弱假设下，分析了时变参数跟踪算法( k f ，l m s ， f r i s ) 的稳定性。g u o ( 1 9 9 5 ) 研究时变线性回归模型的一般性跟踪算法( 包括l m s 、r l s 、 k f 算法) ，用一容易得到的矩阵近似参数估计误差协方差矩阵，并由其文中给出的表达式 可知，算法性能是跟踪能力和对噪声敏感程度的折衷，并给出跟踪算法指数稳定性的一系 列重要结论。 当系统的动态特性和量测噪声精确已知时，k a l m a n 滤波可以得到最优解，而当这些 特性未知时，k a l m a l l 滤波器不但得不到最优估计，而且还有可能使估计状态发散，m e h r a ( 1 9 7 0 ) 通过递推的方式从数据中获取有关噪声信息，来构造自适应滤波器，有效地改善了 跟踪性能。 文 4 8 ，4 9 基于r w ( r a n d o mw a l k ) 模型，得到更窄的参数估计误差界。文 5 0 】基于高阶 谱和小波分析来辨识非高斯a r 模型的时变参数。文【5 1 】基于u 更新算法，利用改进 的s t e w a r t 滑动窗来辨识快变信道，该法具有较快的收敛速度且估计误差较小，弥补了传 统盲子空间信道估计利用二阶统计信息只能估计定常信道的不足。文 5 2 ，5 3 用多步线性预 测( m s l p ) 方法，分别估计s i m o 和m i m o 系统时变盲信道。文 5 4 ，4 9 在允许时延条件下， 过去参数估计利用当前估计信息，有效减小了经典参数跟踪算法( e w l s ，l m s ，k f ) 的计 算量。考虑准周期时变动态系统，文 5 5 ，5 6 在一定的假设条件下，用指数加权基函数 ( e w b f ) 方法来跟踪时变系统，并和经典陷波器建立了联系，文 5 7 6 0 采用广义自适应陷 波器( g a n f s ) 来跟踪时变参数，并分析算法性能。文【6 1 将时变参数扩展成一组时域基函 数，通过l a s s o ( l e a s ta b s o l u t es h r i n k a g ea n ds e l e c t i o no p e r a t o r ) 项的选择及基追踪来极小 化代价函数，从而辨识线性时变系统。文 6 2 】将非线性电路描述为状态空间模型，研究非 线性系统时变参数估计。文【6 3 利用对量测噪声具有较强鲁棒性的s d f ( s y m b o l i ed y n a m i c 浙江工业大学硕士学位论文 丘l t e 血酚6 4 1 技术，来实时估计非线性动态系统的时变参数。文【6 5 】用基子模型的方法分析 了时变滤波器组。文 6 6 ，6 7 】对存在有界量测噪声的时变系统，通过z c 沁o t o p e 技术来辨识 时变参数。 1 3 4 迭代学习辨识算法 学习是人类的基本智能之一。目前已有多种关于学习的定义，其中所描述曲学习策略 不尽相同。“在重复中学习 ( l e a r n i n gb yt r i 蛐的定义中所规定的学习策略较为其体。例 如，学习是“系统为了适应环境而产生的某种长远变化，这种变化使得系统能够更替敷地 在下一次完成同一或同类工作( s i m o n ) ：“系统中的学习一词，我们理解为一种过程，通 l 过重复各输入信号并从外部矫正该系统，从而使系统对于特定的输入信号具有特定的相 应”( t s y p 妇) 。可以概括地说，在“重复中学习 的定义中所规定的学习策略是经验积累。 让辨识器本身具有某种智能，使得它在调节过程中不断地完善自己，即不断训练辨识 器，以使辨识效果越来越好。当我们重复完成某一辨识任务的时候，我们从过去的系统输 入输出和参数估计误差中获得额外信息，这种信息可以看成是一种经验，从而降低了对过 程模型的依赖，并且提供了改进时变参数估计性能的可能性。 对于在有限时间区间上重复运行的动态系统，可以采用迭代学习的方法辨识出系统中 的时变参数。迭代学习辨识采用“在重复中学习 的学习策略，它具有记忆系统和经验修 正机制。具体地来说，它通过对动态系统进行辨识尝试，以模型输出与系统输出的偏差修 正不理想的估计参数，使得系统辨识性能得以提高。这种辨识技术以非常简单的方式和需 要较少的先验知识处理不确定程度相当高的动态系统。它有以下显著特点：( a ) 适合于具 有某种重复运动( 运行) 特性的被控对象；( b ) 可实现对时变参数的完全估计，这不同于 常规跟踪算法的有界收敛性。 1 4 近似最小厶模估计 由于理论简明完善，并得到大量文献的证明，基于误差平方和准则下的最4 x - - 乘回归 在统计文献中长期占据支配地位。且当随机误差为相互独立，遵循零均值、同方差的正态 分布时，最小二乘回归是最优的，并能得到模型未知参数的极大似然估计。 然而，在许多非高斯情况下，特别是当误差遵循尾部较长的分布时，最小二乘回归远 非最优，但是一个严重偏离中心的观测值就足以损害最小二乘估计。 基于绝对误差和准则下的最小绝对误差和回归，或称为最小，l 模估计 6 8 , 6 9 ，克服了最 浙江工业大学硕士学位论文 小二乘回归的缺点，对极值误差没有最小二乘回归那么敏感，对异常值具有较强的抵御能 力、能起到消除野点的作用，而且当误差服从拉普拉斯分布时可以得到模型未知参数的渐 进有效的极大似然估计量。最小z l 模准则方法实际上是利用了随机过程的非二阶矩统计 量，由于随机过程的非二阶矩统计量的变化能反映出随机过程概率分布的变化，因而这种 准则方法可应用于统计估计和数值逼近，当然，也可应用于信号处理。 1 5 回波消除及盲信号分离 自适应回波消除是指仅根据接收端的观测信号，来实时估计回波路径的特征参数，以 产生一个估计的回波信号，再从接收信号中减去该信号，实现回波消除，其中的关键环节 是自适应滤波器。目前已经提出了很多种用于回波消除的自适应算法，如归一化最小均方 误差( n l m s ) 算法、最小二乘( l s ) 算法、仿射投影算法、l m s 牛顿算法、共轭梯度向量( c g ) 算法等。经过多年的探索人们又提出了一些新的方法，如分块处理算法、提高搜索效率的 步长控制方法、子带方法，多速率方法以及采用滤波器组结构，人们还致力于基于小波的 自适应滤波及非线性滤波等回波抵消算法的研究。然而，在双讲情况下如果常规算法仍然 修正路径参数，将使估计值严重偏离真实值，引起回波消除性能的极大下降【l 引。一般做 法是通过设置语音检测器，当检测到有双讲时，则停止滤波器参数更新，双讲结束时恢复 滤波器工作，这不仅减慢了回波消除器系数的更新速度，而且在实际中并不容易及时准确 地检测出双讲起始、终止时刻，容易出现误判和漏判。 盲信号分离是指在不知道传输信道特征和真实源信号、技术原则上不利用任何训练数 据，也没有关于卷积、滤波、混合系统参数的先验知识情况下，从传感器阵列中分离或提 取源信号。自法国学者h 6 a a u l t 和l u t t e n 在1 9 8 6 年举行的神经网络计算会议( n e u r a l n e t w o r k sf o rc o m p u t i n g ) 上，提出一个基于神经网络模型的h e b b 学习准则方法，来解决 盲源分离问题，至今已形成基于信息论、统计学、神经网络等理论的几大类独立分量分析 ， 算法。例如，b e l l 等人的信息最大化法，a m a r i 等人的最小互信息和自然梯度算法， p e a r l m u t t e r 等人的最大似然估计法，c a r d o s o 的高阶矩法，芬兰学者o j a ，k a r h n n e n 等人 的非线性主分量口c a ) 分析方法，g i r o l a m i 等人的负熵最大化法，l a m b e r t 的b u s s g a n g 算 法，h y v a r i n e n 和o j a 提出的不动点算法，也叫快速i c a 算法，等等。过去，盲信号分离 的绝大部分研究都集中于无噪声模式，或通常假设混合有像未知源信号那样的加性噪声 源，即把噪声看作是一路源信号，它们将与源信号一样被分离。但是，如果在此之外，还 存在其他干扰，且幅度较大，则要对混合信号进行噪声消除，从而有效提出源信号是困难 浙江工业大学硕士学位论文 的甚