（应用数学专业论文）稳健的自适应滤波算法研究.pdf

摘要 摘要 自适应滤波方法在统计信号处理领域中占有很重要的地位。自适应滤波器通 常是由两部分构成的：滤波器部分和自适应算法部分，其中最核心的就是自适应 算法的设计。因此，在本文中，我们主要提出了两类自适应算法作为现有算法的 进一步发展。 在信号处理领域中，我们通常都假设噪声服从高斯分布，但当噪声偏离高 斯分布时，高斯分布下所得的最优系统性能将不再是最优的。因此，在本文中， 我们采用口一稳定分布来建模非高斯冲激噪声。在该噪声模型下，我们提出了两种 自适应算法，即总体最小平均p 范数算法和递归总体最小平均p 一范数算法，并通 过计算机仿真证明了所给算法的优越性。 在本文的最后一章中，我们还提出了种有效的计算方程误差无限冲激响 应( i 瓜) 自适应滤波系数的方法。在该算法中，以数据矢量为优化搜索方向，其快 速计算归结为新定义的增益矢量的快速计算。利用数据矢量的位移结构找n - j 计 算增益矢量的快速算法，运算量较小，克服了使用矩阵求逆引理带来的数据不稳 定性。最后还证明了所得解的无偏性及收敛性，并通过计算机仿真比较了有关算 法的性能。 本文的工作得到了国家自然科学基金的资助。 关键词：a 稳定分布总体最小平均p - 范敷递归总体最小平均p 范数 最小离差准则自适应滤波 a b s l r a c l a b s t r a c t t h es u b j e c to f a d a p t i v ef i l t e r sc o n s t i t u t e sa ni m p o r t a n tp a r to f t h es t a t i s t i c a ls i g n a l p r o c e s s i n g ，t h em o s ti m p o r t a n tp a r t o fa d a p t i y ef i l t e r sc o n s i s t so ft h e a d a p t i v e a l g o r i t h m s t h i sd i s s e r t a t i o ni n v e s t i g a t e st h e r e c u r s i v ea d a p t i v ea l g o r i t h m s s y s t e m so p t i m i z e du n d e rt h eg a m s i a na s s u m p t i o no f t e ny i e l du n a c c e p t a b l e p e r f o r m a n c e w h e n s u b j e c t e d t o i m p u l s i v e n o n - g a u s s i a nn o i s e ，s oi nt h i s d s s e r t a t i o n , ac l a s so f d i s t r i b u t o n sc a l e da l p t m - s t a b l ed s t r i b u t i o r t sc 卸b e u s e dt o m o d e lt h e s et y p e so fi m p u l s i v en o i s e c o n s i d e r i n gb o t ht h ei n p u ta n dt h eo u t p u t a r ec o r r u p t e db y 口- s t a b l ed i s t r i b u t i o n ，w eg i v et w ok i n d so f a d a p t i v ea l g o r i t h m s t h e y a r et o t a ll e a s t l 口一n o r ma l g o r i t h m a n dr e c u r s i v et o t a l l e a s t 工f n o r m a l g o r i t h m i t i ss h o w nt h a tt h en e w a l g o r i t h m sa c h i e v e sh i g hc o n v e r g e n c e r a t e a tl 剐丸af a s tr e c u r s i v et o t a ll e a s ts q u a r e sa l g o r i t h mi sd e v e l o p e dt or e e u r s i v e c o m p u t et h el e a s ts q u a r e ss o l u t i o no fa d a p t i v ei n f i n i t er e s p o n s ef i l t e r s t h ed a t a v e c t o ri su s e da ss e a r c hv e c t o rf o r t h er e c u r s i v ea l g o r i t h m u s i n gt h es h i f ts t m e t u r c o ft h ed a t av e c t o r , t h ef a s ta l g o r i t h mf o r t h eg a i nv e c t o ri sg i v e n t h eo p e r a t i o no f t h ea l g o r i t h mi ss m a l l t h ep r o p o s e da l g o r i f l x my i e l d su n b i a s e df i l t e rc o e f f i c i e n t s t h e p e r f o r m a n c e o ft h ea l g o r i t h mi se v a l u a t e dv i as i m u l a t i o n s t h i s p a p e r i ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n a k e y w o r d s ：a - s t a b l ed i s t r i b u t i o n ，t o t a ll e a s t 工p - n o r m ，r e c u r s i v et o t a ll e a s t l p - n o r m ， l e a s t p n o r mc r i t e r i a , a d a p t i v ef i l t e r i n g 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不包 含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名：壹垒邀 日期缨! 主：! ! ! 第一章绪论 第一章绪论 1 1 引言 信号处理就是从干扰或噪声中提取有用信号并进一步从中提取出人们所需要 的各种信息的过程。 待处理信号来源于各种物理观测，而各种观测总是包含着若干不确定的因素。 比如说接收电报信号，虽然我们可以肯定这种信号必然是一些矩形脉冲，但由于 通信信道中存在的干扰和噪声是不确定的，我们却不知道接收到的变了样的矩形 脉冲究竟是信号还是干扰。又比如说天文信号，且不说观测中必然有其他的干扰 混入，就是被观测天体所能给出的信号究竟是什么样子也是未可确知的。为了对 付这些不确定性，人们常采用的办法是增加观测次数，对大量的观测结果作统计 处理。这样，数学统计就在信号处理中占有了很重要的位置f 1 “。但是统计推断仅 仅是部分的建立在观测的基础上的，另一个同样重要的基础乃在于对随机性、独 立性、噪声背景的概率分布模型、某些未知参量的先验分布等的或明或暗的假定， 这些假定往往是为了更有效地利用数学工具而引入的，或者是对实际情况所作的 简化，或者只是对某些模糊知识所作的粗略描绘。这是一些理想化的假定，是信 号处理的背景条件的理想化模型。 经典的信号处理方法是基于对于扰或噪声的概率分布函数作理想化假定，在 假定的理想噪声模型下设计对某些性能准则为最优的信号处理器。但当干扰或噪 声的真实概率分布与理想化的概率分布有差别时，处理效果往往并不是最优的。 因此，在本文中我们将研究一些稳健的自适应方法，以使处理过程能自动地适应 信号环境的变化。 在多种噪声模型中，我们最常用的就是加性噪声模型，它可以表示为 弹) = d ( 町+ w ( n )一= 1 , 2 ， ( 卜1 ) 其中，x 和d 分别表示被污染的信号和原始纯净信号，w 为噪声。为了处理上的方 便，我们通常假定噪声w 是服从高斯分布的自噪声，其概率密度函数( p d f ) 为 如舻) 2 击唰一辈2 0 蚴 ( 1 2 ) 栅2 其中u 为期望d 2 为方差。 高斯分布已被广泛的作为信号处理分析中的噪声模型，很多的信号检测与估 计理论都是基于高斯假设得到的。实际上，当噪声的先验信息未知时，对其进行 2稳健的自适应滤波算法研究 高斯假设是可行的。首先，根据中心极限定理，由具有有限方差的独立随机变量 之和表示的随机变量其渐进分布为高斯分布【】。其次，由高斯分布得到的均为易于 处理的线性方程。相对于非高斯分布的非线性，高斯分布具有线性。高斯分布的 线性组合仍为高斯分布，因此，当一个系统的输入服从高斯分布时其输出也服从 高斯分布。并且，当随机过程的前二阶矩已知时，高斯概率密度函数是极大熵密 度 2 1 。因此，高斯过程是很容易描述的，仅用均值和方差就可以完整的描述一个 高斯过程。 但是，在现实物理世界中我们遇到的很多信号和噪声并不服从高斯分布，它 们均具有较强的冲激性，如在水下声学信号、雷达、低频大气噪声、卫星通讯和 经济学等问题中遇到的噪声就是非高斯冲激噪声【2 也”1 。在处理这些非高斯信号和 噪声时。如果我们仍采用高斯假设下的理论和方法，则最优系统的性能将会显著下 降 1 1 - 1 2 1 。因此，当理想韵高斯模型在非高斯环境中得不到最优解时，我们必须在 模型复杂度和精度之闻重新选择，咀便建立一个更可行的统计模型。为了克服采 用高斯分布带来的系统性能的下降，在本文中，我们介绍了一种a 一稳定分布来 建模此类非高斯冲激信号。a 一稳定分布是高斯分布的直接推广，因此，它具有 很多高斯分布所具有的有用性质。 很久以来0 l 一稳定分布在数学领域就为人们所知，但直到1 9 9 3 年它才在信号处 理领域引起人们的广泛注意。作为非高斯脉冲噪声的理想数学模型，0 l 一稳定分 布很快成为信号处理领域的热点研究问题。但是，由于a 一稳定分布不存在有限的 二阶矩，因此，到目前为止，信号处理领域对它的研究还很不完善，很多的问题 还有待进一步解决，在本文中我们提给出了两种适用于a 一稳定分布的自适应算 法，其性能较以前的算法有了较大的提高。 总而言之，信号处理就是在一定的背景条件下按某种性能要求设计出合适的 信号处理规则( 信号处理器) 。这些背景条件( 工作条件) 可以是输入观测信号的 谱分布和概率分布规律等等，可以统称为信号处理器的工作点，各种信号处理器 也统称为滤波器。简要的说，经典的最佳处理就是在给定的工作点下求出对某种 处理性能为最佳的滤波器，其中总是假定我们对工作点的认识不存在任何的不确 定性。可是我们设计的滤波器韵实际工作条件不可能绝对确定，比如我们对输入 观测信号的谱分布或概率分布规律就不可能知道得非常具体、非常肯定。信号的 稳健处理1 就是要设计出对于所有可能出现的工作点，性能都应可靠的滤波器。 1 i2 非高斯口一稳定模型 a 一稳定分布通常由它的特征函数即概率密度的傅里叶变换来定义： 第一章绪论 3 le x p j b t t y 圹 1 + j 3 s i g n ( t ) t a t l 芹) 】 ， a 1 、 甲u ) = 一 l l 一3 j ie x p j l a t y m l + j 1 3 s i g n ( t ) ：- l o g l t l l ， 胪1 l 二 可见，0 【一稳定分布是由其参数a ，p 7 和p 所决定的。特别的，特征参数位决定其分 布的冲激性a 越小，其冲激性就越强。 我们之所以采用0 l 一稳定分布作为冲激信号的理想数学模型，主要有以下几 方面的原因： ( 1 )a 一稳定分布是唯一服从广义中心极限定理的分布。即无限多个可能具有 无限方差的独立同分布随机变量之和，其极限分布为程一稳定分布n 1 。在通常 的信号处理中，我们之所以采用高斯分布，就是因为它服从中心极限定理。实 际上，由于a 一稳定分布可以描述大量的不服从中心极限定理的信号，因此， 口一稳定分布更具一般性。 ( 2 ) 在与噪声的生产机制和传播条件适合的现实假设下，a 一稳定分布证明是 自然噪声的极限分布 9 , t 0 1 。 ( 3 ) c t 一稳定分布是高斯分布的推广，即高斯分布是一稳定分布的一个特例， 它们具有许多的相似性。其中最重要的就是稳定特性：a 一稳定分布的概率密 度函数具有卷积封闭性，并且d 一稳定分布的随机变量具有加和封 j l 性，即具 有相同指数的a 一稳定分布的随机变量的线形组合仍是0 l 一稳定分布的随机 变量，只是它们具有不同的离差。因此，输入服从a 一稳定分布的线性系统的 输出也服从口一稳定分布。所以，基于高斯信号的线性系统理论可直接推广到 a 一稳定分布信号的系统中。 ( 4 ) 0 一稳定分布与很多经验数据吻合的相当好。s t u c k 和k l e i n e r 通过经验证 明了o 【一稳定分布作为电话线中的噪声模型非常有效；后来n i k i a s 和s h a o 证 明它也是大气噪声的极好模型8 】；m a n d e l b r o t 用c t 一稳定分布模拟金融时间序 列也是众所周知的| 6 】。 尽管口一稳定分布作为脉冲噪声模型有上述多方面的原因但信号处理领域 中对此类分布的研究却是近几年才开展起来的。这主要有两方面的原因，一是因 为t 2 t 一稳定分布的概率密度函数无法用明确的解析式来表达。因此，统计信号中 常用的最大似然估计、贝叶斯估计等需要概率密度函数表达式的一些方法都不能 用于口稳定分布信号。另一个原因是对称伐一稳定分布的p 阶矩仅对p 口存在且 有限。因此，所有非高斯口一稳定分布都不存在有限的二阶矩，对于a l 甚至不 存在有限的一阶矩。而信号的二阶矩或方差通常是与信号能量相关的，因此，我 们认为由c t 一稳定分布表示的信号波形并不是物理的。实际上，观测信号的任何 一种统计模型都只是描述观测过程某些特定的方面，而不可能完全的描述观测过 4 稳健的自适应滤波算法研究 程。在现实中，我们处理的都是有限持续时间的数据样本，不可能具有无限大的 能量，a 一稳定分布提供的只是局部脉冲数据盼数学模型，这并不影响它作为脉 冲噪声的理想统计模型。 1 3 自适应信号处理的研究概况 自从，w i n d r o w 等人f 1 7 j 提出自适应信号处理方法以后，自适应技术就广泛应 用在通信、雷达、声纳、地震学、自动化、机械设计、导航系统与生物医学电子 学等几乎所有技术领域。 自适应处理器是工作在闭环( 反馈) 状态。输入信号通过可编程滤波器滤波 或加权后产生一个输出，然后它与期望的参考或训练信号进行比较，形成误差信 号。接着，用这一误差信号来修正可编程滤波器的权系数( 通常用迭代方法来实 现) ，最终使这一误差逐渐达到最小值( 也就是使处理器的输出更逼近于训练信 号) 。这种自适应处理器可划分成自适应滤波器和自适应天线两大类。在本文中我 们只考虑自适应滤波器。 自适应滤波器就是利用前一时刻已获得的滤波器系数等结果，自动地调节现 时刻的滤波器系数，以适应信号和噪声未知的或随时间变化的统计特性，从而实 现最优滤波。自适应滤波器通常由两个不同的部分构成：滤波器部分，其结构适 合于完成所需要的处理功能；自适应算法部分，用来调整上述滤波器的系数。在 本文中，我们主要是设计稳健的自适应算法来调整其系数。 高斯假设下的自适应处理方法都是基于最小均方误差准则的f 1 ”，如最常用的 最t j , y _ 乘( l s ) 算法和递归壤, j 、- - 乘( r l s ) 算法。给定一个数据向量b 和一个数据矩 阵a ，很多工程问题都需要求解超定方程a x = b ，而最小二乘算法是解决这类问 题最常用的方法。然而，我们知道，通常的最小二乘方法只有在向量b 韵噪声或误 差是零均值的高斯自噪声的少数情况下才能保证误差的平方和为最小，最小二乘 解x 。才等价于极大似然法的解。然而，当a 也存在噪声时最小二乘解从统计观 点看不再是最优的，它将是有偏的，而且偏差的协方差将由于a ”a 的噪声误差的 作用而增大。因此，当a 也存在噪声时，我们必须使用推广的最小二乘算法，以 得到最优解。尽管总体最小二乘问题在1 9 0 1 年l ”i 就提出了，但直到1 9 8 0 年g o l u b 和v a nl o a n i 删从数值分析的观点首次对总体最小二乘( t l s ) 方法进行了整体分析 以后，t l s 问题才被广泛应用在经济、信号处理和自动控制领域 4 8 - 5 0 】。一般而言， t l s 问题妁解是通过矩阵的特征值分解忡j ”得到的，由于矩阵的特征值分解的运 算量较大，一个打x 撑维矩阵特征值分解的运算复杂度通常是o ( n 3 ) ，因此，t l s 方法在实际中的应用受到很大的限制。 第一章绪论 而对于非高斯口一稳定信号，因为不存在有限的二阶矩，在理论上最小均方 误差准则也就失去了意义高斯假设下的自适应算法也就都无法使用m “】。因此， 我们需要寻找新的最优准则来处理此类非高斯信号。我们知道，0 l 一稳定信号的 自适应处理方法的研究应基于最小离差准则，该准则等价于使其p ( 0 p 口1 阶分 数低阶矩最小，也就相当于使输出误差的工。范数最小【”。在最小三。范数误差准则 下，国外很多学者已经给出了很多自适应算法，s h a o 和n i k i a s 首先提出最小平均三。 范数( l m p ) 自适应算法【7 1 可以看作是l m s 算法的直接推广。后来，受正规l m s 算法的启发，a r i k a n 甙a 1 提出了正规l m p 算法1 1 3 ，其收敛速度有所提高。但上述 两种算法都具有相同的缺点，即当自适应滤波器的输入相关时，收敛速度都很慢。 因此之后又提出了r l o 算法1 1 9 ，它虽然克服了上述缺点，但它又需要知道误差 统计和滤波器输入的先验知识咿l 。从总体来说，c c 一稳定信号假设下的自适应处 理方法还很不完善，很多的问题还没有解决，我们需要不断的寻找新的算法。 对于a 一稳定信号的处理，已有的研究工作只是在系统的输出为a 一稳定噪声 的假设下进行的而没有考虑系统输入中的仅一稳定噪声。而对于系统的输入和 输出均含有高斯噪声的情况，c e d a v i l a 首先提出了递归总体最小二乘( r t l s l 自适 应算法1 3 ”。后来，冯大致等人又提出了l m s 型的总体最小均方( t l m s ) 自适应算法 【3 “，性能都b b 基本的最小二乘算法有了明显的提高。 受上述算法的影响，在本文中我们将给出在系统的输入输出都含有a 一稳定 噪声的情况下的稳健自适应算法。并给出了高斯情况下递归全局最小二乘的一种 快速算法，并将其应用于i i r 滤波。 1 4 本文的主要工作和论文安捧 具体的讲，本文的主要工作在于以下几个方面： 本文首先在第一章讨论了对自适应算法的研究意义及其研究概况，并提出了 对非高斯脉冲分布的研究意义，说明了将毡一稳定分布作为理想脉冲噪声模型的 主要原因。 第二章介绍了作为非高斯分布模型的a 一稳定分布的基本定理给出了分数低 阶矩和最小离差准则两个重要概念，并将其应用于f i r 系统辨识问题中，同时考 虑系统输入和输出中的a 一稳定噪声，给出了种新的总体最小全局平均p 一范数 算法。并通过计算机仿真与有关算法进行比较。 第三章基于总体最小平均p 一范数算法和递归总体最t l 、- - 乘估计方法，提出了 一种新的估计方法，即递归总体最小平均p 一范数估计方法。研究了该方法在f i r 线性系统的自适应系统辨识问题中的应用，给出了稳健的递归总体最小平均p 一范 6 稳健的自适应滤波算法研究 数算法，并给出了相应的计算机仿真。 第四章考虑到自适应i i r 滤波的优点，我们给出了当系统的输出存在离斯白噪 声时的一种新的方程误差i i r 滤波的自适应快速算法。并证明了该算法的收敛性， 以及所得滤波器参数的无偏性。本章的最后给出了该算法的仿真，显示了其性能 优越性。 第二章自适应全局最小平均p 范数算法 7 第二章自适应全局最小平均p _ 范数算法 2 1 引言 自从d 一稳定分布引入信号处理领域以来，已经出现了多种自适应滤波方法 _ 1 1 3 ，”1 ，所有这些方法都可以归为最小均方( l m s ) 算法。但是，由于口一稳定信号不 存在有限的二阶和二阶以上的矩 ，】，因此这些算法与传统的l m s 算法并不完全相 同，它们均用最小离差准则代替了传统的l m s 算法中的最小二乘准则。在本章中 我们将介绍，所谓的最小离差准则即使误差的，。一范数最小。在最小离差准则下， 很多的国外学者已经作了许多的研究工作【7 ，”，i ”，但现存的多种算法均存在着无法 克服的缺点，因此，我们仍需要寻找更好的方法来解决所遇到的问题。 最小工。( 1 p 2 ) 范数估计已广泛应用于a 稳定信号处理问题中。给定一 个数据矩阵a 和一个数据向量b ，求解超定方程a x = b ，通常的最小三。范数估计 方法只考虑数据向量b 的噪声或误差是a 稳定噪声。然而，在现实的信号处理中， 由于样本、模型、仪器等多方面原因都存在误差因此，数据矩阵a 也不可避免 的存在噪声。类似于高斯分布噪声中可以使用最小二乘方法的推广一总体最小二 乘方法，本章中提出了一种新的总体最小工范数估计方法同时考虑b 和a 中的 o r 稳定噪声扰动。总体最小二。范数估计的收敛速度和性能较最小l 。范数估计有了 明显的提高。由于信号的冲激特性，在估计过程中仍不可避免的会出现突跳点， 以及所得估计量的性能分析均有待进一步研究解决。 其中 2 2a 一稳定分布 定义口一稳定分布最方便的方法就是用它的特征函数来定义。 定义2 1 ：若一个随机变量的特征函数有如下形式： 妒( r ) = e x p j - r l t l 4 1 + j j o s i g n ( t ) o ( t ，口) 】 ( 2 1 ) i t a n 丝口1 埘。，口) 2 昙b ；i 口：- 2 2 8稳健的自适应滤波算法研究 我们就称该随机变量是口一稳定的，其中一 u 0 ，0 口s 2 ， 一l 口 1 。 由其定义我们可以很容易地看出，口一稳定分布是由它的四个参数口、卢、y 和唯一并完全确定的，这四个参数的物理意义可参见限”】。下面我们只给出口一 稳定分布的一些主要定理，它的一些基本性质可参见 2 6 , 2 9 4 t 1 。 稳定分布的两个重要的基本性质即为稳定性质和广义中心极限定理，这两个 性质也是口一稳定分布作为非高斯脉冲噪声统计模型的重要原因。 定理2 1 ( 稳定性质) 若对任意与随机变量z 同分布的独立随机变量z 和墨， 对任意常数a l ，a ，总存在常数口和b 使得 d a ，置+ a 2 x 2 = a x + b ( 2 3 ) 成立，我们就称随机变量x 服从稳定分布，其中x = y 表示z 和r 具有相同分布。 利用稳定分布的特征函数，我们可以得出更一般的结论：若x ，j ：，x 。独立且 同服从参数为 ，声) 的稳定分布，则它们的所有线性组合乙口，一也服从参数为 ( 口，所的稳定分布。 根据稳定性质，我们可以证明稳定分布是独立同分布随机变量和的唯一极限 分布。这就是我们所熟悉的广义中心极限定理i 。“其具体表述如下： 定理2 2 ( 广义中心极限定理) 当且仅当z 服从稳定分布时，独立同分布随 机变量x 1 ，x 2 , - - , 以的下述归一和 s 。= ( x i + - + x 。) a 一k 在1 1 - + o o 时的极限分布为丑。特别的，若x ，x ：，x 。独立同分布且具有有限方 差，则极限分布即为高斯分布，这就是一般的中心极限定理。 虽然当0 口 2 时，s 西随机变量不存在有限的二阶矩，但对于任意p 口， 其p 阶矩均存在且有限，我们称它为s a s 随机变量的分数低阶矩。心随机变量 的分数低阶矩可以很容易的由它的离差和特征指数求出下述定理给出了非高斯 口一稳定随机变量的分数低阶矩和离差之间的重要关系。 定理2 3 ( z o l o t a r e v 定理) 令丑为s a r s 随机变量，它的位置参数为零，离差 为t ，则 耳i x l * c ( p ，。三芽 ( 2 t ) 其中 第二章自适应全局最小平均p ，范数算法9 2 p + t ( p - 掣) f ( - p 口) c p ，口2 高葡面一 ( 2 5 ) 口v 石j 卜口zj，o e 、 只依赖于a 和p ，且与随机变量工无关。r ( ) 是g a m m a 函数，其具体定义为 r ( 工) = r t - l e - , a t 这个重要的定理构成了口一稳定信号和噪声估计方法的理论基础，它首先是 由z o l o t a r e v 利用m e l l i n - s t i e l j e s 变换证明的矧。之后，c a m b a n i s 和m i l l e r 2 ”又利 用特征函数的性质证明了该定理。 2 3 最小离差准剐 由定理2 3 我们可知，很多适用于高斯信号的规则和方法无法直接应用到口一 稳定信号中来，因此，我们必须寻找新的方法来处理口一稳定信号。例如，在高 斯噪声中常用的估计准则就无法应用在1 2 一稳定噪声中。 首先，让我们来看一下最优估计f 搀具体意义。对于二阶过程，最优估计最常 用的准则就是最小均方误差( m m s e ) 准则。在该准则下，最优估计就是使估计误 差的方差最小的估计。若该过程是高斯的，则我们可以证明该准则同时也使得最 大估计误差概率最小。对于稳定过程，由于稳定过程不存在有限的方差，最小均 方误差准则将不再适用。但是，由于口一稳定数据的离差类似于高斯数据的方差， 因此，我们可以根容易的把最小均方误差准则推广到稳定过程中去。因此，我们 采用最小离差准则( m _ d ) 来讨论稳定过程中的线性理论。最小离差准则是最小均方 误差准则的直接推广( 在高斯情况下它们是相同的) ，它等价于使估计误差的分数 低阶矩最小，并且给出了估计值与其真值之间的工。距离。它最先由s m c k 在1 9 7 8 年提出的1 2 1 。使估计的离差最小也就是使估计误差的平均振幅最小，并且，我们 还可以证明离差最小等价于使最大估计误差的概率最小1 2 ”。 在最小离差准则下，口一稳定随机过程的一般线性估计问题可表述为：已知 观测数据 x ( o ，f e t ，在线性空间l ( x ( o ，t t ) 中寻求】，的估计梦，使得 i l 】，一剜= i n f i i r z l l i l i 旧z e “z 【t l f r i ”。 或 ( 卜y 。3 i ，l e i y z 1 9 其中0 p 口。由于工 工，f e t 是一个b a n a e h 空间，对于1 口 2 ，矿总是存 1 0稳健的自适应滤波算法研究 在且唯一。2 ”，我们可以通过y 到凸b a n a c h 空间工 石( f ) ，t 丁 的距离投影得到p 。 对于1 口 2 ，矿可以$ - f 式唯一确定划 【x ( f ) ，y 一内。= 0 对于所有f e t ( 2 - 6 ) 这类似于二阶过程线性估计问题的正交投影准则1 2 ”。 由于稳定随机过程x 的p 阶分数低阶矩e d 卅) 可以由数据向量z 的工。范数 求得，因此，根据定理2 3 我们可以知道最小离差准则即等价于使估计误差向量 的工。范数最小。因此，使估计误差的工。范数最小将得到最小离差准则下的估计。 在观测心，r n 张成的线性空间中，分数低阶矩给出了元素i ，与其估计值p 之 间的工。距离，其中p 口。我们已经知道稳定过程的所有分数低阶矩都是等价的， 所以，我们可以根据需要选取p ，使其三范数最小，从而得到最小离差估计。 2 4f i r 自适应滤波的总体最小卜范数估计 考虑线性方程组： a x = b( 2 7 ) 的求解。其中a 是朋r l 维数据矩阵，x 是一l 维参数向量，b 是m 1 维数据向量。 在参数估计等许多信号处理问题中，通常研究埘2 一的超定方程组。 总体最小三。范数估计的思想可以归纳为：同时考虑b 和a 的扰动，使扰动的 工，范数保持最小，即在总体最小工，范数估计中我们考虑的是矩阵方程： ( a + e ) x = b + e( 2 - 8 ) 的求解。显然，上式可写为： 【d ( b + 1 ) 0 e i e ) 】h 。0 9 ) 或 ( 加+ d d z = 0 ( 2 - 1 0 ) 其中： b - - a ib tt = e i e lt z - i 二i ，d 为m m 维对角阵，即： d = d i a g ( d 1 1 ，d 1 2 ，d 。) 。因此，求齐次方程( 2 9 ) 的总体最小上。? $ w f f ) - t - t i $ 的 优化问题，即求解向量x ，使得 叩o d 刚，( 2 - 1 1 、 s 上( b + e ) r a n g e ( a + e ) 式中i 叫。是矩阵t 的上，范数，即： 第二章自适应全局最小平均p 范数算法 ( 2 - 1 2 ) 给定一个具有有限脉冲响应的未知系统假设输入和输出皆有噪声，则f i r 自适应滤波依据系统的输入和输出估计系统的脉冲响应。这种情况下脉冲响应的 估计结构如图2 1 所示。 图2 ，1 考虑输入向量存在噪声n t ( 七) 的冲激响应估计结构图 假设未知系统的脉冲响应是n x l 向量： h = 【，啊，h 。】7 ( 2 一1 3 ) 所谓的期望信号由下式给出： d c k ) = x 7 ( 1 】 ) h + n o ( 七、 ( 2 一1 4 ) 其中观测噪声力。( 七) 是参数为( 旺，y ) = ( a 。，0 ，1 ) 的a 一稳定噪声，且与 输入噪声向量独立，输入向量为： x ( k ) = x ( 七) x ( 七一1 ) ，x ( k 一+ 1 ) 】7 ( 2 一1 5 ) 由于未知系统的输入必须和期望信号一起采样和量化，因此会产生宽带量化噪声 污染自适应滤波嚣的输入，而且外界干扰也会使输入产生噪声。因此，这里采用 的信号模型更具一般性。 考虑下面的f i r 系统辨识问题，设有个含有噪声的独立变量 r ( k ) = 【x ( k ) + 订】( 七) ，x ( k 1 ) + 刀】( k - 1 ) ，- - ，x ( k 一+ 1 ) + n 1 ( 七一n + 1 ) 】7 ( 2 - 1 6 ) 其中九，( k ) 是离差为y ，的鼬g 稳定噪声，且有一个含有噪声的非独立变量d ( k ) 。 因此。在k 时刻的( + 1 ) 维增广观测数据矢量为： 亍( 七) = 【r 7 ( t ) ，d ( 七) 】7 ( 2 - 1 7 ) h _ 【， ，h n j 】r ( 2 1 8 ) 是待寻找的递归参数，定义 r + 1 维扩展阶权向量 p 、l， 吁 。一 ， ，l = p t 1 2稳健的自适应滤波算法研究 一w = 【w 7l 】7 ( 2 1 9 ) 其中：w = w o w ，w h , - 1 r f i r 系统辨识问题可表示为： 丽7 亍( 七) = 0 ，k = 1 ，2 ，- 工 ( 2 - 2 0 ) 当足够大时，求解( 2 2 0 ) 的总体最小上。范数解即为求解如下随机优化问题 w 2 a r s 哮e 垆酬侧j 2 。2 1 一垮 z z ， 此处的加权矩阵面：i 6 】，即p ：堕= 1 。由此可得f 瓜模型的最小，。范数解。 为了给出l m s 类的自适应算法，取期望估计为仅依赖于当前数据的无记忆估 计自】= 【小则问题( 2 2 1 ) 交为： w = a r g 呼i w 7 f ( d 1 9 ( 2 2 3 ) s t 1 l 丽忆= 6 ( 2 2 4 ) 而 利用随机梯度法求解( 2 - 2 3 ) 式，可得下面的自适应方程 一w ( k + 1 ) = w ( 膏) - , u ple ( 七) i 一e ( k ) i = 让) ( 2 2 5 ) 由约束条件( 2 - 2 4 ) 知，每次迭代过程中权向量保持p ( p 一1 ) 范数不变 所以： w ( j ) = _ ( _ i ) ，i 阿( 女) k ( 2 2 6 ) 这样，我们就可以得到一种基于总体最小工范数估计的l m s 型自适应算法，称之 为总体最小平均p 一范数( t r y , w ) 算法。具体算法如下： 算法：( t l m p 自适应算法) 初始化：丽( o ) = o ，- l 】7 ，其中0 为l x n 维行向量， e ( o ) = w ( o ) 7 - ( 0 ) ， f o rk = 1t o 工d o 第二章自适应全局最小平均p 范数算法1 3 e ( i | ) = 霄7 ( 七) f ( _ | ) w ( k + 1 ) = ；丙( t ) 一p l8 ( t ) 1 9 2e ( 七) 亍( 女) w ( 七) = 丽( t ) 陬七) k 卜】 w 。= - _ 0 ，面- 一。r w 其中碱，i = 0 ，n 一1 为w 的元素。 2 5 仿真结果 为了比较t l m p 和l m p 自适应算法的性能，考虑脉冲响应为 h = - 0 3 ，- 0 9 , 0 8 ，- o 7 ，0 6 】7 ( 2 - 2 7 ) 的未知系统。系统由高斯白噪声激励，输入噪声和输出噪声分别是特征指数为 = 1 4 和= 1 4 且离差为y o = r 】- 1 的& 岱稳定分布噪声。图2 2 ，图2 3 和图2 4 中分别给出了不同信噪比时的学习曲线，即估计的均方误差与迭代次数的关系图 ( 所示曲线均为2 0 次实验结果的平均) 。 估计次数 图2 2n ，m p 和l m p 算法的性能比较( s n i = 8 d b ) 1 4稳健的自适应滤波算法研究 盆 已 j l l l j 嗒 太 坦 a 已 糊 鲣 七 坦 估计次数 圈2 3n 口和l m p 算法的性能比较( s n r = - 0 d s ) 估计次数 图2 4 t l m p 和l m p 算法的性能比较( s n r = 一3 d b ) 2 6 小结 本章中t 我们在最小三。范数估计方法和总体最小二乘方法的基础上提出了一 种新的估计方法的思想，即总体最小三。范数估计方法并将其应用于f i r 线性系 统的自适应辨识问题，给出了基于最小工。范数估计的t l m p 算法，通过仿真说明 了t l m p 算法的优越性。本文仅对t l m p 算法作了初步研究，对估计量的性能仍 需要进一步研究。 第三章递归全局最小平均p 范数算法 1 5 第三章递归全局最小平均p - 范数算法 递归最d , - - 乘( r l s ) 算法己广泛的应用于信道均衡、系统辨识、谱估计和回波 对消等之中 4 3 “】。r l s 算法具有许多优点，如跟踪速度快当高斯白噪声仅存在 于输出信号中时，它可以得到系统参数的最小方差无偏估计叫】。但当输入和输出 都存在高斯噪声时，r l s 算法将得到系统参数的有偏估计，该有偏估计将使自适 应滤波器的性能显著下降。因此，提出了总体最小二乘( s ) 算法【4 2 1 ，同时考虑 输入和输出中的噪声，使自适应滤波器的性能达到最优。类似于t l s 算法，在本 章中，我们给出了当系统的输入和输出中均存在口一稳定噪声时，总体最小二乘算 法的推广一递归全局最小平均p 一范数( r t l m p ) 算法。 3 1 引言 在上一章中我们给出了总体最小二乘算法的推广一总体最小三。范数估计方 法，在本章中，我们又给出了一种递归总体最小二乘( r t l s ) 算法的推广一递归总 体最小平均p 一范数( r t l m p ) 算法，同时考虑输入和输出中的口一稳定噪声，在估 计的过程中采用了p o w e r 迭代法l ，并应用矩阵求逆引理克服了直接求逆带来的 繁琐计算，在本节的最后给出了计算机仿真，通过仿真显示了该算法性能的优越 性。 这里我们依然采用上一章中给出的模型，即给定一个具有有限脉冲响应的未 知系统，假设其输入和输出中皆存在口一稳定噪声，则自适应f 取滤波依据输入和 输出测量值估计的未知系统的脉冲响应如图3 1 所示。 图3 1 考虑输入向量噪声( 七) 的脉冲响应估计图 假设未知系统的有限脉冲响应是n x l 维向量： 】6 稳健的自适应滤波算法研究 h = 【h o ，啊，h - i 】7 ( 3 - 1 ) 可以是时变的，但这里我们假设它为常量，所谓的“期望”信号为： d ( 七) = x ( 七) 4 - 1 0 ( 1 】 ) ( 3 - 2 ) 其中，观测噪声( | ) 是参数为他，卢，) = ( ，0 ，1 ) 的口一稳定白噪声，且独立于输入 向量，输入向量为： x ( 七) = i x ( _ | ) ，x ( k 一1 ) ，x ( k 一+ 1 ) 】7 ( 3 3 ) 3 2 稳健的递归全局最小p 一范数算法 在介绍稳健的递归全局最小f 。范数算法之前，我们先给出了矩阵求逆引理 3 2 1 矩阵求逆引理 引理3 1 ( 矩阵求逆引理) 若a 非奇异的，则 ( a + b c 7 ) = a 一一a 一1 b ( i + c 7 a 一1 i s ) 一1 c a 一1 特别的，若v 、w 均为斤x 1 维列向量，则 ( a + w 叮1 “1 一篇 在下面一节我们将给出利用矩阵求逆引理得出的递归全局最小工。范数算法。 3 2 2 与f i r 自适应滤波相关的全局最小p 一范数问题 考虑下面的f i r 系统辨识问题，设有个含有噪声的独立变量： ，( 七) = 【x ( 七) + ( 七) ，x ( k - 1 ) + ( 七一1 ) ，x ( k 一+ 1 ) + r l ( 七一+ 1 ) 】7 ( 3 4 ) 其中：r i ( 七) 是离差为n 的s ( 瑾，) s 稳定噪声，且有一个含有噪声的非独立交t d ( k ) 。 因此，k 时刻的( + 1 ) 维增广观测数据向量为： 尹( 七) = i f ( k ) ，d ( ) 】7 ( 3 - 5 ) h = 【 。啊，“一。】7 ( 3 6 ) 是待寻找的递归参数。定义( + 1 ) 维的扩展向量： 谚= w ，r ( 3 7 ) 第三章递归全局最小平均p - 范数算法 1 7 其中：w 【w o ，w 1 ，一1 1 。- 则f i r 模型的系统辨识问题司以表不为： 两7 尹( 七) = 0k = 1 , 2 ，工 ( 3 - 8 ) t l m p 解源于如下优化问题： 面：a r g 呼占 磐 ( 3 - 9 ) 让鹕呼耳错 。啕 w 州= 一号 其中：帝是( + 1 ) 维递归参数矢量，于为加权矩阵，取不同的加权矩阵，我们就 可以得到m 4 - - 乘( l s ) 算法，总体最小二乘( t l s ) 算法【1 6 j ，在本文中我们取于为： k 【瑚 1 1 ) 卜_ 卢l 。1 其中：i 是n 维单位矩阵，声= a ，即卢是与输入和输出噪声相关的常数， 当噪声的参数先验未知目寸，通常可以筒单的取为夕= 1 。 我们可以将问题( 3 - 9 ) 等价为下面的极值化问题： 霄2 a i ：，n e 阿7 亍( 七) l ) ( 3 1 2 ) s t 上= s 其中为任意常数，敷兢望估计为仅依赖于当前时刻数据的无记忆估计最小= 】， w = a r g 刊霄7 _ ( 七) i ( 3 - 1 3 ) 阿6 上= 占 ( 3 1 4 ) p i 为了得到所需要的自适应算法我们可以引入下述确定性目标函数： j 加) ：窆刀一ti 。( 七) i ，：n 刀一tl 币r f ( ) 1 9 ( 3 - 1 5 ) 上式可等价的表示为： j ( 拒) = 窆刀。7 万7 ，( 妻) f ”2 帝