（应用数学专业论文）脉冲噪声中的信道参数估计.pdf

摘要 摘要 口平稳分布作为非高斯脉冲噪声的理想数学模型，已经成为信号处理领域的 热点研究课题。本文主要研究脉冲噪声对消和口平稳噪声中的信道参数估计，具 体工作可概括如下： 1 本文首先讨论了对非高斯口平稳分布的研究意义及有关定义、性质、重要 定理等基本理论。论述了分数低阶矩和最小离差误差准则两个重要概念，最小离 差误差准则类似于高斯假设下的最小均方误差准则。在口平稳环境下，使误差的 离差最小等价于使其p ( o p 口) 阶矩最小，也就是使其三。范数最小。 2 系统概括了f i r 系统辨识问题的自适应处理方法。对噪声对消问题，在外 加噪声为口平稳噪声时，基于最小三。范数估计方法，研究了一种改进的n l m p 自适应算法，并与n l m p 算法进行了比较，仿真结果验证了所给算法性能的提高。 3 由于口- 平稳噪声不存在有限的二阶矩，对该环境下的盲信道辨识，传统的 子空间方法不再适用。本文首先引用了一种多信道盲辨识的子空间方法，在此基 础上，利用分数低阶矩和共变矩阵，讨论了一种口平稳噪声中的子空间方法。最 后，通过两个仿真实验，证实了该方法的有效性。 关键词：口一平稳分布最小离差误差准则 最小工，范数估计 分数低阶矩 子空间方法 a b s t r a c t a b s t r a c t a st h ei d e a lm a t h e m a t i c a lm o d e lf o rn o n o a u s s i a n i m p u l s i v e n o i s e ，口- s t a b l e d i s t r i b u t i o nh a sb e e nt h ef o c u so fi n t e n s i v er e s e a r c hi ns i g n a lp r o c e s s i n gf i e l d s t h i s d i s s e r t a t i o na i m sa tt h ei m p u l s i v en o i s ec a n c e l l a t i o na n dt h ee s t i m a t i o no fc h a n n e l c o c m c i e n t si n1 2 - s t a b l en o i s e t h em a i nw o r kc a nb es u m m a r i z e da sf o f l o w s 1 w cs t a r t0 1 1 1 d i s c u s s i o n 、析t i lt h ei n t r o d u c t i o no ft h eb a s i ct h e o r ys u c ha st h e d e f i n i t i o n ，a l g e b r a i cp r o p e r t i e s a n dt h e o r e m so ft h e 口一s t a b l e d i s t r i b u t i o n ，g i v e t h e d e f i n i t i o na b o u tt h ef r a c t i o n a ll o w e r - o r d e rm o m e n t sa n dt h em i n i m u md i s p e r s i o n c r i t e r i o n ，w h i c hi st h ea n a l o g u eo ft h em i n i m u mm e , a ns q u a r e de r r o rc r i t e r i o nf o r g a u s s i a nd a t a i n 口s t a b l e e n v i r o n m e n t s ，m i n i m i z i n g t h e d i s p e r s i o n o fe r r o ri s e q u i v a l e n tt om i n i m i z i n gt h ep t hf r a c t i o n a ll o w e r - o r d e rm o m e n t s ，a n dt om i n i m i z i n g t h e p 。n o r l n 2 w p r e s e n ta no v e r v i e wi nau n i f i e dp e r s p e c t i v ef o rt h ea d a p t i v et e c h n i q u e sf o r f i rs y s t e mi d e n t i f y i n g f o ri m p u l s i v en o i s ec a n c e l l a t i o n ，w h e nt h ea d d i t i v en o i s ei s 1 2 一s t a b l e ，b a s e do nl e a s tl 。- n o r me s t i m a t i o n ，am o d i f i e dn l m pa d a p t i v ea l g o r i t h r ni s s t u d i e d s i m u l a t i o nr e s u l t sd e m o n s t r a t et h e s i g n i f i c a n tp e r f o r m a n c e o ft h en e w t e c h n i q u e s 3 s i n c e 口- s t a b l er a n d o mv a r i a b l e sd on o th a v ef i n i t ev a r i a n c e ，f o rb l i n dc h a n n e l i d e n t i f i c a t i o ni na - s t a b l en o i s et h et r a d i t i o n a ls u b s p a c em e t h o d sc a n1 1 0 l o n g e rb e a p p l i e d w e f i r s ti n t r o d u c ea s u b s p a c e m e t h o df o rt h eb l i n di d e n t i f i c a t i o no f m u l t i c h a r m e lf i rf i l t e r s ，b a s e do nw h i c h ，as u b s p a c em e t h o di n1 2 s t a b l en o i s eu s i n g f r a c t i o n a ll o w e r - o r d e rm o m e n ta n dc o v a r i a t i o nm a t r i xi sd i s c u s s e d t w os i m u l a t i o n s d e m o n s t r a t et h em e t h o di sv a l i d k e y w o r d s ：口s t a b l ed i s t r i b u t i o n ；l n i n h n u md i s p e r s i o nc r i t e r i o n ；l e a s t 上口- n o r m e s t i m a t i o n ；f r a c t i o n a ll o w e r - o r d e rm o m e n t ；s u b s p a c em e t h o d 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容外，论文中不包 含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其 它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 长翔 日期 z p ；无 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。 本人签名狼韵日期 丝翌兰垂 导师签名：乏刍盘至支日期兰生竺三：杰： 第一章绪论 第一章绪论 1 1 引言 很久以来口平稳分布在数学领域就已为人们所知。但直到1 9 9 3 年其才在信号 处理领域引起极大注意【“。作为非高斯脉冲噪声的理想数学模型，它很快成为信号 处理领域的热点研究课题。前人对口平稳分布的研究重点是：在口平稳噪声环境 下设计最优接收器【1 8 】【1 9 】【2 0 l ；线性过程中的参数估计【2 3 】l ：波达方向估计和其它与 雷达有关的问题【2 5 】【2 6 1 ：口平稳过程中的信号模型【2 8 】以及口平稳分布的概率密度 函数的参数估计【2 9 】。很多实验数据已经表明，有很大一部分人造和自然界的噪声 的确是口一平稳分布的。事实上，柯西分布，作为口平稳分布的一个特例，已经作 为脉冲噪声的模型用在多篇文章中，如1 6 1 ；s t u c k 和k l e i n e r 7 l 根据大量的实验发现 在某些电话线上的噪声可以用特征指数接近2 的平稳分布描述。 本文主要研究脉冲噪声对消和口平稳噪声中的多径盲信道参数估计。在具体 介绍研究工作之前，我们首先讨论研究非高斯脉冲噪声的意义和将口平稳分布作 为非高斯脉冲噪声模型的现实性，并介绍口平稳噪声中信道辨识的研究现状。最 后依此为出发点，说明本文要完成的工作。 1 2 非高斯脉冲噪声模型的研究意义 信号处理的一个主要目的就是揭示隐藏在观测信号中的特定信息。如信号建模 问题的目的就是使信号仅用几个参数即可表示z 信号分离问题是在多个信号源中 分离出期望信号：而信号盲均衡问题则为只有发射信号的统计特性和接收信号可 以利用的情况下，辨识信道，恢复源信号；又如利用所得数据预测未来时刻的数 据样本或内插丢失的数据样本等等都是信号处理问题。实际中所有上述信号处理 问题都因所考虑的信号被随机噪声污染而变的困难。噪声在现实世界中是不可避 免的，它来自多方面的原因：如邻近信号的干扰，人为噪声，自然噪声或是产生 于测量过程。因此，需要寻找从被污染信号中提取源信号或有关信息的方法。为 了利用数学工具，需要假定信号和噪声产生的统计模型。 在多种噪声模型中，加性噪声模型 x ( n ) - - d o ) + w o ) 。 一= l ，2 ， ( 1 - i ) 是最常用的。在式( 1 - 1 ) 中，工g ) 和，0 ) 分别代表被污染信号和原始信号，坼) 是 脉冲噪声中的信道参数估计 噪声，通常假定为高斯白噪声，其概率密度函数( p d f ) 为 小融小志唧 - 譬) z ， 其中，是均值，盯2 为其方差。 正如在其他许多科学领域中那样，高斯概率分布在信号处理和通讯领域有其不 可忽视的角色，它已被广泛的作为信号分析中的噪声模型。通信系统中的许多原 理、估计和检测都是在高斯噪声的假设下确立的。信号处理中的许多方法在高斯 噪声环境下也达到了理想的效果。高斯假设导致产生了最小二乘估计，它在高斯 数据下又称为最大似然估计。当没有任何噪声过程的先验知识时，高斯分布是一 个很好的假设。另外，当随机过程的前二阶矩，均值2 和方差仃2 已知时，高斯密 度是最大熵密度【3 1 ，因此，高斯过程很容易描述，仅由均值和方差便可完全描述一 个高斯过程。 从式( 1 - 2 ) 可以看出，高斯密度函数是随机样本偏离其均值的平方的指数函 数。因此。高斯假设下样本远远偏离均值的概率非常小，即代数拖尾非常小。这 可以从图1 1 中高斯概率密度函数的分布看出。 然而，物理世界中仍存在大量信号和嗓声显示出比高斯分布更强的冲激性，即 其概率密度函数的振幅波动比高斯分布大得多，妇在声纳、雷达、低频大气噪声、 卫星通讯以及计量经济学中都有大量非高斯脉冲噪声1 4 】1 5 1 。因此，这些噪声过程必 须由比高斯分布有更大代数拖尾的概率分布才能描述。 如果信号和噪声有偏离高斯分布的特性，高斯假设下的最佳系统性能下降非 常明显。即使稍微偏离高斯分布都会导致有显著误差的估计。如最d , - 乘估计对 高斯分布的信号或噪声是最大似然意义上的最佳估计，但对非高斯数据则远远不 是这样。还有，在高斯假设下，最小均方误差估计( m m s e ) 是线性估计，但在非高 斯数据下，它却变成了非线性的。从本文后几章可以看出，口平稳分布，作为很 大领域内的数据模型和高斯分布的推广，很明显是许多噪声的理想模型，高斯假 设也应该被口平稳分布所代替。因此，有必要研究非高斯口平稳分布的脉冲噪声 模型。 1 3 非高斯口平稳分布的统计模型 口平稳分布一般由其特征函数即概率密度函数的傅立叶变换定义： 荆蹴二辅篇潍器a 删= l c ，。， 第一章绪论 可见，其分布由四个参数口，和完全确定，其中特征指数口的取值决定着分 布的冲激特性的强弱。 我们选择口平稳分布作为非高斯数据的统计模型有以下几个方面的原因： ( 1 ) a 平稳分布是唯一满足广义中心极限定理的分布，即无限多个方差可能 无限大的独立同分布的随机变量之和，其极限分布是口- 平稳分布【z j 。正如1 1 节中 所述的高斯假设的一个主要原因是中心极限定理，t z - 平稳分布和高斯分布一样可 在理论上得到证明。事实上，很多不满足经典的中心极限定理的数据都可以用口 平稳分布来描述，因此，从理论上讲，口平稳分布比高斯分布更具有一般性。 ( 2 ) 在与噪声的产生机制和传播条件相吻合的现实假设下，口平稳分布证明 是自然噪声的极限分布9 j i ”。 ( 3 ) 口平稳分布是高斯分布的推广，即高斯分布仅是它的一个特例，两者拥 有许多共同的特性。其中最重要的一点就是平稳性，即具有相同特征指数的几个口 平稳随机变量的线性组合仍是口平稳分布的，但离差不同。因此，输入为口平稳 分布的线性系统的输出也是口平稳的，并且在高斯信号环境下发展起来的线性系 统理论也可以直接推广到口平稳信号环境中。它们的主要不同就是口平稳分布是 代数重拖尾分布，其代数拖尾比高斯分布的代数拖尾要大。瑾平稳分布的特征指 数t 2 控制其拖尾的大小，因此口平稳分布作为非高斯脉冲噪声的统计模型具有很 强的灵活性。口越小其分布显示越强的冲激性，口接近2 时其分布接近高斯分布， 而当口= 2 时的口- 平稳分布即是高斯分布。图1 1 中分别给出独立同分布的高斯分 布和口= 1 8 , 1 5 ，1 0 的对称口平稳分布的实现样本。从图中也明显可以看出，口越 小对应的分布冲激性越强。 ( 4 ) 口- 平稳分布与很多经验数据吻合得相当好。s t u c k 和k l e i n e r 通过实验证 明了口平稳分布作为电话线中的噪声模型非常有效；后来n i k i a s 和s h a o 证明它 也是大气噪声的极好模型【5 】：m a n d e l b r o t s 用口平稳分布模拟金融时间序列也是众 所周知的【9 】。 脉冲噪声中的信道参数估计 6 0 0 4 0 0 量2 0 0 圣0 2 d d 4 0 0 a l p h a = 1 i 。 1i 0卯1 0 01 5 d2 2 卯 3 0 03 5 04 0 04 5 05 t i m e 图1 1 高斯分布和g = 1 8 ，1 5 ，1 0 的对称分布的样本实现 尽管a 平稳分布作为脉冲噪声模型有上述多方面的原因，信号处理领域中对 此类分布的研究却是近几年才开展起来的。主要有两方面的原因，一是因为口- 平 稳分布的概率密度函数无法用明确的解析式来表达，因此统计信号处理中常用的 最大似然估计、贝叶斯估计等需要概率密度函数表达式的一些方法，都不能应用 于口平稳分布信号。另一个原因是非高斯口平稳分布不存在有限的二阶矩，而二 阶矩与信号的能量有关，因此认为由口平稳分布表示的信号波形并不是物理的。 实际上，观测信号的任何一种统计模型，都只是描述某些特定的方面，而不可能 完全描述观测过程。在现实中，我们处理的都是有限持续时间的数据样本，不可 能具有无限大的能量，口平稳分布提供的是局部脉冲数据的数学模型，这并不影 响它作为脉冲噪声的理想统计模型。 1 4 口平稳噪声中信道辨识的研究概况 信道辨识与均衡很久以来，就是信号处理领域的一个热点研究课题。本文主要 应用一些自适应信号处理方法进行信道辨识。自适应技术在通信、雷达、声纳、 地震学、自动化、航空航天、生物医学、机械设计等几乎所有技术领域应用广泛。 自适应系统最基本、最主要的性质是它的时变，自调整性能。当输入系统的条 第一章绪论 件未知或者系统是时变的时候，采用一种有序的搜索过程，在一类允许的范围内 不断地寻找最佳值的自适应系统比之于固定设计的系统将给出更优越的性能。 在信号处理中，自适应系统一般都是控制自适应滤波器的权系数，利用前一时 刻已获得的滤波器权系数等结果，自动地调节现时刻的滤波器权系数，以适应信 号和噪声未知的或随时间变化的统计特性，从而使整个系统收敛到最优解。因此， 在自适应调整过程中，自适应算法的收敛速度、计算复杂度、稳定性等是衡量自 适应算法性能好坏的重要指标。 高斯假设下的自适应处理方法是基于最小均方误差准则的，如最常用的最小均 方( l m s ) 算法和递归最小二乘( r l s ) 算法。而对口平稳信号，因为不存在有限的二 阶矩，在理论上最小均方误差准则对其也就失去意义，高斯假设下的自适应算法 都不能使用。口平稳信号的自适应处理方法的研究应基于最小离差误差准则，等 价于使其p ( o p 口) 阶矩最小，也即相当于使误差的工。范数最小【5 】。在最小工。范 数误差准则下，国外很多学者作了自适应算法的研究工作，s h a o 和n i k i a s 首先提 出了最小平均。范数自适应算法【5 1 ，可以看作l m s 算法的推广。后来，受正规化 l m s 算法的启发，a r i k a n e t a l 又提出了正规化的最小平均上。范数( n l m p ) 自适应 算法】，收敛速度较最小平均三。范数算法有明显提高。但整体说来，口平稳假设 下的自适应处理方法的研究还刚刚开始，还有很多问题有待解决。 本文主要研究口平稳噪声中的噪声对消及多径盲信道辨识问题。系统总结了 f i r 系统辨识问题的自适应处理方法。对口平稳噪声对消，在最小偏差误差准则 的基础上，研究了一种改进的n l m p 自适应算法，称m n l m p 算法，并与n l m p 算法进行了比较，仿真结果验证了所给算法性能的提高。另外，针对外加噪声为口 平稳噪声的信道辨识，在子空间方法的基础上，利用分数低阶矩和共变矩阵，并 对观测数据向量的共变矩阵进行奇异值分解，研究了一种口平稳噪声中的子空间 方法，并通过两个仿真实验，证实了该方法的有效性。 1 5 本文的主要工作和论文安排 具体地讲，本文主要分以下几章： 本文首先在第一章讨论了对非高斯脉冲分布的研究意义，并说明将口平稳分 布作为理想脉冲噪声模型的主要原因。介绍了口平稳噪声中信道辨识的研究概况， 在其中，主要介绍了一些自适应算法。 第二章介绍口- 平稳分布的有关定义、性质、重要定理等基本理论，论述了分 6脉冲噪声中的信遒参数估计 数低阶矩和最小偏差准则两个重要概念，以对口平稳分布的基本理论有一个整体 的了解。 第三章介绍线性最小工。范数估计，并研究其在自回归对称口平稳过程的参数 i 估计问题中的应用。介绍用迭代加权最d - - 乘算法求解最小。范数估计问题，并 通过仿真实验分析其性能。 第四章研究口平稳噪声中的自适应干扰对消。从最优化计算方法的角度系统 地概括了f i r 系统辨识问题的自适应处理方法。讨论了外加噪声为口- 平稳噪声时， 使用最小偏差误差准则代替高斯噪声下的最小均方误差准则，在此基础上研究了 一种改进的n l m p 自适应算法，即m n l m p 算法，并与n l m p 算法进行了比较， 仿真结果验证了所给算法较n l m p 算法性能的提高。 第五章讨论口平稳噪声中基于子空间方法的盲均衡。首先讨论了盲均衡技术 的研究现状，接下来引用了一种多信道盲辨识的子空间方法。由于口平稳噪声不 存在有限的二阶矩，传统的子空间方法，像运用二阶统计量和高阶统计量的方法。 不在适用。在此子空间方法的基础上，利用分数低阶矩和观测数据向量的共变矩 阵，论述了一种口平稳噪声中的子空间方法。最后，通过两个仿真实验，证实了 该方法的有效性。 第二章口平稳分布的基础知识 第二章伽平稳分布的基础知识 2 1 口- 平稳分布的定义 定义口平稳分布最方便的方法是由其特征函数，即其概率密度函数的傅立叶 变换来定义【1 0 1 。 定义2 1 ：一个随机变量称为是口平稳的，如果其特征函数有如下形式： 删= e 。x 。d p 妒- 叫 + + 胎聊嘴。洲，口a ：, 。1 c z 其中一o o 0 ，0 口2 ，- 1 s 1 。 由其定义容易看出，口平稳分布由四个参数口，卢，和2 唯一并完全确 定，这四个参数分别具有如下的物理意义： ( 1 ) g 称为特征指数。一个特征指数为窿的平稳分布即称为口平稳分布， 它是决定分布的冲激性强弱的重要参数。口越小其对应分布的尾部概率密度越大， 因而冲激性越强。而随着口不断增加，分布的尾部概率密度将变小，冲激性也随 之变弱。我们熟悉的高斯分布和柯西分布实际上分别是口? 平稳分布在a = 2 和a = l 时的两种特殊情况。 ( 2 ) 称为对称参数。它决定分布的对称程度。卢- 0 时，对应的分布为对 称的，称之为对称口平稳分布( s 西) 。高斯分布和柯西分布都是对称口平稳分布。 ( 3 ) ，称为尺度参数，也称为离差( d i s p e r s i o n ) 。它也是度量样本分布偏离其均 值程度大小的参数，其意义类似于高斯情况下的方差。事实上，这儿定义的离差 在高斯情况下恰为其方差的平方。 ( 4 ) 称为位置参数。对s a s 分布，1 0 ，都存在常数口 0 和b o 使得 d c i ! x l + b l x 2 = a x + b ( 2 - 2 ) 其中符号x = y 表示x 和y 同分布。 对于对称口平稳分布，则z 和x 同分布，易得下面的结论： 结论1 如果性质2 1 中b = 0 ，则此时x 为对称平稳分布。 利用平稳分布的特征函数，我们可以很容易得到下面更一般的结论： 结论2 如果随机变量序列x ，x ：，彳。为相互独立且具有相同参数0 ，) 的 口一平稳随机变量，则其线性组合 x = g 1 x i + 口2 x 2 + + 口。j - ( 2 3 ) 也是参数为0 ，) 的平稳随机变量。 性质2 2 ( 广义中心极限定理) 一个随机变量x 称为是服从平稳分布的，如果存在独立同分布的随机变量序 列i ，五，和a 。r + 及6 r ，使得 五：址盥+ 以等dx(2-4) 口“ 其中j 表示依分布收敛。 特别地，当 以 独立同分布且方差存在时，协) 的极限分布为高斯分布。这 正是一般中心极限定理的结论。 2 3 分数低阶矩 定义2 2( 分数低阶矩) 对特征指数为0 口 2 的口- 平稳随机变量肖，当o p 口时，捌x i 称为x 的 p 阶矩。 从下面的命题可以看出，除c r - - - 2 外，平稳分布不存在二阶矩。 命题：设x 是口平稳随机变量，如果0 口 2 ，则有 第二章口平稳分布的基础知识9 e i x l 9 = o o ，若p 口；e l x l 9 o o ，若o s p 口 如果口= 2 ，那么 e l x l 9 ，即0 ， 因此，对0 口s 1 ，口平稳分布没有一阶和高阶矩；对l 口 2 ，它有有限的一 阶矩和所有分数低阶矩0 口) ；a = 2 ，所有阶矩都存在。特别地，所有非高斯 平稳分布不存在二阶矩。 下面介绍一个重要的定理z o l o t a r e v 定理【1 4 i ，此定理将表明分数低阶矩e j z l 9 与离差y 有关。 定理2 1 ( z o l o t a r e v 定理) - 设x & ，z ) ，则 新) = p ：扩，。鬈口 沼s ， 其中 c 如) = 鼍群 弦s ， 仅是口和p 的函数，而与x 本身无关。r ( ) 表示g a m m a 函数，定义为 r g ) = f t , - l e - , d t ( 2 7 ) z o l o t a r e v 定理是z o l o t a r c v 在1 9 5 7 年首次证明的【1 4 1 ，它构成口平稳分布估计 方法的基础，是一个极为重要的定理。 由z o l o t a r e v 定理易得以下结论： 结论1 满足o p ，q 口的所有分数低阶矩都是等价的，即它的p 阶矩和q 阶 矩只相差一个常数因子。 结论2 分数低阶矩与离差有关，并且使分数低阶矩最小与使离差最小是等价 的。 2 4 最小离差误差准则 统计信号处理的一个重要问题即为：给定一组观测值 ( r l f r ，在其生成的 脉冲噪声中的信遂参数估计 线性空间t ( x ( f 、f t ) 中寻找未知随机变量y 的最优估计p 。这即为随机过程的线 性理论，包括线性估计、线性预测和线性滤波问题。估计准则构成线性理论的基 础，本节重点说明口平稳随机变量的估计准则。 二阶矩过程( 特别是高斯过程) 的线性理论已经发展的摺当成熟。对二阶矩过 程，线性空间l ( x ( f x f t ) 为h i l b e r t 空间，最大似然意义上最优的估计准则即为最 小均方误差准则。在这个准则下，未知随机变量y 最优线性估计为y 在l ( x ( r i ，t ) 上的正交投影。 而对非高斯d 一平稳随机变量，由于不存在二阶矩，因此适用于二阶矩过程的 最小均方误差准则不能用于0 a 0 ， 数定义为 i l x l l 。= 杉 位置参数= 0 的口平稳随机变量，它的范 1 口s 2 0 口 1 因此，x 的范数实际上是离差y 的函数， 叫鞠嚣目 ( 2 8 ) 并且通过特征函数决定着它的分布， l 口2 0 口 l ( 2 9 ) 由定理2 i ，使估计误差的离差最小等价于使其p ( o p 口) 阶矩最小，这儿 估计误差的分数低阶矩表示的是y 与矿之间的工。范数距离。在最小离差误差准则 意义下，口平稳随机过程y 的线性估计问题可以表示如下：已知观测数据 体( ，l fe r ，求p ，似( f l ，7 1 ) ，使 卜礼= 。獬。卜z 犯 第二章口- 平稳分布的基础知识1 1 或等价为 e 卜吖= 删( 獬。) e i y z 卜。 p 口 由于，似( ，) ，f r ) 是b a n a c h 空间，所以p 肯定存在，并且l 口 2 时是唯一的。 由于误差的p 阶矩可以用其上。范数估计，因此最小离差误差准则意义下的估 计即为使误差的三。范数最小的估计。又由定理2 1 结论1 ，满足o p 口的所有 分数低阶矩都是等价的，所以只要满足0 p 口，我们可以任意选择计算最为方 便的p 值，使其，范数最小即得三，范数估计a 2 5 协工。差 两个随机变量的协方差是二阶矩理论的基础，信号预测、滤波、平滑以及大部 分统计信号理论都是建立在协方差基础上。但对& 心随机变量，因为其方差( 二 阶矩) 不存在，协方差也不存在。引入协上。差作为s 簖随机变量的统计量，其作 用类似于高斯随机变量中的协方差概念。 定义2 4 设随机变量z 和】，是位置参数u 为零，离差分别为以和y ，的s e e s 随 机变量，对任意l p 口，称 为x 与】，的协三，差。式中( ) 的含义为：对任意实数z 及口o ， z ( 4 ) - - i z t 。s 劬g ) 注意对任意满足l p 口的p ，协工。差的定义都是等价的f 1 5 l 。 义，很明显 【x ，彳】。= y x - l x l l ：，【l ，y 】。= ，= 1 1y | 1 ： x 与y 的协三。差系数定义为 b = 器= ( 2 1 0 ) ( 2 1 1 ) 由协工，差的定 ( 2 1 2 ) ，v 1 p 口 ( 2 1 3 ) 脉冲噪声中的信道参数估计 第三章线性最小工。范数估计 3 1 引言 物理世界的复杂需要用随机过程模拟观测数据，当一个过程未知或因为太复杂 而无法用确定模型描述时，都需要用随机模型。在众多的随机模型中，线性模型 是最常用的，主要是因为它便于分析，而且大多数情况下的自然过程的确是线性 的。线性随机过程模型包括自回归( a r ) 模型、滑动平均( m a ) 模型和自回归滑动平 均( a r m a ) 模型，这些模型都可以看作激励为白噪声“( n ) ，传递函数为 ( 3 - 1 ) 的线性滤波器。 此滤波器分三种情况： ( i ) h ( z ) 的零极点都存在时，输出y ( 刀) 是一个a r m a 过程； ( 2 ) 日( z ) 不存在非零极点，即a 。= o ，i = 1 ，n 时，y ( n ) 是- - 个a r 过程 ( 3 ) h ( z ) 无零点时，即玩= o ，i 0 时，y ( 开) 是一个m a 过程。 在很多实际应用中，我们通常假设a r ，m a 或a r m a 过程的激励“( 月) 为高斯 自噪声。正如第一章中所述的，高斯过程分析简单并且满足中心极限定理。在很 多信号处理应用中，用高斯激励下的线性模型建模效果都非常好。 然而，现实中还存在很多观测数据用高斯激励下的线性模型建模并不理想，如 第一章中所述，象一些水文数据、气象数据及生物医学信号等显示很强的冲激性。 极强的冲激性表明其分布具有无限大的方差，因此这些信号需要用无限大方差的 过程才能描述。 由w o l d 分解定理【6 2 1 ，任何a r m a 或m a 过程都可以表示成唯一的、阶数可 能无穷大的a r 过程；同样，任何一个a r m a 或a r 过程也可以表示成一个阶数 可能无穷大的m a 过程。而a r 建模比m a 建模和a r m a 建模在计算上要简单的 多。正是由于这个原因，用对称口平稳分布作为a r 过程的产生激励，即s a s a r 过程就成为二阶矩不存在的过程最常用的线性模型。 一个s a s a r 过程x ( ，1 ) ，订= 1 , 2 ，可以表示为 x ( n ) = a t x ( n i ) + + 口x ( n 一) + “( n ) ( 3 2 ) 警 三一等 氏一 0 其中u ( n ) 为s a s 白噪声，为此过程的阶数。 确定了合适的信号统计模型，下一步的工作即为寻找模型参数辨识的估计方 法。本章中，我们将基于最小离差误差准则，研究& 心a r 过程参数辨识的估计方 法。 3 2s 岱a l l 过程的参数估计方法 如第二章所述，因为口平稳数据不存在二阶矩，最小离差误差准则代替适用 于二阶矩过程的最小均方误差准则。由z o l o t a r e v 定理，对0 p 口，任何& 心随 机变量的p 阶分数低阶矩( e j x l 9 ) 都存在。使估计误差的离差最小等价于使其p 阶矩最小。实际中用估计误差的时间平均的样本，范数近似估计其p 阶矩，所以 使估计误差的离差最小也即等价于使估计误差的范数最小，这种估计方法即称 为最小三范数( l p n ) 估计方法。 3 2 1 最小工。范数( l p n ) 估计 为方便起见，将s d s a r 过程( 3 - 2 ) 重写如下 x ( n ) = 口l x ( n 1 ) + + 4 x ( n n ) 十u ( n ) ( 3 - 2 ) 其 u ( n ) 为s ( r s 自噪声。为此过程的阶数。 假设s 稻a r 过程( 3 - 2 ) 的参数向量的估计为 a = 【口l ，口2 ，口】7 ( 3 - 3 ) 观测数据工( 片) 的估计为 叠= a ，x ( n - i ) ( 3 - 4 ) t - i 定义估计误差e ( n ) 为观测数据x ( n ) 与其估计误差量( 月) 之间的差 p ( 彩= x ( h ) 一i ( 以) ( 3 5 ) 在最小离差误差准则下。确定未知a r 参数向量a = 【口。，d ：，a 。】7 ，即为通过 使估计误差p ( h ) 的p 阶矩 脉冲噪声中的信道参数估计 e l e ( n ) 9 = e l x ( n ) - a l x ( n - o - a x ( n - n ) 9 ，0 p o f ( 3 - 6 ) 的最小化估计参数。 实际中，利用有限个观测样本，用估计误差p ( h ) 的时间平均的样本。范数近 似估计其p 阶矩，即通过使 ) 一口l x ( n 一1 ) 一x ( 一) 卜0 p 口 ( 3 - 7 ) 月_ 最小确定未知a r 参数。 最小范数估计有两种特殊情况： ( i ) p = 2 时，即l 。范数取为：范数时，相当于使估计误差的平方和 窆胁) 一叩。一1 ) 一钆x ( 疗一m 2 ( 3 - 8 ) h n 最小。 容易看出，此时的最小工。范数解就是二阶矩过程中广泛使用的最小- - 乘( l s ) 估计。当a r 过程( 3 2 ) 中的“( 竹) 为高斯噪声时，最小二乘估计是最大似然意义 上的最佳估计。然而，当“( n ) 为非高斯噪声时，最d - - 乘估计不再是最大似然估 计。特别，当u c n ) 为非高斯口- 平稳过程时，因为口- 平稳随机变量的二阶矩不存在， 最小二乘估计在理论上已经没有意义。 ( 2 ) p = 1 时，即工。范数取为厶范数时，通过使估计误差的绝对值之和 l 1 x ( n ) 一q x o 一1 ) - 一口。x ( n - n ) i ( 3 9 ) 月l n 最小确定未知a r 参数。这种估计方法称为最小绝对离差( l a d ) 估计方法。 最小绝对离差估计是双边l a p l a c e 分布最大似然估计，双边l a p l a c e 分布也是 常用的脉冲噪声模型，其概率密度函数为 p ( x ) = i 1e x p ( 一啪 ( 3 - 1 0 ) 以下我们只考虑l p 2 时的最小三，范数估计，主要有两方面的原因： p 1 时，最小工。范数估计的误差函数不再是一个凸函数，因此设计一个 收敛的算法非常困难。 a o 为一非常小的常数。i r l s 算法的收敛性证 明请参见文献【6 7 1 。 i r l $ 算法是求解线性工。范数最小化问题非繁好的方法，主要基于以下几方面 脉冲噪声中的信道参数估计 的原因： ( 1 ) 算法证明是收敛的【6 7 】； ( 2 ) i r l s 和加权l s ( w l s ) n 题有相同之处； ( 3 ) 尽管i r l s 算法的最初形式是线性收敛的，但可以通过改进使其收敛速度提 高，接近于二次方收敛； ( 4 ) 存在基于f f t 的快速估计方法【6 8 】。 3 3 仿真实验 3 3 1 数据长度对i r l s 算法的影响 本小节通过仿真实验说明数据长度的选取对i r l s 算法的影响。 例1 考虑下面的s a s a r ( 1 ) 模型 x ( ，1 ) 一o 9 9 x ( n 一1 ) = “( ”) ( 3 2 5 ) 其中激励“( n ) 为偏差y = 1 的s 础白噪声。 仿真实验分别取不同的数据长度下的i r l s 算法求解模型参数的l p n 估计。 表( 3 1 ) 示出了不同数据长度三下的i r l s 算法的统计结果。可以看出，对于很小 的口( 如口= 1 1 ) ，只要1 0 个数据样本就足够使估计的参数误差低于5 。随着口 不断增加接近于2 ，需要的数据样本越来越多。但对口= 1 5 是一个例外，估计的参 数误差为2 时仍然只需要低于1 0 0 的样本数据。另外，合适的数据长度，只需几 步迭代就可收敛，收敛结果和参数的真实值之间的误差不超过l 。l p n 估计强一 致性也是i r l s 算法相对于其他算法有明显的优越性的一个重要原因。 3 3 2 l p n 估计、l s 估计和l a d 估计的比较 为了比较s a sa r 模型参数辨识中l p n 估计、l s 估计和l a d 估计的性能， 我们首先讨论下面a r ( 2 ) 过程的仿真结果。 例2 考虑下面的s a sa r ( 2 ) 模型 x ( 疗) 一o 1 9 5 x ( n 一1 ) + 0 9 5 x ( n 一2 ) = “( ，1 ) ( 3 - 2 6 ) 其中激励u ( n ) 为s 心白噪声。仿真实验中讨论u ( n ) 的偏差y = l ，特征指数口分别 取为1 1 ，1 5 ，1 9 和2 0 时的不同情况 表( 3 2 ) 示出了各估计的统计结果( 均值和标准离差) 。其中l p n 估计由i r l s 方法得到，算法中取p = 口一s ，其中占 口。每种情况下都是进行独立实验3 0 次， 每次运行的数据长度l = 1 0 0 0 。 由表( 3 2 ) 中的结果可以看出，对非高斯口平稳过程，除口= 1 9 时的l s 估计外， 使用i r l s 算法得到的l p n 估计的性能比l s 估计和l a d 估计都要好。随着口减 小越接近l ，l p n 估计方法的优越性就表现的越明显，特别是标准离差明显比其他 估计方法要小。 3 3 3s a sa l l 模型的参数估计 例3 为了研究l p n 估计对参数的估计性能，我们考虑下面的s a sa r ( 4 ) 过程 x ( h ) = o 5 x ( n - 1 ) - o a x ( n 一2 ) + 0 7 x ( n 一3 ) 一0 2 ) 摊一4 ) + “( ”) ( 3 - 2 7 ) 其中激励u ( n ) 为偏差，= l 的s a s 白噪声。图3 1 和图3 2 分别画出了口= 1 , 2 和 c f = 1 9 的参数估计图。 l 口 l口标准离差迭代次数 1 0 0 00 9 8 9 8o o 0 0 33 1 1t 0 00 。9 8 8 8o 0 0 1 44 1 00 9 8 6 90 0 0 3 26 1 0 0 00 9 8 9 20 0 0 0 83 1 ，51 0 00 9 8 3 2q 0 0 6 95 1 00 9 7 5 0o 0 1 5 25 1 0 0 00 9 8 9 50 0 0 0 51 1 91 0 00 9 8 7 40 0 0 2 63 1 00 9 8 4 30 0 0 5 73 表3 1 数据长度对i r is 算法性能的影响 口 l sl a dl p n d l ( i r l s ) 1 10 1 9 5 20 1 9 5 0o 1 9 5 0 ( 0 0 0 0 8 ) ( o 0 0 2 5 )( 0 0 0 0 4 ) 1 50 1 9 4 40 1 9 4 60 1 9 5 0 0 1 9 5 ( 0 0 0 2 4 )( o 0 0 2 0 )( o 0 0 1 5 ) 1 90 1 9 5 20 1 9 4 60 。1 9 5 3 r o 0 0 0 2 )r 0 0 3 7 1 )( o 0 0 17 ) 2 00 1 9 5 0o 1 9 5 20 1 9 5 2 f o 0 0 3 5 )( 0 0 0 5 2 )f o 0 0 4 0 ) 1 10 9 4 9 5一o 9 4 9 8一0 9 4 9 9 f o 。0 0 1 6 )m 0 0 1 7 )0 0 0 5 ) 1 5o 9 4 8 8一0 9 4 9 2 - 0 9 5 0 0 一o 9 5 ( o 0 0 1 2 ) ( o 0 0 0 8 )( o 0 0 0 6 ) 1 9- 0 9 5 0 00 9 5 - o 9 4 9 5 f o o 0 0 4 )r o 0 0 2 5 )( o 0 0 3 0 ) 2 0 0 9 5 0 0o 9 4 9 8- 0 9 4 9 3 f o 0 0 0 3 )( 0 o 0 0 8 )( 0 0 0 1 5 ) 表3 2 sa r ( 2 ) 模型参数估计的统计结果 数据长度l = l 0 0 6 , 独立实验次数盟= 3 0 2 0脉冲噪声中的信道参数估计 3 4 小结 对s d s a r 过程的参数估计问题，最小工范数估计较之最小二乘估计和最小绝 对离差估计方法显示出更强的优越性，比其他方法更适用。仿真结果证明l p n 估 计的离差和方差都更小，而且，较短的数据情况下l p n 估计能够获得同样甚至更 好的结果，这使l p n 估计成为对于较短数据情况下的s o 艿a r 模型的理想估计方 法。 i r l s 的收敛速度非常快，只需要几步迭代。尽管计算量比l s 大一些，但考虑 到其算法性能的明显提高，还是比l s 优越一些。文献眇1 中还提到了i r l s 的进一 步的改进算法，收敛