（应用数学专业论文）小波和神经网络在自适应均衡中的算法研究.pdf

摘要 自 适应均衡器是现代数字通信系统中非常关键的组成部分，如何提高均衡器 的收敛速度和误码性能是实际通信的必然要求，也是具有重要的理论意义和实用 价值的研究课题。本文就围绕这一内容，针对存在加性噪声和信道具有线性与非 线性失真等情况时，对小波分析和神经网络在自 适应均衡中的应用进行了研究， 主要的工作如下: i . 提出了一种小波变换域的非线性自 适应均衡器，它是将小波变换融入到关 联模型中构成的。由于信号经过小波变换后的自 相关阵呈稀疏的带状结构，因此 可以利用小波变换的这种去相关能力来提高该均衡器的收敛速度。在此基础上， 给出了相应的自适应均衡算法并分析了其理论最优解，仿真结果表明该均衡器收 敛速度较快，而计算量增加不多，易于实时实现。 2 . 提出了基于正交小波包变换的非线性信道自 适应均衡算法，该算法的优点 是利用了小波包对小波空间的进一步划分以及比小波变换更强的去相关能力来进 一步提高自 适应均衡算法的收敛速度，仿真结果表明了该算法的有效性。 3 . 针对严重线性失真和轻度非线性失真的数字信道，分别提出了用正交小波 和小波包表示的非线性信道判决反馈均衡器并给出了自适应均衡算法。该算法在 利用小波和小波包变换的去相关能力来提高自 适应均衡算法收敛速度的同时，还 利用判决反馈结构来提高均衡器的误码性能。 4 . 提出了用正交多小波来表示线性均衡器，利用经过多小波变换后信号自 相 关阵的边界效应较小的特点，给出了 基于正交多小波变换的一种 n e w t o n - l ms类 自适应均衡算法。该算法不仅收敛速度快，而且我们利用有预处理的共扼梯度法， 将其计算复杂性进一步降低为o ( n l o g n ) a 5 .在研究基于实数径向 基函数( r b f ) 神经网 络均衡器结构的基础上，提出了 几种新的适用于q a m信号的复 数r b f 神经网络自 适应均衡器结构， 并给出了 相 应的自适应均衡算法，理论分析和计算机仿真结果都表明新的均衡器具有更好的 收敛性能。 6 . 对几种典型的小波神经网络用于均衡做了 研究比较，指出基于一维小波神 经网络的均衡器性能较差;而对基于多维小波神经网络的均衡器提出了降低 “ 维 数灾”的方法和相应的均衡器结构;针对非线性失真较小的信道提出了一种正交 小波网络均衡器及其自 适应均衡算法，理论分析和计算机仿真结果都表明在高信 噪比 情况下，该算法具有较好的收敛性能。 7 . 利用多小波函数和多尺度函数的互补性，构造了一种具有分层、多分辨和 局部学习特点的正交多小波神经网络。分析了该网络用于函数逼近时的性质，给 出了调整网络权系数的算法，理论分析和计算机仿真都表明正交多小波神经网络 的逼近性能优于正交单小波神经网络。 关键词:小波神经网络r b f网络多小波码间干扰自 适应均衡 ab s t r a c t a d a p t i v e e q u a l i z a t i o n i s o n e o f t h e m o s t i m p o rt a n t t e c h n i q u e i n m o d e r n c o m m u n i c a t i o n s . s o , s t u d y i n g h o w t o i m p r o v e t h e c o n v e r g e n c e s p e e d a n d s y m b o l e r r o r p e r f o r m a n c e o f a d a p t i v e e q u a l i z a t i o n h a s i m p o r ta n t t h e o r e t i c a l s i g n i f i c a n c e a n d p r a c t i c a l v a l u e . i n t h i s d i s s e rt a t i o n , w e f o c u s o n w a v e l e t a n d n e u r a l n e t w o r k e q u a l i z a t i o n t e c h n i q u e s in t h e p r e s e n c e o f a d d it i v e n o i s e , l i n e a r a n d n o n l i n e a r d i s t o rt i o n . t h e ma i n r e s e a r c h wo r k a n d r e s u l t s a r e a s f o l l o ws : 1 . a n e w n o n l in e a r a d a p t i v e e q u a l i z e r i n w a v e l e t t r a n s f o r m d o m a in i s p r o p o s e d , w h i c h i s c o n s t ru c t e d b y c o m b in i n g w a v e l e t t r a n s f o r m w i t h t h e c o n n e c t i o n i s t m o d e l . s i n c e t h e c o r r e l a t i o n m a t r i x o f a s i g n a l i n w a v e l e t d o m a i n h a s s p a r s e s t r u c t u r e , t h e c o n v e r g e n c e s p e e d o f e q u a l i z e r c a n b e i m p r o v e d b y u s i n g t h i s g o o d d e c o r r e l a t i o n a b i l i ty o f w a v e l e t t r a n s f o r m . b a s e d o n t h i s , t h e c o r r e s p o n d i n g e q u a l i z a t i o n a l g o r i t h m i s g i v e n . a l s o i t s c h a r a c t e r s a r e a n a l y z e d , a n d t h e s i m u la t i o n r e s u l t s s h o w i t s c o n v e r g e n c e s p e e d i s f a s t e r a n d i t s c o m p u t a t i o n c o m p l e x i ty i s s m a l l e r . 2 . b y t h e a n a l y s i s o f w a v e l e t p a c k e t s , a n e w w a v e l e t p a c k e t t r a n s f o r m e d e q u a l i z a t i o n a l g o r i t h m i s p r e s e n t e d . s i n c e w a v e l e t p a c k e t t r a n s f o r m h a s a b e tt e r d e c o r r e l a t i o n a b i l i ty t h a n w a v e l e t t r a n s f o r m a n d it i s c o m b i n e d i n t o t h e c o n n e c t i o n i s t m o d e l ,t h e c o n v e r g e n c e s p e e d o f n e w e q u a l i z a t i o n a l g o r i t h m i s i m p r o v e d f u rt h e r b y n o r m a l i z a t io n l e a s t m e a n s q u a r e a l g o r i t h m i n w a v e l e t p a c k e t t r a n s f o r m d o m a i n . 3 . f o r n o n l i n e a r c h a n n e l w it h s e v e r e l in e a r d i s t o rt io n a n d m i l d n o n l in e a r d i s t o rt i o n , t w o d e c i s i o n f e e d b a c k e q u a l i z e r s e m p l o y i n g w a v e l e t t r a n s f o r m a n d w a v e l e t p a c k e t t r a n s f o r m a r e p r e s e n t e d r e s p e c t i v e l y . t h e c o rr e s p o n d i n g a d a p t i v e e q u a l i z a t i o n a l g o r i t h m s a r e a l s o in v e s t i g a t e d . s o b y u s i n g t h e d e c i s i o n f e e d b a c k c o n s t ru c t i o n a n d w a v e l e t t r a n s f o r m , c o n v e r g e n c e s p e e d a n d s y m b o l e r r o r p e r f o r m a n c e a r e b o t h i m p r o v e d f u rt h e r mo r e . 4 . a n e w e q u a l i z e r r e p r e s e n t e d b y a s e t o f o r th o g o n a l m u l t i w a v e l e t i s p r e s e n t e d . s i n c e t h e m u l t i w a v e l e t t r a n s f o r m e d c o r r e l a t i o n m a t r i c e s h a v e s m a l l e r b o u n d a ry e ff e c t s t h a n t h a t o f w a v e l e t , a n e w m u l t i w a v e l e t t r a n s f o r m d o m a i n n e w t o n - l ms a d a p t i v e e q u a l i z a t i o n a l g o r i t h m i s d e s c r i b e d . i t s c o n v e r g e n c e s p e e d i s f a s t a n d i t s c o m p l e x i t y i s o n l y o ( n lo g n ) b y u s i n g t h e p r e c o n d it i o n e d c o n j u g a t e g r a d i e n t a l g o r i t h m . 5 . s e v e r a l n e w k i n d s o f c o m p l e x e q u a l i z e r s a p p l y i n g t o q a m- s i g n a l s a r e p r e s e n t e d . t h e s t r u c t u r e s o f t h e m a r e c o n s t r u c t e d b y c o m p l e x r a d i a l b a s i s f u n c t i o n n e u r a l n e t w o r k s ( r b f n s ) a n d t h e a l g o r i t h m s f o r t h e m a r e a l s o g i v e n . t h e o r e t i c a l a n a l y s i s a n d t h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e n e w a l g o r i t h m s h a v e b e tt e r c o n v e r g e n c e p r o p e r ty t h a n r b f n s - b ase d e q u a l i z e r a v a i l a b l e 6 . f o r s e v e r a l t y p i c a l w a v e l e t n e t w o r k s , t h e i r a p p l i c a t i o n s t o e q u a l i z a t i o n a r e i n v e s t i g a t e d , w h i c h s h o w t h a t t h e p e r f o r m a n c e o f e q u a l i z e r b as e d o n o n e - d i m e n s i o n a l w a v e l e t n e t w o r k s i s r e l a t i v e l y p o o r . f o r m u l t i d i m e n s i o n a l w a v e l e t n e t w o r k - e d e q u a l iz e r , a m e t h o d t o a v o i d c u r s e o f d i m e n s i o n a l i t y a n d a n e w e q u a l i z e r a r e p r o p o s e d . b y t h e a n a l y s i s o f t h e i n v e r s e m o d e l o f n o n l i n e a r c h a n n e l , a n e w m e t h o d o f w a v e l e t n e u r a l n e t w o r k s t o a p p r o x i m a t e t h e i n v e r s e o f n o n l i n e a r c h a n n e l i s p r e s e n t e d . t h e n , a n e w w a v e l e t n e u r a l n e t w o r k e q u a l i z e r a n d i t s a d a p t i v e a l g o r it h m u s e d f o r n o n l i n e a r c h a n n e l w i t h m i l d n o n l i n e a r d i s t o rt i o n a r e a l s o g i v e n . 7 . t h e c o n c e p t a n d t h e m o d e l o f m u l t i r e s o l u t i o n o r th o g o n a l m u l t i w a v e l e t n e u r a l n e t w o r k w i t h h i e r a r c h i c a l s t r u c t u r e a n d l o c a l i z e d l e a r n i n g a r e p r o p o s e d . i t s p r o p e rt i e s f o r f u n c t i o n a p p r o x im a t i o n a n d a l g o r i t h m a r e a ls o i n v e s t i g a t e d . t h e t h e o r e t i c a l a n a l y s e s s h o w t h a t o rt h o g o n a l m u l t i w a v e l e t n e u r a l n e t w o r k s h a v e m o r e r a p i d c o n v e r g e n c e s p e e d t h a n o rt h o g o n a l w a v e l e t n e t w o r k s . t o m a k e a c o m p a r i s o n b e t w e e n b o t h n e t w o r k s , e x p e r i m e n t s f o r s e v e r a l n o n l i n e a r f u n c t i o n s a r e c a r r i e d o u t w i t h g h m m u l t i w a v e l e t o rt h o g o n a l n e t w o r k s a n d d a u b e c h i e s 2 w a v e l e t o r t h o g o n a l n e t w o r k s . k e y w o r d s : w a v e l e t , n e u r a l n e t w o r k , r a d i a l - b asi s - f u n c t i o n n e t w o r k , m u l t i w a v e l e t , i n t e r s y m b o l i n t e r f e r e n c e , a d a p t i v e e q u a l i z a t i o n 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人己经发表或撰写过的研究成果;也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作过的同志对本研究工 作听作的任何贡献均己在论文中做了明确的说明并表示了谢意。 本人签名:日期: 关于论文使用授权的声明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定， 即: 学校有 权保留送交论文的复印件，允许查阅和借阅论文:学校可以公布论文的全部或部 分内容，可以允许采用影印、缩印或其它复制手段保存论文。 保密的论文在解密 援遵守此规定) 期期 日日 本人签名: :哪. 沙肠 导师签名: ， ;6 , z- 0 第一章绪论 第一章绪论 本文主要围绕小波分析和神经网络在自 适应均衡算法中的应用来进行研究。 在 讨论具体的内容之前， 本章首先对小波分析、神经网络以及自 适应均衡技术的发 展历史和研究现状进行回顾，然后介绍自己在攻读博士学位其间的主要工作和本 文的章节安排。 1 . 1小波分析的发展概况 小波分析是一种新的数学方法，它是调和分析几十年来所取得的一个突破性 进展。 由于它在保留传统f o u r i e : 分析优点的同时， 又弥补了f o u r i e r 分析不能刻划 l - 以外的函数空间、不能做局部分析等不足，因此在理论分析和实际应用上都显 示出了巨大的威力，被誉为 “ 数学显微镜” 。从其诞生到现在，经过数学家、应用 数学家和信号处理、数据处理等领域的学者十几年的共同努力，小波分析己经成 为一门既有坚实的数学理论基础，又有广泛的实际应用背景的新兴学科。它的涉 及面之广、影响之深、发展之迅速都是空前的，已经成为国内外众多学术团体和 研究领域关注的焦点。同时，这些研究成果也推动着小波分析在理论上不断地丰 富完善，在应用上更加广泛深入。 回顾小波的发展历程可以 看出， 虽然第一个小波是由h a a r 在 1 9 1 0 年发表的 一篇描述抽象h i l b e r t 空间特性的论文中给出的， 但小波分析的真正发展却是在2 0 世纪8 0 年代。1 9 8 2 年， s t r d m b e r g 给出了 一个无限 支撑的、正交的逐段多 项式小 波( 即小波基) ，但当时并未引起人们的注意。1 9 8 4年，g o u p i l l a r d , g r o s s m a n和 m o r le t 首先提出了“ 小波” ( w a v e l e t ) 这一概念， 他们建立了完整的连续小波变换儿 何体系，其基础是平移和伸缩变换下的不变性。这样就能将一个信号分解成对空 间和尺度( 相当于频率) 的 独立贡献， 同时又保持了 原始信号的信息。因此， 可以 认 为小波函数的伸缩平移系用于可测平方可积函数空间展开的概念是由 他们首先提 出 的。1 9 8 6 年， d a u b e c h i e s , g r o s s m a n 和m e y e r 对完全重构的小波基作了 研究， 在理论上证明了小波函数的存在性: 与此同时， s m i t h 和b a r n w e l l 等人提出了 共辆 镜像滤波器这一重要概念，为二进紧支撑小波的构造提供了契机。 8 0 年代后期是小波分析的一个重要发展时期， 特别值得一提的是d a u b e c h i e s 和m a l l a t 所做的开创性工作。1 9 8 8 年， d a u b e c h i e s 构造了 一系列正则性任意选定 的、 支 撑集有限的 并 且正 交 的 小 波函 数 和尺 度函 数 + 1 ， 从而 将小 波分 析的 理论 和 信号处理有机的结合起来，她的工作己 成为目 前小波研究的重要文献之一。1 9 8 9 年， m a l la t 所 提出 的 多 分 辨分 析 ( m u lt i r e s o lu t io n a n a l y s i s , m r a ) 概念3 1将以 前 分散 在各领域的小波研究统一 在一个理论框架下。 利用m r a ，小波的许多性质， 诸如 小波和神经网络在自适应均衡中的算法研究 完备性、近似性、正则性、对称性、正交性和小波滤波器构造等都得到了很好的 研究!4 -8 。同时， m a l l a t 将离散小波变换与d a u b e c h i e : 紧支正交小波相结合提出了 m a l l a t 塔式分 解和重构算法9 - u ， 它在小 波 应用中的 地位相当 于f o u r i e r 分析中的 f f t ，这极大地促进了小波在信号处理中的应用。 9 0 年代初期，随着小波理论和应用的进一步结合，人们逐渐认识到小波的各 种性能诸如对称性/ 线性相位、 紧支撑/ 有限冲激响应、 消失矩和正则性等的重要性。 1 9 9 0 年， c h u i 等研究了双正交小波基的 构造方法， 给出了具有线性相位的紧支撑 样条小波基;此后，v e tt e r l i 等将双正交小波与滤波器组相联系，给出了进一步的 结果 ， 2 ， 3 。由 于 双正交小 波系 统的 分析和综合可以 采用两组不同 的小波函数( 即 滤 波器) ， 这使得它能够同时具有许多正交小波所不能具有的良好性质。这一时期小 波理论的一个重大发展是w i c k e r h a u s e r 和c o i fi n a n 等提出的“ 小波包” 概念 14 即利用推广的双尺度差分方程，可以生成一族包括小波函数在内的 “ 小波包”函 数。 它对信号频带的划分突破了小波等q划分的局限性，即不仅对低通分量作分 解，而且可以对高通分量作分解，从而聚焦到感兴趣的任意频段，使对信号的分 析更加灵活方便，但要解决的问题是最优基选择和信号的自 适应最优表示。目前 己经有诸如 s h a n n o n嫡等最优树的选择准则和相应的信号表示，这些对深化小波 的应用都具有重要意义。 1 9 9 2年， d o n o h o等提出了“ 内 插小波， 的 概念 ， ，他们把正交小波的细分 过 程和对 称迭代内 插泛函相结合 1 6 ， 使小 波的 构造更为 灵活简单 1 7 1 。内 插小波的 重要作用是可以有效消除所谓的 ma l la t 误差，解决这个问题的另一种途径是引入 预处 理和后处理( 这种方法在多小波中尤为重要) ， 这其中以s h e n s a 和w a l t e : 等人 的工作为代表。由于实际信号都是有限支撑的，为了消除由于对信号进行延拓所 引 起的 边界效应， 在1 9 9 31 9 9 4 年， 许多学者从不同的角度提出了 “ 区间小波” 1 8 , 1 9 的思想和构造方法。在这一时期，国内的小波研究也开始起步，并出现了一些成 果 2 0 .2 6 9 0 年代中后期，小波分析不仅在理论设计方法上呈现多样性，而且在应用上 也呈现出广泛性和深入性。在理论方面，g o o d m a n 等人在 1 9 9 4 年基于 r 元多分辨 分析建立了多小波的基本理论框架2 7 ,2 8 1 并给出了样条多小波的例子。同年， g e r o n i m o , h a r d i n 和ma s s o p u s t 利用分形差值， 成功地构造了 具有二阶消失矩的两 个尺 度的函 数。 ( x ) = q ( x ) , rp i ( x ) r ; 1 9 9 6年， d o n o v a n , g e r o n i m o , h a r d 访和 m a s s o p u s t 将分形理论中的迭代函数系统用于双尺度差分方程组， 再次利用分形差 值 构 造了 所 谓 的d g h m多 小 波y ( x ) = v ( x ) , v z ( x ) 7 2 9 x 。 另 外， x ia 和s u te : 还 将多小波发展为信号处理中的向量滤波器组，从而促进了对多通道信号之间复杂 的多尺度相关结构的分析和多小波的应用。由于多小波能同时拥有紧支性、实对 称性、正交性和高阶消失矩等性质，而这些对单小波来说却是不可能的; 另外， 第一章绪论 多小波的构造也比单小波更加灵活，因此多小波已经成为近年来小波研究中的一 个 热 点 3 i-33 1 1 9 9 5 年， s w e l d e n s 提出了 构造第二代小波的“ 提升方法” ( l i ft i n g s c h e m e ) 并在 以 后的 文章中 作了 更为 详细的 论 述 3 4 1 。 利 用这种 方 法可以 构造非 欧空间 中 不允 许 伸缩和平移、从而f o u r i e r 变换已不再适用的情形下的小波基，使小波的构造摆脱 了 对f o u r ie r 变换的依赖性。同时也为在实直线上或曲面上实时构造与信号自 适应 的小波系统提供了 可能， 从而成为构造第一代小波的有力工具。 与此同时， t s a t s a n i s 和g i a n n a k i s 针对平稳信号和循环平稳信号提出了主分量滤波器组和主分量小波的 理论; mo u l in 和mi h c a k 提出了自 适应f i r伪正交滤波器组和相应的小波理论， 这 些都成为自 适应滤波器组和小波理论研究的一个新方向。 1 9 9 8 年，为了解决小波处理高维奇异性所带来的问题，c a n d e s 和d o n o h 。 提 出了“ 脊波” ( r i d g e l e t s ) 和“ 曲 波” ( c u r v e l e t s ) 这一新的概念。 其基本思想是用一系 列脊函数的叠加来表示相当广泛的函数类，它不但具有基于离散变换的 “ 近似正 交”的脊函数框架，而且其构造还可以用小波理论作为指导。由于脊波的发展历 史较短，理论上还不完善，因此有待于进一步的研究。不过可以预计，随着小波 研究的进一步深入以 及它与其他学科交叉领域的不断拓展，新的分析工具必将不 断涌现。 在应用方面，为了刻画和检测信号的奇异性，ma l l a t 等构造了一类对信号奇 异点敏感的非正交小波，并将其用于信号的奇异性检测和图像的边缘捉取，捉出 了利用小波模极大值去噪的方法:利用小波的匹配跟踪方法现在己经发展为基于 基本波形库的匹配跟踪方法， 在雷达、声纳信号处理中得到初步应用;d o n o h o 提 出的基于离散小波变换的非线性去噪和压缩方法，已被成功地用于图像处理、信 号检测、波形估计和高分辨谱估计等诸多领域:另外，小波分析在兴起不久的数 字水印技术中也有广泛的应用3 1 1 .2神经网络概述 1 .2 . 1神经网络 神经网络的研究可以追溯到1 8 9 0 年，当时j a m e s 发表了第一部详细论述脑结 构及其功能的专著 心理学 ， 对相关学习、 联想记忆的基本原理做了开创性研究。 书中所提假设与当今神经网络中相关学习、 联想记 忆的概念有密切关系。1 9 4 3 年， 心理学家mc c u l l o c h 和数学家p i t t s 提出了 人工神经网络的第一个数学模型， 即m - p 模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经科学理论 的研究时代。 1 9 4 9 年， 心理学家h e b b 提出了修正神经元连接强度的方法， 即h e b b 学习规则，为神经网络的学习奠定了基础。 小波和神经网络在自 适应均衡中的算法研究 作为人工智能的神经网络系统的研究， 是从 2 0 世纪 5 0 年代木 6 0 年代初开始 的。当时，许多人从工程的角度研究用于信息处理的神经网络模型以及具有学习 能力的模式识别装置，其中r o s e n b l a t t 提出的有三层结构的感知机最具有代表性。 1 9 6 0 年， wi d r o w和h o ff创造出一种会学习的自 适应线性元件a d a l i n e以及一种有 效的网络学习方法， 即通常所说的b 学习规则， 这种网络及其规则在实际中得到了 厂 一 泛的应用。 1 9 6 9 年， m i n s k e y和p a p e r t 在一本名为 感知 机的书中 对神经网 络的 研究 得出了悲观的结论，这使神经网络经历了6 0年代初到 8 0年代初的低潮期。1 9 8 2 年， 美国 加州工学院物理学家h o p f i e l d教授在其发表的一篇突破性学术论文中 提 出了一 种新的神经网络模型( 后称之为h o p f i e l d 神经网 络) 。 由 于这种网络可以 用集 成电路实现，又很容易被工程技术人员及计算机科技工作者理解，因此引起了工 程技术界 的 普遍关 注。 h o p f i e l d 定 义了 神 经网 络的“ 能 量函 数” ， 给出了网 络稳定 性的判据，使所提出的网络具有联想记 忆和优化问题求解能力。运用这种模型， h o p f i e ld成功地求解了计算复杂度为 n p完全型的旅行商问题( t s p ) 。人们从 h o p f e ld 的研究 成果中 看到了 神经网 络新的 曙光。 1 9 8 7 年 6月i e e e在美国加州圣地亚哥召开了第一届神经网络国际会议，国 g 1 fi sh y . i l 络学会( i n n s ) 随之成立， 这标志着神经网络的发展进入了一个新纪元。 此后， 神经网络的理论和应用开发工具都以令人振奋的速度发展着。 中国也于 1 9 9 0 年召 开了 第一届神经网 络学术会议，出 现了 一些研究成果【3 6 1 。 神经网 络己 不再是 仅仅停留在研究阶段或说说而己的水平，人们开始动手实践、设计并实现一定规 模的神经元芯片和神经计算机装置;在现有个人计算机上建立神经网络软件开发 工具;应用神经网络的理论和方法解决诸如自 适应滤波、非线性逼近、模式识别、 信号 检测等实际问 题3 7 3 8 1 。可以说神经网络这一研究领域是相当活跃的。 1 . 2 . 2小波神经网络 由于小波分析具有良 好的时频局部特性和变焦特性，而神经网络具有自 学习、 自 适应性、强鲁棒性和推广能力，因此，如何把小波分析和神经网络结合起来就 一 直是 人 们关 注的问 题。1 9 9 0 年， p a t i 和k r i s h n a p r a s a d 最早研究了 神经网 络与小 波 变 换 之 间 的 关 系 . 1 9 9 2 年 ， z h a n g 等 用 非 正 交 小 波 结 合b p 网 络首 次 提出 了 小 波 神 经网 络的 概 念和 算法4 0 1 ， 其 主要 思 想 是用 小 波函 数作为 神经 元激活函 数， 并 就函数逼近对小波网络与神经网络、小波分解的实验结果进行了比较。同时， s z u 等也提出了两种基于连续小波变换的自 适应小波神经网络模型，分别用于信号的 表 示和分类4 1 1 e 1 9 9 3 年， p a t i 等提出 利 用仿射小波变换构 造单隐层前向 神经网 络， 这 就 是 离 散 仿 射 小 波 网 络 模 型 (4 z ) a b a s k s h i 和s t e p h a n o p o u l o u s 利 用 正 交 尺 度函 数 和 小波函数作为神经元的激活函 数， 提出了正交小波神经网络及其学习算法4 3 1 。另 第一章绪论 外， z h a n g j u n 等 还提出 了 另 一 种正 交小 波 神 经网 络【4 4 ， 焦 李成 等提出 了 多 小 波 神 经网络4 5 ，张钱等还提出了区间小波神经网 络模型4 6 由于小波神经网络结合了小波的局部化性质和神经网络的自学习能力，因此 它具有较强的逼近能力。比如它继承了小波分析的多尺度分辨率特点，这样在训 练数据分布的稠密区就可以以高分辨率学习，而在稀疏区以低分辨率学习。另外， 小波网络的基函数具有紧支性甚至正交性，这使得神经元之间的相互影响减小， 从而可以加快训练算法的收敛速度。正因为如此，小波神经网络的研究从一开始 就受到了 广泛的关注并出 现了多种网络形式和设计方法4 2 -4 7 目 前小波与 神经网络的结合主要有以 下两种途径:1 ) 辅助式结合，比较典型 的是先利用小波分析对信号进行预处理， 然后再用神经网络进行学习与判别: 2 )嵌 套式结合，这种方式把小波变换的运算融入到神经网络中去，即形成了所谓的小 波神经网络。在这两种结合的方式中，小波与前馈神经网络的结合又是最主要的 研究方向。 从结构上看，小波网络是在小波分析研究的基础上提出的一种前向网络，因 此它可以 看作径向基函数( r b f ) 网 络的推广， 但它又具有与一 般h 1 i1 网络和 r b f 网络所不同的特点。其显著优点主要表现在:小波基元及整个网络的确定有可靠 的理论基础， 可以避免b p网络等结构设计上的盲目 性; 有较强的函数学习和推广 能力;具有很好的特征提取和屏蔽随机噪声能力，特别适于非平稳、非线性信号 的分类。正是由于小波网络所具有的独特数学背景和神经网络的固有特点，使得 小波神经网络在图像压缩、数据分类、信号表示、非线性逼近、特征提取、模式 识别、自 适应控制等方面 都有着广泛的 应用4 8 ,4 9 ，小波网络已 成为近年人工神经 网络领域最具发展前景的方向之一。 1 . 3自 适应均衡技术综述 1 .3 . 1自 适应均衡技术的发展背景 在通信系统，特别是在高速数字传输系统中，由于信道的带宽有限或多径效 应的影响， 从而会产生码间干扰( 简称i s i ) . i s i 的存在， 会使系统的误码性能下降， 严重影响系统的正常工作。因此，必须采取某种方法来消除i s i ，这种方法就称为 均衡。通常的做法是把接收到的信号通过一个特性与信道特性相反的滤波器，该 滤波器就称为均衡器。由于信道的特性可能是未知的或随时间变化的，因此，均 衡器的参数需要不断地调整以跟踪信道的变化，这就是自适应均衡。 自 适 应均 衡 技 术 是 在2 0 世 纪6 0 年 代 逐 渐 发 展 起 来的 5 0 ， 其中l u c k y 对 此 做 出了开创性的贡献。在此之前，均衡器的参数是固定的或手调的，因此性能很差。 1 9 6 5 年， l u c k y 根据极小极大准则提出了一种“ 迫零自 适应均衡器” ， 第二年， 他 小波和神经网络在自适应均衡中的算法研究 又将此算法推广到跟踪方式，l u c k y的工作极大地推动了自 适应均衡器的研究。 1 9 6 7 年 a u s t i n 提出了判决反馈均衡器;1 9 6 9 年， g e r s h o 等人提出了根据最小均 方误 差 ( l m s ) 准则的自 适应均衡算法; 1 9 7 0 年， b r a d y 提出了分数间隔的自 适应均 衡 器方 案;1 9 7 2 年， u n g e r b o e c k ， 对采用l m s 算法的 均衡器的收 敛性进行了 详细 分析; 1 9 7 4 年， g o d a r d 提出了采用卡尔曼滤波的横向自 适应均衡器; 1 9 7 5 年， s a t o 提出了盲均衡的概念;1 9 7 9 年， s a t o r i u s 等人提出了 格型自 适应均衡器。 这一系列 的突出贡献进一步促进了自 适应均衡技术研究的发展。 进入8 0 年代后，随着数字通信技术的迅猛发展，关于自 适应均衡器的研究越 来越受到人们的重视。这主要是因为在数字通信系统中，无论是通过公用电话交 换网，还是通过短波信道、微波信道或卫星信道传送信息，都需要均衡技术。因 此， 从6 0 年代到现在，自 适应均衡一直是通信中 最为活跃的研究领域之一， 并获 得了极大的发展和广泛的应用。 i l 前，人们提出了各种不同的自 适应均衡器结构和算法。从结构上看，传统 的均衡器可以分为线性均衡器( l t e ) 、判决反馈均衡器( d f e ) 和最大似然序列估计 均衡器( m l s e ) 。 作为对均衡器的训练， 传统的自 适应均衡算法主要有最小均方算 法 ( l e a s t m e a n s q u a r e , l m s ) 和自 回 归 最 小 二 乘 算 法 ( r e c u r s iv e l e a s t s q u a r e , r l s ) e l ms 算法是由w i d r o w和h o ff提出的， 其优点是计算量小，稳定性能好;缺点是 收敛速度较慢，且对信号的谱性依赖较大。r l s算法的优点是收敛速度很快，对 信号的谱性无依赖;缺点是实现复杂，运算量很大，还存在长期数值稳定的问题。 虽然可以利用输入信号的移位特性，得到快速r l s 算法，但数值不稳定的问题会 更加严重。用格型结构实现的r l s 算法，能部分解决数值稳定问题，但所用的除 法太多，导致运算复杂，实用性也较差。 另外，从是否使用训练序列来初始化均衡器的角度看，这些算法又可以分为 f i o q 练的均衡算法和言均衡算法两大类。与均衡器的结构相对应，传统的有训练 的均衡算法主要有线性均衡算法( l t e ) 、判决反馈均衡算法( d f e ) 以 及最大似然序 列估计算法( m l s e ) 。其特点是在均衡器的启动阶段， 用接收端已 知的传输信号序 列进行训练，当码间干扰足够小时，此时的判决信号可靠性较高，可以用作训练 信号， 这就是判决引导模式。常见的盲均衡算法大致有基于梯度算法的盲均衡算 法 5 1 .5 2 、 基于高 阶矩及子空间的盲均衡算法5 3 ,5 4 1 和盲的 最大 似然序列估计算法5 5 1 三类， 其特点是直接使用接受信号，并假设只使用传输信号的有限统计信息来均 衡信道。在盲均衡中，人们通常也是在均衡器的建立阶段使用盲均衡算法，当码 间干扰较小时，就转入判决引导模式来作为跟踪阶段的均衡算法。本文研究的是 有训练的均衡算法。 1 .3 .2自 适应均衡技术的研究概况 第一章绪论 到目 前为止，关于均衡算法的 研究主要集中在三个方面: ( 1 ) 盲均衡算法的研 究; ( 2 ) 直接从m l s e 出 发来研究 如何 减小m l s e 的 计算复杂 度; ( 3 ) 研究新型自 适 应均衡器的结构及其算法。 研究的内 容也主要集中 在三个方面: ( 1 ) 提高均衡器的 误码性能， 如采用分集技术的均衡算法、 基于v o l t e r r a 级数的 均衡算法5 6 1 和神经网 络的 均 衡算 法 15 7 ,5 8 1等; ( 2 ) 提高 均 衡器的 收 敛 速度， 如 采用r l s 算 法的 均衡 算 法、 频 域 均 衡 算 法 5 9 、 小 波 变 换 域 的 均 衡 算 法 6 0 等; ( 3 ) 降 低 均 衡 器 的 复 杂 度， 如 采 用 d f t技 术的 块均 衡算 法 6 l 】等。 本文 主要 研究 构 造 新的 均 衡 器 及其 算法，目 的 在于 一方面利用小波分析的特性，在保持均衡器误码性能不变的基础上来提高均衡器 的收敛速度;另一方面利用神经网络的特性来构造新的均衡器，使其具有较好的 误码性能，同时尽量降低算法的复杂度。 目前，虽然国内外学者在提高均衡器收敛速度方面提出了许多方法，但总的 来看， 他们的研究工作大致有三类: ( 1 ) 通过选择训练序列来提高收敛速度; ( 2 ) 基 于r l s 算法的均衡器; ( 3 ) 变换域的均衡算