（应用数学专业论文）小波神经网络在图像去噪与压缩中的应用研究.pdf

摘要 i 小波神经网络在图像去噪和压缩中的应用研究小波神经网络在图像去噪和压缩中的应用研究 作者简介：张叶华，男，1980 年 9 月出生，2006 年 9 月师从于成都理工大 学曹金文教授，于 2009 年 6 月获硕士学位。 摘要摘要 小波神经网络是基于小波分析理论建立起来的一种分层的、 多分辨率的新型 人工神经网络。用小波函数代替传统神经网络中的激活函数，就构成小波神经网 络。理论证明小波神经网络具有一致逼近和 2 l逼近的能力，而且在保证参数初 始化合理的条件下，收敛速度相当之快。可见，利用小波神经图像进行去噪和压 缩，无疑是一条捷径。 本文将小波神经网络应用于图像去噪，构造了噪声检测强分类器。理论上 可以保证这比传统的中值滤波更加合理化， 计算机仿真实验也表明了这种方法去 噪优势明显。 同时，基于传统kl变换的图像压缩存在高阶矩阵无法处理的问题，提取主 分量分析的hebb算法在图像压缩过程中有数据丢失造成的误差问题，而小波神 经网络结合kl变换既能处理高阶矩阵，又能在短时间内达到收敛要求。所以文 章建立了小波神经网络结合kl变换进行图像压缩的理论思想，并且通过计算机 仿真试验验证了算法实现的可靠性。 全文共分六章，每一章的主要内容如下： 第一章综述本文所研究课题的发展历史及其现状意义、 实际应用价值和理论 意义。 第二章综述神经网络基础知识，小波变换的基础知识，以此来构造小波神经 网络结构。 第三章建立了小波框架导出的小波神经网络的学习算法和bp小波神经网络 的学习算法，还讨论了参数初始化问题，学习速率调整问题。 第四章在理论上证明了小波神经网络具有一致逼近和 2 l逼近的能力。 第五章根据图像中噪声的特点，设计出噪声检测弱分类器与强分类器，并且 在理论上与实践上肯定了去噪效果优势明显。 摘要 ii 第六章研究了小波神经网络结合kl变换进行图像压缩的算法，并且利用计 算机仿真进一步表明：比起传统kl变换和hebb算法的图像压缩，提出的新算法 有很大的优势。 关键词：关键词：图像去噪 图像压缩 小波神经网络 强分类器 kl变换 hebb算法 abstract iii the research and application of wavelet neural network on denoising and compression image introduction of author:zhang yehua, male, was born in september, 1980, whose tutor was professor cao jinwen.he graduated from cheng du university of technology in college of information management，computational mathematics and was granted the master degree in june, 2009. abstract based on the theory of wavelet analysis, wavelet neural network is to establish a tiered, multi-resolution one of a new type of artificial neural networks.when wavelet function replace the traditional neural network activation function，a wavelet neural network is constituted.the theory proved that wavelet neural network has the capacity of consistent approximation and 2 lapproximation,to ensure reasonable initialization parameters,it has a very fast convergence rate.that is no doubt that the use of wavelet neural network denoising and compressing image，is a shortcut. in this paper, wavelet neural networks was applied to denoise image, strong classifier, in the noise detection,was structered.the computer simulation also showed the obvious advantage of this method ,this theory ensures that the method is more rational than the traditional median filter. at the same time, based on the traditional image compression in kl transform the question of higher-order matrix could not be dealt with, extraction of principal components analysis of the hebb algorith caused error by data loss problem during the process of image compression, the wavelet neural network can deal with high-level transformation matrix and can achieve convergence in a short period of time.therefore,above image compression，the article established the ideology of theory based on wavelet neural network combing kl transform, and computer simulation tests verify the reliability of the algorithm. the full text is divided into six chapters, each chapter are as follows： the first chapter summary the development of the history ,significance of the status quo, the value of the paper, the value of practical application and theoretical significance. the second chapter summaried the basic knowledge of neural network and wavelet transform,as,the wavelet neural network structure was constructed. the third chapter established learning algorithm of wavelet neural network, derived by wavelet frame, learning algorithm of bpwavelet neural network,also discussed abstract iv the issue of parameter initialization, learning rate adjustment. the fourth chapter proved the theory wavelet neural network have the capacity of a consistent approximation and 2 lapproximation the fifth chapter designed weak and strong classifier of noise detection in accordance with the characteristics of image noise. in theory and practice ,affirms the obvious advantages of. the denoising effect the sixth chapter studied the algorithm through the combination of wavelet neural network and kl transform in image compression,and the computer simulation showed that,compared to traditionalkltransform andhebbalgorithm in image compression, the new algorithm has great advantages. key words: image denoising image compression wavelet neural network strong classifier kl transform h eb b algorithm 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果， 也不包含为获得 成都理工大学 或其他教 育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解 成都理工大学 有关保留、 使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和 借阅。本人授权 成都理工大学 可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本授权书） 学位论文作者签名： 学位论文作者导师签名： 年 月 日 摘要 i 小波神经网络在图像去噪和压缩中的应用研究小波神经网络在图像去噪和压缩中的应用研究 作者简介：张叶华，男，1980 年 9 月出生，2006 年 9 月师从于成都理工大 学曹金文教授，于 2009 年 6 月获硕士学位。 摘要摘要 小波神经网络是基于小波分析理论建立起来的一种分层的、 多分辨率的新型 人工神经网络。用小波函数代替传统神经网络中的激活函数，就构成小波神经网 络。理论证明小波神经网络具有一致逼近和 2 l逼近的能力，而且在保证参数初 始化合理的条件下，收敛速度相当之快。可见，利用小波神经图像进行去噪和压 缩，无疑是一条捷径。 本文将小波神经网络应用于图像去噪，构造了噪声检测强分类器。理论上 可以保证这比传统的中值滤波更加合理化， 计算机仿真实验也表明了这种方法去 噪优势明显。 同时，基于传统kl变换的图像压缩存在高阶矩阵无法处理的问题，提取主 分量分析的hebb算法在图像压缩过程中有数据丢失造成的误差问题，而小波神 经网络结合kl变换既能处理高阶矩阵，又能在短时间内达到收敛要求。所以文 章建立了小波神经网络结合kl变换进行图像压缩的理论思想，并且通过计算机 仿真试验验证了算法实现的可靠性。 全文共分六章，每一章的主要内容如下： 第一章综述本文所研究课题的发展历史及其现状意义、 实际应用价值和理论 意义。 第二章综述神经网络基础知识，小波变换的基础知识，以此来构造小波神经 网络结构。 第三章建立了小波框架导出的小波神经网络的学习算法和bp小波神经网络 的学习算法，还讨论了参数初始化问题，学习速率调整问题。 第四章在理论上证明了小波神经网络具有一致逼近和 2 l逼近的能力。 第五章根据图像中噪声的特点，设计出噪声检测弱分类器与强分类器，并且 在理论上与实践上肯定了去噪效果优势明显。 第一章：前言 1 第一章：前言第一章：前言 1.11.1 图像去噪的发展历史及其现状图像去噪的发展历史及其现状 图像在传输过程中经常会受到噪声的影响，使图像的质量下降。传统的去 噪方法利用均值滤波器去除高斯噪声、利用中值滤波器去除脉冲噪声。astola 1 等提出了一种线性混合中值滤波器， 将线性滤波器和混合中值滤波器的优点相结 合,lee 2 等提出了一种改进型双窗均衡均值滤波器，胡梦佑 3 等提出了一种变 窗长自适应算法，都取得了不错的效果。但是均值滤波器在滤除噪声的同时会使 图像的边缘模糊，而中值滤波器对于非脉冲噪声的滤除效果不是很理想。由于受 噪声污染的图像其不同区域噪声分布的情况不同， 并且噪声对图像不同区域的污 染程度与此区域内图像纹理细节的分布是紧密联系的。 传统的滤波器将受污染的 图像视为一个整体进行滤波， 不能根据噪声分布的特点及图像的纹理细节进行滤 波，因此虽然滤除了噪声，但同时对图像造成了一定程度的破坏。 所以，寻求一种好的去噪方案成为很多科技人员研究的中心。小波神经网络 是基于小波分析理论建立起来的一种分层的、多分辨率的新型人工神经网络，有 机地融合了小波分析的良好时一频域特性和神经网络的自适应优点。 本文将小波 神经网络引入图像去噪研究中，设计了一个很好的强分类器，可以更好的辨别出 噪声点与非噪声点。这样，恢复出来的图像效果理论上比中值滤波要好很多。 1.2 图像压图像压缩的发展历史及其现状缩的发展历史及其现状 作为通信、介质存贮、数据发行、多媒体计算机等技术的关键环节，图像压 缩编码算法的研究是信息技术中最活跃的研究领域之一。尤其是进入 21 世纪以 后，电了技术和通信技术的发展使可视电话、会议电视、数字电视、高清晰度电 视、多媒体计算机、信息高速公路等的生产和建立成为可能。在这一背景下，探 索高效图像压缩编码算法无疑将成为主要任务之一， 对其研究也将成为国际公认 的热点之一 4 。本节简要回顾了图像压缩编码算法的研究历程，介绍了现在广泛 应用的种典型的图像压缩编码算法及其特点。 第一阶段：第一代图像压缩编码阶段(1985 年以前) 图像压缩编码算法的研究起源于传统的数据压缩理论，有些学者认为始于 18 世纪sheppards所做的“实数舍入为十进制数”的研究，也有人认为 19 世纪 第一章：前言 2 末研制的莫尔斯代码是数据压缩的第一次尝试。1939 年，dudley研制了声码器， 他把声音频谱的能量划分为有限数目的频带，并目在每个频带内传输相应的能 级，因此能够达到较高的压缩。比较系统的研究始于 20 世纪 40 年代初形成的信 息论，尽管当时数字计算机尚未出现，但其研究与当今数字计算机所使用的压缩 技术有着密切的联系，许多算法，如huffman编码等仍有很大的应用价值.近 20 年来，由于模式识别、图像处理、计算机视觉等技术的发展，促进了数据压缩的 研究。1977 年以前，基于符号频率统计的huffmann 编码具有良好的压缩性能， 一直占据重要的地位，并不断有基于其改进的算法提出 6, 5 。1977 年，以色列科 学家jacob ziv和abraham lempel提出了不同于以往的基于字典的压缩编码 算法lz77,1978 年又推出了改进算法lz78， 把无损压缩编码算法的研究推向了 一个全新的阶段。随着数字信号处理研究的不断发展，数字图像信号、语音信号 等被大量地引入有关领域。由于图像信息占用较多的存储空问，因此数据压缩编 码技术在图像通信中得到了广泛的应用。最早研究的是预测压缩编码，它曾作为 经典理论得到广泛应用。 它是以象素为处理单位， 基于高阶markov过程和wiener 线性滤波的图像最佳线性预测理论。近年来，随着神经网络理论的兴起，有人采 用bp网进行非线性预测的尝试， 取得了较好的效果 6 。 自 1969 年在美国举行首 届“图像编码会议”以来，图像压缩编码算法的研究有了很大进展。其中变换压 缩编码 7, 6 与量化压缩编码 108 是研究热点。变换压缩编码是通过对图像进行正 交变换，然后通过量化去除对视觉影响不大的高频分量，再采用游程编码和 huffman编码达到压缩效果。按照正交变换的不同，常用的变换压缩编码又分为 loevekarhunen变换(klt)、离散余弦变换(dct)、离散哈德玛变换 (dht )、离散斜变换(dst)等。由于dct压缩编码算法具有编码效果较好、 运算复杂度适中等优点，目前已经成为国际图像编码标准的核心算法。量化压缩 编码是另一类行之有效的图像压缩方法，它包括标量量化和向量量化两种方案。 第二阶段：第二代图像压缩编码阶段(1985 年以后) 为了克服第一代图像压缩编码存在的压缩比小、图像复原质量不理想等弱 点， 1985 年kunt等人充分利用人眼视觉特性提出了第二代图像压缩编码的概念。 20 世纪 80 年代中后期，人们相继提出了在多个分辨率下表示图像的方案 11 ，主 要方法有了带压缩编码、金字塔压缩编码等。它们首先利用不同类型的线性滤波 器，将图像分解到不同的频带中，然后对不同频带的系数采用不同的压缩编码方 第一章：前言 3 法.这些方法均在不同程度上有如下优点：多分辨率的信号表示有利于图形信号 的渐进式传输;不同分辨率的信号占用不同的频带， 便于引入视觉特性。 1988 年， barnsley和sloan共同提出了分形图像编码压缩方案 12 ，该方案利用图像中固有 的自相似性来构造一个紧缩变换，并使原图像成为该紧缩变换的吸引子。编码时 只需存储变化的参数， 解码时， 需要利用该变化对任一幅图像不断进行迭代变换。 此方案具有思路新颖、压缩潜力大、解码分辨率无关性等特点，是一种很有潜力 的编码方法 14,13 。1987 年，llatma首次巧妙地将计算机视觉领域内的多尺度分 析思想引入到小波变换中，统一了在此之前的各种小波的构造方法.之后，他又 研究了小波变换的离散形式，并将相应的算法应用于图像的分解与重构中，为随 后的小波图像压缩编码奠定了基础。进入 90 年代，又取得了一系列图像压缩编 码研究的阶段性新成果 16,15 ，其中，ezw编码算法 17 、spiht编码算法 18 被 认为是目前世界上比较先进的图像压缩编码算法，这两种算法均具有结构简单、 无需任何训练、支持多码率、图像复原质量较理想等优点，但同时又都不同程度 地存在算法时间复杂度和空间复杂度过高的弱点。 而小波变换的图像压缩编码算 法已成为目前图像压缩研究领域的一个主要方向。 目前已有 40 多种图像压缩编码算法面世。依据图像压缩编码的失真程度, 可将其划分为两大类,即无损图像压缩编码算法和有损图像压缩编码算法。前者 普遍存在压缩比过小（一般为 1.72.1)的弱点,故应用领域受到限制。后者是 指原始图像数据不能由压缩数据完全恢复出来,恢复数据只是某种失真度下的近 似。 从数据质量来讲,有损图像压缩当然不如无损图像压缩好,但由于图像的最终 使用者是人,且人眼并不是一个完善的系统,对图像的某些失真(如对高频成分的 丢失)并不敏感,所以有损压缩编码算法在图像通信系统及视频娱乐设备中得到 广泛应用。而根据工作原理之差异,有损图像压缩编码算法又可分为预测压缩编 码、变换压缩编码、向量量化压缩编码和分形压缩编码等几类。本文只是考虑变 换压缩编码。 1.1.3 3 课题研究的实际应用价值课题研究的实际应用价值 在实际观测的图像信号中常常含有噪声的干扰。 当通过分析观测数据来做出 某种判断容易引起误判。因此，对信号进行有效的分析就必须使信噪比在尽可 能高的情况下进行。如果观测信号的信噪比较低，就必须对信号消噪，提高信噪 比。 研究新的、 更高效的图像压缩理论和方法其应用价值是不可估量的， 高质量、 第一章：前言 4 高效率的压缩技术意味着更好的图像视觉效果、 更小的数据存储量和更快的传输 速率，也意味着更大的市场价值。 1.1.4 4 课题研究的课题研究的理论意义理论意义 图像去噪和压缩技术涉及数学、信息论、信号处理、计算机与通信、模式识 别、人工智能等多个领域，其中数学是最基本和最重要的工具。 首先，数学为图像的去噪和可压缩性提供了理论基础，即信息嫡理论和失真 率理论;其数学为图像去噪和压缩技术提供了多种多样的理论依据和实现方法。 从本质上说，图像的去噪和压缩过程是对图像数据实现各种数学运算的过程。 小波分析是 80 年代中期发展起来的一门新技术，它是数学理论中调和分析 技术发展的最新成果，被公认为是工具和方法上的重大突破。它在时域和频域同 时具有良好的局部化性能，有一个灵活可变的时间一频率窗，这在理论和实用中 都有重要的意义， 已成功应用于函数逼近论， 微分方程， 分形识别， 计算机视觉， 非线性科学等方面。人工神经网络是数学与其它许多学科交叉的产物，其理论基 础包括数学、物理学、统计力学、心理学、神经生理学，其中数学的地位也是最 重要的。从功能上说，它是一种模仿人脑信息处理机制的网络系统，可以完成学 习、记忆、识别和推理等功能。目前，神经网络的理论研究日趋深入，其重要发 展方向之一就是注重与小波、混沌、模糊集等非线性科学理论相结合。小波神经 网络是小波理论和神经网络理论相结合的产物， 它最初应用于函数逼近和语音识 别。随后应用领域逐渐推广到非参数估计，天气预报，多属性决策，故障诊断与 检测，系统辨识，数据压缩，图像去噪等。 研究小波神经网络用来实现图像去噪和压缩，可以真正体现学科交叉的优 势，一是可以拓宽小波分析的应用领域；二是可以使图像去噪和压缩的方法更为 丰富。 第二章：小波神经网络基础 5 第二章：小波神经网络基础第二章：小波神经网络基础 2 2. .1 1 人工神经网络人工神经网络 人工神经网络（缩写 ann）是对人脑若干基本特性通过数学方法进行的抽象 和模拟，是一种模仿人脑结构及其功能的非线性信息处理系统。具有较强的非线 性逼近功能和自学习、自适应、并行处理的特点，而且具有良好的容错能力。 .1 生物神经元生物神经元 突触 胞体生物神经元的主体,其中有一个细胞核 轴突传输细胞体发出的神经信息，是神经元的输出通道 树突收集其他神经元传出信息，是神经元的输入通道 突触两个神经元连接之处，各神经元间通过突触完成信息的传递 2.1.2 2.1.2 人工神经元人工神经元 神经元是构成神经网络的最基本单元。因此，要想构造一个人工神经网络系 统，首要任务是构造人工神经原模型。一个人工神经网络的神经元模型和结构描 述了一个网络如何将它的输入矢量转化为输出矢量的过程，如图2 2- -1 1所示。 胞体 树突 11211223 3454511223 34545 轴突 1221 111111112223 轴突 第二章：小波神经网络基础 6 图图 2 2- -1 1 1.3 神经元模型的输入与输出神经元模型的输入与输出 一个神经元有两个输入：输入向量 ),.2 , 1(rjpj，阈值b，也叫偏差。 （神 经元输出除受输入信号的影响外，同时也受神经元内部其它因素的影响，所以常 常在人工神经元的建模中加入一个额外输入信号，称为阈值 ）输入向量 ),.2 , 1(rjpj 通过与它相连的权值分量,.)2 , 1( jwj 相乘，以 r j jjp w 1 的形式 求和后形成激活函数 的输入。激活函数的另一个输入是神经元的阈值b，如图 2 2- -1 1所示。 权值 j w和输入 j p的矩阵形式可以由w行矢量以及p的列矢量来表示: : w= 1 w 2 w r w p= 1 p 2 p r p t 神经元模型的输出矢量可表示为： r j jj bpwfbpwfa 1 )()( .4 激活函数激活函数 激活函数是一个神经元及网络的核心。 网络解决问题的能力除了与网络结构 有关，在很大程度上取决于网络所采用的激活函数。 激活函数的基本作用是： 控制输入对输出的激活作用； 对输入、输出进行函数转换； 将可能无限域的输入变换成指定的有限范围内的输出。 激活函数的常用类型： b n (f ) a pr p p2 1 2 w wr w1 神经元输入 (1,2, ) j pjr (1,2, ) j pjr (1,2, ) j pjr 第二章：小波神经网络基础 7 （1）阈值型 0 1 )(bpwfa 0* 0* bpw bpw （2）线性型 bpwbpwfa)( （3）s型激活函数 对数型 )(exp1 1 bn f 双曲正切型 )(2exp1 )(2exp1 bn bn f 2.22.2 连续小波变换连续小波变换 .1 1 连续小波变换的定义连续小波变换的定义 定义定义 1 1 19 如果)( 2 rl满足“容许性”条件： dc 2 ) ( ， 那么称是一个“容许小波”或“母小波” 。关于一个基小波，在)( 2 rl上的 连续小波变换或积分小波变换定义为 dt a bt tfaabfw )(, 2 1 ，)( 2 rlf 容许条件是为了确保小波逆变换可以进行。定义 1 中)( 2 rl的条件似乎 稍弱，如果和都是窗函数，则基小波可以给出有限面积的时间-频率窗。另 外是一个连续函数，则有 (0) 0 19 ；而是窗函数表明 1( ) l r 19 ，这样 可以得到定义 2。 定义定义 2 2 20 如果)()( 21 rlrl满足“容许性”条件： dc 2 ) ( ， 第二章：小波神经网络基础 8 那么称是一个“基小波” ，也称“容许小波” 。关于一个基小波，在)( 2 rl上 的连续小波变换或积分小波变换定义为 dt a bt tfaabfw )(, 2 1 ，)( 2 rlf 注：基小波属于)( 1 rl，在理论上会对判定函数是否是基小波产生困难。 定义定义 3 3 21 如果满足如下两条要求 ( )x是连续的且呈现指数衰减即 xc mex )(，对某些常量c,m。 的积分为零即( )0 x dx 。 则定义函数 2( ) l r的小波变换为 dt a bt tfaabfw )(, 2 1 ，)( 2 rlf 定义 3 中的衰减条件和积分为零条件可以推出定义 2 中的容许性条件 21 ，而 定义 2 中 1( ) l r，可推出是一个连续函数，所以由容许性条件中c的有限 性可以推出 (0) 0，或者等价地有( )0 x dx ，这就是称为“小波”的原 因 19 。 .2 连续小波的重构及性质连续小波的重构及性质 连续小波变换的重构公式为： 2 11 ( )( , ) () f xb f xwa bdadb caa 具体证明参见文献19。 从连续小波的定义知道，任何信号f的连续小波变换),(bawf是一个关于 ba,的二元函数，但是具体信号的连续小波变换的表达式一般说来是相当复杂 的。下面介绍连续小波的重要性质： 线性：一个多分量信号的小波变换等于各分量的小波变换之和。 平移不变性：若( )f x的小波变换为( , ) f wa b，则()f x的小波变换为： 第二章：小波神经网络基础 9 ( ,) f w a b 伸缩共变性：若( )f x的小波变换为( , ) f wa b，则()f cx的小波变换为： 1 (,) f wca cb c ，0c 自相似性：对应不同尺度参数a和不同平移参数b，连续小波变换之间是自 相似的。 冗余性：连续小波变换中存在信息表述的冗余度。这种冗余性主要表现在 2 个方面： 连续小波变换恢复原信号的重构公式不是唯一的。 小波变换的核函数 , ( ) a b x存在许多可能的选择， 如他们可以是非正交的小波、 正交小波、双正交小波、甚至允许是彼此线性相关。 小波变换在不同的( , )a b之间的相关性增加了分析和解释小波变换结果的困 难，因此小波变换的冗余度应该尽可能的减小。 2.32.3 离散小波变换离散小波变换 在实际应用中， 需要将连续小波离散化。 这里的离散是指将连续小波 , ( ) a b x 和 连 续 小 波 变 换 离 散 化 。 在 连 续 小 波 中 ， 考 虑 函 数 , 1 ( )(),0 a b xb xbr ara a a 且，是容许的，在离散化时，总限制a 取正值，这样离散小波变换的容许条件就变为： 2 0 ( ) cd 当, a b离散化时，即 000 , jj aa bka b，则得到离散小波为 /2 ,000 ( )() j j j k xaa xkb , j kz 从而离散小波变换表示为： 2 ,000 ( , ),( ) () j j j k wf j kfaf xa xkb dx 其重构公式为： 第二章：小波神经网络基础 10 jk kjkj cxf , )( （2-1） c为一与信号无关的常数。这样，我们将信号 f x分解为不同尺度与平移 参数的小波分量之和。 如果 x还有一个对偶 x，它们一起满足双正交条件 , , j kl mj lk m ， 则系数 kjwffc kjkj , , 是 f x的连续小波变换在第j尺度与第k平移处的值。 所以， 连续小波变换 与离散小波变换是不可分离的。 实际应用中，通常用卷积形式的小波变换，对于函数 2( ) fl r，在尺度s上 的卷积小波变换记为 1 ( , )*( )( )()( ) () ss rr xt wf s xfxf txt dtf tdt ss 这时容易计算 f x的连续小波变换的傅立叶变换 )()( 1 )( s f s wf 2.2.4 4 小波神经网络的构造小波神经网络的构造 小波神经网络是小波分析理论与人工神经网络理论相结合的产物。目前，二 者的结合有如下两种途径 22 。 （1） 松散型结合，即小波分析作为神经网络的前置处理手段，为神经网络 提供输入特征向量； （2） 紧致性结合，小波和神经网络直接融合，即小波函数和尺度函数形成 神经元。图 2 2- -2 2 为松散型结合，信号经过小波变换后，再输入给常规神经网络以 完成分类，函数逼近等功能。如图 2 2- -3 3，这是目前大量研究小波神经网络的文献 中广泛采用的一种结构形式。它是将常规神经网络的隐层函数用小波函数来代 第二章：小波神经网络基础 11 替， 相应的输入层到隐层的权值及隐层阈值分别由小波函数的尺度和平移参数所 代替。 输入 输出 1 x )( 1 xg )( 1 xf 2 x )( 2 xg )( 2 xf p x )(xgp )(xfp 图图 2-2 小波变换与神经网络的松散型结合 图图 2-3 小波神经网络的一种结构 由于小波基函数构造的不同,决定了图 2 2- -3 3 所示的小波神经网络构造的多样 性和复杂性23。从已有研究的结果来看,小波神经网络的构造主要从连续小波 变换、正交小波变换、小波框架和小波基拟合等方面来构造。 2.4.1 2.4.1 连续小波变换构造小波神经网络连续小波变换构造小波神经网络 这是小波最初被提出时采用的一种形式 24 。令图 2 2- -3 3 中基函数为 p i jjj hjbxaxg 1 ,1),()(网络输出为： h j jji qixgcxf 1 1),()( ， 其中，,),( 1 1 1 1 11 1 t pjpjjjjpjjj bababaadiaga 参数 ij a， ij b在网络学习中 与输出权值 ij c一起通过某种算法进行修正。 由连续小波变换构造的小波神经网络，是基于连续小波变换的定义，其特点 是基函数的定位不局限于有限离散值，展开式不唯一，无法固定小波参数与函数 之间的对应关系，具有类似 bp 网络的非线性优化问题，但小波分析理论有助于 网络参数和结构的初始化，使网络有较强的逼近能力和收敛速度 25 。但是，由 于其连续性使得网络的构造不方便，所以目前应用不是太多。 .2 正交小波变换构造正交小波变换构造小波神经网络小波神经网络 小波函数),(,),2(2)( 2/ , nmntt mm nm ， 生成空间)( 2 rl的一组正交 基，。 m m wrl)( 2 利用对空间)( 2 rl的多分辨率分析， 有以下的一系列闭子空间： 小 波 变 换 神 经 网 络 第二章：小波神经网络基础 12 2101 vvvv， 且,),2(2 1 2/ mmm mm m wvvktspanv )(t是相应小波的尺度函数。 可以把空间 )( 2 rl中的函数)(tf进行分解 26 ： )(,)( , , , tftf nkm nkm nkm 则存在任一整数 0 m，使得 27 ： )(,)(,)( , , , 0 00 tftftf nm nmm nmnm n nm 从上面的分析可以得出：若给定一组m和k，上述小波神经网络对函数的逼近 可以得到如下描述 27 ： k kk kmk tctf)()( , (2-2) 根据上式，可以构造相应的小波神经网络 27,25 ，如图 2 2- -4 4 所示。由正交变换 导出的小波神经网络实际上是在daubechies构造的正交紧支小波和多分辨分 析基础上 28 ,利用尺度函数，选取最合适的尺寸参数和平移参数，调节小波系数 来达到对函数的最佳“逼近” 。 k-1 m 2 k m 2 t f m 2 k+1 图图 2-4 由正交小波变换导出的小波神经网络 .3 小波框架构造小波框架构造小波神经网络小波神经网络 由于不考虑正交性， 小波函数的选取有很大自由度。 令基函数为框架 ,kj ， )2(2)( 2/ , kxx jj kj zkj, 第二章：小波神经网络基础 13 任何函数)( 2 rlf 都可以被写为 29 ： kj kj kj tsff , , , 1 )(, s称为框架算子。在小波变换的实际计算中，式 2-2 中多项式的有限项之和 就可以对函数)( 2 rlf 进行有效的逼近 29 。即： j k n kj n kj kjkjkj a bt wtwf , , )( 根据上式， 可以构造相应的小波神经网络 3027， ， 如图 2 2- -5 5 所示(其中r表示经 伸缩和平移后小波基的总个数)。 t f 图图 2-5 由小波框架导出的小波神经网络 由小波框架导出的小波神经网络实际上是在小波框架理论和小波时频局域 特基础上，利用小波函数，选取最合适的尺寸参数和平移参数，调节小波系数来 到对函数的最佳“覆盖” 。这种形式的网络虽然基函数选取灵活，但由于框架可 以是线性相关的，使网络函数的个数有可能存在冗余，对过于庞大的网络需考虑 优化结构的算法。 .4 小波基拟合构造小波基拟合构造小波神经网络小波神经网络 对于一信号函数)(tf可以通过所选取的小波基进行线性叠加来拟合 31 ： )()( 1 k k k k k a bt wtf 如果恰当地选择网络的权值和位移尺度参数， 那么该小波神经网络就可以逼 近函数)(tf。图 2 2- -6 6 显示了该小波神经网络的结构示意图。 2 r 1 第二章：小波神经网络基础 14 f f 图图 2 2- -5 5 由小波基拟合导出的小波神经网络 这种小波神经网络仅把时域信号在一组固定的伸缩因子a和平移因子b的 小波基上进行内积运算，也就是说每改变一次伸缩因子a，仅有一个平移因子b 对应，这与真正的小波变换存在一定差别。严格意义上说，该小波神经网络不是 以小波的数学分析为基础的，其实质是利用某种形式的小波组合来逼近函数。若 考虑使用)( 2 rl的小波神经网络学习有限区间 1 , 0上能量有限信号，则存在逼近 空间与信号空间不匹配的问题，文献32，33通过重新定义 1 , 0 2 l上的多尺度分 析，提出区间小波神经网络模型，并通过理论与模拟实例证明，区间小波神经网 络在对 1 , 0上能量有限信号的逼近性能优于上述的小波神经网络。 上面所讨论的 是一维的情况。多维情况可以在一维基础上利用直积定义多维母小波，利用张量 积构造多维正交多分辨率分析。文献34中介绍了多维小波框架理论。 11 / )(abtw )/ )( 22 abtw )/ )( kk abtw 第三章：小波神经网络的算法实现 15 第三章：小波神经网络的算法实现第三章：小波神经网络的算法实现 3.13.1 小波框架导出小波框架导出小波神经网络小波神经网络的学习算法的学习算法 对学习样本系列，分批地输入网络进行学习，设每批取p个样本。记第k批 第p个样本为), 2 , 1, 2 , 1)(,( )()( kppyx k p k p ，一般地，我们得到如下结构的 小波神经网络： n j jijii xwxfy)()( )()( xwxfy 式中， mn ryrax, t n xxx)(,),()( 1 mnmm n n www www www w 21 22221 11211 网络在最小均方差型目标函数 2 1 )()( 2 1 )( )()( 11 )( p p k p k p p p k pls xkwy p e p ke 根据小波逼近原理（第四章）知，存在最优权矩阵 w )(xwy 网络采用梯度法进行迭代训练，不难得到如下的权矩阵修正的规则： p p k p tk p xe p kwkw 1 )()( )( 1 )() 1( )( 1 )()( 1 )( )( 1 )()( 1 )(k p t p p k p k p t p p k p xy p xxkw p kw 第三章：小波神经网络的算法实现 16 3.3.2 2 基于基于 bpbp 算法的小波神经网络算法的小波神经网络 .1 基于基于 bpbp 算法的小波神经网络学习算法算法的小波神经网络学习算法 小波神经网络是一种以小波基函数为神经元激