（系统分析与集成专业论文）基于改进的粒子群优化算法的小波神经网络.pdf

摘要 在传统小波神经网络中，一般采用的网络训练方法是梯度下降法，这是一种 局部搜索算法，容易使网络陷入局部极值，所得的网络训练误差较大。基本粒子 群优化小波神经网络避免了梯度下降法中要求激活函数可微、对函数求导的过程 计算，但是迭代公式依然复杂，计算量依然比较大。 本论文将一种改进的粒子群优化算法运用于小波神经网络，以更小的种群数 和进化世代数优化了小波神经网络中的各个参数，并将该方法应用于曲线拟合仿 真实验。实验表明，该算法能减少迭代次数、提高收敛精度，是小波神经网络的 有效训练算法，获得了非常好的优化效果。本文一共包括六章。 第一章主要介绍目前国内外小波神经网络的发展和研究现状，并阐述本文所 做研究的背景、主要工作和创新。第二章主要介绍了小波神经网络的基本原理及 几种常见的训练算法。第三章介绍了基本粒子群优化算法以及本文用到的改进了 的粒子群优化算法。第四章主要阐述基于改进的粒子群优化算法的小波神经网络 的设计思想及训练算法。第五章中，笔者对所设计的改进的粒子群优化小波神经 网络进行曲线拟合实验，并将实验结果与基本粒子群优化小波神经网络的实验结 果进行对比分析。最后，在第六章的总结与展望中，对研究中存在的不足之处， 提出了可能的解决方案，并展望了进一步的研究方向。 关键词：小波神经网络；改进的粒子群优化算法；网络训练；曲线拟合 ab s t r a c t i nt h et r a d i t i o n a lw a v e l e tn e u r a ln e t w o r k ，g r a d i e n td e s c e n tm e t h o dw h i c hi sa l o c a ls e a r c ha l g o r i t h me a s i l yr e l a p s i n gi n t ol o c a le x t r e m u m ，i sc o m m o n l yu s e di n t r a i n i n gt h en e t w o r k ，t h u st h e r ei sa p p a r a n td e v i a t i o ni nt h et r a i n e dn e t w o r k t h e b a s i cp a r t i c l es w a r l no p t i m i z a t i o n ( p s o ) w a v e l e tn e u r a ln e t w o r kh a sa v o i d e dt h e r e q u i r e m e n t s ，s u c ha st h ea c t i v a t i o nf u n c t i o ns h o u l db ed i f f e r e n t i a la n dt h ec a l c u l a t i o n o ft h ep r o c e s so ft h ed e r i v a t i o nf u n c t i o nw a sn e e d e d ，b u tt h ei t e r a t i v ef o r m u l ai ss t i l l c o m p l i c a t e da n dt h ec a l c u l a t i o no f t h ev o l u m ei ss t i l lr e l a t i v e l yl a r g e i nt h i st h e s i s ，a nn e ww a v e l e tn e u r a ln e t w o r kc o m b i n e dw i t hi m p r o v e dp s o a l g o r i t h mw a sp r o p o s e d t h i sm e t h o do p t i m i z e dt h ep a r a m e t e r si nt h ew a v e l e tn e u r a l n e t w o r kw i t hs m a l l e rp o p u l a t i o ns i z ea n de v o l u t i o ng e n e r a t i o n s t h e nt h i sa l g o r i t h m w a sa p p l i e dt on e u r a ln e t w o r k st r a i n i n gi ns i m u l a t i n gc u r v ef i t n e s s t h ee x p e r i m e n t a l r e s u l ti n d i c a t e st h a tt h i sa l g o r i t h mc a nr e d u c et h et i m e so ft r a i n i n ga n di m p r o v et h e c o n v e r g e n c ep r e c i s i o n ，a n di sa ne f f e c t i v et r a i n i n ga l g o r i t h mt ow n n ，a sw e l la sc a n o b t a i nt h es p l e n d i f e r o u so p t i m i z a t i o nr e s u l t s i ti n c l u d e ss i xc h a p t e r si nt h i st h e s i s t h ef i r s tc h a p t e rm a i n l yi n t r o d u c e st h ed e v e l o p m e n to fw a v e l e tn e u r a ln e t w o r k ， w eg i v ea ne x p a t i a t i o na b o u tt h eb a c k g r o u n d ，t h em a i nw o r ka n dt h ei n n o v a t i o no f t h i st h e s i s t h es e c o n dc h a p t e ri n t r o d u c e st h eb a s i cp r i n c i p l e so fw a v e l e tn e u r a l n e t w o r ka n ds e v e r a lc o m m o nt r a i n i n ga l g o r i t h m s i nt h et h i r dc h a p t e r , w ei n t r o d u c e t h eb a s i cp s oa l g o r i t h m ，a sw e l la st h ei m p r o v e dp s oa l g o r i t h mu s e di nt h i st h e s i s i n t h ef o u r t hc h a p t e r , w em a i n l yd i s c u s st h ed e s i g nc o g i t a t i o na n dt r a i n i n ga l g o r i t h mo f t h ew a v e l e tn e u r a ln e t w o r kc o m b i n e dw i t hi m p r o v e dp s oa l g o r i t h m i nt h ef i f t h c h a p t e r , w ed e s i g nac u r v ef i t t i n ge x p e r i m e n to ft h ew a v e l e tn e u r a ln e t w o r kc o m b i n e d w i t hi m p r o v e ds p oa l g o r i t h ma n dc a r r yo u tc o m p a r a t i v ea n a l y s i so fe x p e r i m e n t a l r e s u l t sw i t ht h eb a s i cs p o f i n a l l y , t h es i x t hc h a p t e ri sa b o u tt h es u m m a r ya n dt h e f o r e c a s t k e yw o r d ：w a v e l e tn e u r a ln e t w o r k ；i m p r o v e dp a r t i c l es w a r mo p t i m i z a t i o n a l g o r i t h m ；n e t w o r kt r a i n i n g ；c u r v ef i t n e s s 湖北大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 论文作者签名：韶再 日期：p 7 年上月弦e l 学位论文使用授权说明 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本；学校有权保存并向 国家有关部门或机构送交论文的复印件和电子版，并提供目录检索与阅览服 务；学校可以允许采用影印、缩印、数字化或其它复制手段保存学位论文； 在不以赢利为目的的前提下，学校可以公开学位论文的部分或全部内容。( 保 密论文在解密后遵守此规定) 作者签名： 指导教师签名： 办再 斗试 日期：棚主 日期：2 吖岁。 l 绪论 1 绪论 1 1 人工神经网络的发展概况及基本原理 本节主要介绍人工神经网络的发展概况、理论基础，以及它与其它方法的融 1 1 1 人工神经网络的发展概况 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，砧蝌) 是一种模仿动物神经网络行为 特征，进行分布式并行信息处理的算法数学模型。这种网络依据系统的复杂程度， 通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神 经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入一 输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据 来推算输出结果，这种学习分析的过程被称为“训练 【1 1 。 1 发展历史 1 9 4 3 年，心理学家w s m c c u i l o c h 和数理逻辑学家w p i t t s 建立了神经网络和 数学模型，称为m p 模型。他们通过m p 模型提出了神经元的形式化数学描述和网 络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究 的时代。1 9 4 9 年，心理学家提出了突触联系强度可变的设想。6 0 年代，人工神经 网络的到了迸一步发展，更完善的神经网络模型被提出，其中包括感知器和自适 应线性元件等。m m i n s k y 等仔细分析了以感知器为代表的神经网络系统的功能及 局限后，于1 9 6 9 年出版了p e r c e p t r o n ) ) 一书，指出感知器不能解决高阶谓词问题。 他们的论点极大地影响了神经网络的研究，加之当时串行计算机和人工智能所取 得的成就，掩盖了发展新型计算机和人工智能新途径的必要性和迫切性，使人工 神经网络的研究处于低潮。在此期间，一些人工神经网络的研究者仍然致力于这 一研究，提出了适应谐振理论( 舢玎网) 、自组织映射、认知机网络，同时进行了 神经网络数学理论的研究。以上研究为神经网络的研究和发展奠定了基础。1 9 8 2 年，美国加州工学院物理学家j j h o p f i e l d 提出了h o p f i e l d 神经网格模型，引入了 湖北大学硕士学位论文 “计算能量”概念，给出了网络稳定性判断。1 9 8 4 年，他又提出了连续时间h o p f i e l d 神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联 想记忆和优化计算的新途径，有力地推动了神经网络的研究，1 9 8 5 年，又有学者 提出了波耳兹曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋 于全局稳定点。1 9 8 6 年进行认知微观结构地研究，提出了并行分布处理的理论。 人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1 9 9 0 年1 月5 日开始的十年定为“脑的十年，国际研究组织号召它的成员国将“脑的十 年 变为全球行为。在日本的“真实世界计算( r 、) 项目中，人工智能的研 究成了一个重要的组成部分。 2 0 世纪9 0 年代以来，人工神经网络已经成为形成的“计算智能学科 ( c o m p u t a t i o n a li n t e l l i g e n c e ) 的基础之一。“神经网络( n e u r a ln e t w o r k ) 、“模糊 计算”( f u z z yc o m p u t i n g ) 、“进化计算 ( e v o l u t i o n a r yc o m p u t a t i o n ) 、“混沌信息处 理”( c h a o si n f o r m a t i o np r o c e s s i n g ) 和“分形信息处理( f r a c t a li n f o r m a t i o n p r o c e s s i n g ) 以及它们之间的相互交叉和融合，构成了近代计算智能学科和近代智 能信息处理的基本框架。 2 发展现状 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法 对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家 系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网 络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来， 人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、 进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用 中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研 究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合 的神经计算机为人工神经网络的发展提供了良好条件。 现在，人工神经网络的应用已经涉及到各个领域，且取得了很大的进展【2 1 。 自动控制领域：主要有系统建模和辨识，参数整定，极点配置，内模控制， 优化设计，预测控制，最优控制，滤波与预测容错控制等。 处理组合优化问题：成功解决了旅行商问题，另外还有最大匹配问题，装箱 2 l 绪论 问题和作业调度问题。 模式识别：手写字符，汽车牌照，指纹和声音识别，还可用于目标的自动识 别，目标跟踪，机器人传感器图像识别及地震信号的鉴别。 图像处理：对图像进行边缘监测，图像分割，图像压缩和图像恢复。 机器人控制：对机器人轨道控制，操作机器人眼手系统，用于机械手的故障 诊断及排除，智能自适应移动机器人的导航，视觉系统。 医疗：在乳房癌细胞分析，移植次数优化，医院费用节流，医院质量改进等 方面均有应用。 1 1 2 人工神经网络的基本原理 1 人工神经网络的由来 人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻 辑规则进行推理的过程，它先将信息转化成概念，并用符号表示。然后，根据符 号运算按串行模式进行逻辑推理。这一过程可以写成串行的指令，让计算机执行。 然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或 解决问题的办法。这种思维方式的根本之点在于以下两点：( 1 ) 信息是通过神经元 上的兴奋模式分布储在网络上；( 2 ) 信息处理是通过神经元之间同时相互作用的动 态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统， 其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单， 功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的【3 】。 2 人工神经网络的工作原理 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工 神经网络对手写“么 、“曰两个字母的识别为例进行说明，规定当“彳输入网 络时，应该输出“l ，而当输入为“曰 时，输出为“o 。所以网络学习的准则 应该是：如果网络作出错误的判决，则通过网络的学习，应使得网络减少下次犯 同样错误的可能性。首先，给网络的各连接权值赋予( 0 ，1 ) 区间内的随机值，将 “彳 所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再 进行非线性运算，得到网络的输出。在此情况下，网络输出为“l 和“0 ”的概 3 湖北人学硕士学位论文 率各为5 0 n 0 ，也就是说是完全随机的。这时如果输出为“1 ”( 结果正确) ，则使连 接权值增大，以便使网络再次遇到“彳 模式输入时，仍然能作出正确的判断。如 果输出为“o ( 即结果错误) ，则把网络连接权值朝着减小综合输入加权值的方向 调整，其目的在于使网络下次再遇到“么 模式输入时，减小犯同样错误的可能性。 如此操作调整，当给网络轮番输入若干个手写字母“彳”、留”后，经过网络按以 上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这 两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连 接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和 识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就 越多f 引。 3 人工神经网络的基本模型 人工神经网络是人脑的某种抽象、简化或模拟。它由大量神经元广泛互联而 成。网络的信息处理由神经元之间的相互作用来实现并以大规模并行分布方式进 行，信息的存储体现在网络中神经元互联分布形式上，网络的学习和识别取决于 神经元间联接权系数的动态演化过程”】。 神经网络的互联结构的基本特点可归纳为： ( 1 ) 神经网络由大量的神经元互相联接而成。 ( 2 ) 大量神经元按不同方式联接，构成不同类型的神经元网络。 ( 3 ) 各神经元间联接强度由神经网络内部权值决定。当一个神经网络的结构 确定后，将根据学习规则调整神经元间联接强度，从而获得有关问题领域的知识， 即学习自适应和自组织。 ( 4 ) 各神经元的操作可以是同步的，也可以是非同步的。 1 1 3 人工神经网络与其它智能方法的融合 神经网络在很多领域已经得到了很好的应用，但其需要研究的方面还很多。 其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经 网络与其它技术的结合，以及由此而来的混合方法和混合系统，已经成为一大研 究热点。由于其它方法也有它们各自的优点，所以将神经网络与其它方法相结合， 4 l 绪论 取长补短，继而可以获得更好的应用效果。 1 神经网络与粒子群优化算法的融合 在人工神经网络的研究中，到目前为止应用最多的是多层前馈网络。它提出 较早，结构简单，而且理论上已经证明了三层前馈神经网络可以任意精度逼近任 意一连续函数。但进一步的研究很快发现该算法存在的缺陷。由于该算采用误差 导数指导学习过程，从本质上来说由于局部寻优算法，在存在较多局部极小的情 况下很容易陷入局部极小点，且不可避免地存在着学习精度与学习速度之间的矛 盾当学习速度较快的时候，学习过程容易产生振荡，难以得到精确的结果； 而当学习速度较慢时，结果可以得到较高的精度，但学习周期太长，也不实用。 粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n ，p s o ) 是基于群体的演化算法。 它的基本概念源于对人工生命和鸟群捕食行为的研究，是一种通过个体之间的互 动协作来搜寻全局最优解的优化算法。其最主要特点是概念简单、收敛速度快，并 具有较好的全局与局部收敛能力。p s o 已成为国际演化计算界研究的热点o p s o 算法在神经网络中的应用主要反映在网络学习、网络的结构设计、网络 的分析三个方面。 2 神经网络与小波分析的融合 1 9 8 1 年，法国地质学家m o r l e t 在寻求地质数据时，通过对f o u r i e r 变换与加窗 f o u r i e r 变换的异同、特点以及函数构造进行创造性的研究，首次提出了“小波分 析 的概念，建立了以他的名字命名的m o r l e t 小波。1 9 8 6 年已来由于m e y e r 、m a l l a t 及d a u b e c h i e s 等的奠基工作，小波分析迅速发展成为一门新兴学科。 小波神经网络( w a v e l e tn e u r a ln e t w o r k ，w n n ) 将小波的变换良好的时频局域 化特性和神经网络的自学习功能相结合，因而具有较强的逼近能力和容错能力。 在结合方法上，可以将小波函数作为基函数构造神经网络形成小波网络，或者小 波变换作为前馈神经网络的输入前置处理工具，即以小波变换的多分辨频率特性 对过程状态信号进行处理，实现信噪分离，并提取出对加工误差影响最大的状态 特征，作为神经网络的输入。 小波神经网络在电机故障诊断等许多方面都有应用，从提取精度和小波变换 实时性的要求出发，根据实际情况构造一些适应应用需求的特殊小波基，可以在 应用中取得更好的效果。 5 湖北人学硕士学位论文 1 2 本文的研究背景和主要工作 小波神经网络是基于小波分析理论所构造的一种新的神经网络模型，它充分 利用小波变换良好的局部化性质，并结合神经网络的自学习功能，因而具有较强 的逼近能力。其特点是：小波基元及整个网络的确定有可靠的理论依据，可避 免b p 网在结构设计上的盲目性；学习目标函数关于权值是凸的，因此全局极小 解是唯一的； 有较强的函数学习能力和逼近能力。但小波神经网络的构造比较 复杂，运算量大，各种应用中取得瞩目成功的同时，一直不能克服收敛速度慢，网 络精度得不到进一步提高的缺点，这严重影响了小波神经网络进一步的发展。因 此，其训练算法至关重要。在通常的梯度下降法( b p 算法) 中，它的收敛速度慢且 有可能陷入局部极值，并且直接将此方法应用于高维小波网络的学习时容易产生 “维数灾”使学习结果不太令人满意。 粒子群优化算法作为一种并行优化算法，可以用于解决大量非线性、不可微 和多峰值的复杂问题优化，并已广泛用于科学和工程领域，如函数优化、神经网 络训练、模式分类和模糊系统控制等领域。 基于p s o 算法的小波神经网络在信号模拟、故障检测等方面得到的成功应用， 体现了p s o 算法与小波网络传统的训练算法( b p 算法) 的优势。 但是，这种基本的粒子群优化( b a s i cp a r t i c l es w a r mo p t i m i z a t i o n ，简称b p s o ) 算法根据全体粒子和自身粒子的搜索经验向着最优解的方向发展，在进化后期收 敛速度变慢，同时，算法收敛精度不高，尤其是对于高维多极值的复杂优化问题。 本文将利用改进的粒子群优化算法，即采用简化粒子群优化方程和添加极值 扰动算子两种策略加以改进的带极值扰动的简化粒子群优化( e x t r e m u md i s t u r b e d a n ds i m p l ep a r t i c l es w a r mo p t i m i z a t i o n ，简称e d s p s o ) 算法进行小波神经网络训练， 提高了粒子的收敛速度和精度，避免了局部极值。 1 3 本文的基本框架 6 l 绪论 、，、r i 4 基于改进的粒子群优化算法的小波神经网络 l 、， 5 曲线拟合模拟 实验及数据分 析 图1 1 本文的基本框架 第一章主要介绍人工神经网络的发展概况和研究现状及其基本原理，并阐述 本文所做研究的背景及主要工作。第二章主要介绍了小波神经网络的基本理论、 设计方法及网络训练算法。第三章介绍了基本的粒子群优化算法及本文要用到的 改进的粒子群优化算法。第四章主要阐述本文设计的基于改进的粒子群优化算法 的小波神经网络。第五章中，笔者设计了一个曲线拟合模式实验并对实验数据进 行分析，证明了本文所设计的基于改进的粒子群优化算法的可行性和优越性。最 后，在第六章的总结与展望中，对前面各章的论点进行了一个总结，对存在的不 足之处，做出了分析，并展望了进一步的研究方向。 湖北人学硕士学位论文 2 小波神经网络 小波变换具有时频局部特性和变焦特性，而神经网络具有自学习，自适应、 鲁棒性、容错性和推广能力。如何把两者的优势结合起来，一直是人们关注的问 题。一种方法是用小波分析对信号进行预处理；另一种即所谓的小波神经网络。 小波神经网络是基于小波变换而构成的神经网络模型，即用非线性小波取代通常 的神经元非线性激励函数，把小波变换与神经网络有机地结合起来，充分继承了 两者的优点。理论分析和实验均表明：小波神经网络具有逼近能力强、收敛速度 快、网络参数( 隐层节点数和权重) 的选取有理论依据、有效避免局部最小值等 优点l 。1 。 2 1 小波分析 2 1 1 小波的基本概念 对v y l 2 ( r ) ，如果y ( ，) 的f o u r i e r 变换y ( 彩) 满足可容许条件 勺= e 则称v ( t ) 是一个基本小波或者小波母函数，而称 ( 2 - i ) ( f ) = f 口卢i 缈( i t - b ) a o , b 诺r ( 2 哪 为由小波母函数少生成的依赖于参数a 和b 的连续小波，其中a 是尺度参数，b 是 平移参数i s l 。 对v 杪r ( 尺) ，称 町( 口6 ) = 1 ) 或收缩( 口 0 ， 小波函数w ( t ) 右移；b 1 ，6 0 0 ( 2 1 1 ) i b = 刀 m ，n z 定义离散小波 ，( t ) = l - o l j y ( 酊”卜哦) a o l ，6 0 o ( 2 一1 2 ) 相应离散小波变换 气一( s ) = d w o 一( ) = e 几) 丽 ( 2 1 3 ) 写成内积形式，即 ，。( f ) = d w ，。( f ) = ( 2 1 4 ) 由上述可知，离散小波变换是一种时频分析，它的单元集中在小区间内，并 采用从集中某个在区间上的母小波开始，以规定步长向左或向右移动母小波，并 湖北火学硕士学位论文 用尺度参数口0 来加以扩张或压缩以构成其函数系，系列小波由此而产生。掰，万 分别成为频率范围指数和时间步长变化指数。当f 给定后，。正比于露，高频 时，l 0 ，。则高度集中，反之亦然。步长的变化与刀成正比。 如果吵为允许小波，并且有足够的衰减性，则当算子d 。：r ( r ) _ e ( z 2 ) 是 一有界可逆算子时，即对一些0 a b o o 有 a i i s l l 2 l 1 2 - 召l l s l l 2斥r ( 尺) ( 2 1 5 ) 则函数族 。：朋，刀z ) 称为r ( 尺) 的一个框架，这时可以建立从小波系数 重建函数厂( f ) 的数学方法。若彳镏，则 ，。：m ，刀z ) 是一个紧框架： 若彳= b = 1 ，则 ，。：肌，刀z ) 是函数空间的正交集。 对于多维情形，有如下形式： 取一个在m o r l e t g r o s s m a n n 意义上的投影波：r r ，其中f o u r i e r 变换满足 以下条件 ：f 堕 r ，同样引入勺= 吃，那么有以下连续小波分析公式成立 厂( x ) = _ 1 ，矿( d ，f ) ( d e t d ) ；吵 d ( x f ) 础 ( 2 1 7 ) 。yr 心 w ( a ，t ) - 厂( x ) ( d e t d ) ； d ( x f ) 出 ( 2 1 8 ) 2 1 2 二进小波变换 一个函数y r ( r ) ，如果存在两个正数a 和b ，满足条件o 彳召 佃，使 1 2 2 小波神经网络 彳卦( 2 ) 卜( 2 - 1 9 ) 几乎处处成立，称沙( ，) 是一个二进小波9 1 。 对于a = 2 ，b = l 时的二进离散小波的形式为 j j ( t ) = 2 - i ! ( 2 - j t - k ) _ ，七z ( 2 2 0 ) 对于信号厂e ( r ) ，记 彬七( 6 ) = 吩( 6 ) = 2 _ e ( ，砂( 等d t ( 2 - 2 1 ) 其中，缈：。( f ) = 歹1 沙( 专) 。称函数列 咿( 6 ) ；七z 为信号厂p ( 灵) 的二进小波 变化。 由卷积定理可知 秽( 缈) ：夕( 国) 痧( 2 t 彩) ( 2 2 2 ) ，( 缈) = 厂( 国) 妙( 2 彩) ( 2 一 这样，二进小波的条件就可以等价地表示为：对夥r ( r ) ，总有关系式 彳1 1 1 1 1 ：虱咧1 1 ：1 1 ：( 2 - 2 3 ) 由积分变换可知 吼吼缈 协2 4 ， 对一切z 都成立。将式( 2 _ 2 4 ) 两边同乘吉，并在区间( 1 ，2 ) 上对缈进行积 分得 从2 f 吼国矧n 2 ( 2 - 2 5 ) 相仿地还有 胁2 r 吼缈矧n 2 ( 2 - 2 6 ) 总之，这时沙( f ) 满足小波母函数的要求，即二进小波必为基本小波。 对于函数r r ( 尺) ，如果它满足 湖北火学硕士学位论文 艺多( 2 七国) p 缈) ：1 k - - - o ( 2 - 2 7 ) 则称f ( f ) 为对应于二进小波沙( ，) 的重构小波，这样的重构小波必然存在，若 取；( 缈) 为 文小赫 协2 8 ) 则f ( ，) 即为一个重构小波，而且，这样的重构小波未必是唯一的。 对可r ( r ) 以及满足式( 2 2 8 ) 的任何重构小洱a r ( t ) ，在以f ) 的连续点f o ， 艺e 哕( 6 ) 2 ，r ( 2 ，( t o b ) ) d b = 差去e 确舻国) 妒缈) 黝国 = 芴1 e ( 彩) p 砌= ( t o ) ( 2 哪) 二进小波变换是连续小波变换关于尺度参数a 的一种离散形式。反演公式说 2 i 3h i l b e r t 空间的基 “空间”是数学中经常遇到的一个基本概念，本质上可以看成是实际的物理 空间或欧几里德三维空问的推广和抽象化。数学中讨论的空间就是用公理确定了 元素与元素之间关系的集合。我们把定义了元素间距离的集合称做距离空间或度 量空间：把定义了元素之间代数运算( 向量加法及数与向量乘法) 的集合称做线 性空间；把定义了元素范数( 向量长度的推广) 的线性空间称做赋范线性空间： 把定义了元素与元素之内积的线性空间称做内积空间。度量空间、赋范空间和内 积空间是三种基本的抽象空间，如果引入极限概念，则这些空间就是完备的，完 备的内积空间称做h i l b e r t ( 希尔伯特) 空间，记为胃。r ( 尺) 表示所有平方可积函 1 4 2 小波神经网络 数的h i l b c r t 空间 i o i 。 定义2 1 对于空间h 如果存在可数子集d 日，使得中的每个元素是d 中元素序列的极限，日称为可分的。希尔伯特空间是完备可分内积空间。 在许多实际应用中，大多讨论的是h i l b e r t 空间r ( 尺) ，该空间所有的可测函 数均为能量有限函数，其有限能量的标准表达是内积方式。 定义2 2 如果s 是h i l b e r t 空间中的一个正交集，并且没有其它的正交集可 以包含s 使其为真子集，也就是说s 是最大的，则s 称为日的一个正交基( 或完 备正交系统) 。 定理2 1 每个h i l b e r t 空间都有正交基。假定s - - h 矗 是h i l b e r t 空间的一个正 交基，则v f h ，有 厂= 吃 并且 l v i l 2 = i 1 2 ( 2 - 3 0 ) ( 2 - 3 1 ) 定理表明，就像在有限维空i 司一样，h il b e r t 空i 司的每个元素司。以表不为( 可 能无限的) 基元素的线性组合。序列的系数可以通过基元素与函数厂的内积得到。 系数 通常称为厂对应于正交基s = 吃) 的傅里叶系数。所以，对于正 交基得到的傅里叶系数 可以完全、稳定地表示函数 正交基不是唯一具有上述性质的序列，如果放宽正交性和归一化的要求，满 足一些弱线性独立，可以考虑r i e s z 基的序列。 定理2 2 如果存在两个正常数彳和b 且0 asb 0 0 ，对于任意正整数珊 和任意尺度 口l ，) ，有h i l b e r t 空间的一个序列满足 彳善mi 1 2 0 喜吃1 1 2 b 喜i 1 2 ( 2 - 3 2 ) 则称向量序列 吃) ch 为r i e s z 基。 上述定义等价于： ( 1 ) 向量 吃 线性独立； 1 5 湖北大学硕士学位论文 ( 2 ) 存在两个正常数a 和b ，且o a b o o ，对于任意函数f e h 有 a m 2 l 厂，k 1 2 - w l l f l l 2 ( 2 - 3 3 ) 给定一个r i e s z 基 吃 c 日，存在唯一的另一个正交序列 岛 ( _ 瓦。) ，对于任意函数厂日有 厂= 邑= = 吃 ( 2 3 4 ) 矗一詹 因此，作为r i e s z 基， 可以完全稳定地表示任意函数f e 日d o 。 2 1 4 正交小波及多尺度分析 1 正交小波d 0 1 第一个正交小波基是h a a r 在1 9 1 0 年构造的，它就是总所周知的h a a r 正交函 数系。1 9 8 6 年，m e y e r 和s t r o m b e r g 等人从尺度函数出发构造正交小波基。而具有 突破性的工作是由m a l l a t 于1 9 8 8 年完成的，他将以前所有的正交小波基的构造统 一起来，提出了多尺度分析的概念，并构造了相应的框架，同时给出了在这一框 架下的小波快速算法m a l l a t 算法，有力地推动了小波理论的应用和发展。 定义2 3 若( ，) r ( r ) 满足如下两个条件，称9 ( t ) 为正交小波： e 睁，卜i - l 户彩 佃 ( 2 ) 函数族 。；，k e z 构成r ( r ) 的标准正交基。 ( 2 - 3 5 ) ( 2 - 3 6 ) 由于函数族 ，。；工kez ) 构成r ( 尺) 的标准正交基，所以，对夥r ( 尺) 存在 唯一的形式 厂( f ) = q 。l i , k ( ，) ( 2 3 7 ) ，k e z 式中q i = ，_ ，k z 称为厂的小波系数。 式( 2 3 6 ) 称为r ( 尺) 的正交小波基；式( 2 3 7 ) 称为厂的正交小波级数分解。 1 6 2 小波神经网络 小波级数式( 2 - 3 7 ) 实际是小波反演公式和连续小波变换的离散形式，离散 的方式是尺度参数a 取2 的整数幂2 ，位移参数b 取2 - j 的整数倍数k 2 一j 。 2 多尺度分析( 多分辨率分析，m u l t i r e s o l u t i o na n a l y s i s ，m r a ) 定义2 4( 多尺度分析) 称满足下列条件的f ( 又) 中的一列闭子空间 圪；所z 及一个函数沙( f ) 为一个正交多尺度分析。其中，r ( 尺) 表示所有平方可 积函数的h il b e r t 空i 司，尺和z 分别表不实数集和整数集，这些子空间刻i 匿i 了函数 在不同尺度或不同分辨率下的特点。 ( 1 ) 一致单调性：圪c 圪一lc 圪一2c c 巧cr o ，v m z ( 2 3 8 ) 即相应于某个分辨率的空间包含了关于该空间低于此分辨率的所有信息。或 者等价地说，相应于某个尺度空间包含了该空间大于该尺度的全部信息。 ( 2 ) 渐近完全性：且= o ，旦圪= r ( r ) ( 2 3 9 ) 所e 朋e z ( 3 ) 说明旦圪在r ( 尺) 是稠密的，也就是说由所有子空间可以组成r ( r ) 函 数空间。而n 圪= 0 ) ，即随着分辨率的提高，函数的近似表达式将收敛于原函数， 蚬圪= l 2 ( r ) ：随着分辨率的降低被近似表示的函数所包含的信息越来越少， l i m 圪= 0 。 j + ( 4 ) 伸缩规则性：厂( ，) 匕够f ( 2 t ) 圪一 v m z ( 2 4 0 ) 即所有的子空间序列是由一个基本空间尺度化所生成的不同形式的空间。 ( 5 ) r i e s z 基的存在性：存在缈r o ，且 缈( ，一力) 刀z 是标准正交基。 于是 缈( ，) = e 矽( ，一刀) 称为双尺度函数。 其中，g = 压 = 压压l d t r p ( t ) r p ( 2 t - n ) = 2j 西伊( ，) 缈( 2 f 一刀) ( 2 4 1 ) 令y ( f ) = ( 一1 ) ”葡( 2 卜刀) ( 2 4 2 ) 是一个小波母函数。 1 7 湖北大学硕士学位论文 空间序列 圪 埘e z 称为r ( r ) 的一个多尺度分析或逼近。由以上通过正交化可 以得到多尺度分析的多尺度函数矽( ，) ，继而得到正交小波基妙( ，) 。 通常我们在某一特定的分辨率下来认识信号，因此仅需了解信号在r ( r ) 中的 某一闭子空间圪( 其中充分小) 中的正交投影 ，而信号中频率更高、变化更快的 分量并不影响研究的结果。此后再将正逐次投影到g 卅+ ，g 。彬以及吸+ ，彩， 其中呢为圪在一中的正交补，得到厶+ ，厶彬以及g 辫g 。彬，。随着小的 增大，厶+ 。越来越表现出厂大的趋势，粗的轮廓、精确的细节也逐渐被平滑，而不 明显起来，函数+ 。显示出信号在各个不同的尺度下的细致结构，因此小波可以聚 焦信号的任意尺度( 当然不可能聚焦到比采样率更高的尺度上) ，可以观测到信号 的任意细节，这就是人们常把小波比喻成显微镜的原因。 2 2 小波神经网络的理论基础 2 2 1 小波神经网络的结构形式 小波神经网络是小波分析理论与神经网络相结合的产物，它将常规神经网络 中的隐层节点激励函数用小波函数来代替，相应的输入层到隐层的权值及隐层阈 值分别由小波函数的尺度和平移参数所代替。其结构如图2 - 1 所示。 图2 - 1 小波神经网络结构 1 8 2 小波神经网络 对于小波神经网络，根据网络激活函数和学习参数的不同选取，小波神经网 络又可分为以下三种形式的网络【1 。 1 连续参数的小波神经网络。若上图中的激活函数为 啪，= 再“引训伊巧，l j h 3 2 ， 网络输出为 f a x ) = o ) ) i g j ( x ) 1 a i q ( 2 - 3 3 ) 其中，4 = ( 口矗，口：) ，e = 岛p ，口；】r ，参数口驴，在网络学习中与输出 权值一起通过某种算法进行修正。该小波网络类似于r b f 网络，但可借助于小 波分析理论，指导网络的初始化和参数选取，使网络具有较简单的拓扑结构和较 快的收敛速度。 2 由框架作为激活函数的小波神经网络。如果9 z ( t ) 是一基本小波，又满足 框架条件，则用框架 就能完全刻画函数( f ) ，当框架界的常数a = b 时，是紧 框架，这时f ( t ) 可表示成如下的展开式 f ( t ) = 三军 厂m ( 2 - 3 4 ) 如果a 接近b ，展开式为 f ( t ) = 南军 l ，k e z 当尺度三足够大时，忽略上式右端第二项表示的小波细节分量，网络输出 厂( x ) = 勺，。纺。( x ) 可以以任意精度逼近函数，如果尺度函数伊( 工) 的二进伸缩 j - t , i e z j 纺，i = 2 2 伊( 2 ，x - k ) 肌。z 构成子空间v j 的一组正交基，我们把这种网络又称为正交 尺度小波网络。该种形式的小波网络的可行性基于d a u b e c h i e s 对紧支撑正交小波 存在性及其构造的研究及m a l l a t 的多分辨分析理论。 以上都是以张量积形式生成多维空间的小波函数，由小波分析理论可知，上 述三种小波神经网络均具有一致逼近和r 逼近能力。 连续参数小波神经网络，由于其尺度和平移参数均可调，使其与输出为非线 性关系，通常需要利用非线性优化方法进行参数修正，使网络具有较简单的拓扑 结构和较快的收敛速度。易带来类似b p 网络参数修正时存在的局部极小等弱点。 由框架作为基函数的小波网络，由于不考虑正交性，使小波函数的选取有很 大的自由度，根据函数的时频特性确定工詹的取值范围后，网络的可调参数只有 权值，且与输出呈线性关系，可通过最d x - - 乘法或其他优化方法修正权值，是网 络的输出能够充分逼近函数。该网络虽然基函数的选取较为灵活，但由于框架可 以是线性相关的，使得网络节点( 基函数个数) 有可能存在冗余，对于庞大的网 络须考虑优化结构的算法。 基于多分辨分析的正交小波网络尽管理论上研究较为方便，但正交基函数构 造复杂，不如一般的基于框架的小波网络实用。 2 2 2 小波神经网络的结构确定 目前讨论的小波神经网络基本上都是单隐层的结构形式，因此，小波神经网 络的结构确定也就是确定其隐层的节点数，即小波基函数的个数。 2 小波神经网络 文献 1 2 中讨论了小波神经网络的时频域逼近原理，提出网络结构设计的“分 解一综合”方法。首先对输入样本做频谱估计，确定其时、频域支撑；再