（控制理论与控制工程专业论文）小波神经网络在非线性系统辨识中的应用.pdf

华北电力大学硕士学位论文摘要 摘要 传统的辨识方法如脉冲响应法、最小二乘法等在线性系统中的应用已经相当成 熟，但是对于具有明显的非线性特性的对象，用线性模型是无法描述对象的特征的。 用b p 网络进行辨识容易陷入局部极小点问题，径向基函数网络因为网络权值与输 出呈线性关系，所以可采用保证全局收敛的线性化学习方法，并可获得全局最优解， 但其应用难点是中心点的选择不易。所以本文针对网络模型和结构的选择问题，研 究了小波神经网络在非线性系统辨识中的应用，提出了小波神经网络辨识的种算 法，并使用本文提出的算法训练网络，然后对非线性系统进行了辨识。试验结果表 明训练后的小波网络能够达到很好的辨识效果，而且网络规模小，可以作为实际系 统的合理化模型。 关键词：系统辨识，小波变换，径向基函数网络，小波神经网络 a b s t r a c t a l t h o u g ht h eu s eo ft r a d i t i o n a l i d e n t i f i c a t i o nm e t h o d sa si m p u l s er e s p o n s ea n d l e a s t s q u a r ep r o c e d u r ea r es o p h i s t i c a t e d ，p o i n tt ot h eo b j e c tw i t ho b v i o u sn o n l i n e a r c h a r a c t e r i s t i c ，i ti sd i f f i c u l tt od e s c r i b et h ec h a r a c t e r i s t i co fo b j e c t t h ei d e n t if i c a t i o no f o b j e c ti se a s yt ot r a pi nl o c a lm i n i m u m ，r a d i c a lb a s i cf u n c t i o nn e t w o r k ，b e c a u s et h e r e l a t i o nb e t w e e nn e t w o r ka n do u t p u ti sl i n e a r ，s ow ec a na d o p tt h em e t h o dw h i c ha s s u r e g l o b a lc o n v e r g e n c ea n dg e tt h eg l o b a l l yo p t i m a ls o l u t i o n ，b u ti ti sd i f f i c u l tt oc h o o s et h e c e n t e rp o i n t s op o i n tt ot h ee l e c t i o no ft h em o d ea n ds t r u c t u r e ，t h ea r t i c l ep r e s e n t sa a l g o r i t h mo fw a v e l e tn e t w o r k ，u s i n gt h ea l g o r i t h mt ot r a i nt h en e t w o r k ，a f t e rt h e nu s e dt o t h ep r a c t i c a ln o n l i n e a rs y s t e m e x p e r i m e n t a lr e s u l t ss h o wt h a tw a v e l e tn e t w o r ka f t e r t r a i n i n gi sa b l et oo b t a i nb e t t e rr e s u l t ，a n dt h en e t w o r ks c o p ei ss m a l l ，i tc a nb et h e r a t i o n a l i z a t i o nm o d eo ft h ep r a c t i c a ls y s t e m x i e h u a ( c o n t r o lt h e o r ya n dc o n t r o le n g i n e e r i n g ) d i r e c t e db yv i c ep r o f id o n gz e k e yw o r d s ：s y s t e mi d e n t i f i c a t i o n ，w a v e l e tt r a n s f o r m ，r b fn e u r a ln e t w o r k ，w a v e l e t n e t w o r k 华北电力大学硕士学位论文 1 1 选题背景和意义 第一章绪论 系统辩议方法因模型集的性质、数掘提供的信息和预期日的而异。经典辨识方 法假定参数化的模型能完全描述真实对缘，冈此模型估计等价于参数估计，而参数 估计的偏羞来源于干扰噪声。如何消除干扰噪声寻求收敛于假定的真实值的参数一 致估计方法，是经典辨识方法的中心问题。传统的系统辨识方法包括脉冲响应法、 最d , - 乘法等。最小二乘法( 【，s ) 是一种经典的数据处理数据方法，它算法简单， 不需要提供观测数据的统计特性，因而应用广泛。但最小二乘法估计是非一致的有 偏差的，为了克服这些不足，形成了一些以最小一乘法为基础的辨识方法：广义塌 小：乘方( g 1 s ) 、辅助变量法( 1 v ) 和增广知阵法( 跏) 等。极灭似然法对特殊 的噪声模型有很好的性能，具有好的理论保征但计算耗时较大。 这些传统的辨识方法在线性时不变( l t l ) 系统中的应用已经相当成熟，但是列 于具有明显的非线性特性的对象，用线性模掣是无法描述对象的特征，即逼近精度 高，有时模型还可以直接与物理或化学规律联系起来，其缺、i 是增加了模型的复杂 程度，即增加了辨识难度。特别是当模型的被估计参数为非线性时，便不能直接使 用典型的线性参数估计算法。非线性m 题的研究是极具挑战性的课题，如何找到适 当的模型去描述它们和如何从观测到的输入输出数据去辨识它们的模型，是当前非 线性科学的热、 课题。v o l t e ，r a 级数、n a e m a x 模型、基函数展丌模型、神经网络模 型等困其能逼近任意连续函数而被用于描述非线性系统。神经网络这几年飞速发 展，并且已被有效的应用于非线性系统的辨 _ 和控制中。神经网终是种非线州模 型，其应用依赖于有效的参数估计算法，日求快速有效的参数仙计算法足神经嘲络 研究的中心问题。以小波函数为基两数的小波网络是近年来提出的一种局部箍函数 网络，山于基函数只有可调的分辨尺度参数，使网络具有较强的非线性学习能力， 并能克服b p 神经网络局部极小和径向基函数网络选择中心点不易的难题，是非线性 系统的一种理想辨识i i ? 具。 1 2 本课题国内外研究状况 小波分析( w a v e e ta n a l y s is ) 是8 0 年代中期发展起来的一门新兴的数学理 论和方法，其理论的重要性及其应用的广泛性引起了科学界的高度重视，它被认为 是数学领域和数学分析这一学科半个世纪的工作结晶：在逼近论、微分方程、分形 识别、计算机视觉、故障检测、非线性科学等方面都被看作是近年来工具和方法的 重大突破。 华北电力大学硕士学位论文 小波分析的思想可以追溯到本世纪3 0 年代，但真正的形成则是在】9 8 4 年由法国 科学家g r o s s m a n 和m o r l e t 在进行地震信号分析时提出来的，髓后进展迅速，1 9 8 5 年m e y e r 在一维情形下证明了小波函数的存在性，并在理论上做了更深入的研究； 此后，m a l l a t 在b u r t 和a d e l s o n 图像分解和熏构的金字塔算法启发下，基于多分 辨分析的思想，提出了对小波应用起重要作用的m a l f a t 算法，它在小波分析中的 地位相当于f f t 在经典f o u r i e r 分析中的地位。1 9 8 7 年，在法国马赛召开了第一届 小波分析国际会议：1 9 9 0 年日本京都的国际数学大会展示了小波理论的深入和发展 及其不断扩大的应用领域：我国在小波分析领域的研究起步要晚一些，1 9 9 2 年在武 汉大学召r 刀：了中法首届小波分析研讨会，使小波分析的研究在国内也逐渐掀起了热 潮。小波变换的思想很类似于f o u r i e r 交换，就是用信号在一簇基函数张成的空闽 上的投影来表征信号。经典的f o u r l i e r 变换是把信号按三角正、余弦基展开，将任 意函数表示为具有不同频率谐波函数的线性迭加，能较好地刻画信号的频率特性， 但它在时域上无任何分辨率，不能做局部分析，这在理论和应用上都带来了不便。 虽然加窗f o u r i e r 变换通过引入一个时间局部化的“窗函数”改进了f o u r i e r 变换 但由于其窗的大小和形状都是固定的，没有从根本上弥补f o u r ie r 变换的缺陷。而 小波变换优于f o u r i e r 变换之处就在于：它在时域和频域同时具有匙好的局部化性 能，有一个灵活可变的时间一频率窗，这在理论和实用中都有重要的意义。 小波神经网络( w a v e l e tn e u r a lf i e t w o r k ，w n n ) ，在有些文献中睦l 称小波网络 ( w a v e l e tn e t w o r kw n ) ，是小波分析理论与神经网络理论相结合的产物。它起源 于小波分解，是近年来小波分析研究获得突破的基础上提出的一种前馈型神经网 络，最早是由法国的著名信息科学研究机构i r i s a 、z h a n gq i n g h u a 锋在1 9 9 2 年提 出，y c p a t i 等对离散仿射小波神经网络进行了研究。近年来，国内外有关小波神经 网络的研究报告也层出不穷。小波变换发展过程如下： ( 1 ) 1 9 1 0 年h a a r 提出了小波规范f 交基，这是最早的小波基，当时没有出现“小波” 这个词。 ( 2 ) 1 9 3 6 年l i t t l e w o o d 署d p a l e y 对f o u r i e r 级数建立了二分频率分量分组理论，这是 多尺度分析思想的最早来源。 ( 3 ) 1 9 4 6 年g a b o r 提出了加窗f o u r i e f 变换，对弥$ b f o u r i e r 变换的不足起到了 定 的作用。 ( d ) 1 9 8 1 年法国地质物理学家m o r l e t 在分析地质数据时首先提出了小波分析这一概 念，之后，提出了多分辨分析的概念，给出了构造e 交小波基的一般方法。p a t i 和 k r i s h n a p r a z s a d 最早研究了神经网络与小波变换的联系，提出了离散仿射小波神经 网络。 ( 5 ) 1 9 9 2 年z h a n g q i n g h u a 和g e n v e n i s t e 明确的提出小波神经网络的概念和算法：其 思想是用小波元代替了神经元，即用己定位的小波硝数代替s i g m o i d 函数作为激活 2 华北电力大学硕士学位论文 函数，通过仿射变换建立起小波变换与网络系数之间的连接，并应用与函数逼近。 ( 6 ) b a s k s m 和s t e p h a n o p 0 1 0 u s ，采用正交小波函数作为神经元的激励函数，提出 了正交多分辨小波神经网络。 ( 7 ) 石卓尔等在前人的基础上提出了多变量函数估计小波神经网络。 ( 8 ) 沈雪勤等针对神经元个数太多、网络学习收敛速度较慢的问题，在时频分析的 基础上引入了能量密度的概念，提出了一种新型的小波网络模型。 ( 9 ) 焦李成和李衍达等人研究了小波网络与模糊逻辑的联系，用隶属函数表示权重 值，构造模糊权值、模糊输出的模糊小波神经网络模型。 1 3 本课题研究的内容和重点 本文先介绍了径向基神经网络定义及分类，推导出径向基神经网络的辨识模型 和辨识算法，并通过一个具体的复杂非线性系统进行了验证，i _ j 于小波网络和径向 基函数网络都属于局部逼近网络，所以本文详细介绍了小波分析的理论，在径向基 函数网络的基础上引出了小波神经网络，通过对小波神经网络结构的研究推导出了 一种小波网络辨识算法，并对其算法进行了仿真研究。r b f 神经元网络即r n d i a l b a s i sf u n c t i o i qn e u r a ln e t w o r k ( 径向基函数神经网络) ，它是人脑神经网络结 构系统的一种抽象和简化，具有很强的生物学背景。在人脑皮层中，具有局部调节 和交叠的感受域( r e c e p t i v ef i e l d ) 。根据人脑的这特点，m o o d y 和d a r k e n 提出 了径向基神经网络，又称为局部感受域神经网络。径向基神经网络是一种前向神经 网络，包括一个隐层径向基神经网络的数学模型为： y = w ，g ( 1 lx c ，峙吒) 或者输出层具有闽值 y = w g ( 1 l x c 。，吼+ 6 ) 其中：x r ”为神经网络的输入；g 为径向基函数；0 为径向基函数的中，已 ( 1 2 ) 仃一为径向基函数的感受域，盯r 越大，感受域越大：w 为r b f 输出层权重； b 为输出层闽值； 。为输入x 与f 。之间的距离。 r b f 网络的分类可以从网络参数的不同确定方法入手，r b f 网络的参数确定过 程如下。一般r b f 网络可以表示成 n = w 伊( 瞄- - c i 7 1 i x - c 1 】) 、 华北电力大学硕士学位论文 。 是控制r b f 网络感受域大小的矩阵，由此可知。对于r b f 网络来说有3 类参 数需要确定：( 1 ) r b f 网络输出层权值，i 2 1 , 2 ，n ；( 2 ) 网络基函数中心d ， i = 1 , 2 ，n ：( 3 ) 控制矩阵厶。如果用参数o 来代替三种参数，针对训练样本 d m2 x r ，f ，f _ 1 , 2 ，则r b f 网络的学习过程就是寻找 使下列式子最小。 占( 巩，o ) = 峨n s2 m ，厶( ，o ) ( 卜4 ) 其中， 一【，厶( x ，。) 】者萋i z 一 - ( ，e ) 1 2 ( 1 5 ) 可以看出对参数己及。的优化是很复杂的非线性规划问题，难以有效的解出，囱 f 效的解决方案是：首先确定厶，其次从训练样本中确定。，这样r b f 网络的参数 确定问题就转化为只对输出权值的最小化问题。这是一个线性方程求解的问题，陶 此利用各种最小二乘法都可以求出w i 。根据上述参数确定过程将r b f 网络分类如下： ( 1 ) 0 型r b f 网络：如果r b f 网络的参数确定完全从啦i n s 孙【， ( x ，o ) ) 出发求解 y ，d ，w 。则称这类r b f 网络为0 型网络或理想型网络。 ( 2 ) i 型r b f 网络：如果r b f 网络参数中f 预先选定，中心q 随机从学习样本r 中 选取，则称这类r b f 网络为i 型网络或基本型网络。 ( 3 ) n 型e b f 网络：如果r b f 网络参数中预先选定y ，中心。r 有聚类方法完成，则 称这类r b f 网络为型网络或聚类辅助型网络”1 。 小波神经网络是小波分析理论与传统神经网络结合的产物。从结构形式上看， 可以把小波神经网络分成两类：一种是小波变换与传统神经网络的结合；另一种是 小波变换与传统神经网络的融合。前者称为“结台”，是指它们彼此虽然紧密相连， 但却又相互独立，用小波变换对信号进行处理，通过将小波基与信号的内积进行加 权和来实现信号的特征提取，然后将提取的特征向量送入神经网络以完成函数逼 近、分类等功能。对第二类我们称为“融合”，是将常规单隐层神经网络的隐节点 的激励函数由小波函数来代替，相应的输入层到隐层的权值及隐层的阙值分别由小 波函数的尺度和平移函数所代替，这也是目前大量研究小波神经网络的文献中，广 泛采用的一种结构形式。 小波变化通过尺度伸缩和平移对信号进行多尺度分析，能有效提取信号的局部 4 华北电力大学硕士学位论文 信息。b p 网络具有自学习、自适应等特点，能很好地反映研究对象输入、输出之问 复杂的非线性关系，但b p 网络通常采用的s i g m o i d 激励函数有自身的缺点。因此， 将小波分析中的小波基函数代替b p 网络中隐层的s i g m o i d 激励函数，输出层激励函 数不变，这样的网络称为小波网络模型。 小波网络自从提出来后出现了许多模型，可归结为以下三种： ( 1 ) 连续小波神经网络：来源于连续小波变换的定义，其特点是基函数的定位不 局限于有限的离散值，展开形式不唯一，冗余度高，但小波分析理论有助于完成参 数和结构的初始化，使网络有较强的逼近能力和收敛速度。 ( 2 ) 离散仿射小波神经网络：来源于离散仿射小波变换的反演方程，其理论基础 是小波框架，但即使紧框架下的小波基也不定是正交基，因此有定的冗余度， 这种网络数学理论概念清楚，实现方便，应用较广。 ( 3 ) 离散正交小波神经网络：网络的基函数为l 2 ( r ) 中的正交小波函数系，主要理 论依据是多分辨分析及d a u b e c h ie s 构造的紧支撑正交小波，它继承了小波框架网络 的优点，而且由于其基函数的正交性，对函数的逼近能力更强。但网络抗干扰能力 较差。 由于一般的信号或者函数f ( x ) 可以表示为厂o ) = c j , k 肿o ) ，如果采用离散 ，k e z 的小波变换，就变为：，( x ) = ( 厂，坩 少m ，o ，) 表示内积运算，这样就可以用具 j 而 有单隐层结构，小波基函数作为神经元激励函数的前馈神经网络来表示 f ( x ) l 2 ( i r ) 的函数，即在给定f ( x ) 后，神经网络的连接权值大小就由函数f ( x ) 的 小波系数展开柬表示： w j 5 o ，b 1 2 b i i f i l 2 ( 4 - 1 3 1 ) 则可由框架 n ) 完全刻画函数f ，也能从函数的分解中重构该函数。 当小波函数。( ，) 满足上述条件时，可构成小波框架，来完全刻耐函数，小 波框架有以下几种： ( 1 ) 紧框架：此时a = b f ( f ) ：爿一一( ，i f ，。砌。( f ) ( 4 - 1 4 ) ( 2 ) 正交基：此时a = b = l 邝) ：( 厂，y 。汩。，。( ，) ( 4 - 1 5 ) ( 3 ) 几乎紧框架：i l l s - s ：里：1 a m 。南莓莓( 加”概撕) + 7 ( 4 1 6 ) 其中，误差r 是了i l f l l 的阶。在h i l b e r t 空间h ，给定一。个框架 吼) ，其框架界 为a 和b ，我们可以定义框架算子s ：h 寸h ，即对任意 f h ，f = ( ，。砌。 ( 4 _ 1 7 ) 4 1 3 分辨率分析与尺度函数 定义：空间l 2 ( r ) 中的闭子空间序列 ，z 称为r ( r ) 的一个多分辨率分析 或逼近，如果满足下列性质： ( 1 ) 单调性：v 一。，对任意，z ，即c kc uc 圪c p ic 2c 。 ( 2 ) 逼近性：u y ，= ( r ) n y ，= 0 ) 。 上述两个式子表示所有的子空间可以组成r ( r ) 函数空间，而随着分辨率的提高， 函数的近似表达式将收敛于原函数。 ( 3 ) 伸缩性：f ( t ) y ，舒f ( 2 t ) 矿，。，z 这说明了所有的子空闻序列是出一个基本 空间尺度化所生成的不同形式的空间。 ( 4 ) 平移不变性：f ( t ) e 矿，f ( t 2 1 k ) 矿，对于任意k z 。 2 4 华北电力大学硕士学位论文 ( 5 ) r i e s e 基：存在r ( 尺) 的个函数伊( ，) ，使 吼，。( f ) ：n z 是的一个r i e s e 基。进而，由条件( 3 ) 可知 吼，。( ，) ：n z l 是的一个r i e s e 基。所以也称函数妒( ，) 生 成一个多分辨率分析 _ ) j z ，这时还称妒( f ) 是尺度函数。 ( 6 ) 类似性：令a ，是用分辨率2 一，逼近信号f ( t ) 的算子，在分辨率为2 一，的所有逼 近函数g ( t ) 中，a ，f ( t ) 是最类似于( f ) 的函数，即 l g ( t ) 一f ( t ) 恻la ，l 厂( f ) 一f ( t ) 忆对 任意的g ( ，) _ ，也就是说，逼近算子a ，是上的正交投影。 尺度函数与小波函数在过程分析中同样意义深远，并且出尺度函数来构造小波 函数成为小波变换的必经之路，关系是： 妒( f ) = , z z h 。妒( 2 t - h ) n e z p ) = 压g 。c , o ( 2 t 一疗)8 1 m 上两式相应的傅立叶变换分别如下： 祆w ) = 日( 参( 詈) z f 4 1 9 、 旁( ，r ) = g ( w 妒 ( i w ) zz 其中g 和h 为二次镜像滤波器，它们有如下关系： g 。= ( 一1 ) ”嘎l ( 4 - 2 0 ) 式( 4 - 18 ) 称为妒的双尺度关系，表明某一尺度上的尺度函数可以从自身在下尺 度上的线性组合得到。由尺度函数和小波函数的特点可得到v ( t ) 、妒( ，) 构成规范i ： 交系的条件如下： t - i ( w ) i2 + lt t ( w + 丌) 1 2 = 1 l g ( w ) i2 + i g ( w + 丌) 1 2 = 1 4 2 小波神经网络 4 2 1 小波神经网络的发展状况 ( 4 2 1 ) p a t i 和k r i s n a p r a s a d 最早研究了小波分析与神经网络的关系，提出了离散仿射小 波网络模型。其思想是将离散小波变换引入神经网络，通过对s i g m o i d 函数的伸缩平 移构成了l2 ( r ) 中的仿射框架，进而构造小波神经网络。1 9 9 2 年z h a n gq i n g h u a 1 b e n v e n i s t e 明确提出了小波网络的概念和算法。其思想是用小波元代替了神经元，即 用已定位的小波函数代替s i g m o i d 函数作为激活函数，通过仿射变换建立起小波变换 域网络系数之间的连接，并应用于函数逼近。随后s z u 等又提出了基于连续小波变 换的两种自适应小波神经网络：一种用于信号的表示，偏重于函数的逼近。另一种 华北电力大学硕士学位论文 偏重于选取合适的小波做特征提取，其实质是在小波特征空间中寻找一组最佳的小 波基，由于不涉及重构的问题对小波的正交性要求并不严格，但提取信号的小波 特征中应融入必要的变量并应有鲁棒性。b a s k s h i 和s t e p h a n o p o l o u s 采用正交小波函 数作为神经元的激活函数，在此基础上提出了正交多分辨分析小波神经网络。依据 多分辨分析理论，把尺度函数和小波函数共同包含在网络中，并采用逐级学习的方 法来训练网络。即先在多分辨率下( 尺度函数) 对信号进行逼近，然后由粗到细逐 渐增加节点( 即小波函数) 。由于正交小波基具有良好的时一频分辨性能，当信号发生 剧变时，网络可以增加分辨尺度以保证逼近的精度。此外，由于各函数基的正交性， 训练过程中添加、删除网络节点不影响己训练好的网络权值，可使网络的学习时涮 大大减少。 小波网络的概念提出以后，在国内引起了广大学者的研究兴趣，并对其模型和 算法进行了若干改进。焦李成等在前人的基础上提出了多变量函数估计小波网络： 沈雪勤等针对神经元个数过多，网络学习收敛速度较慢等问题，在时频分析的基础 上引入能量密度的概念，提出了基于能量密度的小波神经网络；焦李成和李衍达等 人研究了小波网络与模糊逻辑的结合，用隶属函数辨识权重值，构造了模糊权使， 模糊输出的模糊小波网络模型；何振亚等构造了一种自适应延时小波网络，用超_ 、 波进行逼近存在不同时延的信号，并给出了一种基于时间竞争的学习算法；在应用 方面大多数应用都是将小波神经网络用于函数或者信号的逼近上。其中向小东等人 将其应用于上证指数的预测上，还有的应用于心电信号的压缩与分类，高翔等人将 小波网络应用于非线性系统的辨识中。杨玉峰等人将小波网络用于雷达信号的消 噪，王洪刚等人将小波神经网络应用于s p s 0 0 的短期走势预测上，总而言之，更多 的是在进行逼近理论的研究，应用在预测方面比较多。而对信号的分类应用比较少 前馈神经网络的训练方法通常是b p 算法，但是b p 算法普遍存在收敛速度慢的缺点。 z h a n g q i n g h u a 使用的是随机梯度法：s z u 贝j j 使用了共轭梯度法：姚俊等则提出基于 离散小波的改进算法。近年来，又出现了各种小波网络模型的算法研究。而对于代 价函数的选取通常使用最小均方误差。构造小波网络时使用什么样的小波函数，如 何根据不同的情况选择不同的小波基函数，也是一个值得研究的问题。但是同前为 止对这方面的研究还不是太多。在实践中常用的母小波函数主要有墨西哥革帽小 波，m o r l c t t 、波以及合成小波等。通常用于信号分类的小波基函数选用m o r l e t t j x 波。 r 通常取值为1 7 5 。目前小波神经网络还处于发展阶段，多个领域的成功运用说明它 有很好的发展前景，用于信号表示的小波网络比较多，但用于信号分类的小波网络 不是很多【3 ”。 4 2 2 小波神经网络的定义 近年来，小波神经网络出于坚实的理论基础和突出的优点，绳到了广泛的关注， 2 6 华北电力大学硕士学位论文 小波神经网络最早是基于小波分解和前向神经网络而提出的。它具有如下特点：同 鉴别函数( 如任何有界、可测的s i g m o i d 类型函数的前向神经网络) 一样，具有任 意逼近非线性函数的能力，这是由小波变换的特点决定的，小波网络基函数具有可 调的分辨尺度，选用低分辨尺度参数足以学习光滑函数，提高分辨尺度可以较高精 度学习局部奇异函数；网络系数与某些合适的变换( 实质上是小波分解) 有明确的 联系，这有助于从平移、尺度和旋转参数的物理意义确定：乓约定，直接对连续小波 变换的求解为初始化小波网络系数提供了可能，这样可避免梯度算法的局部极小： 以较小规模的网络取得相同的逼近质量，尤其是高维问题中的学习，小波单元个数 比神经网络少得多，并且比单纯的小波分解更有效。 小波神经网络的结构类似于径向基函数网络( r b f ) ，只是以小波函数基来代替。 大多数前向多层网络都是基函数网络，如j f 交函数网络、样条函数网络、径向基函 数网络和b p 网络等，而基于s i g m o i d 基函数的b p 网络则是使用较为广泛得一类。 这种网络具有较强缛函数逼近和容错能力。 小波神经网络可看作以小波函数为基底的一种函数连接型网络，也可看作是径 向基函数网络得推广，但它又具有与一般前馈网络所不同得特点。常用得b p 网络 具有易陷入局部极小点、学习收敛性差、网络结构不能根据输入样本进行优化、以 及对一些特征相似的模糊边界故障分辨率较低等缺陷。 小波神经网络依据如下小波变换原理：在函数空间l 2 ( r ) ( 或在更广泛的h i l b e r t 空间) 中，选择一个母小波函数( x ) ，使其满足容许条件：f 坦坐毡伽 0 ，b 0 ，可使 。( z ) 满足该函数空间的标架条件： 钏川2 | ( x ) 1 2s a l l 州2 ( 4 2 2 ) 其中：厂l 2 ( r ) ：a 、b 称为标架界。当a = b = i 时， 。( x ) ) 为函数空间得正交基， ， ( x ) ： 妒卅 ( 4 2 6 ) j * ： ( ，) 表示内积运算，这样就可以用具有单隐层结构，小波基函数作为神经元激励函 数的前馈神经网络来表示厂( x ) l z ( i r ) 的函数即在给定f ( x ) 后，神经网络的连接 权值大小就由函数f ( x ) 的小波系数展开来表示：h = ( 厂，j ) 而且该网络可以逼 近任意非线性函数，这就是构建小波神经网络的理论依据”删。 2 、按小波基在网络中的作用不同，可分为： ( 1 ) 激活函数型小波网络：小波函数在神经网络中代替了传统的s i g m o id 函数，激活 函数为小波函数集，即用小波元代替了原来的神经元的非线性特性。 ( 2 ) 权重型小波网络：小波函数集在网络中充当若干组权重值，输入信号是信号与小 波的内积。此外，还可以是上述两种类型的综合，如选取不同的小波基在网络中分 别充当激活函数和权重函数。 3 、按小波的维数不同，可分为： ( 1 ) 单输入小波网络：建立在r 似) 域中的一维小波变换基础上，理论研究比较成熟。 主要应用于信号分析。己经证明，小波神经网络在逼近单变量函数时是渐进最优的 逼近器。 ( 2 ) 多维输入小波网络：在单输入基础上利用：宣积定义多维母波，或利用张量积构 造多维j e 交多分辨率分析，并在此基础上可构造多维输入小波网络。有点要说明 的是，多维小波一般都具有方向性，当在神经网络应用中对小波的方向性没有要求， 因此可以用一个各项同方向性的函数通过平移伸缩产生多维小波框架。 华北电力大学硕士学位论文 第五章基于小波神经网络的非线性系统辨识 5 1 小波神经网络的结构 图5 1 所示为引入输出反馈环节的小波神经网络，它是个非线性动力学系统。 网络的输入层是一个全通层，其t 一1 时刻的输出是： ，f - i = 【x h 、x 。，只一。】， ( 5 - 1 ) z 。是反向移位算子。输入层的结点数是m + n ，i n 和n 分别为网络输入序列的时延 和网络输出的反馈阶次。隐层中含有h 个结点。口。和b 1 ，分别是隐层小波基函数的 伸缩参数和平移参数，隐层结点的作用函数( p 为高斯小波函数，如： r ，、 矿( x ) = ( 1 一x 2 2 p 纠 输出层也是一个全通层，隐层到输出层的权重是w ，图5 1 中只有一个输出结点， 辨识的是一个单输入单输出的非线性动态系统。只要在输入层和输出层增加结点就 可辨识多输入多输出的非线性动态系统。 图5 1 小波神经网络 图5 一l 给出的小波神经网络可用下式表示： y ( f ) = w j 伊j ( n e t j ) 其中n e t ，为隐层第j 个小波结点的输入，用下式计算 摆c 等， ( 5 。3 ) ( 5 4 ) 华北电力大学硕士学位论文 其中，一1 ，i 表示在t 一1 时刻输入层第i 个结点的输出。下面给出这种小波神经网 络学习算法。 5 2 小波神经网络的一般算法 1 d p f 算法 图5 1 所示为系统辨识中的并联模式，它是很难收敛的。所以采用串并联模式 对网络进行训练，将( 2 ) 式用下式代替 ，h = x ，1 ，x ，一m ，y f i ，y r - n t ( 5 5 ) 这里的j ，- i 为网络的期望输出，也就是被辨识模型的实际输出。当训练结束后采用 并联模式进行检验。定义指标函数为 j = 击缸， c s - e ， 其中： p ( f ) ：y ( ，) 一；( f ) ，表示系统的期望输出与网络的实际输出的误差。网络中需 要调整的参数有0 = w ，口u ，b u ) d f p 算法是具有二阶收敛特性的变尺度算法中的一种，它可以焉作是种改进 的b p 算法，也可看作是改进的牛顿算法。我们知道牛顿算法的参数调整公式是： o k “= o k g ；。g 女 k = 0 ，l ， ( 5 7 ) 其中吼是参数的初始值，吼和g t 分别是指标函数j 在点吼处的梯度和h e s s e 矩阵。 式中的h e s s e 矩阵需要要求指标函数对参数吼的二阶偏导，这是非常难求的，有时 候甚至是无法求得。d f p 算法就是构造一个矩阵序列 峨) 去逼近h e s s e 逆矩阵序 列( 何。) ，从而避免二阶偏导和矩阵逆的计算。则参数调整公式变为： o k + l = 幺一6 h i g 女 t5 - 8 ) 其中口。为步长因子通过从瓯出发沿b = 一h 。g 。作宜线搜索来确定。矩阵序列( h t ) 可由下式计算： ”以+ 筹一筹癸删小， 其中s + = 吼+ ，一，n = g 。一g 。，h 。= ，( 单位矩阵) 。k 。是n 的方阵， f 5 9 1 n 是网络 华北电力大学硕士学位论文 中需要调整的参数的个数。g 。= 兰兰兰) 是l 。n 的向量。可出下歹。公式求得。对 c 母o oo 证 于隐层到输出层的w ，有 善一三m 扣筹 跏智伽 o ：y 一( t ) ：妒，( n e t , ) ( 7 w 7 州- t - 嚼云，j 、破蓥列中移爹裂口一伺 茜一言扣掣 筹一w 仍等 o - n e t - ，：一- ；7 - ( 生刍 日n e t a ；。 对于隐层小波基的伸缩参数口。有 要：一三兰呼) 掣 8 a bm 乞一8 a b 鬻只署 杀一古 n e tt 等， 8 a q a ； j f 5 1 0 a ) ( 5 一1 0 b ) ( 5w 1 1 a ) ( 5 1 1 b ) ( 5 1 1c 1 f 5 1 2 a ) f 5 - 】2 b ) f 5 12 c ) 为了保证算法的收敛，必须保证迭代矩阵也的正定性。但是出于在计算中存在 舍入误差的影响，特别是直线搜索不精确的影响，可能要破坏迭代矩阵日。的正定性， 从而导致算法失败。为保证h 。的正定性，采取如下两条措施 4 1 - 4 3 ： ( 1 ) 直线搜索后，指标函数值不下降时，重置。为单位阵，然后继续送代。 ( 2 ) 迭代n + 1 次后，重置初始点和迭代矩阵，即置吼= 吼+ 1 ，h 。= i 以后重新迭 代。 在使用上述d f p 算法对小波神经网络进行训练时，我们发现某些时候网络的训 练会陷入某个局部极值点而无法通过，学习过程产生振荡等现象。针对这一情况我 们对d f p 算法加以改进，在( 5 - 8 ) 式的参数调整公式中增加“动量项”，则其参数 华北电力大学硕士学位论文 调整公式变为如下形式： a o = 1 2 以g k + 以a o k 一1( 5 13 ) 其中右边第二项为动量项，屏= o k 1 一吼，采用带动量项的d f p 算法可以有效的 改进学习过程产生的振荡现象和陷入某些局部极值点的可能性。 2 小波神经网络参数口和b ，的初始化 一般而言，实际系统输出( 或状态) 的范围可以得到，若单变量系统输出的最 大值为y ，最小值为y ，可取第一次划分值t ，为【y ，y 一】区间内的点，即 f i = y m m + s ( y 。y m m ) ，a 1 则取为相应的区间收缩，即口l = s ( 。一y m m ) 的典型值是0 5 ， 间隔【y 。m ，y 。、】被分成了两个子区间： 再在每个子区间，重复同样的步骤进行第 二次划分，并选取t ：，b ：，a ，b 3 ，以此类推，直到所有的小波元都被初始化，这样变 量使用到的小波元个数为n = 2 0 + 2 1 + + 2 1 个( m 为区间划分的次数) ，所需学习 的权系数也为n 个，对于多变量，可将各变量分别单独处理后，再进行组合，若对 1 3 维系统的每个分量进行m 次划分，则全组合的小波元个数为( 2 m 一1 ) ，这种取法 可以用来进行控制。 3 模型阶次的确定 当我们辨识非线性黑箱模型时，如果无法通过先验知识确定模型的阶次，则用 于辨识的神经网络的输入向量的维数也无法确定。所以在对黑箱模型进行辨识时， 需要通过已知的输入、输出向量来确定模型的阶次。可采用a k a i k e s a i c 信息准则 来确定模型阶次的方法。a i c 信息准则表示如下： a i c ( n ，南) _ l 0 9 6 ，+ 2 n + m ( 5 _ 1 4 ) m ， 式中：和盒分别维模型的输出阶次和输入阶次。参为网络的期望输出与实际输出的 差值的方差估计，可通过网络的训练求得，m 为样本长度。 4 隐层节点数的选择 针对某个被辨识模型确定网络隐层的神经元的最佳个数是非常复杂的工作，我 们可以选择这样的隐层结点数n ，它使得a k a i k e s 的最终预测误差准则( f p e ) 达 到最小。这样得到的n 将是比较适合选择。f p e 定义如下： 华北电力大学硕士学位论文 1 。里 f p e ( ”2 巧n f 5 15 1 其中q 是小波网络中需要调整的参数的个数q = 2 n ( n + m ) + n o m 是训练集中样本的长度，n + m 是输入向量的维数，o 为网络的输出向量的维数。 5 3 一种改进的小波网络辨识算法 原始算法必须要求已知模型结构，并仅限于线性时变系统的辨识。由于小波网 络有着较一般前向神经网络更突出的优点，因此本文将带自校正移动窗的最小二乘 算法推广运用于小波神经网络中，对任意的非线性系统进行辨识，并将该算法改进 为不含任何矩阵运算的基于单个权值的局部算法，以减少其计算复杂性和提高它的 实时性能，下面对算法进行推导。本文所采用的小波网络结构如图5 ，2 所示：设此 网络共包含m 个权值参数，组成向量w r “，并将神经元闽值看作输入为1 时的 连接权，则m = m + 1 ) + p ( m + 1 ) 。现在的任务是要应用带移动窗的最小二：乘方 法求取w 的估计值0 ，使得对于一组给定的输入 i ( ) ，k = 1 ，k ) ，网络产生的实际输 出( d ( ) ，k = l ，k ) ，在最小二乘的意义下任意接近于期望输出 d ( ) ，k = 1 ，一，t ，这 里考虑递推算法。我们首先推出全局化算法，然后在此基础上导出基于单个权值的 无矩阵运算的局部算法。 m m n l a y e r 1 全局化算法 h 树辔嘲 i i w 舶挚搋 i 擀 图5 2连续小波神经网络结构图 将w 视为如下非线性动态系统的参数 d ( t ) = f ( w ，f ( 女) ) + e ( k ) ( 5 1 6 ) 华北电力犬学硕士学位论文 其中w 是网络的权值，f ( w ，f ( 七) ) 是在w 下网络实现的非线性映射，e ( k ) 为模型误差。 将f ( w ，f ( 七) ) 在当前权值的估计值0 ( 一1 ) 下t a y l o r 展开，则式( 5 1 6 ) 变为： d ( 尼) = f ( w ( k 一1 ) ，f ( 七) + ，7 ( 七，( w w ( k 一1 ) ) + 吁( 女) + p ( 七) 其中f ( k ) 为m 。p 维梯度矩阵： f ( 女) ：掣i _ ：( 鼻( ) ，f 2 ( k ) 名( 七) ) 撕 一t 1 ) 其中： 删= ( 两0 0 万0 0 , 器) 7 ，川，p u ( k ) 是t a y l o r 展开的高阶项。令 f ( 女) = f ( w ( k 一1 ) ，f f k ) ) 一f7 ( k ) w ( k 一1 ) + u ( k ) 则( 5 1 7 ) 简化为： d ( k ) = f 7 ( 七) w + f ( ) 十p ( 七) 给定训练样本集 f ( j ) ，d ( k ) 1 ，= 1 ，k ) 及最小二乘指标 s ( o ( ) ) ：圭“d ( ，) 一，( o ( ，) i ( j ) ) i i ： i = 1 = m 川f ： = e ? ( ，) = l f ，l tp = t ( ，) 一f ( ，) w 一参( 朋2 j = l ，= 1 ( 5 1 7 ) f 5 1 8 ) f 5 一1 9 1 ( 5 _ 2 0 ) f 5 2 1 ) f 5 2 2 ) 算法由极小 化 占( 0 ( 七) ) 导 出 。 令 v 。g ( 女) = - 2 z z a ( j ) t u ) 一只( ) w 一孝( _ ，) = 0 j = li = 1 将( 5 1 8 ) 式代入，得 女 f ( 肌d 一善( 瑚一f ( j ) f 7 ( ，) w = 0 j = i，- t 3 5 r 5 - 2 3 ) ( 5 - 2 4 ) 华北电力大学硕士学位论文 由上式可得 氟j i ) ；s - i ( 七) 丁( 七) ( 5 2 5 ) 其中s ( 女) = f ( j ) f 7 ( j )( 5 2 6 ) t l 7 1 ( 女) = f ( ) ( d ( ，) 一f ( 朋( 5 2 7 ) j = l 考虑到对时变系统的辨识，这里采用带移动窗的学习算法，如果以k 为窗长，则令 s ( k + 1 ) = s ( ) + f ( k + 1 ) f 7 ( + 1 ) 一f ( 1 ) f 7 ( 1 )( 5 2 8 ) t ( k + 1 ) = t ( k ) + f ( k + 1 ) ( d ( 女+ 1 ) 一4 ( k + 1 ) ) 一f ( 1 ) ( d ( 1 ) 一f ( 1 ) ) ( 5 - 2 9 ) 其中d ( k + 1 ) ，f ( k + 1 ) 表示对应于要增加的最新的数据值，d o ) ，f ( 1 ) 表示对应于要 去掉的最老的数据值，则 0 ( 女+ 1 ) ：s - i ( 女+ d t ( k + 1 ) 令 e ( k ) = s 1 ( ) p ( k + 1 ) = ( 尸一1 ( 七) + f ( k + 1 ) f 7 ( 七+ 1 ) ) “( 5 -