（电力电子与电力传动专业论文）小波网络与多模型自适应控制理论的研究.pdf

a b s t r a c t t h e d e v e l o p m e n t so f w a v e l e tn e t w o r k sa n d m u l t i p l em o d e l s a r er e v i e w e d a n a l y z e d a n ds u m m a r i z e d b a s e do nw a v e l e tn e t w o r k sa n d m u l t i p l em o d e l a d a p t i v e c o n t r o l t h e o r i e s ，t h ei d e n t i f i c a t i o na n dc o n t r o lm e t h o d sf o rt h e c o m p l i c a t e dn o n l i n e a rd y n a m i cs y s t e m sa r ep r o p o s e d aa e w l e a r n i n ga l g o r i t h mo f t h ec o n t i n u ew a v e l e tn e t w o r k s p a r a m e t e r si s p r o p o s e d ，t h a ti s ，h y b r i dp a r a m e t e r sl e a r n i n ga l g o r i t h m t h ep a r a m e t e r so f w a v e i e tn e t w o r k sa r ed i v i d e di n t ot w o p a r t s ，a n dd i f f e r e n tm e t h o d sa r eu s e dt o t r a i n i n gt h e m c o m p a r e t ot h et r a d i t i o n a lp a r a m e t e r sl e a r n i n gm e t h o d ，t h en e w m e t h o dp r o p o s e di nt h i sp a p e rh a st h ea d v a n t a g e so f r a p i dc o n v e r g e n c es p e e d a n dh i g ha p p r o x i m a t i o n c a p a b i l i t y t h ep r o p e r t i e so ft h ew a v e l e tn e t w o r k sa r ea n a l y z e d a c c o r d i n gt ot h e a p p r o x i m a t i o na b i l i t yo f w a v e l e t n e t w o r k s ，t h en o n l i n e a rs t a t i cs y s t e ma n dt h e n o n l i n e a rd y n a m i cs y s t e mc a nb ei d e n t i f i e d t h ep a r a m e t e r so ft h ew a v e l e t n e t w o r k sa r et r a i n e d b yu s i n gh y b r i da l g o r i t h m t h ew a v e l e tn e t w o r k sa r e u s e di n i d e n t i f y i n g t h es t a t o rr e s i s t a n c eo fi n d u c t i o nm o t o rd i r e c t t o r q u e c o n t r 0 1 t h es i m u l a t i o nr e s u l t ss h o wt h a tt h i sm e t h o di se f f e c t i v ea n df e a s i b l e t h ew a v e l e tn e t w o r k sa r eu s e da sc o n t r o l l e rt oc o n t r o lt h en o n l i n e a r s y s t e m t h ed i r e c tc o n t r o la n di n d i r e c tc o n t r o lm e t h o d s a r es t u d i e d c o m p a r e t ot h et r a d i t i o n a ln e u r a ln e t w o r k s ，t h ew a v e l e tc o n t r o l s y s t e m s h a v et h e a d v a n t a g e s o f h i g h c o n t r o l p r e c i s i o n a n d r a p i dc o n v e r g e n c e r a t e t h e c o n t r o l l a b i l i t ya n ds t a b i l i t yo f w a v e l e tn e t w o r k sa r ea n a l y z e da n dp r o v e d t or e d u c et h em o d e l i n ge r r o ri nt h ep i e c e w i s el i n e a r i z a t i o no fn o n l i n e a r s y s t e m ，am u l t i p l em o d e l s w a v e l e tn e t w o r k si d e n t i f i c a t i o nm e t h o di sp r o p o s e d c o m p a r e t ot h e s i n g l e w a v e l e t n e t w o r k s ，t h em u l t i p l e m o d e l sw a v e l e t n e t w o r k sc a ni d e n t i f yt h ev a r i e t yo fs y s t e mi m m e d i a t e l ya n da c c u r a t e l y m u l t i p l em o d e l sw a v e l e tn e t w o r k sc o n t r o lm e t h o disp r e s e n t e d s e v e r a l f i x e dm o d e l sw i t ho n ea d a p t i v em o d e la r eu s e da ss u b m o d e l si nt h i sm e t h o d a n dt h ew a v e l e tn e t w o r k sc o n t r o l l e r sa r e d e s i g n e da c c o r d i n g t ot h e c o r r e s p o n d i n gi d e n t i f i e r s t h es t a b i l i t yo fm u l t i p l em o d e l sw a v e l e t n e t w o r k si s a n a l y z e d t h ea d v a n t a g e so ft h i s m e t h o da r e h i g hi d e n t i f i c a t i o np r e c i s i o n ， g o o d c o n t r o l p e r f o r m a n c e a n d s t r o n gt r a c k i n g a b i l i t y t h e m e t h o di s p a r t i c u l a r l y s u i t a b l et ot h e u n c e r t a i n t y ，t i m e - v a r i e d ，c o m p l i c a t e d n o n l i n e a r s y s t e m k e yw o r d s ：w a v e l e tn e t w o r k s ，n o n l i n e a rs y s t e m ，t i m e v a r ys y s t e m ，s y s t e m i d e n t i f i c a t i o n ，a d a p t i v ec o n t r o l ，m u l t i p l e m o d e l s m e t h o d ，s t a b i l i t y ，d i r e c t t o r q u ec o n t r o l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作利取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得墨生盘鲎或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在沦 文中作了明确的说明并表示了谢意。 学位论文作者签名：鼍，f 书南 签字日期：盆蔽年品月。| = 1 学位论文版权使用授权书 本学位论文作者完全了解盘注盘鲎有关保留、使用学位论文的规定。 特授权墨洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位沦文作者签名：适 书毛 导师签名 签字日期：耖砍年2 月工日 签字日期：? 州! 年，工月z 日 第一章绪论 1 1 引言 第一章绪论 在科学技术的发展史上，控制科学同其它科学技术一样，它的产生与 发展主要由人类的生产发展和人类当时的技术和知识水平所决定。经过几 十年的发展，控制理论的应用和影响已经深入到社会生活的各个方面，使 人类大大突破了自身能力的限制。在当今社会，没有控制系统就没有生产 制造，从简单的家用电器，到复杂的宇宙飞船，控制科学都起着十分重要 的作用。 控制理论的发展大体经历了三个阶段，分为经典控制理论、现代控制 理论和非线性智能控制理论阶段。经典控制理论主要处理线性系统的控制 问题，由传递函数来描述系统，在频域内进行分析和综合。现代控制理论 是多变量的线性控制理论，主要利用状态空间建立模型，采用的控制手段 是能控性和能观性，极大值原理和反馈镇定等原理。这些构成了现代控制 理论的基础，使控制由一门工程设计方法上升为一门新的科学。与此同时 还发展了自适应控制、辨识与估计理论、卡尔曼滤波、鲁棒控制等学科分 支。 但是我们应该看到无论是经典控制还是现代控制理论，其分析、综合 和控制设计都是建立在严格和精确的数学模型基础之上。然而，自然界和 现实生活中的所有系统其实都是非线性的，非线性是一切动力学复杂性之 源，非线性是绝对的、全局的，线性是相对的、近似的、局部的。我们平 常认为的线性系统是对非线性系统的一种理想化和近似化的描述。在科学 技术和生产力水平高速发展的今天，人们对大规模、复杂、不确定非线性 系统的控制要求不断的提高。与线性系统相比，非线性系统具有多平衡点、 分叉和混沌等现象1 1 ，其运动行为与其初始状态、系统参数及输入向量之 问存在着复杂的非线性关系。因此，基于精确数学模型的控制理论的局限 性同益明显。 笫一章绪论 应用需求推动学科的进步，为了解决上述问题，智能控制理论应运而 牛，从而使自动控制理论进入了第三个发展阶段。 智能控制以知识信息为基础进行学习和推理，用启发式方法来引导求 解过程。智能控制的主要优点是不需要知道系统的数学模型，算法简单。 目前智能控制已经有许多方法，其中较典型的有：专家控制、模糊控制和 神经网络控制三种方法。 其中神经网络作为一种新技术引起人们巨大的兴趣，越来越多的应用 于控制领域。神经网络控制的基本思想是模仿动物脑神经的活动，力图建 立脑神经活动的数学模型。神经网络在理论上可以趋近任何非线性函数， 适合于复杂系统的建模与控制。特别是当被控系统存在不确定因素时，更 显出神经网络方法的优越性。神经网络具有高度的自适应和自组织性，具 有很强的鲁棒性和容错能力。神经网络具有高度平行的结构，处理速度快。 神经网络具有学习和自适应能力，可以在线训练。并且神经网络在多输入 多输出的多变量系统中更显出其优越性。 近年来小波分析理论引起广大学者的兴趣，小波的起源可追溯到2 0 世纪初，但小波分析的成形与发展还是在8 0 年代后期开始，它是数学理论 中调和分析技术发展的最新成果，被公认为是工具和方法上的重大突破。 它在时域和频域同时具有良好的局部化性能，在理论和实用中都有重要的 意义，已成功的应用于逼近论、微分方程、分形识别、计算机视觉、非线 性科学等方面。 结合神经网络和小波分析的优点，1 9 9 2 年，法国信息科学研究机构的 z h a n g q i n g h u a 等【2 】提出了小波神经网络( w a v e l e t n e u r a l n e t w o r k s ，w n n ) 的概念和算法。小波神经网络( 简称小波网络，缩写为w n ) 的基本思想 是用小波元代替神经元，通过仿射变换建立起小波变换与网络参数之间的 连接。小波网络是近年来神经网络研究中的一个新的分支，它结合了小波 i l ，, jh , j 频局域性和神经网络的自学习白适应能力，具有较强的逼近能力和容 错能力，已经用于模式识别、故障诊断、信号处理和数据压缩等领域。本 文将在此基础上将小波网络用于系统辨识和控制中。 多模型自适应控制的研究于2 0 世纪7 0 年代获得成功，9 0 年代又掀起 第一章绪论 了一个研究热潮。多模型可以根据被控对象参数和结构的不确定性来为被 控对象建立多个模型，覆盖其整个不确定空间。控制器的选择可以基于切 换原则来选择适合当前运行对象的最佳控制器。而且由于使用多模型，其 子控制器的设计可以简化。多模型自适应控制比单模型自适应控制的过渡 过程好，暂态误差小。现代工业所面临的对象许多是非线性的，非线性系 统的多模型自适应控制在非线性系统建模和实际应用中已经取得了一些成 果。但由于非线性系统各个状态变量之间存在着很强的非线性关系，这就 为建立多模型控制器的设计造成很大的麻烦，尤其是理论分析更难以获得。 结合小波网络和多模型的优点，本文提出了多模型小波网络自适应控 制方法，对该控制方法的稳定性进行分析。并使用浚方法对非线性系统进 行仿真实验，实验结果证明本文所提出的方法控制精度高，稳定性好。 1 2 本文的主要研究工作及内容安排 本文研究的目的是针对复杂非线性动态系统进行建模和控制，旨在提 高控制系统的设计水平，推动小波网络在我国控制领域中的应用。 本文主要就小波网络和多模型自适应控制进行了研究，论文的主要工 作在于： ( 1 ) 介绍了小波网络的基本知识，研究了小波网络的逼近性质，提 出了连续小波网络参数的混和训练算法。 ( 2 ) 利用小波网络的逼近性，分别对非线性静态系统和非线性动态 系统进行辨识，并将小波网络辨识方法和前向神经网络辨识方法进行比较， 经仿真实验可以证明小波网络优于前向神经网络。在此基础上将小波网络 用于交流电机直接转矩控制定子电阻辨识中，取得了良好的辨识效果。 ( 3 ) 将小波网络用于非线性系统的控制，分别研究了直接小波网络 自适应控制和间接小波网络自适应控制，仿真结果表明间接自适应控制效 果好于直接自适应控制，但直接自适应控制方法简单，计算复杂度低。并 对小波网络自适应控制系统的能控性和稳定性进行了理论分析和研究。 ( 4 ) 提出了多模型小波网络系统辨识方法，给出了多模型小波网络系 第一章绪论 统辨识的结构及辨识模型的训练算法，确定了多模型的切换准则。有效的 解决了时变非线性系统辨i ： 问题。 ( 5 ) 提出了多模型小波网络自适应控制方法，对非线性时变系统进 行了有效的控制，仿真结果表明跟踪精度高，响应速度快。并对陔方法稳 定性进行了分析。 本文的研究工作分为两大部分，第二章至第五章重点研究小波网络控 制理论，第六章至第八章研究多模型自适应控制理论。第一章简单介绍本 文的研究工作。第二章由小波分析的理论引入了小波网络，介绍了小波网 络的发展，分析了小波网络的特点、理论研究现状，对小波网络进行了分 类，介绍了小波网络在控制领域的应用。第三章介绍了连续小波网络和离 散正交小波网络，分析了两种小波网络的特点，并对其网络参数训练算法 进行了介绍。在此基础上针对连续小波网络参数调整提出了混和训练算法， 即对小波系数采用本文提出的学习增益可调的带有动量项的p i d b p 算法， 对网络权值采用最小二乘法进行递推求解。第四章研究了小波网络的逼近 性质及权值收敛速度，并用小波网络对非线性静态系统和动态系统进行辨 识，在本章的最后将小波网络用于直接转矩控制定子电阻辨识中，取得了 良好的辨识效果。第五章介绍了小波网络控制理论，分别将小波网络用于 非线性系统的直接控制和间接控制，并对小波网络控制系统的能控性和稳 定性进行理论分析。第六章对多模型理论进行了介绍，讲述了多模型的发 展历史，研究现状及发展前景。第七章给出了多模型小波网络非线性系统 辨识方法，有效的解决了时变系统的模型辨识问题。第八章提出了多模型 小波网络非线性自适应控制理论，并对该方法的稳定性进行了分析。第九 章对全文做了总结，指出了存在的问题和发展方向。 第二章小波网络的研究 2 1 小波分析 第二章小波网络的研究 2 1 1 小波分析的发展与应用 小波分析的思想来源于伸缩与平移方法。小波分析方法的提出，最早 应属1 9 1 0 年h a a r 提出的小“波”规范正交基【3 1 。1 9 3 8 年，l i t t l e w o o d p l a y 对傅立叶级数建立l p 理论，即按二进制频率成分分组，f o u r i e r 变换的相 位变换本质上不影晌函数的形状和大小。随后c a l d e r o n 发现了再生公式【”， 它的离散形式己接近小波展开，只是还无法得到组成正交系的结论。1 9 8 1 年s t o r m b e r g 对h a r r 系进行了改进，证明了小波函数的存在性。1 9 8 2 年 b a t t e 在构造量子场论中采用了类似于g a l d e r o n 再生公式的展丌形式。 小波分析概念真正出现于1 9 8 4 年，法国地球物理学家m o r l e t 5 】在分析 地震数掘时发现传统的傅立叶变换难以达到要求，因此他引入小波概念于 信号分析中对信号进行分解，提出将地震波按一个确定函数的伸缩、平移 r ，、 系 l a l 一妒f 型l ；d ，b r ，口o 展开。随后他与g r o s s m a n n 共同进行研究， 【 l口 j 发展了连续小波变换的几何体系。由此能将任意一个信号分解成对空间和 尺度的贡献。1 9 8 5 年， m e y e r 、g r o s s m a n n 与d a u b e c h i e s 共同研究，选取 连续小波空间的个离散子集，得到一组离散的小波基( 称为小波框架) ； 而且根据小波框架的离散子集函数，恢复了连续小波函数的全空间。随后， 人们试图寻找一组离散的正交小波基，但没有成功。人们认为具有如此好 性质的小波函数是一个数学神话而对其存在性发生了动摇。 真正的小波热始于1 9 8 6 年，m e y e r 在证明不可能存在时频域都具有 一定正则性的正交小波基时，却意外的发现了具有一定衰减性的光滑性函 rf1 数，其二进制伸缩与平移 2 一i y ( 2 - j x - - i ) k 。： 构成工2 陋) 的规范f 交基， l j 从而证明了确实存在小波正交系。后来，l e m a r i e 和b a t t l e 又分别独立的 第二章小波网络的研究 构造了具有指数衰减的小波函数。1 9 8 9 年，m a l l a t 陋】j 哿计算机视觉领域内 的多尺度分析思想弓l 入到小波分析中，提出多分辨分析概念，统一了在此 之前的所有正交小波基的构造方法，研究了小波变换的离散化情形，并且 提出相应的分解与重构快速算法，将之应用于图象的分解与重构。与此同 时，d a u b e c h i e s 【7 1 构造了具有有限支集的e 交小波基。这样小波分析的系 统理论得到了初步的建立。1 9 8 8 年，d a u b e c h i e s s l 在美国n s f c b m s 主 办的小波专题研讨会上进行了1 0 次讲演，引起了广大数学家、观察学家、 物理学家甚至某些企业家的重视，至此小波分析的理论发展与实际应用达 到了一个新高潮。1 9 9 1 9 】年崔锦泰和王建忠构造了基于样条函数的单f 交 小波函数，并讨论了具有最好局部化性质的多尺度分析的生成函数及相应 的小波函数。同年b e y l k i n ，c o l f m a n 等将小波变换应用于算子理论。】9 9 1 年，j a f f a r d 及l a u r e n c o q i a n g 将小波变换应用于偏微分方程数值解，而 w i c k e r h a n s e r 等将m a l l a t 算法进一步深化，得到了小波包算法。 目前小波在许多领域得到了广泛应用，如j m o r l e t 等将小波用于地震 信号的分析与处理；m e n e v e a u i lo 】将小波变换用于涡流的研究； m v w i c k e r h a u s e r 将小波包的理论用于图象压缩；m f r i s c h 等j 将小波变 换用于噪声中的未知瞬态信号：p d u t i l l e u x 等将小波变换用于语音信号的 分析、变换和综合；h k i m l l 2 】等将小波变换用于时频分析；g b e y l k i n 将正 交小波变换用于算子及拟微分算子的化简：e b o c r y 等将小波变换的自适 应性用于解微分方程；彭玉华将小波变换用于电磁场领域等i l ”。 2 1 2 小波及小波变换理论 小波及小波变换理论为处理和分析突变信号及非平稳信号提供了新 的方法，通过小波的压缩，放大和平移等功能使人们能够以不同的时频分 辨率来研究信号的动力学行为，这种既看到信号的全貌，又看到信号的细 节的特征正是小波变换的目的所在。 定义2 1设函数妒( r ) r ( r ) n ( r ) ，并且其傅立叶变换y 沏) 满足容许条 件( a d m i s s i b l ec o n d i t i o n ) 第二章小波网络的研究 e 警 ( 2 _ ) 则称妒( f ) 为一个基本小波或小波母函数。 定义22 由小波母函数进行伸缩和平移生成的函数系妇。( f ) “忙i a 州等 m 跏e r o ( 2 _ 2 ) 称为小波。其中a 为伸缩因子，b 为平移因子。由于a , b 是取连续变化的值， 所以称。0 ) 为连续小波基函数。它们是由同母函数矿( ，) 经伸缩和平移 后得到的一组函数系列。 定义2 3 设伊( r ) 是基小波，函数f ( t ) 2 ( r ) 在这个基小波下进行展 开，称这种展开为连续小波变换( c o n t i n u ew a v e l e tt r a n s f o r m ，简计为 c w t ) ，其表达式为 吩( 口1 6 r 加啪 晰；巾爿等p ( 2 _ 3 ) 其中万是妒的共轭复数。 由小波的定义知：小波函数一般具有以下特点： ( 1 ) 小一一它们在时域具有紧支集( 即函数定义域有限) 或近似紧支 集。原则上，任何满足容许条件的r ( r ) 空间的函数都可作为小波母函数。 但一般情况下，常常选取紧支集或近似紧支集的( 具有时域的局部性) 具 有正则性的( 具有频域的局部性) 实数或复数函数作为小波母函数，以使 小波母函数在时频域都具有较好的局部特性。 ( 2 ) 波动性一一由于小波母函数满足容许性条件( 2 1 ) ，出容许条件 可知，能用作母小波的函数必须满足y ( 珊) i 。= 0 ，即直流分量为零，也就 是说( 脚) 必须具有带通性质，且吵( f ) 必是有正负交替的振荡波形，使其平 均值为o 。 下面给出四种典型的一维母小波数学表达式，分别是h a a r 小波、m a r r 小波、m o r l e t 小波和合成小波。 ( 1 ) h a a r 小波。它是最简单的母小波，其波形如图2 一l ( a ) 。 第二章小波网络的研究 f 10 蔓t o 5 ( f ) = 一l 0 5 ， l ( 2 4 ) 1 0其它 容易验证，h a a r 母小波是一种正交函数系，即有 i o 妒( ，一n ) d t = o ，月= o ，+ - 1 ，2 ， ( 2 ) m a r t 小波，也称为高斯小波，它是g a u s s 函数的二阶导数，其波 形如图2 1 ( b ) y ( f ) = ( 1 一t2 ) e 一2 7 2 ( 2 5 ) ( 3 ) m o r l e t 小波，它是最常用的复值母小波，其波形如图2 - 1 ( c ) ( r ) = c o s ( 1 7 5 t ) e “叶2 ( 2 - 6 ) ( 4 ) 合成小波，由三个s i g m o i d 函数经过平移叠加而成，其波形如图 2 一l ( d ) 吣) 叫r + 2 ) 地( f ) 州) = 南一专+ 百与( 2 7 ) ( b ) 高斯小波 第二章小波网络的研究 ( c ) m o r l e t 小波 2 2 小波网络 图2 - i 小波函数图形 ( d ) 合成小波 小波分析自8 0 年代提出以来，理论分析和实际应用都得到了巨大的 发展。小波变换通过尺度伸缩和平移对信号进行多尺度分析，能有效提取 信号的局部信息哺j ，具有良好的时频局域性功能。神经网络具有自学习、 自适应和容错性等特点，是一类通用函数逼近器【1 ”，已被广泛应用于非线 性系统的辨识。目前使用较多的神经网络为多层感知器网络( m l p n ) 。 m l p n 是隐层采用s i g m o i d 非线性函数的多层前向神经网络，它具有逼近 任意非线性函数的能力。但m l p n 存在易陷入局部最小、收敛速度慢、抗 干扰能力差等缺点。因此将小波变换与神经网络技术的优点相结合构成小 波网络。 小波网络可以被看作是以小波函数为基函数的一种函数连接型网络， 它继承了两者的优点，通过训练可以自适应的调整小波基的形状实现小波 变换，同时具有良好的函数逼近能力和模式分类能力1 1 5 , 16 。已经证明，小 波网络在逼近单变量函数时是渐近最优的逼近器【l ”，随着小波理论的不断 发展和完善，小波网络也不断的发展。目前国内外许多学者都致力于小波 网络的研究，并取得了丰富的结果，使小波网络得到了迅速的发展。 第二章小波网络的研究 2 2 1 小波网络的发展 小波网络起源予小波分解，是近年来在小波分析的研究取得突破的基 础上提出的一种前馈型网络。1 9 9 2 年法国著名的信息科学研究机构的 z h a n g q i n g h u a 和b e n v e n i s t e 首先明确提出了小波网络的概念和算法 2 1 ，其 思想是用小波元代替了神经元，即用己定位的小波函数代替s i g m o i d 函数 作激活函数，通过仿射变换建立起小波变换与网络参数之间的联系，并将 小波网络应用于函数逼近。随后出现了各种小波网络模型，如p a t i 和 k r i s h n a p r a s a d 的离散仿射小波网络【i 引，其思想是将离散小波变换引入神经 网络模型，通过对s i g m o i d 函数的平移伸缩构成上2 ( 胄) 中的仿射框架，进而 构造小波网络。b a s k s h i 和s t e p h a n o p o u l o u s 提出的正交多分辨小波网络9 】， 采用f 交小波函数作为神经元的激活函数。依据多分辨率分析理论，把尺 度函数和小波函数共同包含在网络中，并采用逐级学习的方法来训练网络。 即先在粗分辨率下( 尺度函数) 对信号进行逼近，而后由粗到细逐渐增加 节点( 小波函数) 。因正交小波基具有良好的时一频分辨性能，当信号剧烈 突变时，网络可增加分辨尺度来保证逼近的精度。此外，由于各函数基的 相互f 交性，训练过程中添加、删除网络节点不影响已训练好的网络权值， 可使网络学习的时间大大缩短。z h a n g j u n 等研究了b o u b e z 等人的工作， 提出另一种正交小波基网络，选用正交且具有类紧支特性的尺度函数对函 数进行逼近，提出基于类紧支特性的尺度函数的正交小波基神经网络【2 。在 众多的小波网络模型中，s z u 等人提出的两种基于连续小波变换的自适应 小波网络模型应用最为广泛【2 ，一种用于信号表示，偏重于函数逼近；另 一种偏重于选取合适的小波做特征提取，其实质是在小波特征空间中寻找 一组最佳的小波基，因不涉及重构问题，小波的正交性要求不是很苛刻， 但提取信号的小波特征中应融入必要的不变量并应具有鲁棒性。其中用于 信号表示的多输入单输出小波网络模型隐层采用小波基函数，输出层为线 性函数。 小波网络的概念和模型提出以后，引起了我国广大学者的兴趣，并对 其模型和算法进行了若干改进。焦李成等在前人的基础上提出了多变量函 第二章小波网络的研究 数估计小波网络；沈雪勤等针对神经元个数过多、网络学习收敛速度较慢 的问题，在时频分析基础上引入了能量密度的概念，提出了基于能量密度 的小波网络模型【22 】；焦李成等人研究了小波网络与模糊逻辑的结合，用隶 属函数表示权重值，构造了模糊权值、模糊输出的模糊小波网络模型【2 引： 何振亚等构造了一种自适应时延小波网络，用一个超小波进行逼近存在不 同时延的信号，并给出了基于时间竞争的学习算法【”】。 训练前馈神经网络最常用的方法是b p 算法，但b p 算法收敛速度慢。 z h a n g q i n g h u a 首次提出小波网络模型时使用了随机梯度算法【2 】；s z u 则使 用了共轭梯度算法1 2 1 】。姚骏等提出基于离散小波的改进学习算法。近年 来随着对小波网络的深入研究，小波网络的训练算法也越来越丰富，例如 模糊小波网络的区间学习算法，模糊推理小波网络算法等。算法研究的重 点是关于衡量最优的代价函数的选择，最小均方误差是最常用的标准，此 外还可以选择正交最小二乘标准1 2 5 】。 小波网络最初应用于函数逼近和语音识别，随后应用领域逐渐推广到 非参数估计、天气预报、系统辨识、图象压缩等各个方面。计算机科学工 作者借助于w n n 对非符号信息进行处理和学习；在工程领域中将其用于 模式识别、系统辨识、自动控制、信号处理、预测估计、故障诊断等许多 领域；统计学家视w n n 为一种灵活的、非线性回归和分类的方法；神经 生理学家利用神经网络描述和探讨脑中的记忆、感觉系统等功能。 我国学者在小波网络应用方面也取得了丰硕的成果。黄显林等将其用 于多节点机械手的滑模自适应控制26 1 ，李永红将其用于雷达目标跟踪【2 7 】， 蔡文生用正交小波网络对化学信号进行处理【28 1 ，李旗号将其用于轴心轨迹 识别 2 9 1 。在预测控制中小波网络也显示出了它的强大功能【j ”】。 2 2 2 小波网络的分类 小波网络是小波分析理论与神经网络结合的产物，从结构形式上可以 分为两类： ( 1 ) 松散型结构。小波变换与常规神经网络结合，即以小波分析作为 常规神经网络的前置处理手段，对信号进行处理，为神经网络提供输入特 第二章小波网络的研究 征向量，以完成分类，函数逼近等功能，其结构如图2 2 所示。 常 小 规 波 神 网 经 络 网 络 图2 2 松散型小波网络 ( 2 ) 紧致型结构。小波变换与神经网络融合，将常规单隐层神经网络 的隐节点函数由小波基函数代替，相应的输入层到隐层的权值及闽值分别 由小波函数的尺度与平移参数所代替，其结构如图2 3 。 蚓2 3 紧致型小波网络 目前国内外广大学者几乎都采用紧致型小波网络结构形式。本文的研 究工作也基于这种小波网络结构。归纳起来紧致型小波网络结构形式可以 第二章小波网络的研究 按小波基函数不同主要分为如下三类： ( 1 ) 连续小波网络。这是小波网络最初被提出时所采取的一种形式。 来源于连续小波变换的定义，其特点是基函数的定位不局限于有限离散值， 冗余度高，但展开式不唯一，具有类似b p 网络的非线性优化问题。连续 小波网络可以借助小波分析理论指导网络的初始化，使网络有较简单的拓 扑结构和较快的收敛速度。 ( 2 ) 离散仿射小波网络。来源于离散仿射小波变换的反演方程。其理 论基础是小波框架，离散仿射小波网络隐层的小波基对正交性要求不高， 可以不具有紧支特性，有一定的估值冗余。但离散仿射小波网络模型物理 概念清楚、实现方便，因此应用较广。 ( 3 ) 离散j _ f 交小波网络。基函数选用2 ( 尺) 中的f 交小波函数基，主要 理论依掘是d a u b e c h i e s 的紧支撑正交小波理论及m a l l a t i ”】的多分辨率分 析，正交小波网络由于其基函数具有正交性，对函数的逼近更有效。但f 交基构造较复杂，网络抗干扰能力较差。 此外小波网络还可以按其它方法进行分类，例如按小波基在网络中的 作用不同，可分为激活函数型小波网络和权重型小波网络。按小波的维数 不同，可分为维小波网络和多维小波网络。 2 2 3 小波网络的特征 人脑的功能虽然十分复杂，但是单个神经元的结构和功能是相对简单 且有限的。人脑由1 0 ”1 0 ”个神经元组成，正是这些众多结构简单、功能 有限的神经元的“微观”活动，构成人脑活动的复杂的“宏观”效应，完 成各种极其复杂的信息识别和任务处理。作为对人脑模拟而出现的w n n ， 它具有如下特征： ( 1 ) 并行结构与并行处理。w n n 的计算与存储无论在时间还是空间 上都是相互关联的，在时间上是并行的，在空间上是在同一个地方完成的。 ( 2 ) 信息的分布式存储。在w n n 中，无论是单个小波基还是整个小 波网络都兼有信息处理和存储的双重功能，而且这两种功能是合二为一的， 自然的融合在同一网络中，即信息的存储体现在小波基互连的分布网络中， 第二章小波网络的研究 故称为分布式存储。 ( 3 ) 容错性。w n n 具有能够根据不完整的有噪声的信息作出完整、 f 确的结论的能力。 ( 4 ) 具有自组织、自学习及推理的自适应能力。向生物神经系统学 习的无监督训练的小波网络具有抽取外界输入信号特征的自组织功能。 w n n 的学习能力表现在它可以发展知识，推理能力是指w n n 具有正确分 辨网络在训练期f 刚从未“见过”的输入模式的能力。 ( 5 ) 非线性。由于组成w n n 的各小波基函数都是非线性的，因此 w n n 是一个大规模非线性的复杂动力学系统。 2 2 4 小波网络与神经网络比较 小波网络是一种前馈型神经网络，所以我们将其与前馈网络中的多层 前向神经网络( m l p 网络) 和径向基函数神经网络( r b f 网络) 进行比较。 r b f 网络是一种特殊的三层前向神经网络，它的基函数具有紧支性但 非正交：而w n n 是r b f 网络的推广，它用小波斜交或正交基做为基函数来 逼近非线性函数，使网络节点具有更小的冗余度。m l p 网络的基函数一般 为s i g m o i d 函数，s i g m o i d 函数难以找到与函数，r 所对应的反演公式， 也难以保证非线性系统的唯一解。 从结构形式上看，小波网络与m l p 网络、r b f 网络没有本质的区别， 所不同的是小波网络的隐节点函数是小波函数，而输入层到隐层的权值和 闽值分别对应小波的伸缩和平移参数。 从参数学习算法来看，由于小波网络隐层与输出层之间的网络连接权 值与网络输出呈线性关系，网络权值可采用线性优化方法获得，特别对于 丁f 交小波网络，其求解权值的方程有唯一解。r b f 网络需首先用无监督方 法确定中心和宽度，再用线性优化方法确定权值。而对于m l p 网络，它 的基函数相互不正交，其可调参数与网络输出是非线性关系，权重的学习 往往出现峡谷形误差曲面，由于参数估计必须基于非线性优化技术，导致 学习时间长、收敛速度慢，在运用梯度下降法学习时易陷入局部极小。 此外，s i g m o i d 函数不满足框架条件，但三个s i g m o i d 函数的线性组 第二章小波网络的研究 合得到的合成小波函数却可以满足，因此w n n 可以近似等效为三个m l p 的组合，其估计能力近似是m l p 的三倍。 总之，根据理论分析和实验结果表明，小波网络具有逼近能力强、收 剑速度快等特点，正交小波网络的误差函数关于权值是一个凸函数，有效 避免了局部最小值 3 4 1 。同神经网络相比，小波元及整个结构的确定有可 靠的理论依据，可避免b p 网络等结构设计的盲目性；小波网络隐层节点 的数目等于小波基的个数，可根据对输入信号的小波分析来确定；小波神 经元的低相关性，使小波网络有更快的收敛速度。 当然，小波网络也有不足之处，小波网络的构造比较复杂，相比m l p 和r b f 网络而言，小波网络的运算复杂度增加了。而且高维小波网络映射 学习时容易产生“维数灾”问题，即随着网络的输入维数增加，网络所需 训练样本呈指数增长，网络结构迅速膨胀，网络的收敛速度大大下降。这 两点可考虑通过采取一些必要的设备来实现小波网络的并行高速运算来解 决。 2 3 小波网络在控制系统中的应用 9 0 年代初期，许多学者对小波网络的逼近能力进行了大量的具有丌拓 性的研究工作，为小波网络用于非参数估计、系统辨识、建模、自适应控 制、逆系统方法、内模控制、预测控制、控制系统的故障诊断与检测等方 面提供了理论依据。 2 3 1 系统辨识和建模 系统辨识是控制系统设计的基础，目前尽管对线性系统已经有了多种 普遍适用的辨识方法，但对非线性系统的辨识尚处于探索阶段。由于小波 网络具有学习能力和非线性特性，因此将其引入非线性系统辨识中。在系 统模型的描述方法中，输入输出描述和状态空间描述是两种常见的描述方 法。因而在系统辨识与建模中同样也存在着输入输出模型辨识与状态空间 模型辨识两种形式。文献【3 5 】即为输入输出模型辨识，其在正交小波网络 第二章小波网络的研究 的基础上，提出了一种有利于实时应用的可变正交小波网络，使小波网络 模型的结构和参数随着对象特性的变化而调整。该文还对建模误差的变化 进行了分析，并将小波网络用于非线性系统的辨识。文3 6 针对离散状态 空间方程描述的非线性系统用小波网络逼近其状态方程，利用小波具有紧 支撑的特点，首先构造一个小波函数库，再用正交化方法对小波函数进行 最优选择，同时对回归向量进行正交化，最后得到网络参数，实现了多输 入非线性动态系统的辨识。 应该指出的是，文献 3 6 中的辨识方法是一个离线辨识过程、而实际 系统在运行过程中，由于受各种因素的影响，往往会发生参数漂移。因此 要求模型对系统参数的缓慢变化具有适应性，这就要进行在线辨识。事实 上利用上述方法获得网络参数后，可以将其作为在线辨识时网络参数的初 值，继续在线训练网络，使参数得到实时修正，这样当系统的某些参数发 生变化时，小波网络仍能很好地逼近系统输出。 文献 3 7 提出使用小波网络实现非线性系统模型的在线建立及自校正 方法。提出了小波网络节点库的构成方法和小波网络模型结构确定和权值 估计方法。在此基础上运用限定记忆最小二乘法，设计小波网络自学习建 模和在线校正算法。根据系统的输入输出数据自动的建立小波网络模型， 使得小波网络是最优的。 2 3 2 系统控制 小波网络的非线性逼近能力，使其可以用来在线逼近非线性系统的f 模型或逆模型，实现诸如自适应控制、预测控制、内模控制以及逆系统方 法等。目前，虽然小波网络用作控制器的研究还不多见，但神经网络在控 制系统中的应用己为人们所熟知，小波网络有着同样的应用潜力。 2 3 2 1 自适应控制和预测控制 自适应控制和预测控制都需要在线辨识被控对象模型，再根据某种性 能指标设计控制器，在神经网络自适应控制和预测控制中弛 ，把经过训练 的神经网络作为对象的模型和控制器，这方面的研究已取得了大量令人满 第二章小波网络的研究 意的成果。由于小波网络具有逼近能力，可以把小波网络代咎神经网络用 于自适应控制或预测控制。文 3 9 】基于l y a p u n o v 方法以及小波分析理论， 对一类仿射非线性系统设计并实现了直接自适应控制律。文f 4 0 幂j j 用b p 神 经网络对被控对象进行在线辨识，是一种f _ 自j 接自适应控制方案。控制器的 输入是误差信号，经小波变换后输入给b p 网络，其输出作用于被控对象。 在这样的小波网络中，小波变换只是对误差信号进行预处理，控制器的可 调参数仍只有b p 网络中的权值及阂值，它们与b p 网络辨识器的参数样， 按梯度下降法进行修正。由于小波变换对干扰信号具有滤波作用，可增强 系统的抗干扰能力。 文 4 l 】、 4 2 给出了基于小波网络的非线性预测控制方法，用尺度函数 作为基函数构成正交的小波网络模型，实现非线性预测控制方案。其中小 波网络用来辨识被控对象，产生预测输出，而控制器仍采用常规的预测优 化方法实现。 2 3 2 2 逆系统控制方法 将系统的逆模型作为控制器直接与被控对象串连，使期望响应与对象 输出之间成为一个恒等映射，这是一种直接逆控制方法。这种方法在机器 人控制中有着广泛的应用。而逆系统方法则是将逆模型与原