（电力电子与电力传动专业论文）基于小波和模糊技术的非线性建模研究.pdf

p q 华大学硕士学位论文 高。并通过m a t i a b 仿真，证明了其在系统辨识中的应用及其优越性。 最后一章介绍了动态递归的模糊小波网络模型，它的主要思想是增加 了一些反馈环节，即把每个隶属函数的输出反馈给它自身，来获得回 归特性。动态递归的模糊小波网络有如下优点；可以更有效地逼近函 数，具有在线自学习能力，具有更小的网络尺寸和更快的学习速度。 并通过仿真实验验证。 模糊小波网络未来的发展必将是激动人心的，尽管模糊小波网络 的研究工作具有艰巨性和长期性，但有一点可以使人欣慰：它现在还 只是初露锋芒，有巨大的潜力与机会，前景是美好的，具有很大的研 究价值。 关键词：模糊神经网络，小波网络，模糊小波网络，动态递归， 系统辨识 2 两华大学硕士学位论文 s t u d yo fn o n l i n e a rs y s t e m sm o d e li n gb a s e d o nw a v e l e ta n df u z z yt e c h n o l o g y p o w e re l e c t r o n i c sa n dp o w e rd r i v e p o s t g r a d u a t eg a oxiu m ei s u p e r vi $ o rp r o f w a n gj u n a l o n gw i t hw a v e l e tn e t w o r kd e v e l o p m e n ta n dm a t u r e ，w a v e l e t n e t w o r ka p p l i e si ne a c ha s p e c tr e s e a r c hm o r ea n dm o r e i tw i d e l yh a s a p p l i e di nt e c h n i c a ld o m a i n ，s u c ha ss i g n a lp r o c e s s i n g ，i m a g e r yp r o c e s s i n g , p r o n u n c i a t i o nr e c o g n i t i o na n ds y n t h e s i s ，p a t t e r nr e c o g n i t i o n ，m a c h i n e v i s i o n ，m e c h a n i c a lb r e a k d o w nd i a g n o s i sa n dm o n i t o r i n g ，a n dh a sy i e l d e d t h ev e r yb i ga c h i e v e m e n t a n dp e o p l es t a r tt os t u d yi t sa p p l i c a t i o ni nt h e d o m a i no ft h es y s t e mi d e n t i f i c a t i o n ，e s p e c i a l l yi nt h en o n l i n e a rs y s t e m i d e n t i f i c a t i o n a tt h es a m et i m e ，t h ef u z z yn e u r a ln e t w o r kh a v ea l s om a n y r e s e a r c h e si nv a r i o u sa s p e c t s i no r d e rt ou s et h es u p e r i o r i t yo ff u z z y ， w a v e l e ta n dn e u r a ln e t w o r kw e l l ，w ec o m b i n et h e mt oc o n s t i t u t en e w m o d e l ，r e s e a r c ht h es t u d ya l g o r i t h m ，a n di t sa p p l i c a t i o ni nt h en o n l i n e a r s y s t e m o nt h eb a s eo f m u l t i - r e s o l u t i o na n a l y s i st h e o r ya n dt h ef u z z y m o d e l ，c o m b i n i n gf u z z yw i t hw a v e l e tn e t w o r k ，w ep r o p o s et h ef u z z y w a v e l e tn e t w o r km o d e l t h i sn e t w o r kd r a wf u z z ym o d e li n t ow a v e l e t n e t w o r k i te n h a n c e st h e a p p r o x i m a t i n gp r e c i s i o no fn e t w o r k ，a n d s i m p l i f i e ss y s t e ms t r u c t u r ew i t hn oi n c r e a s i n gt h ew a v e l e tb a s ef u n c t i o n i n t h i sp a p e r ，t h ef i r s ta n ds e c o n dc h a p t e rm a i n l yi n t r o d u c et h e r e s e a r c hg o a l ，t h es i g n i f i c a n c e ，t h ep r e s e n ts i t u a t i o na n dt h ee l e m e n t a r y k n o w l e d g e t h et h i r dc h a p t e ri n t r o d u c e ss o m ec o n c r e t ec o n t e n t so ff u z z y n e u r a ln e t w o r ka n dw a v e l e tn e t w o r k t h ef o u r t hc h a p t e ri n t r o d u c e sf u z z y w a v e l e tn e t w o r k i nt h ef u z z yw a v e l e tn e t w o r km o d e l ，e a c hf u z z yr u l e c o r r e s p o n d sas u b w a v e l e tn e t w o r k ，i nw h i c h w a v e l e tb a s eh a st h es a m e 3 两华大学硕： 学位论义 s c a l ef a c t o r n a m e l yu n d e rt h ei d e n t i c a ls c a l et h ew a v e l e tb a s eg r o u pi s o b t a i n e db yt r a n s l a t i n gw a v e l e tf u n c t i o n t h e r e f o r eu n d e rt h e s ed i f f e r e n t s c a l ef a c t o r st h es u b w a v e l e tn e t w o r kc a nc a t c ht h ec h a r a c t e r i s t i co ft h e a p p r o x i m a t e df u n c t i o nu n d e rd i f f e r e n tt i m e f r e q u e n c yr a n g e a n df u z z y r u l e sd e c i d ec o n t r i b u t i o nd e g r e eo fv a r i o u ss u b w a v e l e tn e t w o r kt ot h e e n t i r en e t w o r ko u t p u t b yt h i s ，i tr e d u c e st h ed i f f i c u l t yo fc h o o s i n gt h e w a v e l e tb yf u z z yi r i f e r e n c e m o r e o v e rj nt h ef u z z yr u l et h ew a v e l e tb a s eo f d i f f e r e n ts c a l ev a l u ea l s oc a nf u l l ya p p e a rt h es y s t e me s s e n t i a l c h a r a c t e r i s t i ci nv a r i o u sa s p e c t s c o m p a r i n gw i t ht r a d i t i o n a lw a v e l e t n e t w o r k ，t h ep a r ta p p r o a c ha b i l i t y ，t h ec o n v e r g e n c er a t e ，t h ea c c u r a c ya n d e x t e n s i v e a b i l i t y h a v e b e e ne n h a n c e d b yl e a r n i n gd i s p l a c e m e n t p a r a m e t e rt h ew a v e l e tf u n c t i o na n da d j u s t i n gt h ef u z z yr u l e si nf u z z y w a v e l e tn e t w o r km o d e l a n dw h a t sm o r e ，t h r o u g ht h em a t l a b s i m u l a t i o n ，i th a sb e e np r o v e di t ss u p e r i o r i t ya n da p p l i c a t i o ni nt h es y s t e m i d e n t i f i c a t i o n t h el a s tc h a p t e ri n t r o d u c e st h ed y n a m i cr e c u r r e n tf u z z y w a v e l e tn e t w o r km o d e l t h em a i nt h o u g h ti si n c r e a s i n gs o m ef e e d b a c k l i n k s ，n a m e l y ，t h eo u t p u to fe a c hm e m b e r s h i pf u n c t i o nf e e d b a c kt oi t s e l l w h i c hc a no b t a i nt h er e c u r r e n tc h a r a c t e r i s t i c d y n a m i cr e c u r r e n tf u z z y w a v e l e tn e t w o r kh a sf o l l o w i n gm e r i t s ：i tm a ye f f e c t i v e l ya p p r o x i m a t e f u n c t i o na n dh a st h eo n l i n el e a r n i n gc a p a b i l i t y , h a st h es m a l l e rn e t w o r k s i z ea n dt h eq u i c k e rs t u d ys p e e dw h i c ha r ep r o v e db ys i m u l a t i o n t h ed e v e l o p m e n to ff u z z yw a v e l e tn e t w o r kw i l lb ec e r t a i n l ye x c i t i n g a l t h o u g ht h er e s e a r c hw o r ko ff u z z yw a v e l e tn e t w o r ki sa na r d u o u sa n d l o n g - t e r md u t y , i th a sap o i n tw h i c hc a u s e st h eh u m a ng r a t i f i e d ：n o wi t o n l ys h o w st a l e n tf o rt h ef i r s tt i m e ，h a sh u g ep o t e n t i a l i t ya n do p p o r t u n i t y t th a sg l o r i o u sp r o s p e c ta n dv e r yb i gr e s e a r c hv a l u e k e y w o r d s ：f u z z yn e u r a ln e t w o r k ，w a v e l e tn e t w o r k ，f u z z yw a v e l e t n e t w o r k ，d y n a m i cr e c u r r e n t ，s y s t e mi d e n t i f i c a t i o n 4 西华人学硕 。学位论文 第一章绪论 1 1 研究目的和意义【3 4 】【3 5 1 1 4 3 】【6 5 】 模糊逻辑系统与经典逻辑系统相比，它抓住了人类思维中的模糊 性特点，通过模仿人的模糊综合判断推理来处理常规方法难以解决的 模糊信息处理的难题，不仅为复杂系统分析和人工智能研究提供了一 种很有用的工具，还使计算机应用扩大到了人文、社会和心理等领域。 用模糊系统进行信息处理的核心问题在于模糊规则的自动提取和模 糊变量基本状态隶属函数的自动生成。在某些情况下，对某领域专家 而者，形式化领域知识，提取模糊规则仍是一件i 分困难的事。因而 如何开发一个具有学习功能的模糊系统已经成为一个重要的研究力 向。而神经网络的分布式处理结构及其学习和推广能力使它有可能解 决当前难以解决的复杂问题，神经网络的发展比较成熟，相关的研究 很多。模糊逻辑技术和神经网络相结合作为两种典型的智能控制方 法，各有优缺点于是模糊逻辑和神经网络相结合，构成模糊神经网 络( f u z z yn e u r a ln e t w o r k ，简称f n n ) 。由y - f n n 吸取了各自的优点， 已经成为当今智能控制研究的热点，并且相关的研究也很多，发展比 较成熟。 小波分析是近寸年来发展起来的一种数学分析方法，被认为是继 傅立叶变换以来的又一重大突破。小波变换同时在时域和频域内有较 好的局部化性质，随信号不同频率成分，在时间( 空问) 域的取样疏 密自动调= 侮，以分析信号的任意细节，提取信号特征，被誉为数学显 微镜。最近几年，小波网络在小波理论研究获得突破的基础上，发展 非常快。由于小波表现出良好的时频局域化特性以及它的多分辨率特 性，基 i 小波理沦构造的小波神经网络也表现出了良好的辨以性能 并且小波网络结构的确定有小波理沦为依据，可以避免b p 网络结构 没计上的盲目性和学习目标函数的凸性，使网络训练过程从根本上避 免了局部最优等非线性优化问题，是很有发展前景的一种网络。 f n n 具有模糊逻辑和神经网络的优点，即模糊逻辑与神经网络结 阳1 # 大学硕l 学位论文 合，网络中的各个结点及所有参数都有明显的物理意义，由于它具有 神经网络的结构，囚而参数的学习和调整比较容易。但是也有其不可 避免的缺点，提取模糊规则仍是一件卜分困难的事，f n n 的结构参数 难以确定，结构设计有很人的盲目性，以及网络学习过程长，容易陷 入局部极小等问题。 本论文研究如何将小波分析技术和小波网络( w a v e l e tn e u r a l n e t w o r k ，简称w n n ) 与f n n 结合，构造出一种新的模型模糊 小波网络( f u z z yw a v e l e tn e u r a ln e t w o r k ，简称f w n ) 。由于小波网络 与模糊逻辑的融合，使小波网络更接近人类思维和自然语言系统，也 使模糊逻辑系统具有多分辨率特性和具有自适应学习功能。由丁小波 变换具有时频局部特性和交焦特性，神经网络具有自学习、自适应、 鲁棒陛、容错性和推广能力，而模糊控制有因果规律及模糊逻辑推理 的较强的知以表达能力，将三者结合，充分发挥其各自的优点，弥补 不足，将对系统辨识、控制等领域产生重大的影响。 1 2 国内外现状和发展趋势1 6 5 j 在国内外，随着小波网络的发展和成熟，w n n 应用于各个方面 的研究越来越多它已广泛地应用丁信号处理、图像处理、语音识别 与合成、模式识别、机器视觉、机械故障诊断与监控等科技领域，并 丑已取得了很大的成果，人们已开始研究其在系统辨识领域中的应 用，尤其在非线性系统辨以中的应用潜力越来越大。同时模糊神经网 络在各方面的研究也非常多。为了更好地利用模糊、小波和神经网络 各自的优势，在多分辨分析理论和模糊模型的基础上，把模糊和小波 网络相结合，给出一种模糊小波网络。该网络将模糊模型引入小波网 络，在不增加小波基函数的基础上提高网络逼近函数的精度，简化系 统结构。 典型的w n n 结构有两大类：1 ) 小波变换与常规神经网络的结合： 2 ) 小波分解与前馈神经网络的融合。前者称为“结合”，是指彼此虽紧 密相联，但却又相对独立，用小波分析对信号进行预处理，即以小波 阳华人学硕l 学位论文 空叫作为模式识别的特征空问。通过将小波基与信号的内积进行加权 和柬实现信号的特征提取然后将提取的特征向量送入神经网络处 理，以完成分类、函数逼近等功能：刘第二类我们称之为“融合”，是 将常规单隐层神经网络的隐节点函数由小波函数代替，相应的输入层 到隐层的权值及隐层闽值分别由小被函数的尺度与平移参数所代替， 把小波变换与神经网络有机地结合起来，充分继局了两者的优点。小 波与前馈神经网络的结合是小波网络的主要研究方向。主要有连续小 波网络、离散仿射小波网络、离散正交小波网络、激活函数型小波网 络、权重型小波网络、一维小波网络、多维小波网络等。其主要问题 是：1 ) 在多维输入情况下，随着网络的输入维数增加，网络所训练的 样本呈指数增长，网络结构也将随之变得庞大，使得网络的收敛速度 大人下降；2 ) 小波基函数的选取问题，如何根据实际情况来选取合适 的小波綦函数使网络处于最佳效果也是一个很重要的问题：3 ) 用小 波网络逼近被控对象模型时，不可避免地存在着建模误差；4 ) 对于小 波神经网络的收敛性、鲁棒性、计算复杂度等的理论研究还有待深入 等。 在f n n q j ，神经网络完成的是从输入到输出的“黑箱”式非线性映 射，但不具备像模糊控制那样的因果规律以及模糊逻辑推理的较强的 知识表达能力，将两者结合，后者正好弥补前者的上述不足，而神经 网络的自学习功能则可避免模糊控制规则和隶属函数的主观性，从而 捉高模糊控制的置信度。所以，以生物神经元网络为“硬件”，以模 糊性处理感官输入信息为“软件”，构成的f n n ，能各取所长、优势 互补，能更好地模仿人脑的神经智能活动，推动智能信息处理技术的 发展。但其学习速度距实时在线应用的要求还有很大差距，对学习算 法的收敛性年f l f n n 控制系统的稳定性等问题有待进一步提高。 最近几年，一些学者将w n n 与f n n 相结合进行研究，已受到 人们的关注，。在f w n 中，每一条模糊规n x , i 应一个子小波网络， 孩子网络中的小波基具有相同的尺度因子，即在同一尺度下将小波函 数平移而得到的小波基组，因此这些不同j 己度下生成的子小波网络可 西华大学硕l ：学位论文 以用来捕捉所逼近函数在不同时、频域下的特征，而模糊规则集则决 定各个予网络刘整个网络输出的贡献。由此可见，由模糊推理来选择 小波，降低了该问题的难度，而且模糊规则中的不同尺度值的小波基 也能更加充分地显现系统的各方面的本质特性，与传统的w n n 比较， 通过小波函数位移参数的学习及模糊规则集的调整，f w n 模型的局部 逼近性、收敛速度、准确性和泛化能力都有所提高。 尽管与f w n 相关的研究并不是很多，但我们相信f w n 未来的发 展必将是激动人心的。模糊小波网络的研究工作具有艰巨性和长期 性，但有一点可以使人欣慰：它现在还只是初露锋芒，有巨人的潜力 与机会，前景是美好的，具有很人的研究价值。 1 3 主要研究内容、途径及技术路线叶1 【7 1 在了解和熟悉小波分析基础、模糊逻辑技术和神经网络的基础上， 对三者相结合的构造的f w n 模型进行研究。对f w n 的主要研究内 容有：构建系统模型，分析其逼近性，然后通过聚类法、遗传算法等 确定结构，研究学习算法，使其适用于一维及高维非线性函数学习， 最后通过仿真来验证f w n 较w n n 和f n n 的优越性。 详细工作有： 1 、构建模型： 一个典型的f w n 模型【6 1 可用下面的模糊舰则来描述： j r ：i f _ i s a t ，a n dx 2 i s a 2 - a n d a n d x q i s a q ， t h e n ，r2 薹( z ) ，m j z ，t k r q ( 1 - 1 ) 其中，r 是第i 个控制规则，工，是输入变量，i 是第i 个规则中小波的 数量，爿j 是输入变量的模糊集，爿；k ，) 是x ，在爿j 中的隶属度。；，是 蚬则r 1x , j 应的子小波网络的输出，由著名的t s kf u z z y 推论机制，得 4 西华大学硕i 。学位论文 罗肛，( 到总输出是y = 篇 “其中盹b ) = 兀；k a 可 ( x ) “”“ 见模糊规则集决定各个子小波网络对整个网络输出的贡献。 在实际的研究中，除了研究f w n 夕i - ，还研究了动态递归的f w n 。 2 、确定结构及学习算法： f w n 包括传统f n n 的4 个层：输入层、模糊化层、推理层、去模 糊层，每层神经元的数目需要通过初始化方法确定。确定了f w n 结构 之后，我们选择适合非线性系统的小波函数，由不同类型小波函数决 定尺度因子、平移因子及系统每层权值系数的范围，然后用优化算法 提炼小波、决定权值系数，对非线性参数的参量进行调节和校正权值 系数，方法土要有最小二乘法、梯度下降法、正交搜索法、矩阵求逆 法、遗传算法等。 3 、选择典型的一维或高维函数，用相关软件编程对其仿真。 4 、剥仿真结果进行比较和分析，并剥其不足之处进行改进。 1 4 本论文内容安排 第1 章绪论，主要介绍研究的日的、意义，国内外发展现状，主 要研究内容、技术路线等； 第2 章是文献综述部分，阐述了小波分析、模糊系统和人工神经 网络的发展历史、现状及存在问题，以及系统辨识的基本概念及发展； 第3 章介绍了模糊神经网络、小波网络的发展现状及特点； 第4 章研究了模糊小波网络模型的结构、学习算法及在系统辨识 中的仿真研究： 第5 章研究了动态递归模糊小波网络模型的结构、学习算法及仿 真研究： 最后是结论。 5 曲华大学硕l 学位论文 第二章基础知识 近年来，模糊、小波、神经网络以及它们的结合发展都取得了很 人的成就，它们的应用也越来越广，本文的主要研究目标是三者的结 合构造的模糊小波模型。在研究模糊小波模型之前，先大概介绍基本 的基础知识，包括小波分析基础、模糊逻辑技术、人工神经网络以及 系统辨i 的基本概念。 2 1 小波分析基础【3 4 1 1 3 5 】 小波分析是f o u r i e r 分析的发展，是f o u r i e r 分析的重人突破。 f o u r i e r 变换指出任何一个周期函数都能表示为一族正弦函数和余弦 函数之和，这一无限和就是我们通常说的f o u r i e r 级数。尽管f f r 和 d f t 都得到了很好的发展，但是f o u r i e r 变换理论还存在很多的不足 之处： 1 、处理非线性问题： 2 、没有反映出随时间变化的频率：实际上需要的是，人们能够 确定时间问隔，使在任何希望的频率范围上产生频谱信息； 3 、由丁信号的频率和周期成反比，因此，对丁高频潜的信息， 时问间隔要相对的小，以给出比较好的精度：而对于低频潜的信息， 叫问间隔要相对的宽，以给出完全的信息。也就是说需要一个灵活可 变的时间，频率窗，使得在高“中心频率”时自动变窄，而在低“中心 频率”是自动变宽，即所渭的时频局部化分析。 为了弥补其不足之处，g a b o r 提出了加窗f o u r i e r 交换，即 e ( w ) = r ，o k 。( f b ) e 4 ”d t ，但其时- 频窗大小固定，并没有很好地解 决时频局部化问题。小波分析( w a v e l e ta n a l y s i s e ) e 是为了克服 f o u r i e r 变换、加窗f o u r i e r 变换的这些不足而提出来的，是近l 年来 发展起来的一种数学分析力法，被认为是继傅里叶变换以来的又一重 人理沦突破。小波变换( w a v e l e t t r a n s f o r m ) 同时在时域和频域内有较好 的局部化性质，随信号不同频率成分，在时问( 空间) 域的取样疏密自 动凋节，以分析信号的任意细节，提取信号特征，被誉为“数学显微 四华大学硕l 学位论文 镜”。 小波分析属于时频分析的种，传统的信号分析是建立在傅立叶 ( f o u r i e r ) 变换的基础上的，是f o u r i e r 变换理沦的一大突破。由r 傅 立0 1 分析使用的是一科，全局的变换，要么完全在时域，要么完全在频 域，因此无法表达信号的时频局域性质，而这种性质恰恰是非平稳信 号最根本和最关键的性质。为了分析和处理非平稳信号，人们对傅立 1 1 | _ 分析进行了推广乃至根奉性的革命，提出并发展了一系列新的信号 分析理沦：短时傅立口1 变换、g a b o r 变换、时频分析、小波变换、分 数阶傅立叶变换、线调频小波变换和调i 幅一凋频信号分析等。其中， 短时傅立叶变换和小波变换也是应传统的傅立叶变换不能够满足信 号处理的要求而产生的。短时傅立叶变换分析的基本思想是：假定分 平稳信号在分析窗函数占( f ) 的一个短时间间隔内是平稳( 伪平稳) 的， 并移动分析窗函数，使厂( f k ( r r ) 在不同的有限时间宽度内是平稳 信号，从而计算出各个不同时刻的功率谱。但从本质上讲，短时傅立 叫变换是种单一分辨率的信号分析方法，因为它使用一个固定的短 时窗函数，因而短时傅立叶变换在信号分析上还是存在着不可逾越的 缺陷。短刚f o u r i e r 变换是采用固定的局部时间和频率分辨率来观察信 号的，而在小波分析中，通过小波的压缩、放火、和平移等功能，人 们能够以不同的时频分辨率来研究信号的动力学行为，这种“既看到 森林( 信号的概貌) ，又看到树水( 信号的细节) ”的特性正是小波 变换的目的所在。 在短短的时问内，小波分析的应用成果到处可见，除了在信号分 析中的应用，如滤波、按要求划分频带、时频分析、信噪分离、提取 弱信号、求分形指数，识别与诊断等，还包括图象识别、数据压缩、 系统故障珍断、地震勘探以及在医学、电予地图、计算机视觉、计算 机图形学等等方面的应用。 2 1 1 小波变换 小波变换是一种信号的时间一尺度( 时问一频率) 分析方法，它具 凸华大学顶f 1 学位论文 有多分辩率分析( m u l t i r e s o l u t i o na n a l y s i s ) 能j 特点，而且在时频两域都 有表征信号局部特征的能力，是一利窗口火小固定不变但其形状可改 变，时间窗和频率窗都可以改变的时频局部化分析方法。即在低频部 分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高 的时间分辨率和较低的频率分辨率，是分析非平稳信号的理想工具。 小波变换的定义如下： 定义2 1 函数妒( f ) 是小波函数，如果它满足 c ，；f 4 学o 。 或者f 0 枷；0 ( 2 一1 ) ( 2 2 ) 通常称满足公式( 2 1 ) 、公式( 2 2 ) 的平方可积函数妒o ) ( 妒o ) l 2 ( r ) ) 为一基本小波或母小波( m o t h e rw a v e l e t ) 。将母函数l f ，0 ) 经伸缩和平移 得到的函数 山) 2 丽1q 半) ，a , b e r , a 0 ( 2 3 ) 称为小波，其中a 为伸缩因子，b 为平移因子。由式可见，随着i a i 的减 小，函数妒。( f ) 的振荡性增大，a 越小，波形压缩得越小，更适于刻划 高频信息；a 越大，波形伸展的越大，更适于刻划低频信息，因此，a 是频率参数，b 则是时问平移参数。这个性质给我们引入一个膨胀( 或 尺度1 参数而额外增加一个自由度，正是由丁这个参数，使得小波既具 有良好的时频局部化性质，又能倍频程划分频带，同时又可以适配各 种变化尺度。 最典型的两种一维小波是h a a r d , 波币t l m a a r ( 墨西哥帽) 小波，两种小 波的数学表达如下： 1 ) h a a r ，j 、波，波形如图2 1 ( a ) 所示 8 西华大学硕卜学位论文 妒( f ) = j 一1 ，0 5s t j ；1 2 ，q ( 4 - 1 7 ) 这里需要注意的一点是：尤其在大的扩张( 尺度) 值上，n ，中的元素可 能非常大，我们可以通过选择s ，来调整，的尺寸从式( 4 1 7 ) 中可以看 到，j 、波妒 ，。，的支撑集至少包含了一组训练数据届，r 。 在获得了每一个输入变量要求的平移列后，通过搜索所有可能的结合 米决定要求的小波伊。： 心乍大学顾l 学位论文 2 妒”。n ：f 了岛“，b ，) 妒”哪b ，) ) zs ，n j n ，c 4 一s ， 这哩e 是一个可选择的正值，它控制小波的数量。式( 4 1 8 ) 。 j 产生的值 越大表明小波妒。： 包含输入数据工4 中重要的值为了减少下一 步净化小波的困难，我们通常选w 的数量为4 0 0 5 0 0 个。 s t e p2 ：净化小波： 在一些小波集中，训练数据有时分布稠密，有时分布稀疏。为此， 在上面由输入输出训练数据建立的w 中，常常存在冗余小波，刘f w n 模型辨汉是兀意义的，导致小波太多，模型复杂，降低了网络模型的 效率。在前一步选择的w 中，仅考虑了输入x ，未考虑输出y 。为 此，利用小波回归( 净化小波) 选择最佳的子集和初始权值。 净化小波有几种方法：正交化选择法、后退消除法和前向选择法。 正交化选择法是针对j 下交小波基，文【6 】中用的是正交二乘法 ( o r t h o g o n a ll e a s t s q u a r e s a r g o r i t h m ，简称o l s 算法) 来净化小波。 本文也以o l s 算法为例，来介绍怎么样净化小波，具体算法参考文献 【8 。 在选择小波库缈的基础上，采用o l s 算法选择最佳子集和初始 权值0 3 。假设最后选出s 个最佳小波，那么逼近函数的最后的小波描 述如式( 4 5 ) 和( 4 1 1 ) ，其中( 4 5 ) 中的i 满足：i = s 基于已选择的小 波，根据他们的尺度因子的值将其把这些小波分成c 组，每一组对应于 f w n 的一个规则。假设输入变量预先知道，确定了规则数c 后池就确 定了f w n 的结构。 s t e p3 ：网络初始化： 4 1 四4 净大学硕卜学位论文 。参x z 4 * h ，i 、t ；、珊川，这里r = l ，2 ，3 ，i = l ，2 ，c ，j = l ，2 ， q ，k = l ，2 ，s 。t ：在选择小波阶段得到，对于给定的目标矢量y 。， m 。，。可以通过最小二乘法从式( 4 5 ) 得到。但是，所有的p ：，是不知 道的，必须对他们做如下的初始化。式( 4 8 ) 中的参数p ：是隶属函 数的自由参数，这些隶属函数决定了具体分辨率上的每个子w n n 的 贡献程度五，可以通过式( 4 5 ) 中的岁。b ? ) 得到近似的贡献程度。 设驴咀j ! = 1 ，2 a c ，l = 1 , 2 , a , l ( 4 - 1 9 ) 如。 然后通过下面的标准式设置初始参数p ： p j 2 暑 西：驻 善瓦 z ；| ；瓦，睁野i ) 2 l 善磊， ( 4 2 0 ) ( 4 2 1 ) j p i f 3 ；2 0 r 3q = l ，2 ，c ，j = l ，2 ，q ) ( 4 2 2 ) 初始化的p i 和p ：分别被选来作为输入数据的加权平均和标准偏差 p i ，被选来确定g a u s s i a n 型隶属函数的形状。 4 2 西1 # 大学硕l 学位论文 4 3 3f w n 模型的学习算法1 1 】1 6 】 剥网络初始化后，这- - d , 节将讨沦f w n 中所用的学习算法。学习 过程可用局部最小误差捕获，在义【1 9 】中z h a n g 用梯度下降法来同时凋 整小波网络的所有平移参数、尺度因子和权值系数，导致训练速度慢。 我们可以对非线性参数和线性参数分开凋整，对非线性参数的凋整可 以用梯度下降法或扩展k a l m a n 滤波器算法( e k f ) 来进行调整，用最 小二乘法( l s ) 来校正小波网络的线性参数，即权值系数甜批，。该 方法的特点是：1 ) 学习速度快；2 ) 在训练过程中，囚为线性参数是 由最小二乘法得到的，误差目标函数总处在权值，即线性参数的全局 极小处。 设待估计的参数为 0 _ 钆，0 l 】7 ( 4 2 3 ) 其中0 。包含非线性参数，吼包含线性参数。学习的目的是对一组训 练样本瓦= 协i y ：) l t = 1 ，a ，上 ，l 为训练样本数，寻找合适的占，使 氓差目标函数p ) ；窆。一y ? ) 最小。 e k f 算法的具体介绍可参考文献【1 】和【6 】，最小二乘法众所周知， 这单不再论述。 训练步骤总结如下： s t e p1 ：用式( 4 1 7 ) 和式( 4 1 8 ) 构造小波库碱 s t e p2 ：采用净化网络方法选择最佳子集和初始权值。，t s t e p3 ：通过式( 4 - 2 0 ) 、( 4 2 1 ) 和( 4 2 2 ) 初始化高斯参数： 明毕大学硕i 一学位论文 s t e p4 ：基于e k f 算法，来调整非线性参数，从而调整钆 s t e p5 ：采用最小二乘法更新吼 s t e p6 ：判断性能指标e 是否小丁要求的最小误差范围? 是，则结 束训练。否则返回s t e p 4 。 4 3 4f w n 模型的特点 这种f w n 模型，通过将小波网络引入t - s 模糊模型，利用t - s 模糊 模型由规则集构成的特点，将输入空间分割到不同的模糊区域，每条 规则相当于一个“局部模型”。由于模糊规则后件的多分辨率性，即每 个模糊规则与带有一个指定尺度因子( 即分辨率因子) 的小波组成子小 波网络，其土要的特点为： i 、利刖这些不同分辨率因子下的子小波网络可以捕获逼近函数 的不同行为( 全局或局部1 ： 2 、利用模糊模型处理多输入多输出的特点，能有效解决小波网 络在高维小波网络的映射学习时容易产生“维数灾”问题： 3 、模糊模型的作用主要在丁如何分配子w n n 。这样使选择小波 的困难减少了，也使在这些模糊规则下具有不同尺度的小波能充分用 来捕获系统各种本质特性。 4 4 小波函数的选取【1 】【6 】 4 4 1 小波函数的选取 对于f w n 模型的构造，小波基函数的选取没有太多的限制，根据 系统需要，可以选择m e x i c a nh a t 小波、样条小波或正交d a u b e c h i e s 小波等。下面小节将介绍本文中用到的b 样条小波函数及其性质。 4 4 2b 样条( b a s i cs p l i n e ) 函数d 川 q # 大学顺l 学位论文 m 阶b 一样条函数是由单位f d j o ，1 的特征函数( 1 阶b 样条) 经 过m 1 次卷积而得到的，它满足多分辨率特性。b 一样条函数除了具有 任意阶正则性的优良性质外，它还具有正则性、紧支撑特性、可递推 性，并满足光滑函数条件。 m 阶b 一样条函数定义为 。b ) = ( 。一。+ ) = f u n 。一。o f 协 ( 4 - 2 4 ) 其+ l n l = 旷 m 阶b 样条函数具有与本文有关的性质： 性质4 ：紧支撑特性，即s u p p n m _ 0 ，m 】： 性质5 ：归一性，即。x 一) = 1 ； 性质6 ：非负性，即n 。( x ) 0 ，当0c 算c m ；否则。0 ) = 0 ； 性质7 ：n 。扛) 关于它的支撑中心是对称的，即 。( 詈+ x ) 。( 詈一x ) ，x 月( 4 - 2 5 ) 由上述性质可知，由于。g ) 具有非负、紧支撑、对称性，可作 为小波函数。 b 样条尺度函数及其小波函数定义如下： 定义1 ：m 阶b - 样条尺度函数b ) 为 妒。g ) = 。b ) 。薹z 1 ( 了) 。( 扛一，) c 一一z a ， s l 2 ：m 阶b 一样条小波母函数妒。x ) 为 两华人学硕i j 学位论文 j ；f ，m b ) 。磊 一m ( 2 石一 ( 4 2 7 ) 舯k = 笋辩灿小1 ) o 以上两个定义也称b 样条小波函数的两尺度关系式，表示任何m 阶尺度函数0 ) 和小波母函数妒。b ) 都可以用该阶上移动的m 阶尺 度函数舻。b ) 来表示。 当1s 朋s 5 时，n o ( x ) 的表达式为： l ( x ) f f i ：； 0 其 他x ( 4 _ 2 8 ) 啦，。p 豢 n 3x ) ； o s x 1 1s 工 2 2s 工 3 其他 ( 4 2 9 ) ( 4 3 0 ) ， 9 2 3 2 + 一 上 ：一 缸 ， x k：k：晚 心华大学硕i ：学位论文 n 。b ) = n ；b ) ； 1 4 i r ， 0s x 1 1s 工( 2 2 2 3 + 1 x 3 - 乱2 + 1 0 x ，s ( 4 - 2 2x3 3 1 ) 3 。 s 丝一三x 3 + 2 一- x 一8 一xx 。+ 。一 36 o 。- i - t x ， u 3 5 ， + x 。 4 3 s x 4 其他 0 x 1 1 s x ( 2 2 x 3 ( 4 - 3 2 ) 一百6 5 5 + i 6 5 卜6 1 - - x 4 - i - 三2 弘3 洲4一百+ i 工一6一一了r ， s z 4 6 2 51 2 5 1 。5 ，2 52 百一了卜瓦工4 一i r + 了r ，4s z c5 00 本文中用到的小波函数是三阶b 一样条小波函数。 三阶b 一样条尺度函数和小波函数如下图4 - 2 ( a ) ( b ) 所示。 ( a ) 九 ) 4 7 ( b ) 妒，o ) 石2 2 及+ 3 工 ， 1 2 x 一 1 6 2 3 幸 小 一一一一 西# 大学硕卜学位论文 图4 2 ( a ) 三阶b 一样条尺度函数图4 2 ( b ) z 阶b 一样条小波函数 4 5 仿真研究 1 、本文选如下的分段函数： f 一2 1 6 8 x 一1 2 8 6 41 0 s x 一2 ，& ) ； 4 2 4 6 x 一2s x 0( 4 - 3 3 ) 1 1 0 e “”“5s i n ( 0 0 3 x + o 7 沁】0 sz 1 0 这个分段函数是连续的和可以分解的。传统的分析工具效率低和经常 失败的原因有两个：隐藏在结合点处的宽带信息和线性、非线性的共 存。 本例中，我们取【一1 0 ，1 0 z l b 的2 0 0 个采样点作j , j o l l 练数据，仿 真结果如下图： 图4 3 f w n 的初始化 ( 实线为原函数，虚线为f w n 初始化的输出) 两华大学硕一i 学位论文 x 图4 4 f w n 的仿真结果 ( 实线为原函数，虚线为f w n 最后的输出) 采用上述所讲的初始化方法，最后选出的f w n 的规则数为5 。图 4 3 为f w n 初始化后的逼近曲线，同样可看出，该初始方法和小波基 的选择较好。学习算法采用e k f 算法和最小二乘法的混合算法，辨识 的结果如图4 - 4 所示。为了计算其逼近误差，对该系统进行了1 0 次仿 真，每次都采用2 0 0 组均匀采样的数据，计算出其平均的逼近误差为 0 0 2 2 。表4 1 为f w n 和两种不同w n n 方法的性能比较，误差评价 指标采用式( 4 2 3 ) 。仿真结