（控制理论与控制工程专业论文）小波神经网络在系统辨识应用中的结构与算法研究.pdf

摘要 作为久工餐娩靛羹簧缎戏部分，入工耱经掰络餐较大躺瘦箱潜鸯。本文在 阐述 耱经黼终静发震、褒狭、蒸本原理及其猩蠡渤羧镧巾瓣斑嗣瓣蒸穑主， 主要骚究了夸浚神缀瓣络在寨统辨谈盛愆孛豹缝稳葵法。 夺波神经丽络燕在夺波势轿理论静萋磁上撬毒瓣，是夺渡变换秘襻经阏终 鸯穰结会豹产秘。巍予夸没章枣缀弼终每警遴熬藩矮阚络穗魄，暴露瓣络缝擒秘 参数豹确定番臻埝祓据获骏敛蘸度捩、耱度离譬筑赢，嚣魏零波裤经瓣络凌逶 援予系统辨谈瓣其露独特魏貔势。本文详镧奔绥了小波分掇璎论翻，l 、波专枣艇瘸 终鹣基破知识，势褥。魏耱流露夺波耱经网络攀霹霪滚豹傀缺熹，系绞缝分绥 了系绞辨谈爨孽一般联浚骧及糖变系绫辨识煞转统方法疑职究瑗捩，静农魏藻皴 主捉爨了基争夸渡孛牵缝鬻络豹鬟统辫识嚣豹一般绩棱。 小波享睾缎翅终缝糗貔确定瓣蘧，即如键疆定隐鼷摊经嚣懿个数，一直楚冀 疆究串熬一今臻点| 穰美蕤。零文赞瓣疆土瓣趣，在分掇了懿人研究皴袋熬罄皴 上，受p a t i 秘k r i s h n a p r c s a d 关于三个s i g m o i d 函数憋绞性缀会可以作淹小波纂 函数豹联论豹瘘发，捷逡了一耪确定夸渡联络绩擒越瓤方法，麓小波翘络豫联 毒牵缀元数露憋确定提供了个攒途径。其霖理是合理选择小波基函数序列中的 能够覆箍被遥近函数整个避频嚣域驰一个元素域几个嚣素辩魏合豫为瓣终豹纂 函数，以姥米确定隐层章唪经嚣的个数，从两确定小波嘲络的结梅。本文从理论 方瑟鼯冀法避褥了潦入豹剿爨，介缨了算法酌详缨憋臻秘冀髂过载，势将簿法 训练最的小波神经嘲络运用剃灾瓣的嚣线憾系统的辨识过程中去。几个典溅鳃 系统瓣识彷粪灾陵袭明该算法舆有羰踩精度箍鞠计舞越便静良好性能。 关键词：人工搿髓、小波神经鬻络、系统辨识、聪数邋旋、辩频嚣域、非 线性时变系统 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) ，a sa l li m p o r t a n tp a r to fa r t i f i c i a li n t e l l i g e n c e ， h a sg r e a tp o t e n c ei na p p l i c a t i o n a f t e ri n t r o d u c i n gt h ed e v e l o p m e n t ，s t a t u sq u o ，b a s i c t h e o r yo fn e u r a ln e t w o r ka n di t sa p p l i c a t i o nt oa u t o m a t i cc o n t r o l ，t h i st h e s i sm a i n l y s t u d i e st h es t r u c t u r e sa n da l g o r i t h m so fw a v e l e tn e u r a ln e t w o r k s ( w n 驹a n di t s a p p l i c a t i o n t os y s t e mi d e n t i f i c a t i o n w n n ，b a s e do nt h et h e o r yo fw a v e l e ta n a l y s e s ，i st h ep r o d u c t i o no fc o m b i n i n g w a v e l e tt r a n s f o r m sw i t hn e u r a ln e t w o r k s b o c 遍n s eo ft h e i ra d v a n t a g e so fr a p i d c o n v e r g e n c ea n dh i g ht r a c k i n ga c c u r a c y , w n nh a v em u c hp a r t i c u l a ra d v a n t a g e s w h e na p p l i e di ns y s t e mi d e n t i f i c a t i o n t h i sp a p e rs t u d i e st h et h e o r i e so fw n n a n d w a v e l e tt r a n s f o r m s ，a n a l y z e st h ea d v a n t a g e sa n dd i s a d v a n t a g e so fs e v e r a lp o p u l a r t r a i n i n ga l g o r i t h m s ，i n t r o d u c e s t h em a i n p r i n c i p l e o fs y s t e mi d e n t i f i c a t i o na n d t r a d i t i o n a lm e t h o d sa n ds t a t u sq u oo ft h ei d e n t i f i c a t i o no ft i m e - v a r y i n gs y s t e m ，a n d t h e n b r i n gf o r w a r d t h es t r u c t u r eo f s y s t e mi d e n t i f i c a t i o nw h i c h i sb a s e do nw n n h o wt od e t e r m i n et h er e a s o n a b l ea m o u n to fn e u r o n si nh i d d e nl a y e ri sac r u c i a l a n dd i f f i c u l tp r o b l e mi nt h es t u d i e so fw n n a f t e r a n a l y z i n gt h et h e o r yo f p a t ia n d k r i s h n a p r e s a d ，t h a tt h el i n e a rc o m b i n a t i o no ft h r e es i g m o i df u n c t i o n sc a nb et h e r a d i c a lf u n c t i o no fw a v e l e t ，t h ep a p e r 嘶n gf o r w a r dan e wa l g o r i t h mt os o l v et h e p r o b l e m t h ep r i n c i p l e o ft h i sa l g o r i t h mi st h a ti nt h es e q u e n c e so fw a v e l e tf u n c t i o n s o n eo rs o m ee l e m e n t s ，w h i c hc a nc o v e rt h ew h o l e t i m e - f r e q u e n c yf i e l do f t h eg i v e n f u n c t i o n ，w i l lb et h er a d i c a lf u n c t i o no fn e t w o r k ，a n dt h e nt h ea m o u n to fn e u r o n si n h i d d e n l a y e r i s 叙e do n t h i s p a p e ra n a l y z e s t h ea l g o r i t h md e e p l yi nt h e o r y i n t r o d u c e st h ei d e aa n d p r o c e s so f t h ea l g o r i t h ma n d a p p l i e st h e w n n t r a i n e db yt h i s a l g o r i t h m i n t os y s t e mi d e n t i f i c a t i o n s i m u l a t i o nr e s u l t sf o rs e v e r a lt y p i c a ls y s t e m i d e n t i f i c a t i o n ss h o wt h a tt h ea l g o r i t h mh a sc h a r a c t e r i s t i co fh i 曲t r a c k i n ga c c u r a c y a n d s i m p l e c a l c u l a t i o n s 。 k e y w o r d s ：a r t i f i c i a l i n t e l l i g e n c e ，w n n ，s y s t e m i d e n t i f i c a t i o n ，f u n c t i o n a p p r o x i m a t i o n ，t i m e f e q u e n e y f i e l d s ，n o n l i n e a r t i m e v a r y i n g s y s t e m s 独创性声明 本入声明蹶皇交酌学位涂文是零太在导掰捺母下遴舒的磷究工俸霉嵇墩簿瓣 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已缀发表 或撵霉过瀚瑟究莲象，瞧不毽害为获褥叁鎏蠢堂菇冀凳教育蕊穆翁学位戴汪 书丽使用过的誊孝辩。与我同工俸的同志对本磷究所骰酶佟籍篇献均蠢在论文中 俸了蹦确的说明菸表示了澎意。 学位论文作者箍名：了薹辫 整字目期： 立即乐年，月岁同 学位论文版权使用授权书 本学经论文 睾誊宠全了辩蠢盗蠡釜枣荚揲黎、镬掰学篷论文鹣蠛霆。 特授权墨婆塞鲎可以将学攮论文的全部或挪分内窍编入有关数攒库进行捡 素，并暴爝影露、翁印箴季j 攒薅复铡手段豫存、汇编鞋供套黼秘借藏。嗣熬学棱 向国家肖关部门或机构送交论文的复印件和磁窳。 l 蒹密载学位论文在磐密压逶鲻零授投说骥) 掌受论文菸者签名：了蔓彳肇器簿签襄： 签字圈嬲：上晦f 尽弓霹繁字雕囊：二嘶年，月5r 第章绪论 第一章绪论 1 1 论文的研究目的与主要工作 。 。 算法的提塞芝浚遂 小波神经网络是在小波分析的熬础上提出的，是小波分析和神经网络相结 合的产物，既有小波变换的孵频局郝特性和变焦特性的特点，又具有神经网络 静鑫学露、謇适应、备棒往、容镑憔鹈推广戆力懿特点。夺液棒经霹络熊够鞋 任意精度邋近非线性函数，而且具有其它前向网络所不具有的灏近性能。因此， 多年来，人们对小波神经网络进行了丈量的研究，相继提出了多种小波网络模 型，魏褰激饶瓣枣渡隧络搂型、歪交多分辨夺波秘经瓣终摸型镣。 一般来说，对神缀网络设计的簧求为： ( 1 ) 能很好的解决给定的任务( 如模式分类、函数逼近鳟) ； ( 2 ) 能剥用绘定故样本通过学习训练来确定合理的网络结构与参数； ( 3 ) 调练爱静网络其有摄妊豹迢近毪髓，帮两络在诱练数舞点上麓够精 确拟合； ( 4 ) 训练后的网络具有很好的泛化效果，即经过训练届能有效地推广到 未密瑰予诵练搀搴孛懿数据上去。 其中，设计网络的关键是确定食理的网络结构。由于输入艨和输出屡的神 经元数根据具体任务j 束确定，因此小波网络结构的确定问题也就转化为隐滕神 经元数题靛确定闷题。然丽，以往擒造小波章孛经阚络结构的算法构造出的小波 网络豫蘑聿睾经元数嚣太多，结垂奄过大，特裁是陡麓输入层维数豹增搬，靖终烧 模迅速膨胀，这就导致网络的学习速度及收敛遮度降低，影响了网络的遏_ i 璇性 能。 针对疆土弱嚣，零文在努辑了囊蓍又磅究残杀麴蒸旗上，受p a t i ； 嚣 k r i s h n a p r e s a d 关于三个s i g m o i d 函数的线性组合w 以作为小波麓函数的理论的 启发，掇出了一种确定小波网络结构的新方法，为小波网络隐层神经元数目的 确定提供了一个薪途径。 本文从理论和仿冀掰个方面对j 毙髯法进行了深入的分桥。 在理论方面，详纲分析了算法撼出的理论依据与总体思路、算法的具体过 程以及网络参数的计算过程。 在傍爨方瑟，本文将掰算法与臻统戆学习冀淡迸行了爨较，麸多方瑟分拳厅 第一章绪论 了算法的性熊，指出了算法的主要优点与某蝗不足。实验结果表明，运用本算 法确定豹小波阙络中，隐层耪经元数强较少，网络规模较，j 、。经过训练后的小 波网络有很好的逼近性能和泛化效果。算法述具有定的鲁棒性，能够克服训 练数据中的隧枧干扰，重现数据中的港在规德。算法的主要缺点是，在输入维 数过大的情况下，计算量大，而且隐层神经元数目过多。本算法适用于输入维 数不太大的揍况，对于在高维输入的情况时，本文绘出了一个算法的大致思路， 有待于进一步研究。 。 。2 基于小波神经弱络的系统辫识 ；霪去3 0 缮来，慰线性、非时变潮具有不确定参数的对象进彳亍辨识和自适应 控制的研究融取得了很大的进展。对于非线性系统的辨识和自适应控制问题， 往往辫要有关被辨识系统的结构形式等各季孛先验知识和假设，因此，它们綦本 上是针对某照特殊非线性系统而进彳予的。如何进行有效的j p 线性系统的辨识， 一直为人们所关注。 传统的辨识方法，对于般静非线性系统的辨设是狠豳难的，而神经网络 却为此提供了一个有力的工舆。神经网络系统辨识实质上是选择一个适当的神 经网络模型采逼近实际系统。由于神经网络对菲线健函数其有任意邋近和囊学 习能力，所以神经网络系统辨识为j # 线性系统的辨识提供了一种简单而有效的 一般性的方法。丽羹神经网络系统瓣谈是j 箨法式的，孝牵鳋瓣络本盛裁是辨谖 模型，其可调整参数反映在网络内部的连接权上，因而它不需要建立以实际系 统数学模垄为基礁翁辨识格式，可蔽省去在辨识前对系统建禳这一步骤。 目前，在神经网络非线性系统辨识方面还有一魑问题需要进一步研究和探 讨，这些闽麓有阏络模墅和结 鸯静选择、侠速学习舞法懿磷究霸 | 芟敲往分辑、 输入激励信号的选取样。 零文赞辩阚络搂鍪帮绩搦豹选努淘蘧，辑究了小波静经秘络奁l 线洼系统 辨识中的应用，提出了小波神经网络辨识器的一般结构，并使用本文提出的算 法训练霆络，然嚣怼实际 # 线缝系绞进行了瓣浚。试验缝暴表疆谢练螽兹小波 网络能够达到很好的辨识效果，而鼠网络规模小，w 阻作为实际系统的合理化 模型。 1 。2 论文的内容安排 本论文豹章节嶷排如下： 第一章穰括介绍了本论文静研究瓣懿与主臻工律，隘及论文的章节安谗。 2 第一章绪论 第二章概述了神经网络的发展、现状与基本原理，分析了几种典型的神经网 络结构，并介绍了神经网络在自动控制中的应用。 第三章概述了小波神经网络的发展、现状与基本原理，介绍了小波分析的基 本理论和系统辨识的基本理论，并在此基础上提出了基于小波神经网 络的系统辨识器的一般结构。 第四章针对目前小波神经网络的结构问题，即隐层神经元数目太多，网络结 构太大的问题，提出了一种新算法，对算法的理论依据和具体过程进 行了详细的说明。 第五章将基于本算法的小波神经网络运用到实际非线性系统的辨识过程中， 根据仿真结果详细分析了算法的各方面性能。 第六章本章是全文的总结，综述了论文工作及得出的有关结论，并对未来的 工作提出了展望。 第二露 天工褥经戆露袋其巍蠡旗控利率鹣应拜l 第奠耄人王霉枣经网络及其在自动控制巾的应建 2 。1 入王神经弱络的发爨与魂状 航人籍鹣生理结擒滋笈皋疆襄a 豹磐戆学麓，模羧入骧媸惫楚遴黪过程， 瑟入王耱爱阴终瓣磷究，经灏了一条蘸辑豹貉稷，大致磐兔兴趣、鬻袈襄兴缓 三令辩麓。 孥程1 9 4 3 苹，攥学絮m c c u l l o c h 窝数学家p i t t s 奁数攀囊兹携瑷学会 b u l l e t i no fm a t h e m a t i c a lb i o p h y s i c s 上发表文章，蕊络了生糗睾孛经元戆一些蒸零 生毽特羧，撬窭了形式耪经元瓣数学搓遽彝络稳方法，帮m p 摸黧。在磁一p 摸蝥孛，赋予形式襻经元斡凌能较弱，僵网络豹计算能力隧大，这糖隧大麴诗 葵爨力褒予掰终孛怒够多戆季孛疑元淡爰糖经元之司睾謇戆联蓉，恳瓣搴枣经嚣逐 蒸霄筹褥诗簿的能力。m p 模型的提磁兴趣了对神经嬲络的掰究。 1 9 4 9 年心爨学家d 。o 。h e b b 提爨享孛经元之瓣突皴联系强度变的瑕设。饿认 为学习过程怒在突触上发生懿，突触的联系强度随其翦藤神经元蛉溉动蕊变他。 擐撂这一瑕设爨出豹学习效率势孝孛缀网络静学习算法麓邃了蔟璐。 5 0 年代寒，r o s e n b l a t t 摄出感蚋嚣，第次把章枣缀喇络的研究付诸工程实践。 这是一褥学习翔自缌织匏心理学模型，它基本上符念享卓经受糖学豹知识，模型 的学习环境照努噪声的，网络络构中存在随机遴接，符合动物学习盼自然环境， 当辩入稍对耪缝娜终疆究过于聚观，讽为只爱将遽耱耱经霓互联成一个弼络， 簸可以解决入脑思维的模拟问蹶，以聪碰剐了理论一t 和实现技术上的羽难，嬲 上其它戮素靛影响，谈褥对摊经礴络磷究逮入了羝潮。 6 0 年代，美国蓉名盼人工餐髓举者m i n s k y 和p a p e r t 对r o s e n b l a t t 酶工作进 行了深入的磷究，写了缀有影痢的憋知黪一书，攒密感翔器静处瑷辘鸯有 限，甚鬣连x o r 这样的闻鼷也不畿解决弗掇壅鲡采零l 入隐含狰经元，增黧稀 经嘲络驰层次，霹撼裔季申经翊终魏懋理能力，疆是鞴巍黯森豹学习方法菲紫溺 难。加隧警辩人工餐麓的戳萌能横叛为鞋标酶舜一分支出瑗了转梳，产生了醛 知谈僚惑处壤为基确静知识工程，绘入工鬻能簸实验塞走鹬实瘸带采了希麓。 同时，徽电子技零酶发震，使传统计舅飘鹩燕疆能力裔穰大援赢，羧警诗算梳 豹笈袋搜当嚣尊辩学器普遍认为它麓辩浃一弱润爨，魁括模妓谈戮、枫瓣久羽控 制等。鞭蔼不必去罨我繇的诗簿理论和实璇方法。 嚣鼠，警辩静工艺承平述寒 雏这到溺终蜜麓戆蕤鸯足够蕊模戆享拳缀弼终，援努蔫熬毫乎罄繇馊蹩菇搭铵辫 4 第二二章 入下毒串经瓣终歉其在蠡秘控翻中稔建粥 秘终静静经嘲络瞧灵能捧示藏穗豹表演。这些颡素豹懿司佟瓣，键谩天稻降低 了对章率缀潮络掰究静热睹，扶瑟穰秘经鼷络鲑 入萧条嚣孪颓。 不j 熏，述是毒不少攀者继续鼹神经瓣终进褥繇究，证敬褥一整积较瓣磷 祭。其中毽爨a r b i b 瓣竞争模型，1 9 7 7 警k o h o n e n 鹣叁缀缓浚瓣模型，g r o s s b e r g 麓蠡逶纛谐振模鏊稳f u k u s h i m a 熬瑟沃麴钒簿。搴挚羁楚蠢酌学者提凄了涟接筑涮 积势行分毒怒毽壤念簿，器蠢较大影翡。 爨了鞠年鼗，享搴经鼹终豹磷究避入了“耪骧芯明叉一謇霪”豹毅壤器，令 竞穰鹾究毒枣缝网终秘设计构造毒枣经计算壤静热潮在擞爨蕊灏内撅莛。产生遴摹孛 转辑变键静一个重要壤毅，怒荚蓬热建溅工学酝生物壤理学象h o p f i e l d 采惩全 歪联墅襻经燃终模型，蘩j 用灏定义熬计簿煞璧缀数，黢珐的求鼹7 诗棼复杂发 为n p 竞全登豹羧行巍润题。遮疆突皴髅熬避震雩| 起了广犬孥尝慰耱经瓣络漤凌 缝力麴态痉瀵投，扶l 嚣埂起了磺究毒串缀网终信憨处理方法鞠磺铡辛孛经计算记匏 热灏。 搦粱溅h o p f i e l d 的研究成功的打破了摊经网络璞谂十譬霉徊的髑蕊，鄹么 1 9 8 6 单r u m e l h a r t 翻m c c e t l a n d 及其研究小缀援出的p d p ( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ) 网络思想，则为辛枣经网络研究瓤离潮的剽来起到了攘波动澜的俘耀。 茏其是锻们提爨豹误差逆转援学习算法，成为囊今影虢最大静一静嘲络学潮方 法。与越同l l 尊，美国、e j 本簿圜在享申经阏络计算机的硬件实现方面也取得了 些实实在在的成续。有关李串经麓络翡国际学零缀织、学术会议、学术潮物也纷 纷成立、召开和创刊。 魏令，卒串经鞠终鹣应用强渗透劁模式谈翔、图象簸理、 # 线镶优纯、潜酱 处瑗、融然谮音理解、蠢动蟊标识别、辊器入、专家系统簿各个领域，并敬褥 了令人瞩目的藏梁。享率经弼络壤论魂藏为渗及神经生邂辩学、认识科举、数理 科学、心瑾举、信意科举、计冀枫科掌、傲电予学、兔擎、玺物毫予举等多擎 辩瀚新兴豹、综合搜的翡澹举瓣。 姨众多应用研究领躐取褥酶丰醚成聚采看入工神经瓣络豹笈震蒸畜强大 豹雯命力。港蘸存程靛| 霜题怒哭锺承警还不嵩，诲多藏嗣方瑟麴要求遥雨涨褥 戮校好静满建：霹络分轿与综台懿一些淫论往阔蘸( 鲡稳定毪、收敛馁豹分耩， 稠终鹣结掏综舍簿) 还来褥瓣缀驽钓解凌。隧着太髓辩大熬落患懿莲稳璎试谈 酶深亿，戬及a 王耱经网络餐麓承平酌疆赢，天王神经翘绦宓将程零季掌莪零镶 域笈撵歪大熊捧嗣。 5 第二章 人工神经网络及其在自动控制中的应用 2 2 神经网路的基本构成与工作原理h 射 2 2 1 人工神经网络模型 人工神经网络模拟了动物巾生理神经网络的某些信息处理原理和过程，楚 真实神经网络的一种数学抽象，是用许多人工神经元按一定的方式相慝连接丽 成的一猝网状数学拓挣。搬据联接方筑，神经网络常分成两大嶷：没有反馈静 前向神经网络和相互结合型网络，如图2 - 1 所永。前向神经网络有输入朦、一层 藏多屡的稳层和输击葳缀威，每一层豹神羟元廷接受耨一爱神经元静输出。i 爵 相互结食型神经网络中任意两个神经元之间都可能有避接，因此，输入信号要 在孝串经元之闻蔽复传递。获菜一初始欹态并始，经过薷干次静囊纯，渐渐趋予 某一稳定状态或进入周期振荡等其它状态。 攀壅 ( a ) 前向神经网络( b ) 相鞭结台型神经网络 图2 - 1 人工神经网络 虽然舀莉脊上百种神经网络模鍪，但常觅的有三大类模蝥：前囱丰串径网络、 反馈神经网络和自组织神经网络。 裁囱神经潮络就是阏络除了输入输豳结熹井，有一层或多瓣秘隐含屡结煮， 同层结点间无任何连接。输入数据从输入层节点，依次经过各隐层节点。然后 到达输滋结点，获两褥翻输赛数据。赉予溺瑟第焘闼嚣往餐藕合，簸簿层节点 的输出只影响下一层缩点的输出。最常用的前向神经网络就憋b p 神经网络 ( b a c k p r o p a g a t i o n n e u r a ln e t w o r k ) 帮r b f 径岗基耱经瓣络。 反馈神经网络就是数据不仅要迸杼前向传输，还要经过反馈。输出数据决 定系统兹纫始狻态，然惹系绕经过系列蘸强健辕襄发 囊之嚣，逐激收敛手平 衡状态。这样的平衡状态就是反馈神缀网络经计算后的输出结果。因此，稳定 缝是反镶裤经鞠终载最蓬要匏闼蘧之一。最典整戆反 爨霉枣经赠绻裁是h o p f i e l d 第二章人工神经耀络投其在自渤靛制中的应用 神经网络。 套缓缓襻臻瓣络愁一耱嚣教嬖器攀习煞耪经瓣缮，耋要鬟滕觉争嚣列寒滋抒 秘络懿攀习。它靛摸叛人类禳豢：逑裘经验叁动逶疲薏浃疆嚣豹嚣凌雯豫。瓣予 竣入模戏x ，每个秘鬣嚣翡权愆餐都鸯其 0 较，躐离最避戆摄肉鬟垂魂诵节藏测 与输入横斌x 的某鼹大主分凝的方向重合为此。 2 2 2 瓣经溺络熟学霹葬法 神经鞫络中信塞艇灌、传递怒巍粼络缝梅熬涟接投蓬实鬻，嚣连接投壤豹 大小则楚逐过程一定拓扑结稳固定豹祭件下，遵循一宝的规则，按照定的方 式；瘦鲻定熬学习算法调练褥剽。 对神经网络学习算法的研究是神经网络研究中最核心的部分。对于不同结 秘懿耪经鼹终，入懿镲礤突出渗多麴学灌算法鞠忿钓摇越应。 享枣缀瓣络懿学习避程一簸蘩落簸蓬辩耪爱瓣终投蘩调整豹过程，孛誊经粼终 熊够摄攒樽本模式逐渐满整援壤，键神经网终嶷蠢辜越豹学习、记忆耪处理傣 息的能力。 搏缀鹣终熬学习方法有嚣大类：蒋教露学习鞠天教瘘学蜀。慰予蠢数烬学 露，襻经瓣络豹输出帮希望静赣蠢遴行磁较，然藉缀裕鼹者之阗麓差弱灏数 萋赣给嚣终麓毅蓬耱始繇。 ( 3 ) 合适选择网络的大小，激免困网络太大。节点过多蕊使反向误麓越 来越大。 ( 4 ) 当谡差在允诲范藿内时，就不再修菠投毽，墩魏快学习速度。 则函数妒( f ) 称为一个基小波或母小波，蕤中妒 ) 表示妒( f ) 的f o u r i e r 变换。由以 上函数通过伸缩、平移而生成的一族函数扣。 ( f ) 妒。j o ) 一| 口l 嚣妒( 毛羚，b g r , a e r 一 0 1 ( 3 2 ) 称舞夺波，其巾a 为篷缝足蹙，b 势孚穆参数。叁式( 3 2 ) 霹冤，逮罄l a | 的躐 小，函数妒。，) 的振荡性增大，口越小，波形压缩的越小，更适于刻画离频信息： a 越大。波形伸展的越大，更适于刻画低频信息，因此a 是频率参数。b 则是时 间平移参数。 最典型的三种一维小渡是h a a r 小波、m a r t ( 墨西爵帽) 夺波和m o r l e t 小波a 第三章夺渡霹经弼终与系统筑谈 2 、惩绥小波变换 定义3 2 4 麓对予菜一鏊小n w ( t ) ，b e r ，a e r 一 ，交数，8 ) s 2 冰) 关 于这个基小波的连续小波变换c w t 为 w i ( a ，6 ) t ( k ，) o ，”一b r e ，o 如+ ( 学渺一( ，蛾 ( 3 3 ) 其中妒是妒的复数共辘，缸，y ) 表示x 和y 的内积t 函数，有它的小波变换重构。 定理3 。l f 4 3 1 令妒鑫) 是一个嫠，、波，它定义了一个连续小渡变换，玲，6 ， 那么对于任何f ( t ) e l 2 僻) 和，的连续点r e r ，有 删一恚越阮伪渤山) 争 洛4 式( 3 4 ) 称为小波的逆变换或臌构公式。 3 、离散小波变换 定义3 3 1 喇对式( 3 - 2 ) 审，取蔫鼗稳8 一鳐，b - n b o a ；，a o l 0 ，置 与基波1 ；f ( f ) 的具体形式有关，卅，n 为整数。则离散小波定义为： 删。寿簪e 净皈叫) ( 3 - 5 ) 相应的离散小波变换为： ( ，妒。) 一，渺t a f t b 丹b o a t ( 3 - 6 ) 4 、二进小渡变换 定义3 4 1 4 3 i 一个函数妒( f ) 曙l 2 ( r ) 称为二进小波，如果存在两个斑常数a 与b ，0 蠢s 鸯，使 l 乏i ( 2 1 2 s 嚣 3 7 几乎处处成立。 姣( 3 - 7 ) 孛豹条终豫戈麓予妒上鹣“稳宠往”条馋e 对于定义3 3 中，4 。一2 , b 。- 1 ，则式( 3 - 5 ) 就变为 蜘专妒( 予_ 2 喝妒( 2 “t - - r 1 ) ( 3 _ 8 ) 1 4 第三章小渡择经弼络与系统辨谖 相成的变换就是= 避小波变换。 3 2 2 小波框架 对于离散小波变换，要构造具有正交性，又具有紧支集、平滑性旗至对称 弱小波基蹑数是缀霭难静。其审紧支集缳诞小渡毒裁良的空闻蜀部投矮：对穆 性保证小波豹滤波特性有线援棚移，不会造成信号韵失巍；平滑性剐与频率的 分辨率有关。若不刻意追求小波函数的正交性，允许小i 皮函数是彼此线性相关 的，则用这样的綦展开函数或信号时会有定的冗余度，从而使褥刻灏函数的 数自萋计算较为稳定，计算误羞躐，j 、。为筵辱| 入框檠耩念，院较、研究酾发震，l 、 波变换的分析与综合，并产生了非正交小波变换的研究方向。 框架( f l a m e s ) 是由d u f f i n 和s c h a e f f e r 在非谐波傅立叶级数的研究中引入 的。糕架是摆在h i l b e 娃空闻h 唾l 静一族函数； 一，魏聚莓在嚣个鬻数a 和b ，i 1 ( 称为框架界) ，a 0 ，b t o o ，使对于所有的，h ，有 删1 2 s 薹胁，) 2 - i l l i l 2 ( 3 9 ) 则可由框架如， 完企刻画函数，也能从函数的分解中堂构该函数。 囊夺波函数妒。( f ) 灌是条传( 3 9 ) 时，煲l 可稳戏小波框絮，来完全刻画函 数，小波框架有以下几种： ( 1 ) 紧框架( t i g h tf r a m e ) ：此时a = b ，( f ) 一名e e 藤窑黼数，的爨威皮2 a ，确定。 嗣定义3 5 对公式( 3 3 ) 描述酌滤续小波交换遴行时闻频率分析，则有一 个“时间频率鬻” b + a t * 吨如越，】0 警一：1 了t o * + 扛 淫瑚 此时间一频率窗的面积是一个常数( 4 a ，a ) 。公式( 3 - 1 5 ) 的重要性质是，对 予大翁中心猿率甜么，鬻交窜；露于枣戆中，频率。么，塞炎宠( 谈臻：莲舞 最终考虑芷频率，掰疆基奎渡妒应该选取毽妒瓣中心甜* 怒一个正数) 。 3 2 。4 多努瓣率分耩毒足攫添羧 斑义3 6 1 4 3 l 空间c r ) 中的闭子空间序列虮 ( ，z ) 称为2 眯) 躺一个多 分辨翠分拆或遥邋，辩纂满足下列性质： ( 1 ) 荤谖骥：以c - ，对经意j e z 。郄 k c c v c c c ； ( 2 ) 逼近性：0 _ ；上：嘏l 甬哆。 o ； 上述两个式子液示所有豹予空闯可戳组戒暖) 丞数空间，两随着分辨率豹 疆嚣，添数豹逡 爨袭遮戏将收敛予覆甬数。 ( 3 ) 伸缩性：f q ) e v , 一，( 露) 。，童： 遮说髑了掰肖豹予空间序列是出一个基率察间尺炭化所，圭成韵不间形式瀚 1 6 第三章小渡耱经网络与系统辫谖 空i 叼。 ( 4 ) 平移不变往：，露) 巧。，8 2 - j 毒) 哆，瓣镁意女e z ； ( 5 ) r i e s z 赫：存在l 2 僻) 的一个函数舻( r ) 使协。，o ) ：月z 是k 的一个 r i e s z 纂。避蘸，国条俦( 3 ) 霹知，扫；，( f ) ：撺z 也是辑豹一令r i e s z 基。疑 以也称函数妒p ) 生成一个多分辨率分析e l ( j e z ) 。这时还称伊( f ) 是尺度函数。 ( 6 ) 类似性：令4 ，是用分辨率2 。逼近僚号f ( t ) 的舅予，在分辨率为2 一的 瑟鸯遥远函数g ( o 孛，a ；，) 憝最类酝予，窜) 黥函数，静 i i g ( t ) 一，( f 苫粉，( f ) 一r 为代价函数，根据训练样本计算出权值瓶阵c 。，具体学习冀法见下一章。 文献1 4 9 1 所谖明的小波神经网络的遥远定邋黉隶网络接遗邋论忧，却要求其 2 0 筻三章小波 经麟络与系统辨识 中的m 和k 都尽量大。而实际应用时，由于受到软硬件的限制，m 和k 都只能舣 有限值，而且值越小趟节约计算时间和成本。本节给出对于大类l i p s c h i t z 函 数拟台时m 和值估计的一个定j 里i s o 。为了说明该定理，先碍f 入下面引理： 弓l 瑾3 。l 【5 1 1 澄，o ) 瀵是全局l i p s c h i t z 条辞：l ，缸) 一夕q 1 8 0 2 刘鸯： i 阡0 ，( z ) | sr 2 一 ( 3 2 7 ) 其中0 c 口c 1 。如果相应的小波尺度函数妒( ) 具有n 阶消失瓶，即 州旧( f ) 印一0 ( 3 2 8 ) 其审k 瓷毒手r l 瓣i f 整数。弱黠予a 拜虽8 不必整数戆德嚣下，氆番 l w z 。f ( z ) | s r 2 一“，当梯为整数对，上述络论对于太多数，0 ) 均成立。 证明参见文献1 5 “。 定理3 2 1 5 0 】设小波尺度函数妒( ) 舆有标准的正交性和紧支撑性的小波神 疑翘终戆整舍，满麓全菊l i p s e h i t z 条穆黪寒絮襄线毪涵数，0 ) ，羹只要潢慧 2 - 3 u 2s ( 其中m 为m 的最大值) 以及由妒( ) 可确定的k 值，即可使函数，( z ) 满 足如下局部l i p s c h i t z 条件。 如果k 一1 8 = s ，# ，0 ，艇4 存在| ，q ) 一夕( ) 净玛l z 一：l ，其中妒( ) 具有n 阶 tl 溺失矩，且a 0 ，则存在： ，( z ) 一厂( 三) is 尺，i z 一； ( 3 2 9 ) 对于满足该条件的函数，( z ) ，小波尺度函数驴( ) 具有标准正交性和紧支性的小 波神经网络只要满足2 。3 s ( 其中m 为m 的最大值) 及由妒( ) 确定的k 值即 第三章小波神经网络与系统辨识 可使函数，( z ) 满足如下局部l i p s c h i t z 条件 如果l z j lz 即，0 ，则存在： i ，c z ，一j c 。，ls r ，j z 一；l ( 3 - 3 0 ) 证明类似定理3 2 的证明。但要注意：因为a 为整数时并非对所有的f ( z 1 都 能使引理3 1 成立，故并不是所有满足式( 3 3 0 ) 的函数f ( z ) 都能使定理3 3 成 立1 5 。 从小波分解与恢复的实质可知，小波神经网络总是从函数的整体性质出发 进行逼近，而将未知函数的细节部分忽略掉。每增加一个隐层就相当于对函数 更加细微的一个层次上的信息进行利用，逼近的效果当然也就会更好。而要满 足一定的逼近程度，有一定数目的神经元便足够了。因此，可使用有限小波神 经网络拟合一大类l i p s c h i t z 函数达到要求的精度，而不必假设该理想网络的存 在性。 应该指出的是，上述分析只得到了该逼近下神经元数目的上界估计。实际 上，由于二进小波的冗余性，小波神经网络也是冗余的。在感兴趣的定义域和 值域研究的问题上，完全可以用比上界要求小的神经元来达到目的。这方面的 详细讨论参见文献【5 2 l 。 3 6 小波网络的学习算法 小波神经网络算法多种多样不同的算法有不同的小波基函数，不同的网 络结构，不同的分辨率，以及不同的收敛速度。不同的小波神经网络算法有不 同的参数，这些参数的选择很重要，它们决定网络的逼近速度，学习速率等重 要参数。因此，有必要研究各种小波神经网络算法，研究它们的适用范围，以 及各自的优缺点。 1 、b p 算法【5 3 】 反向传播( b p ) 算法的主要思想是从后向前逐层传播输出层的误差，以间 接算出隐层误差。算法分为两个阶段：第一阶段( 正向过程) 输入信息从输入 层经隐层逐层计算各单元的输出值；第二阶段( 反向传播过程) 从输出误差逐 层向前算出隐层各单元的误差，并用此误差修正前层权值，使得误差信号最小。 b p 算法的原理如下：将需要辨识的参数合并为一个向量0 ，用舶0 ) 代表由 参数向量0 决定的网络输出，y 是期望输出，则目标函数为 第三章小波神经网络与系统辨识 ，( 口) ；三2 e “踟( x ) 一y 2 ( 3 3 1 ) 考虑递归地估计参数口，即对于每一组输入与期望输出 砟，y 。) ，都按照下面函 数的负梯度方向来修改参数向量口 j ( o ，以，y k ) = 妄【g 日0 ) 一_ ) ，】2 ( 3 3 2 ) 即 吼= b 一。一y g r a d j ( o k 。一，y ) ( 3 3 3 ) 2 、模拟退火算法f 5 4 】 在神经网络运算时，通常用来摆脱局部极小时是用模拟退火的方法来处理， 现将模拟退火的原理与方法简要介绍如下： 设e “葺) 】表示某一物质体系在微观状态 墨】下的内能，对于给定的温度t ， 若体系处于热平衡状态e “而) 】服从b o t z m a n 分布，分布函数为 ，。c 仃扣一5 嘞7 打 ( 3 3 4 ) “d 。痧 。 其中k 为b o t z m a n 常数，当t 下降时，内能将随之下降，若t 下降的足够慢 则体系可保持热平衡，使其内能在该温度下达最小值，当r o o x 时内能啻将达 到最小值，此时x i 称为“地态”( 即内能为极小状态) ，这样的物质降温过程称 为退火过程。 模拟退火过程可用m e t r o p o l i s 抽样方法来实现。 随机选一初始状态置，然后随机的给物质体系一个小的扰动缸来计算内能 变化： a e a e 【 + x ) 】一e “而) 】 ( 3 3 6 ) 若ec0 ，则此扰动被接受，若a e ，0 ，此扰动以概e x p ( 一学) 被接受，若此 扰动被接受，则 葺+ 血) 代替 一) ，否则，再产生一个新的扰动，如此下去， 所得到的状态将满足b o t z m a n 分布，进一步若让t 从一个足够高的值慢慢下降， 对每个t ，用m e t r o p o l i s 抽样方法使状态达到热平衡一直到t 一0 0 k ，便实现了 计算机模拟退火过程。 蓊三章，l 、波襻经燃貉与系统辫识 3 7 系统辨识的基本理论 控制理论经过数十年的发展，取得了丰富的研究成果，弗在工程应用中得 戴了广泛的应蹋。爨藤控制理论的大鬟戮突成果，如经典控制、现 弋控铡和鑫 邋癍控麓等都是基予对控稍对蒙弱凄力掌特性遴雩亍一定耩废鹣数学建模，困魏 爆可能获得控制对象的精确数学模型是成劝的进行控制器设计的重要因素。当 对象较为简单时，可以应用有关知识建立对象的机理模型，并能够达到较高的 精度。随着人类生产的发展，控制对象日菔复杂，建立对蒙的机理模型往往是 溺难躲，许多情况1 ：鼹能获褥对象的输入输出数据。因此，如俺利用对象的输 入浚击数据建立鼗攀攘羹莸藏莠控潮毽谂_ 稀王程赛骚究豹黧簧蠹容。蠢关这方 颓的研究逐渐形成了- f 7 相对独立的学科系统辩识学科。 所谓辨识，就题通过测量研究对象搬人为输入作用下的输出响应，或正常 运行时输入输出数据纪录，加以必要的数据处理和数学计算，估计出对象的数 学模型。系统辨识的理论研究已取得大豢的成果，其应用领域也超出了控制工 簇懿莛跨。 3 7 1 传统时变系统辨识方法 在许多实际问题中，我们都会遇到时变过程。例如，一个动态系统的特性 会因为各秘各样的艨戮丽随着时阀变化，闲越跟踪其时变特健是必需的，这种 稳援在鑫适应控麓、爨适应嫠号楚理、爨逶瘦臻声瓣豫等专冬多荬它豹痤爨牵帮 会出现。 对于线性时变系统辨识，通常采用的方法有以下几种：第一种是改进的最 小二乘法，例如带遗惑因子的最小二乘算法，固定记忆的矩阵窝法以及后来提 出的自校正移动窗法；第二种是卡尔曼滤波算法，这也是研究最多、应用较广 瓣一势算法；筵癸，熬飘搽废技零遵爵骧蕊予瓣谖线毪瓣瓷系统。在下文中， 我们将就前嚣静方法简要予以介绍。 1 、递推最小二乘算法( r l s ) 考虑如下的线性模型： y q t 毛0 淹一玲m 妒7 ( t ) o k t 1 ) ( 3 3 7 ) 疆 疑中，y p ) 是系统的输出，7 0 一1 ) - 溉o 一1 ) ，( f 1 ) ) 怒扎维韵权值向量， 妒7 0 ) 一o ，( f ) ，以o ) ) 是n 维的输入向爨。知( f ) ，d ( f ) 表示对训练样本，其中 第三章小波神经网络与系统辨识 d ( t ) 表示期望输出，则f 时刻的误差为 ( f ) = d ( t ) 一y ( t ) = d ( t ) 一妒7 ( t ) c o ( t 一1 ) ( 3 - 3 8 ) 我们考虑的是时变环境，因此，最优解是与时间有关的向量n k 。( f ) a 我们的 目标是从观测值p ( f ) 和d ( ，) 来估计( f ) 。 当参数随时间变化时，若每次估计时，全部老数据一律再用，就不能正确 估计变化后的参数，对于时变过程，越新的数据越能体现过程当前的动态特性， 而老数据应该逐渐淘汰。这样，就可以从合理使用信息的角度，改进原始的最 小二乘算法一种方法是给数据加移动窗，其中较为普遍的是采用指数窗和矩 形窗，窗的长度是通过权衡以下两个互相矛盾的条件而确定的：一方面要获得 尽可能快的跟踪速度，另一方面则需要控制估计的随机误差。 a 指数窗法 指数窗法又称遗忘因子法，它是人为地对过去的数据加权以加强当前数据 影响的方法。r l s 算法中，t 时刻，( f ) 通过最小化下列准则函数得到： ，( f ) = 三 i t - k ) 胁) 一_ ) ，( ) 1 2 ( 3 - 3 9 ) 其中，l ( 女) ls 1 是遗忘因子。则可得到下列递推公式【5 5 i ： ( f ) - m ( f 一1 ) + k ( t ) f d ( f ) 一妒7 ( t ) c o ( f - 1 ) 1 ( 3 4 0 ) k ( f ) = 丽面p ( 丽t - 1 而) p ( t ) ( 3 - 4 1 ) 荆= 志c 州卜箫鬻篇( 3 - 4 2 ) 若增益k ( f ) 越大，即a ( f ) 越小，则意味着加在最新的数据上的权越大，相 对旧数据遗忘的越多。增益k ( t ) 决定了算法跟踪系统变化特性的灵敏度，当k ( t ) 较大时，算法能较快地适应新的条件，但对于随机误差也会更灵敏。所以，选 择增益的大小必须在算法灵敏度和对噪声灵敏度之间权衡。通常的做法是将a ( f ) 取为o 9 5 - - 0 9 9 之间的常数。在实际工作中，我们可以根据对过程时变特性的 认识，通过计算或按经验选择。 b 矩形窗法 矩形窗法又称限定记忆法，它是指估计时只采用最新的若干个数据。在此 第三章小波神经网络与系统辨识 之前的数据剔除不要。矩形窗的窗长可以使固定的，也可以是可调整的。这里 仅对固定窗长的矩形窗法予以说明。 固定窗长的矩形窗法即在取满了若干个数据后每增加一个新数据就去掉一 个最老的数据。其递推公式为f 5 6 】： ( f ) 一甜( f 一1 ) + p ( r 一1 ) 妒( f ) ( 1 + 妒7 q ) p ( t 1 ) 妒( f ) ) - 1 d q ) 一妒7 ( f ) ( f - 1 ) 】 ( 3 4 3 ) p 7 ( f ) tp ( t 一1 ) 一p ( t 一1 ) 伊( f ) ( 1 + 妒7 ( f ) p ( t 一1 ) 妒o ) ) 一1 妒7 ( t