（信号与信息处理专业论文）神经网络在非线性系统辨识中的应用.pdf

褥南交通大攀弼i 士研究垒学位论文第1 炎 俩要 系统辫识是控制理论硬究的令重要分支，它是控割系缝设诗瓣基旗。 在该领域中最困难的就是非线性系统的辨谈，_ i 攮几年将神经潮络应用于菲线 性系统辨识的研究已缀取得了一些成果，但其辨识精度和效率还不是很理想。 本文在翦人研究的基础上，将粒子群优化算法和菇轭梯度算法结合，提出了 蒸予荚辍梯度算法鹣混合粒子器傀恁算法，著褥其斑瘸子萋予黯溺终匏嚣线 性系统辨识研究，仿真结果验证了该混合算法的有效性，并且为了克服b p 等静态网络在辨识中过分依赖系统的阶和延迟的缺点，将记忆神经网络和扩 展的融1 m a n 滤波器学习算法应用予# 线性动力攀系统辨识磷突，魏快了l 殳敛 速度和掇离了辨识精度。 论文首先利用m a t k 址语言谶行了基于b p 神经网络的a 线性系统辨识 仿真研究，走了克服b p 算法存在收敛速度慢、容易陷入局部极值和辨识髓 度不离豹固有缺点，采嗣了可垒瘸罨优戆遗传算法，在一定弦度上改善了辩 识的效果，但由于遗传算法的复制、交叉和变异操作是一个比较复杂的问麒， 交换概率和突变概率选取的恰当与否对系统辨识的性能有较大影响。因此本 文又将鼹篾挚熬粒予瓣捷纯算法藏耀手b p 丽终瓣学习，粒予黪德毒 二算法浚窍 遗传算法的复制、交叉和变异等复杂操作。 其次为了进一步提高粒子群优化算法的执行效率，本文将粒子群优化髀 法和共辍梯度算法有枫地结合，掇如了一秽基予共轭捞度算法的溃含粒予瓣 铙纯算法。钫真结采袭明该混合算法在辨静 稽发秘执行簸率方覆是有效静。 再次，由于静态前馈网络本身并不是一个动力学系统，而只是一个从输 入到输出的非线性映射，不能直接建模动力学系统，为此本文将一种具有可训 练夔内郄辛枣经元豹记忆毒孛经羽络( m e m o r yn e u r o nn e t w o r k s ，臻嚣) 终为狳 未知的非线性系统辨识的一般模型，该m n n 通过给前馈网络增加可训练的记 忆神经单元而构成的，保留了多层前馈网络的爨本特征，与前馈网络相比， 它们鸯霹潮练瓣内部记忆毒孛经单元，不用假定系统豹蹬或延逡裁能学习动力 学系统。 最肼，利用记忆神经网络结构j 行了非线性动力学系统辨识仿真研究， 由于原肖的训练m n n 的随时间反向传播( b a c kp r o p a g a t i o nt h r o u g ht i m e ， 疆南交通大攀硕士研究生攀德论文第1i 灏 b p t t ) 算法是基于梯魔下降的学习算法，依赖梯魔的瞬时估计，收敛比较慢， 并且辨识精度也不藏，为了克服b p 鞭算法的这赡缺点，将递姻网络的监餐训 练看骰怒最饶滤波澜遂，奉文将辩扩震静k a l m a n 滤波籍学习算法应j 霹l 予 记忆神经网络的训练，仿真结果表明该算法在加快收敛速度和提高辨识精艘 方面是莉效的。 关键词混合粒子群优化算法( h p s o ) ；非线性系统辨识 遗传算法( g a ) ；记 忆神经网络( m n n ) ；k a l m a n 滤波器学习算法。 聪南交通大学磺士研究生攀健论文第l il 擞 a b s t r a c t s y s t e mi d e n t i f i c a t i o ni sa ni m p o r t a n tb r a n c ho fc o n t r o lt h e o r y s t u d y ，a n di ti sa l s ot h ef o u n d a t i o no fc o n t r o ls y s t e md e s i g n i nt h i s f i e l d ，t h em o s td i f f i c u l tp o i n ti sn o n 一1 i n e a rs y s t e mi d e n t i f i c a t i o n i nr e c e n t y e a r ss o m ea c h i e v e m e n t sh a v eb e e na c h i e v e di na p p l y i n gn e u r a l n e t w o r k st ot h es t u d yo fn o n 1 i n e a rs y s t e mi d e n t i f i c a t i o n ，b u ti t s i d e n t i f i c a t i o na c c u r a c ya n de f f i c i e n c yi sn o ti d e a le n o u g h o nt h e g r o u n do fp r e v i o u ss t u d i e s ，t h et h e s i sc o m e su pw i t hah y b r i dp a r t i c l e s w a r mo p t i m i z a t i o n ( h p s o ) a l g o r i t h mb a s e do n c o n j u g a t eg r a d i e n t a l g o r i t h m ，b yc o m b i n i n gp a r t i c l e s w a r mo p t i m i z a t i o n a l g o r i t h ma n d c o n j u g a t eg r a d i e n ta l g o r i t h mt o g e t h e r t h e nh p s oi sa p p l l e dt ot h e s t u d yo fn o n 一1 i n e a rs y s t e mi d e n t i f i c a t i o nb a s e do nb pn e t w o r k s ，a n dt h e c o n s e q u e n ts i m u l a t i o nr e s u l tp r o v e st h ee f f i c i e n c yo fh y b r i dp a r t i c l e s w a r mo p t i m i z a t i o na l g o r i t h m t oo v e r c o m eb ps t a t i cn e t w o r k s e x c e s s d e p e n d e n c e o n s y s t e m s o r d e ra n d d e l a y i nt h e p r o c e s s o f i d e n t i f i c a t i o n ，m e m o r y n e u r a ln e t w o r ka n de x t e n d e dk a l m a n f i l t e r l e a r n i n ga l g o r i t h m a r ea p p l i e dt ot h er e s e a r c ho fn o n 一1 i n e a rd y n a m i c s s y s t e mi d e n t i f i c a t i o n ，t h eu s eo fw h i c ha c c e l e r a t e sc o n v e r g e n c es p e e d a n di m p r o v e si d e n t i f i c a t i o na c c u r a c y f i r s t l y t h e t h e s i ss t u d i e sn o n 一1 i n e a r s y s t e m i d e n t i f i c a t i o n b a s e do nb pn e u r a ln e t w o r k sb ym a t l a bl a n g u a g e ，a n db r i n g si ng e n e t i c a l g o r i t h mw i t hg o o dp r o p e r t yo fg l o b a ls e a r c hi no r d e rt oo v e r c o m eb p n e t w o r k s i n v a r i a b l ed e f e c t so fs l o wc o n v e r g e n c e ，l o c a le x t r e m e m i n i m u ma n db a di d e n t i f i c a t i o ni n a c c u r a c y g e n e t i ca l g o r i t h mh a s i m p r o v e di d e n t i f i c a t i o ne f f e c tt os o m ee x t e n t ，b u tc o p y ，e x c h a n g ea n d a b e r r a n c eo fg e n e t i ca l g o r i t h mi sac o m p l i c a t e dp r o c e s s t h e r e f o r e ， p a r t i c l e s w a r mo p t i m i z a t i o na l g o r i t h mw i t h o u tc o p y ，e x c h a n g ea n d a b e r r a n c ep r o c e s si sa p p l i e dt ot r a i nb pn e t w o r k s s e c o n d l y ，t oi m p r o v ep a r t i c l e s w a r mo p t i m i z a t i o na l g o r i t h m s 谶南交通大学预士研究生攀位论文第1 v 灏 e f f i c i e n c y ，t h e t h e m s p r o p o s e s a h y b r i dp a r t i c l e s w a r m o p t i m i z a t i o n ( h p s o ) a l g o r i t h m b a s e do nc o n j u g a t eg r a d i e n ta l g o r i t h m b yo r g a n i c a l l yc o m b i n i n gp a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h ma n d c o n j u g a t eg r a d i e n ta l g o r i t h m t h es i m u l a t i o nr e s u l ts h o w st h a tt h e h y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ( h p s o ) a l g o r i t h mi se f f i c i e n ti n i m p r o v i n gi d e n t i f i c a t i o na c c u r a c ya n de f f i c i e n c y 。 t h i r d l y ，s i n c es t a t i cf e e d f o r w a r dn e t w o r k i t s e l fi sn o ta d y n a m i c ss y s t e m ，b u to n l yan o n - l i n e a rm a p p i n gf r o mi n p u tt oo u t p u t ， i tc a n n o tb u i i dm a t h e m a t i c sm o d e lo fd y n a m i c ss y s t e md i r e c t l y b a s e d o nt h i s p o i n t ，t h e t h e s i sc o n s i d e r s m e m o r y n e u r a ln e t w o r k sw i t h t r a i n a b l ei n t e r n a ln e u r a ln e u r o n sa st h eg e n e r a lm o d e lo fn o n 一1 i n e a r s y s t e m i d e n t i f i c a t i o n w h o s eo r d e ri s u n k n o w n m e m o r y n e u r a l n e t w o r k s ( m n n ) a r ec o n s t r u c t e db ya d d i n gt r a i n a b l ei n t e r n a ln e u r a l n e u r o n st of e e d f o r w a r dn e t w o r k s i tr e t a i n ss o m eb a s i c c h a r a c t e r i s t i c so fm u l t i p l a y e rf e e d f o r w a r dn e t w o r k s c o m p a r e dw i t h f e e d f o r w a r d n e t w o r k s ，m n n h a st r a i n a b l ei n t e r n a l m e m o r y n e u r a l n e u r o n s ，s oi tc a nl e a r nd y n a m i c ss y s t e mw i t h o u tp r e s u m i n go r d e r sa n d d e l a yo fs y s t e m f i n a l l y ，u s i n gt h em m n ，i d e n t i f i c a t i o ns i m u l a t i o nf o rn o n 一1 i n e a r d y n a m i c ss y s t e mi ss t u d i e d s i n c ee x i s t e n tb a c kp r o p a g a t i o nt h r o u g h t i m e ( b p t t ) a l g o r i t h mb a s e do ng r a d i e n td e s c e n s i o nd e p e n d so ng r a d i e n t i n s t a n t a n e o u se s t i m a t i o n i th a su s u a l l ys l o wc o n v e r g e n c es p e e da n d b a d i d e n t i f i c a t i o na c c u r a c y t oo v e r c o m eb p t ta l g o r i t h m sd e f e c t t h e s t u d yr e g a r d s t h e s u p e r v i s i n gt r a i n i n g o fr e c u r r e n tn e t w o r k sa s o p t i m i z a t i o n f i l t e r ，t h e na ne x t e n d e dk a h n a nf i l t e r ( e k f ) l e a r n i n g a l g o r i t h m i s a p p l i e d t ot r a i n m e m o r y n e u r a ln e t w o r k s a t l a s t ， s i m u l a t i o nr e s u l ts h o w st h a tt h ee x t e n d e dk a l m a nf i i t e rl e a r n i n g a l g o r i t h mi se f f i c i e n ti na c c e l e r a t i n gc o n v e r g e n c es p e e d a n di m p r o v i n g i d e n t i f i c a t i o na c c u r a c y 堕童至塑查鲎塑主塑窒生兰垡笙塞蔓! 夏 k e y w o r d s ：h y b r i dp a r t i c l es w a r mo p t i m i z a t i o n ( h p s o ) a l g o r i t h m ： n o n l i n e a r s y s t e mi d e n t i f i c a t i o n ；g e n e t i ca l g o r i t h m ； m e m o r y n e u r a l n e t w o r k s ( m n n ) ；k a l m a n f i l t e r l e a r n i n g a l g o r i t h m 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 引言 系统辨识是控制理论研究的一个重要分支，它是控制系统设计的基础。 系统辨识获得如此蓬勃发展的由来，主要取决于2 0 世纪6 0 年代工程技术上 广泛应用了各种自动控制系统，这些系统包括最简单的继电控制系统到利用 辅助变量的复杂的回路控制系统。在这一时期，自动控制理论的发展达到了 一个较高水平，当时经典的控制概念受到新兴的现代控制理论的挑战。随后， 计算机技术的快速发展和成本的降低，使得无论是使用计算机作为离线科学 计算工具还是作为在线检测控制装置，都开始得到了广泛的应用。而且，值 得注意的问题是，现代控制理论研究和应用是以被控对象的数学模型为前提 的，往往要求系统的数学模型具备特定的形式，以适合理论分析的需要。然 而，在获得这些模型的研究中，却出现了如何确定被控对象的数学模型的各 种困难，理论和实际之间出现了相当大的距离。因此在当时，这正是现代控 制理论在许多领域中远没有得到充分应用的原因之一。尽管“理论”能够以 非常精巧的方法提出一个控制问题的最优解，但是要实现这个控制，需要对 被控制系统的动态特性给予一个合适的数学描述。在这样的背景下，系统辨 识问题便愈来愈受到人们的重视，它成为了认识实际对象特性和控制实际对 象工作中不可缺少的一个重要手段【”。 随着控制过程复杂性的不断提高，控制理论的戚用日益广泛。控制理论 魏实嚣应用攀戆够我毒被拣蹲象戆数攀模垄。毽是，嶷多数谤嚣下，鼓控对 象的数学横擞是不知道的，并且在正常运行期间，模型的参数也w 能发生变 化。因此，利用控制理论去解决实际问题时，首先必须精确地建赢被控对象 的数学模型，这是控制理论能否成功地皮用于实际的关键之一，掰系统辨识 的任务魏建建立被控霹蒙鹣数学模蝥。 目前，尽管对线性系统己经有了较成熟的辨识方法，如最小= 乘法，但 是对非线蚀系统的辨识尚处于探索阶段，没有类似的手段对其进行逼近。己 糍夔一些# 线经系统豹辨谖方法，建蔹爨要骞关被辫谖系统豹终稳形式等各 种先验知识和假设，因此它们基本上飚针对某些特殊非线性系统而言的过 去几十年中，对线性、非时变和具有不确定参数的系统进行辨识的研究已取 疆南交通大攀颧士研究警鬻位论文第2 页 得了很火的进展。但是辨识模型的结构选取和保证整个系统众局稳定的自邋 应调参嫂棒的构成镣，都是建立擞线性系统理谂基础上的，对于非线性系统 豹辫谈润鼹帮一壹滩予找虱穗应酌数学方法。亭搴经阏络由予絮豹学习栽力鞫 非线性特性，在这一领域有很大的潜力，现阶段似乎是对非线性系统进行辨 识的最肖效的途径之一。 1 2 神经网络概述 2 0 世纪8 0 年代中后期以来，人工神经网络以其独特的优点引起了人们 的极大关注。国际上以美国、日本为首的工业先进发达国家掀起了竞相研究 开发神经网络、设计构造神经计算机的热潮。美国高级研究计划局子1 9 8 8 年1 1 月宣布投资4 亿美元，执行一项8 年神经网络计算机的研制计划。1 9 8 8 年，日本“人类尖端科学计划”投资7 0 0 0 万美元用于神经网络计算机的研 究。1 9 8 7 年首届国际神经网络学术会议在美国加利福尼甄州召开，在会上成 立了国际神经网络学会( i n t e r n a t i o n a ln e u r a ln e t w o r ks o c i e t y ，简称 i n n s ) 。1 9 8 8 年，日本东京大学的s h u n i c h ia i i l a r i ( 甘利俊一) 教授、美国波 士顿大学的s t e p h e ng r o s s b e r g 教授和芬兰赫尔辛基技术大学的t e u v o k o h o n e n 教授，主持创办了世界上第一份神经网络杂志n e u r a ln e t w o r k s 。 随后，i e e e 也成立了神经网络协会并出版神经网络刊物【“l 。 我国1 9 8 6 1 9 8 8 年在北京召开了有关神经网络的三次专门学术会议， 1 9 8 9 年1 0 月在北京由中国自动化学会主持召开“神经元网络及其应用学术 讨论会”，1 9 8 9 年1 1 月由华南理工大学和西南交通大学等主持召开“第一 届全国信号处理神经网络学术会议”。1 9 9 0 年1 2 月，我国八个学会联合 在北京召开“中国首届神经网络学术大会”。这个空前的盛会，以“八学会联 盟，探智能奥秘”为主题，收到了来自各方面的论文3 0 0 余篇，开创了我国 神经网络研究的新纪元。目前，每年都召开一次中国神经网络学术大会，已 有九次全国性的神经网络学术会议在北京、南京、西安、武汉、成都和汕头 等地召开，参加的学会增加到1 5 个，同时国家攀登计划、国家“八六三”高 技术计划和国家自然科学基金，都对人工神经网络的研究予以巨大支持【”】。 目前，神经网络技术的开发，越来越受到众多专业领域的科学家和工程 技术人员的关注和重视。美、日、德、英等国家，为争夺这座人类迄今尚未 褥南交通犬掌硕士研究生举位论文第3 凝 攀登的错能科学高峰，抢占2 l 世纪科技竞争的灏高点，在神缀网络理论和应 用方联投入了大量黪入力和资金。 神经网络的基零恩想是觚傍黛学静角度辩人脑豹神经系统迸彳亍模叛，便 机器具肖人脑那样的感知、学习和摊理等智能。神经网络的吸引力在于n 4 1 ： ( 1 ) 能够充分逼j 琏任意复杂的非线性关系： ( 2 ) 瞧够学习遗疲不确定毪窳统静凄态符瞧： ( 3 ) 所有定景或定性的信息都分布储存于闷络内的各个神经元，所以有 很强的姆棒性和容锚饿： ( 4 ) 采用并行分布处理方法，使得快速进行大量运算成为可能。 这些特点最示了神经网络在求解非线性和不确定性系统控制方面的巨大 潜力，将神经网络引入辨识和控制系统是控制学科发展的必然趋势。它的引 入不仅给这一领域的发展带来了生机，也带来了许多急待解决的新课题。 1 3 神经网络系统辨识的研究现状 1 3 1 神经网络在线性系统辨识中的应用 自适应线性( a d a l i n e - - m a d al i n e ) 神经网络作为神经网络的初期模型， 与感知机模型相对应，是以连续线性模拟量为输入模式，在拓扑结构上与感 知机网络十分相似的一种连续时间型线性神经网络。这种网络模型是美国学 者w i d r o w 和h o f f 于1 9 6 0 年提出的，简称a d a l i n e 网络，它主要用于自适应 系统等连续可调过程，还可以用于天气预报、语言识别、心电图诊断、图像 分析等领域。由子该网络能逼近任意连续的线性函数，因此该网络可用于线 性系统辨识，具体的方法是：将连续输入信号的采样值经不同延时后，作为网 络的输入模式，被辨识系统数据量的采样值作为网络的希望输出模式。 a d a l i n e 网络的各连接权实际上就是被测系统微分方程中各阶导数的系数。 随着网络学习过程的进行，这些系数逐渐逼近系统的真实值，直至得到系统 的数学模型。 除此网络之外，还有其它神经网络可以逼近任意的线性和非线性系统。 其中以h o p f i e l d 网络( f i n n ) 为代表的反馈型神经网络在联想记忆或分类、优 化计算、人工智能等领域得到了广泛的研究与应用。由于h n n 可以通过v l s i 褥南交通太鬻硕士研究生攀位论文第4 页 等硬件物理实现，这柯利于充分发挥神经网络固有的信息并行处理能力。这 种潜在的应用前景引起了控制界鲍极大兴趣，为神经瞬络在系统辨谈方霹研 究王穆鹣羿震舞供了凌力。交觳【4 】捷密了稠掰h n n 辫谈绫镶系统狡态方程 的方法，文献 5 5 采用类似方法，对双线性系统的状态方程进行了参数辨识， 这些研究都是在系统状态、输入信患已知的前提下开展的。然而。对于某魑 实鼯系统，状态信息懿获取奉赛裁菇在一定夔豳难，经零器骚氆秘于状态鼹 测器邋论。这显然为神经网络在系统辨识方面构应用增加了难度，为此文献 5 6 提出了一种新的撼于h o p f i e l d 神经网络的线性系统参数辨识方法。酋先 建立系统瓣i o 差分方程，报据系绞输入输出历史数据，利用连续型h n n 辨 识密差分方程豹系数矩阵，遗蔼获褥系统静铸递蕊数矩薄，簸终建立线镶系 统可观标准型的状态空间表达式。该方法无需蘸构系统的状态，利用输入输 出信息即可辨识线性系统状态空阀袭达式的全郝矩阵参数，方法更加完簧。 虿戳说，线瞧系统辨谈夔理论秘方法已经魄较簸熬羁完善。 1 3 2 神经网络在非线性系统辨识中的应用 人工神经网络已在各个领域得到广泛应用，尤其是在智能系统中的非线 性建模及控制器的设计、模式分类与模式识别、联想记忆和优化计算等方面 得到人们的极大关注。从控制理论的观点来看。神经网络对非线性函数的逼 近能力是最有意义的，因为非线性系统的变化多端【2 1 是采用常规方法无法建 模和控制的基本原因，而神经网络描述非线性函数的能力，也就是对非线性 系统的建模能力，正适合于解决非线性系统建模与控制器综合中的这些问题。 具有这一特性的多层前馈神经网络在实际应用中的比例要占所有人工神经网 络应用的百分之八十以上。自前向神经网络b p 算法提出以来，已在控制界和 其它领域得到广泛应用。由于b p 算法学习速度慢，容易陷入局部极小值，网 络隐含层的层数及隐含层的单元数的选取尚无理论上的指导0 3 ，而是根据经 验确定；同时网络的学习、记忆具有不稳定性【“】。一个训练结束的b p 网络， 当给它提供新的记忆模式时，将使已有的连接权打乱，导致记忆模式的信息 丢失。要避免这种现象，必须将原来的学习模式连同新加入的学习模式一起 重新进行训练。针对上述各种缺陷，迄今已提出大量改进算法。文献 4 中提 出了一些提高收敛速度的常用方法，文献 5 、 6 、 7 采用自适应调整学习 鞭南交通大攀硕士研究生学位论文第s 贾 速率加快b p 算法的收敛速度，文献e 8 采用变动爨因子改善学习效果。但文 献e l o 研究表踢，零缝改变学习遽率或动量因子对改善学习效果均有一定的 是强瞧，有辩甚至誉鲡基本静算法。蔽上算法缘薏针瓣静算法牧敛逮魔授 而提出涞的。对于b p 算法存在的崩部极小值问题，也有许多改进的算法，如 文献 2 3 、 2 4 、 2 5 中提出的模拟退火法、趋翡分类法、a l o p e x 算法、遗 传算法笛，这些算法舔是蘧援纯豹羝爨算法，不曩在线执鬈。文献 2 6 恕逛 推最d - - 乘( r l s ) 技术应用于多罄前馈网络的训练，能得到垒硒最优解，弗易 于在线执行，但算法线执行过程中，计算量和：i 簪储量都远超过基本b p 算法， 给具体殿用带来了困难。从上可以器出，每一蕈中冀法都有各蠢的优缺点。因 魏，对予兹馈毒枣经两络来说，在裁嚣这骜学习_ 黪法赘基璃上，还嚣要改遂簸 研究一魑新的容易实现的算法，微算法的复杂魔增加不多的情况下，来不断 提高辨识精度、加快网络的收敛蚀，更好地满足日益复杂的a s 线性系统辨识 器要。 最初，应用于系统辨识的神经网络都是静态的前馈网络，而对于实际的 控制系统来说，被控对象一般都是一个动力学系统，所以，只能采用所谓的 “外部抽头延迟线”反馈的方法，来建模和控制动力学系统。这就需要知道 动力学系统的阶或延迟，显然这不能适用于所有的动力学系统。因此，对于 动力学系统的建模和控制，需要研究动态的递归神经网络。这正是目前神经 网络的研究方向之一。对于递归网络的研究，现在提出了许多网络结构。虽 然在网络内部引入反馈的方式各种各样，但都是力图以尽量简单的形式使整 个网络能够描述非线性动力学信息，并应用于非线性动力学对象的辨识和控 制设计，大多数的递归网络是通过在前馈网络内部引入反馈构成的，学习算 法一般采用最速下降法。因此递归网络存在的问题有： ( 1 ) 不能保证权值收敛到误差函数的全局最小： ( 2 ) 稳定性问题。 基于梯度下降的连续学习算法，由于依赖梯度的瞬时估计，一般是很慢的。 最近，有人将递归网络的监督训练看做是最优滤波问题【5 0 1 ，可以克服这个严 重的局限，它的方法是以回溯到学习过程的第一次迭代的方式递归利用包含 在训练数据中的信息，但是，它是以增加算法的复杂度为代价的。另外，在 话南交通大攀硕士研究生学位论文第6 擞 优化理论中新近发展的遗传算法( g e n e t i ca l g o r i t h m ，简称g a 算法) ，它魑 一种全蹋随机寻优算法，通过模仿生物进化的过稷来逐步获褥最好的结聚。 两显它器要嚣信愚蠢少，美有全越罨往、并行褴、速度快和不需要强标酗数 可微或涟续等优点，怒一类比较材前景的神经湖络学习算法，利用它的强企 局寻优能力可以防止神经网络陷入局部极值。k e n n e d y 和e b e r h a r t 于1 9 9 5 年挺出了一粪蔌兴熬夔极全蜀爨纯舞法一粒子嚣饯纯算法( p a r t i c l es w a r m o p t i m i z a t i o na l g o r i t h m ，简称p s o 算法) 1 s l ，它没有遗传算法的交叉变弊 操作，而是根据自己的速度来决定搜索，每个粒予都有记忆，其算法比较 篱单，怒一类有着潜在竞争力的神经鼹络学习棼涟。总之，岛麓镶网络相比， 递妇秘络约结稳滋鞍笈杂，无论怒对它豹潮络缭构还是学习舞法，赘骞缀多 问题有待进一步研究。 1 4 本课题研究的意义 系统辨识是神经网络在控制系统中应用的一个重要方面，也是实现智能 控制的一个基本内容，具有很强的理论和实际意义。 系统辨识的目的是建立数学模型，而数学模型的主要作用是： 1 用于控制：可对已知数学模型改善其系统的动态特性，进行参数整定， 设计特殊调节规律，进行最优控制，自适应控制，自整定控制。 2 用于预报：有了模型，可作一步二步，短期，中期甚至长期预报。 3 用予规划：正确的规划来源于正确的模型，利用模型，可以进行各种 方案的最优规划。 4 估计物理参数：如医务界对于人体内参数的测定，可以通过系统辨识 的方法来进行。又如反应堆中等离子体边界，矿藏区域储量都可以从少数几 个测点推到全体。 5 生产过程诊断：过程参数监视或破损探测均可通过动态模型来反映， 如果模型参数发生了变化，即表明过程有了变化或出现了破损，需要及时处 理。 由于数学模型具有重要的作用，所以研究系统辨识具有很强的实际意 义，可以在很多实际问蹶中得到应用，具有很广阔的前途。 西南交通大学预士研究生常位论文第7 激 1 5 本文的主要研究内容 因为神经网络其窍逼近任意线性和非线性缀数的e 2 力，因此宅院较逶食 线褴系统靛辨识辑究，本文对基予神经淹络翡# 线往系统辨谖进行了研究， 具体内镰如下： ( 1 ) 对神经网络系统辨识的发熙现状进行了系统的综述，指出了存在的 爨蔽毪 ( 2 ) 阐述了神经网络系统辨识的基本原理； ( 3 ) 对于b p 算法进行了分析，指出了其缺陷，将优化理论中新近发展的 遗传算法( g e n e t i ca l g o r i t h m ) 和粒予群优化算法( p a r t i c l es w a r m o p t i m i z e ra l g o r i t h m ) 应用于神经网络的学习中，并对两种算法作了比较。 随后，本文尝试将粒子群算法和共轭梯度算法结合起来，提出了基于共轭梯 度算法的混合粒子群算法，仿真试验结果表明，此混合算法表现出了良好的 性能，比标准b p 算法及其改进算法、单纯的粒子群算法或遗传算法具有更高 的辨识精度、更好的收敛性和更好的泛化能力。 ( 4 ) 非线性动态系统辨识问题是目前控制领域中一个难点和焦点。一般 前馈网络存在缺乏动态补偿能力的缺陷，b p 网络本身为静态网络，无法描述 动态系统的动力学行为，尤其当系统的阶或延迟不知道时，利用前馈网络进 行系统辨识将变得异常复杂。为此，本文将一种简单易训练的记忆神经网络 i n 结构作为阶未知的非线性动态系统辨识的通用模型，随后针对原有的用于 训练该记忆神经网络的随时间反向传播算法( b a c kp r o p a g a t i o nt h r o u g h t i m e ，简称b p t r ) 收敛速度慢、辨识精度不高的缺陷，将一种扩展的k a l m a n 滤波器学习算法应用于该记忆神经网络的学习中，通过非线性系统的辨识仿 真研究，验证了该记忆神经网络结构用于非线性系统辨识的合理性和学习算 法的有效性。仿真结果表明，运用记忆神经网络结构进行系统辨识时，具有 不霈知道对象的阶或系统的延迟等先验知识的优点，而且网络结构简单，学 习算法收敛快，便于实际应用。 褥南交通大攀硕士研究生攀位论文第8 菰 第2 章神经网络辨识的基本原理 2 。 入王神经瓣终的特点及发震 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简称a n n ) 是理论化的人 脑神经随络的数学模激，是基于模仿大脑神经随络结构和功能而建立的一种 痿惠楚联系统。宅蹩囱大量蕊攀嚣搏稳至联结嚣残豹复杂爨终，其骞裹发戆 非线性，能够进行复杂的逻辑操作和菲线性关系实现盼系统。 2 1 1 人工神经网络的特点 人工神经元网络系统的基本处理单元是神经元，主要结构单元是信号的 输入、综合处理和输出，其输出信号的强度大小反映了该单元对相邻单元影 响的强弱。人工神经元之间的相互联结形成网络，称为人工神经网络。神经 元之间相互联结的方式称为连接模式，相互之间的联结度由联结权值体现。 在人工神经元网络中，改变信息处理过程及其能力，就是修改网络权值的过 程。 人工神经网络吸取了生物神经网络的许多优点，因而具有很多固有的特 点【圳： 1 高度的并行性 人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每 个单元的功能简单，但大量简单处理单元的并行活动，使其对信息的处 理能力与效勇惊人。 2 高度的非线性全局作用 人工神经网络每个神经元接受大量其他神经元的输入，并通过并 行网络产生输出，影响其他神经元。网络之间的这种相互制约和相互影 响，实现了从输入状态到输出状态空间的非线性映射，从全局的观点来 看，网络整体性能不是网络局部性能的简单迭加，而表现出某种集体性 的行为。 3 良好的容错性和联想记忆功能 人工神经网络通过自身的网络结构能够实现对信息的记忆，所记 两南交通犬鬻硕士研究生学位论文第9 掰 忆的信息以分布斌存储方式存储在神经元之间的权值中，使得网络具有 良好的容错性，辩自进行聚类分据、特征撼联、模式复朦等模式信息处 理王箨，又宣予敲模式分类、穰式联戆等模式谖翔王豫。 4 强自适应和自举习功能 人工神经网络可以通过训练和学习米获得网络的权值和结构，黧 魂爨缀强豹自学簿缒力羁对环凌夔鑫逶蠹力。 5 便于用v i s i 或现有计算机技术虚拟实现。 2 1 2 人工神经网络的发展 最早用数学模型对神经系统中的神经元进行理论建模的是美国心理学 家w m c c u l l o c h 和数学家w p i t t s 。1 9 4 3 年，他们利用电路构成了简单的神 经网络模型，即m - p 模型【”l 。m - p 神经元模型首次用简单的数学模型模仿出 生物神经元的活动功能，并揭示了通过神经元的相互连接和简单的数学计算， 可以实现相当复杂的逻辑运算。1 9 5 7 年，美国计算机学家f r o s e n b l a t t 提 出了著名的感知器p e r c e p t r o n 模型。1 9 5 9 年，当时的另外两位美国工程师 b w i d r o w 和m h o f f 提出了自适应线性元件，它是感知器的变化形式。尤其 在修正权矢量的算法上进行了改进，不仅提高了训练收敛速度，而且提高了 训练精度。1 9 6 9 年，人工智能创始人之一m m i n s k y 和s p a p e r t 在合著 的感知器一书中对以单层感知器为代表的简单人工神经网络的功能及其 局限性从数学上进行了深入地分析。美国学者j h o p f i e l d 对人工神经网络研 究的复苏起到了关键性的作用。1 9 8 2 年，他提出了霍普费尔德网络模型，将 能量函数引入到对称反馈网络中，使网络的稳定性有了明确的判据，并利用 所提出的网络的神经计算能力来解决条件优化问题。1 9 8 6 年d e r u m e l h a r t 等人提出解决多层神经网络权值修正的算法一误差反向传播法( e r r o r b a c k p r o p a g a t i o n ) ，称为b p 算法。多层神经网络以其强大的逼近非线性函 数的能力，在系统辨识中得到了广泛的应用，网络的学习采用了误差反向传 播算法，通过梯度下降法调整网络的权值。 人工神经网络以其可以表达任意非线性映射的能力，为非线性系统的建 模提供了一种新的思想和方法，用神经网络对非线性系统进行建模具有很大 的应用前景。一方面，许多经典的控制方法可以与神经网络结合，例如神 西南交通大学硕士研究生学位论文第1 0 页 经网络模型参考自适应控制、神经网络内模控制、神经网络预测控制等，控 制方案中所需的系统模型均可由神经网络模型来实现。另一方面，对非线性 控制系统的计算机仿真、控制器设计，同样需要非线性模型，也可以使用神 经网络模型来实现，例如非模型的神经网络自适应控制器、基于神经网络的 非线性系统动态逆的设计1 。同时，由于神经网络所建立的并不是一个精确 的数学模型，而是根据输入输出样本，通过结构的改变和参数的调整不断逼 近实际系统的特性，因此，它可以用来处理包含不确定性、不精确性和有噪 声影响的问题。本文在后续章节中对神经网络的应用作了进一步的研究。 2 2 人工神经网络的模型结构及学习过程 2 2 1 人工神经元的模型结构 人工神经网络是由许多并行互联的相同神经元模型组成，网络的信号处 理由神经元之间的相互作用来实现。一个人工神经网络的神经元模型和结构 描述了一个网络如何将它的输入矢量转化为输出矢量的过程。人工神经网络 的实质体现了网络输入和其输出之间的一种函数关系，通过选取不同的模型 结构和激活函数，可以形成各种不同的人工神经网络，得到不同的输入输出 关系式。 壅2 - 1 人王季孛疑元夔承意鹜 硐 神经生理学的研究成果表明，生物的大脑神经系统的构成元潦是被称为 神经元的神缎细胞，也被称为生物神经冗。而把用m 程的方法模拟生物神经 嚣缝搀组成瓣缝褒单元称必人工神经嚣蔽餐耘弗神经嚣。耱经元怒人工搀经 黼络的基本翘毽单元，它一般是一个多输入单输国酌菲线性元僚，事孛经元输 出除受输入倍号的影响外，同时也受到神经元内部熟它因素的影响。图2 一l 西南交通大学硕士研究生学位论文第1 1 页 是一个人工神经元的示意图图中t 为从n 个神经元接收的输入信号，w 。为 从第j 个神经元到第，个神经元的连接权值，b 为阈值，u ，为神经元的内部状 态，y i 为输出信号，则有 驴芝w f z 一b ( 2 - 1 ) “；。g(s；)(2-2) y 。一f ( u ；) - l i l “) h - g f ( 2 3 ) 当神经元没有内部状态时，即y ；- u 。，h - g ，常用的神经元非线性特性 有三种【”1 ： ( 1 ) 阈值型：在这种模型中，神经元没有内部状态，且函数，为一阶跃 函数。 - 嚣 x i ： 。4 ( 2 ) 分段线性型。 f 0 x i 0 f ( x r ) “t 0 t t 口 其中c 和4 取值为常数 ( 2 5 ) 1 口x i ( 3 ) s 型( s i g m o i d ) ：它一般是没有内部状态并连续取值的，通常也把它 称为s i g m o i d 曲线。如 f ( x 小百毒丽( 2 _ 6 ) 上述三种函数又称激励函数，它们的基本作用是控制输入对输出的激 励，对输入、输出进行函数转换和将可能无限域的输入变换成指定的有限范 围内的输出以及使优化问题的可调参数增加。使得解更准确等。 2 2 2 神经网络结构及学习过程 神经网络是由大量神经元依一定结构互连而成用以完成不同智能信息 处理任务的一种大规模非线性动力系统，不同神经元之间的相互作用用突触 权值表示，神经网络的学习过程就是不断调节突触权值，使网络的实际输出 馘南交遗大学颂士研究生学位论文第1 2 擞 不断逼逝希望输出。宦以现代神缀科学研究成果为基础，模拟了人脑功能的 基本特性。但它并不怒入脑的真实攒写，露只楚人脑舱菜种抽象、简化与模 羧。弱绦麴信意赴壤蠢 孛经元之麓静相互俸瑶采实现；知谈每德怠瓣存祷淡 现为网络内各神经元蕊连间分布式的物理联系；网络的学习和识别决