（控制理论与控制工程专业论文）递归神经网络的研究及在非线性动态系统辨识中的应用.pdf

太原理工大学硕士研究生学位论文 递归神经网络的研究 及在非线眭动态系统辨识中的应用 摘要 非线性动态系统的辨识一直是控制领域研究的难点和热 点。传统的多层前向神经网络属于静态网络，在非线性动态 系统的应用中存在很多问题。而递归神经网络由于其反馈特 征，能够获取系统的动态相应特征，更适合于非线性动态系 统的辨识。并且在辨识中，不需事先选择模型阶次，简化了 辨识过程。因此，递归神经网络是控制系统辨识中最具发展 潜力的网络。近年来引起人们的广泛关注。 递归神经网络的结构有许多种，由于结构上的不同，必然 导致输入输出关系的相异，因而表现出不同的动态变化性能。 本文对递归神经网络的结构作出了总结。将递归动态网络分为 三大类：全局反馈递归网络、前向递归网络和混合型递归网络。 每一类网络又可分为若干种网络。给出了每种网络描述网络特 太原理1 = 大学硕士研究生学位论文 性的结构图，同时还对多种网络进行了功能对比，分析了各种 网络的异同。 在神经网络的发展进程中，学习算法的研究一直是神经网 络研究的核心。而递归神经网络的学习算法一直沿用以误差反 传为基础的学习算法，它具有明显的反向传播的缺陷：收敛速 度慢，容易陷入局部极小。本文介绍了目前国内外提出的两种 递归神经网络学习算法基于递推最小二乘( r l s ) 算法的 递归神经网络学习算法、基于递推预报误差( r p e ) 算法的递归 神绎网络学习笸渍 以误差修正学习为基础，寻找目标函数的极小值的过程 是寻优的过程。最优化算法可分为两大类：确定类算法和随机 类算法。本文从这两类最优算法出发，提出了两类新的递归神 经网络学习算法。 第一类算法将标准数值优化技术中l e v e n b e r g - m a r q u a r d t ( l m ) 算法引入到递归神经网络的权值学习中来，提出了递归神 经网络的l m 学习算法。这种算法提供了牛顿法的速度与保证 收敛的最速下降法之间的一个折衷。进一步地，为了克服递归 神经网络的l m 算法集中运算的不足，提出了并行l m 算法。它 将计算分配到神经网络中的每个神经元，突出了神经网络并行 处理信息的能力，提高了收敛速度与精度。 太原理工大学硕十研究生学位论文 第二类算法以一种基于模拟退火思想的随机搜索算法一 一a l o p e x 算法为基础，提出了递归神经网络的改进a l o p e x 算 法。这种算法克服了a 1 0 p e x 算法中修正值固定不变的缺点，加 快了收敛速度。并且它的随机性有助于逃脱局部极小，做到全 局搜索。 同时，通过对非线性系统辨识的仿真，对燃油加热炉的建 模，验证了这两类递归神经网络学习算法的有效性。针对传感 器受温度影响的复杂的非线性输入输出特性，利用递归神经网 络建立了与之相适应的神经网络模型，该模型可同时实现温度 补偿和非线性校正。这三个实例突出了递归神经网络辨识的优 越性。 关键词：递归神经网络，结构，学习算法，非线性动态系统， 辨识 太原理1 大学硕士研究生学位论文 t h er e s e a r c h0 fr e c i7 r r e n t 卜m u r a l n e t w o r ka n di t sa p p l i c a t i o no n n o n l i n e a rd y n a m i cs y s t e m i d e n t i f i c a t l 0 n a bs t r a c t t h ei d e n t i ：f i c a t i o no fn o n l i n e a rd y n 啪i cs y s t e mi sa l w a y st h e d i m c u l t ) ，a n dt h ef o c u si nt h en e l d so fc o n t r o l r e s e a r c h m u l t i l a y e r f o r w a r dn e u r a ln e t w o r kb e l o n g st os t a t i cn e t w o r k ，s ot h e r ea r e m a n yp r o b l e m si nn o n l i n e a rd y n a m i cs y s t e ma p p l i c a t i o nb a s e do n i t w h i l ew i t hf e e d b a c kb e h a v i o r t h er e c u r r e n tn e u r a ln e t w o r kc a n c a t c h u pw i t l l t h ed y n a m i cr e s p o n s eo ft h e s y s t e m ，a n d i ti s p r o p o s e df o rn o n l i n e a rd y n a m i cs y s t e mi d e n t i 丘c a t i o n a n di nt h e i d e n t i f i c a t i o nb a s e do nt h er e c u r r e n tn e u r a ln e t w o r k t h em o d e l o r d e rn e e dn o tt ob es e l e c t e d ，s ot h ep r o c e s so fi d e n t i f i c a t i o ni s s i m p l m e d t h e r e f o r et h er e c u r r e n tn e u r a ln e t w o r ki s ap o t e n t i a l n e t w o r ki nt h ed e v e l o p m e n to fi d e n t i f i c a t i o ni nt h ec o n t r o ls y s t e m a n di th a sa r o u s e dt h ee x t e n s i v ea t t e n t i o no fp e o p l ei nr e c e n t y e a r s t h es t r u c t u r eo ft h er e c u r r e n tn e u r a ln e t w o r kh a sal o to f k i n d s t h ed i f 绝r e n ts t m c t u r e sw i l li n e v i t a b l yc a u s e 山ed i f 诧r e n t r e l a t i o n so fi n p u t 叽do u t p u t ，s ot l l er e c u r r e n tn e u r a in e t w o r k t v 太辍理工夫学骚士磷究生学位论文 s h o w st h ed i f f e r e n t d y n 啦i cp e r f 。r m a n c e t h i s p a p e r h a s s u l n m a “z e dt h es 咖c t u r e so fm er e c u i t e n tn e u r a ln e t w o r k t h e r e c u r r e n tn e u r a in e t w o r kj sc l a s s i 螽e di n t ot 1 r e e s o r t s ：g o b a l f 。e 鑫b 3 c kr e e u r r e 髓tn e u 豫ln e l w o 嫩， g j o b 奎 f o r w a r dr e r r e h t n e u r a in e t w o r ka n dm i x e dr e c u r r e n tn e u r a ln e t w o r k + e a c hk i n do f r e c u r r e n tn e t w o r kh a si t ss u b c l a s s e 8 t h es t r u c t u r ed j a 斟a m so f d e s cr i b i n ge a c hn e t w o r kf e a t u r e sw e r eg i v e n a tt h e8 a m et i m e ， t h ee 。m p a r i s 。n sa m o n gv a f i 8 b l ed i f r e n t 血n c t i o n so f n e t w o r k 船e d o n e t h es i m i l a r i 髓e sa n dd i f 盎r e n c e so nt h e s en e t w o r k sa r ea l s o a n a l y z e d 【nt h ed e v e l o p m e n to ft h en e u r a in e t w o r k ，t h er e s e a r c ho f 1 e a m i n ga l g o r i t h mh a sa l w a y sb e e nt h ec o r eo ft h en e u r a ln e t w o r k r e s e a r c h t h e1 e a m i n ga l g o r i t h mo ft h er e c u r r e n tn e u r a ln e t w o r k h a sc o n t i n u e dt ou s ew i 【ht h a tb a s e do ne i t o rb a c kp r o p a g a t i o n ， w h i c hh a st h eo b v i o u sd e f e c t s ：s l o wc o n v e r g e n c ea n de a s i i yt of a l l i n t ol o c a lm i n i m a t w ok i n d so fl e a m i n ga l g o r i 也m so fm e r e c u r r e n tn e u r a ln e t w o l kh a v eb e e ni n t r o d u c e d ，w h i c hp u tf o r w a r d b yd o m e s t i ca n di n t e m a t i o n a le x p e r t sa n ds c h 0 1 a r sa tp r e s e n t t h e ya r et h el e a m i n ga l g o r i t h m so ft h er e c u r r e n tn e u r a h l e t w o r k b a s e do nr e c u r s i v e1 e a s t s q u a r e ( r l s ) a l 蓉o r i t h m ，a n dt h el e a m i n g a l g o r i 也mo ft h e r e c u r r e n tn e u r a ln e t w o r kb a s e do nr e c u r s i v e p r e d j c t i o ne ”o r ( r p e ) a l g o r i t h m b a s e do ne r r o 卜c o r r e c tl e a m i n 臣1 0 0 k i n gf o rm i n i m u mv a l u e o fo b j e “i v e如n c t i o ni s 叩恤n i z a t i o np r o c e s s t h e o p t i m a l v 太原理工大学硕士研究生学位论文 a l g o r i t h mi sc l a s s i f i e di n t ot w os o r t s ：d e t e r m i n i s t i ca l g o r i t h ma n d s t o c h a s t i ca l g o r i t h l l l l o o k i n gf 沁mt h ev i e 、v p o i n to ft h et w ok i n d s o fo p t i m i z a t i o na l g o r i 衄，t w ok i n d so fn e w1 e a m i n ga l g o r i t h mo f t h er e c u h e n tn e u r a ln e t w 州ka r ep m p o s e di nt h i sp a p e r 。 t h ef i r s t a l g o “恤n u t i l i z e sl e v e n b e r g m a r q u a r d t ( l m ) a l g o r i t h mi no p t i m i z a t i o nt e c h n i q u eo fs t a n d a r dn u m e r i c a lv a l u e t ot r a i nt h er e c u r r e n tn e u r a ln e t w o r k a n dt h i sn e wa l g o r i t l l m p r o v i d e st h ec o m p r o m i s eo fm ef a s ts p e e do fn e w t o n sm e t h o d a n dt h ec o n v e r g e n c eo fg r a d i e n td e s c e n ta l g o r i t h m f u n h e m o r e ， i no r d e rt oo v e r c o m et h ed i s a d v a m a g e o ft h ec e n t r a l i z e d c o m p u t i n go fl ma l g o r i m m ，ap a r a l l e lu a l g o r i t mi sd e r i v e d i nt h en e wp a r a l l e la l g o r i t h m ，t h ec o m p u t a t i o ni sd i s t r i b u t e dt o e a c hn e u r o ni nt h en e t w o r k ，w h i c hg i v e sp r o m i n e n c et ot h en a t u r e o fp a r a l l e lh a n d l i n gi n f b m l a t i o no ft h en e u r a ln e t w o r k a n df a s t s p e e da n dh i g ha c c u r a c yo f t h ec o n v e 唱e n c ea r eo b t a i n e d t h es e c o n da l g o r i i sb a s e do na l o p e xa l g o r i t h mm a ti sa s t o c h a s t i ca l g o r i t h mo nb a s i so fs i m u l a t e da n n e a l i n gi d e a i nt h i s p a p e r ，i n l p r o v e da 1 0 p e xa l g o r i t h l ni s u s e dt ot r a i nm er e c u r r e n t n e u r a ln e t w o r k t h i sn e wa l g o r i t h mc o r r e c t st h e d e f e c to f u n c h a n g e a b l ew e i 曲te r r o ri na l o p e x ，a n df a s tc o n v e r g e n c ei s o b t a i n e d a tt h es 啪et i m e ，i th e l p st oe s c 印e 仔o ml o c a lm i n i m a ， a n da p p r o a c hg l o b a ls e a r c h a tt h es a m et i m e ，ag i v e nm o d e li si d e n t i 矗e db yu s i n gt h e r e c u r r e n tn e u r a ln e t w o r kt r a i n e dw i t l lt h e s ea l g o r i t m s ，a 1 1 dt h e v i 奎堕堡三_ 火堂堡主塑塞生堂垡堡壅 m o d e lo faf u e lh e a t e ri se s t a b l i s h e d t h es i m u l a t i o nd e m o n s t r a t e s t h ee f f e c t i v e n e s so ft h e p r o p o s e da l g o r i t h m s as e n s o rm o d e l b a s e do nt h er e c u r r e n tn e u r a ln e t w o r ki ss e tu p ，w h i c ha i m sa tt h e s e n s o r sc o m p l i c a t e dc h a r a c t e r i s t i co fn o n l i n e a ri n p u ta n do u t p u t t h a ta f 佟c t e db yt e m p e r a t u r e t h ea p p r o a c hf o rs e n s o rm o d e l i n g c o m p e n s a t e st h ee f 诧c t so ft e m p e r a t u r ea n di m p r o v e sn o n l i n e a r i t y t h et h r e ee x a l n p l e ss h o wt h e s u p e r i o r i t yo ft h ei d e n t i 6 c a t i o n b a s e do nt h er e c u r r e n tn e u r a ln e t w o r k k e yw o r d s ：r e c u r r e n tn e u r a l n e t w o r k ，s t r u c t u r e s ，l e a m i n g a l g o “t h m ，n o n l i n e a rd y n a m i cs y s t e m ，i d e n t m c a t i o n v i i 太原理工人学砸士研究生学位论文 图7 _ 8l m 算法仿真曲线6 8 罔7 9 并行l m 算法仿真曲线6 9 陶7 - 1 0 改进的a l o 口“学习算法仿真曲线6 9 图7 - 1 1b p 算法仿真曲线7 0 圈7 1 2l m 算法仿真曲线7 1 图7 1 3 并行l m 算法仿真曲线- 7 l 图7 一1 4 改进的a l o p e x 学习算法仿真f f 线7 2 图7 1 5 传感器与校正环节一7 3 图7 。1 6 传感器建模- - 7 3 图7 。1 7b p 算法建模结果- 7 4 图7 一1 8l m 算法建模结果 图7 1 9 并行l m 算法建模结果 图7 2 0 改进的a 1 0 p e x 学习算法仿真曲线 x i i = 2 巧m 太原理l 人学硕士研究生学位论文 第三、它的信息处理的并行机制可以解决控制系统中大规模实时计 算问题，而且并行机制中的冗余性可以使控制系统具有很强的容错能力。 第四、它具有很强的信息综合能力，能同时处理定量和定性的信息， 能很好地协调多种输入信息的关系，适用于多信息的融合和多媒体技术。 第五、神经网络计算可以解决许多自动控制中的计算问题，如优化 计算和矩阵代数计算等。 第六、便于用v l s i 或光学集成系统实现或用现有计算机技术虚拟 实现。 神经网络的以上特性使其在非线性系统的控制领域有着广阔的前 景，并成为控制工作者解决非线性系统复杂控制的有利工具。但也应该 看到，神经网络的理论仍有许多缺陷，尚待进一步发展与完善。因此， 要使神经网络走出实验室，真f 用于工程实践中，在诸多领域还有许多 工作要做一【引。 1 2 神经网络系统辨识的应用现状 系统辨识是控制理论研究的一个重要分支，它是控制系统设计的基 础。系统辨识是从系统的输入输出数据建立系统数学模型的理论和方法。 系统辨识的目的就是建立数学模型。 传统的辨识方法，对于般非线性系统的辨识是很困难的，而神经 网络由于具有非线性特性和学习能力，使其在解决复杂的非线性、不确 定、不确知系统与逆系统的辨识问题方面有很大的潜力，因此丌辟了一 条有效的途径。 与传统的基于算法的辨识比较，神经网络系统辨识具有如下特点： 第一、由于神经网络可以任意逼近非线性函数，故它可为非线性系 统的辨识提供一种通用的模式。 第二、神经网络系统辨识是非算法式的，神经网络本身就是辨识模 4 太原理工大学硕士研究生学位论文 型，其可调参数反映在网络内部的连接权上。它不需要建立实际系统数 学模型为基础的辨识格式故可省去在辨识前对系统建模这一步骤。 第三、神经网络系统作为实际系统的辨识模型，实际上也是系统的 一个物理实现，可以用于在线控制。 目前，神经网络辨识多是应用前向神经网络来解决非线性动态系统 的辨识问题。它在工业方面有着广泛的应用：可以用于控制系统的分析 与设计：在实时系统中，系统辨识器作为被控对象的模型，可由其不断 地调整控制器参数，以获得比较好的控制效果，如自校正、模型参考自 适应控制等：建立系统的逆模型，作为控制器，用于内模控制、自适应 逆控制等；在模型结构确定盼清况下，建立时变模型并预测其参数，以 实现系统参数的预测、预报：用系统运行的状态信息监视系统运行状态t 进行故障诊断等【3j 。 1 3 递归神经网络的兴起 递归神经网络( r e c u r r e mn e u r a ln e t w o r k ，简称鼢叮n ) 是由j o r d o n 于 1 9 8 6 年首次提出。所谓递归神经网络，是指神经元有一个或多个自身反 馈环的网络， 反馈可以是局部的，也可以是全局的。这就使它与前向神 经网络不同，反馈或递归连接成递归形式，从而可以达到动态效果。因 此，递归神经网络又称为反馈神经网络、动态神经网络或动态递归神经 网络。 构成递归神经网络模型的方法有很多，但总的思想都是通过对前馈 神经网络中加入一些附加的、内部的反馈通道来增加网络本身处理动态 信息的能力。递归神经网络能够利用网络的内部状态反馈来描述系统的 非线性动力学行为，能更直接地反映系统的动态特性，更适用于非线性 动态系统的辨识。因此越来越引起人们的广泛重视。近年来，递归神经 网络的研究有了很大发展。 5 太原理t 大学硕士研究生学位论文 1 4 神经网络学习算法的现状 决定神经网络的整体性能有三大要素： ( 1 ) 神经元的特性。 ( 2 ) 神经元之间互相连接的形式拓扑结构。 ( 3 ) 适应环境而改善性能的学习算法。 对于神经网络具有首要意义的性质是网络能从环境中学习的能力， 并通过学习改善其行为。随着网络结构和功能的不同，学习算法也不尽 相同。神经网络学习的过程归根结底就是网络权值调整的过程。而离丌 了学习算法，神经网络就失去了诱人的自适应、自组织和自学习的能力。 在理想的情况下，神经网络在每一次重复学习过程后剥它的环境便有更 多的了解。 现在有五种基本学习算法：误差一修正学习，基于记忆的学习，赫布 型( h e b b ) 学习，竞争学习和b o l t z m a l l n 学习。 其中，误差一修j 下学习应用较多，它是由误差信号驱动控制机制，其 目的是将修正调节序列作用于神经元的连接权值。修正调节能够以一步 步逼近的方式使输出信号向期望输出逼近。这一指标通过最小化性能指 标函数来实现1 3 1 。 1 4 1b p 学习算法的产生 1 9 7 4 年，w e r b o s 在他的论文中，第一次提出了用误差反传算法训 练多层感知器，但当时未受到重视。直到1 9 8 6 年，r u m e l h a n 等人在专 著p d p 中提出了多层前向神经网络的反向传播算法，才使得反向传播算 法被广泛应用，成为神经网络第一个可行的学习算法【1 0 】。 误差反向传播算法，简称反向传播( b a c k p r o p a g a t i o n ，b p ) 算法， 是基于误差一修正学习规则的。反向传播算法是一种计算单个权值变化引 起网络性能变化的较为简单的方法。由于b p 算法过程包含从输出节点 6 太原理工大学硕士研究生学位论文 开始，反向地向第一隐含层( 即最接近输入层的隐含层) 传播由总误差引 起的权值修正，所以称为“反向传播”【l 。 b p 算法的学习过程由_ i _ f 向传播和反向传播组成。在正向传播过程 中，输入信息从输入层经隐单元层逐层处理后，传至输出层。每一层神 经元的状态只影响下一层神经元的状态。如果在输出层得不到期望输 出，那么就转为反向传播，把误差信号沿原连接路径返回，并通过修改 各层神经元的权值，使误差信号最小f 2 】ob p 算法是目前应用最为广泛 的神经网络算法之一。 b p 学习算法的发展是神经网络发展史上的一个里程碑，它为训练 神经网络提供了一个有效的计算方法。 1 4 2 递归神经网络学习算法的现状 1 9 8 7 年p i n e d a 首先提出了递归神经网络的b p 学习算法【1 】o 它作为 训练递归神经网络的主要手段一直被普遍应用。 但这种以误差反传为基础的递归神经网络学习算法不仅收敛速度 慢，而且同样存在局部极小问题。近年来，人们针对其缺陷，陆续提出 了一些新的算法。比如：将非线性系统的最小二乘递推算法引入到递归 神经网络的权阵学习中来；将传统的参数估计方法慢算法引入到递归 神经网络的权阵学习中来。这两种新的递归神经网络学习算法都各有特 点，在一定程度上克服了b p 学习算法收敛慢的缺陷。 1 5 课题的提出及创新 神经网络由于具有理论上能逼近任意非线性函数的能力，在非线性 系统的辨识中有广泛的应用。传统的前向神经网络属于静态网络，在处 理非线性动态系统的应用中存在很多问题，虽然通过引入时滞环节来描 述系统的动态性能是可行的，但仍有严重不足“”。递归神经网络能通过 7 太原理_ 大学硕士研究生学位论文 经网络的改进a l o p e x 算法。这种算法克服了修正值固定不变的缺点， 加快了收敛速度。并且a l o p e x 算法本身的随机性有助于逃脱局部极小， 做到全局搜索。同时它可以实现权值的同时调整，实现并行操作。 1 6 论文结构 第一章首先概括叙述了神经网络及递归神经网络的发展现状及其用 于非线性动态系统的辨识的优越性，接着介绍了递归神经网络学习算法 的研究现状，最后说明了课题提出的意义及论文结构安排。 第二章总结了递归神经网络目前已有的结构，分析了它们的异同。 第三章讨论了两类优化算法：最速下降法与牛顿法。它们是众多算 法的数学工具。介绍了最著名的反向传播的思想。 第四章首先给出了递归神经网络的基本模型，接着分析了最基本的 递归神经| 6 4 络的b p 算法；介绍了目前国内外出现的两种先进的递归神经 网络学习算法。 第五章依据数值优化技术中的l m 算法，提出了递归神经网络的l m 学习算法；并针对神经网络并行结构的特点，对这种算法进一步提出了 改进。 第六章依据一种并行随机算法a i o p e x 算法，通过分析其优化策 略，对其固定不变的步长进行改进，提出了递归神经网络的改进a l o p e x 算法。 第七章介绍了递归神经网络用于非线性动态系统辨识的方法及其优 越性，并通过建模实例证明了所提出的两类算法的有效性，并通过与b p 算法的比较，说明了它们的优越性。同时，可以看出砌州辨识的易于实 现性。 第八章总结了本论文关于递归神经网络研究的一些结论和目前存在 9 太原理= f ：大学硕十研究生学位论文 的问题，以及今后关于递归神经网络的研究方向和前景。 1 0 太原理工大学硕士研究生学位论文 第二章递归神经网络的结构 2 1 引言 人工神经网络模型各种各样，现已达数十种。但按神经元的连接方 式总的来说可分为两种类型：前向静态网络和具有反馈的递归网络。用 于辨识的神经网络也可以分为这两类。 递归网络存储信息的特性正是来源于网络信号的型印雕m 钢f 垒 矬氍碧烈蒂艋怯；崮霆羹黝撕；勰篓熏醚雨鋈q 烹缘世系统：的穗罐篇i x 和n a r x 的网络结构 f i g 2 1t h es l r u c t u r e o f a r xa n d n a r x 此时的网络被称为有外部输入的n a r x ( n o n l i n e a ra u t o r e g r e s s i v e n e u r a ln e t w o r kw i t he x o g e n o u si n p u t s ) 网络，即有外部输入的非线性自回归 网络。很显然，a r x 网络可以用于线性系统的建模；而n a r x 网络 可用于非线性系统的建模。 2 2 2h od n e l d 网络 h o d n e ld 网络是人们最熟悉的全反馈网络，可以说它在人们的心目中 就是递归神经网络的典型代表。如图2 2 。实际上，h o p f i e l d 网络应当是 最简单的全反 x 太原理工人学硕七研究生学位论文 y ( 量) = 口l y ( 缸1 ) + 口2 y ( 七一2 ) + 。啵晰一l y ( 缸+ 1 ) + 6 1 x ( “1 ) + + 6 ”一l x ( 足一”十1 ) 而当使用s 型非线性函数时，网络的输入输出关系式变为： y 伍) i ，( y ( “1 ) ，y ( 一2 ) ，( 缸 ? + 1 ) ，x ( 一1 ) ，6 ”一l x ( 一 + 1 ) ) x ( 丘) ( 2 1 ) ( 2 2 ) 图2 1a r x 和n a r x 的网络结构 f i g 2 1 t h es l r u c t u r eo f a r xa n dn a r x 此时的网络被称为有外部输入的n a r x ( n o n l i n e a ra u t o r e g r e s s i v e n e u r a ln e t w o r kw i t he x o g e n o u si n p u t s ) 网络，即有外部输入的非线性自回归 网络。很显然，a r x 网络可以用于线性系统的建模；而n a r x 网络 可用于非线性系统的建模。 2 2 2h o d n e l d 网络 h o d n e l d 网络是人们最熟悉的全反馈网络，可以说它在人们的心目中 就是递归神经网络的典型代表。如图2 2 。实际上，h o p f i e l d 网络应当是 最简单的全反馈网络，它只有一层网络，其激活函数为闽值函数，将女 1 2 太原理丁大学硕士研究生学位论文 时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络 的输入，组成动态系统，所以网络具有相同的输入和输出节点。h o p 6 e l d 网络已经被广泛地被应用于联想记忆和优化计算中。 、 一j r + 厂+ j j l j p 一、一、v 、r 叶，一qz r 一 。r 、l 一 p + 曰一 _ _ _ _ 一 一、 f 了 一 一 守7 l = j 图2 2 h o p 订e l d 网络 f j g 2 - 2h o p n e l dn e t w o r k 2 2 3 约旦网络 取n a r x 网络特殊形式，令其为只含一个隐含层的n a r x 网络，该 网络被称为约旦( j o r d a n ) 网络衅j 。这里，我们引入关联层的概念。需 要注意的是，这个关联层是想像中的神经元层。如图2 3 。 约旦网络适用于对一阶系统的动态建模。 2 - 3 前向递归神经网络 2 3 1 局部联接递归神经网络 此类网络的特点是：神经元的反馈仅在自身作用，不会作用到其它 神经元上，常见局部递归网络的结构如图2 4 所示。 1 3 太原理工大学硕士研究生学位论文 图2 4 中只有一个隐含层，实际上根据需要隐含层可以有多层，不论 何种局部联接递归网络，从外部看，都符合这一结构形式，只是在反馈 x ，( t ) x ，。( 七) x ：。( 七) x 。( 七) 关 联 层 图2 3 约旦网络 f g 2 3 j 0 r d a nn e l w o r k x 1 ( 七) 1 。( 七) y ( 七) y ：( ) ： p ( 七) y ，( 丘) y ，( 七) p ( ) 图2 4 局部联接递归神经网络 f i g 2 4l o c a l l yc o n n e c t e dr n n 位置的细节上不同，使具体结构及输入输出关系式各有不同。一般而言， 一个神经元由输入、激活、突触及输出等部分组成。所以在某一具体的 局部联接递归网络中，常见的有四类反馈形式：激活反馈、突触反馈、 1 4 太原理t 大学硕士研究生学位论文 输出反馈及其混合形式口2 1 。图2 4 为只有一个隐含层的局部联接递归神 经网络，当反馈权值为单位延时因子r 1 时，构成最简单的局部联接输出 反馈型递归网络对角递归网络，它是一种内时延反馈型递归神经 网络【3 1 。 图2 5 ，2 - 6 ，2 - 7 分别给出了前三种不同反馈形式神经元的图形，图中 只画出网络其中一层的详细内容，日防1 ) 表示卜l 层中第f 个神经元的 反馈矩阵，其形式为z “的多项式；g 1 ( z 一1 ) 的形式为含有f 1 多项式含零极 点的线性函数。 从图2 5 中可以看出，激活反馈是由激活函数的输入端反馈到加权输 入和，它又被称为f r a s c o n i b e n g i o g o r i - m o r i 网络【2 0 1 。 突触反馈的特点是，神经元的输入来自前层各个神经元的输出，但 用一类突触来代替原来前向网络的恒定权值。图2 6 所示的突触反馈又被 称为b a c k t s o i 网络。它是一种无限脉冲响应神经网络( i n f i n i t ei m p u l s e r e s p o n s en e u r a ln e t w o r k s ，简称i i r n n ) 。比较i i r n n 和f i r n n ( 有限脉 冲响应神经网络，f i n i t ei m p u l s er e s p o n s en e u r a ln e m o r k s ，简称f i r n n ) ， 可以发现两者的不同点在于神经元突触的传递函数不同。前者的传递函 数具有极点和零点，而后者的只具有零点。这就使前者结构上有反馈存 在，形成递归的形式。 w ，l x 。( ) z ：“1 ( 七) 茹“1 ( ) 图2 - 5 激活反馈型递归神经网络 f i 9 2 5a c t i v a t a o nf e e d b a c km q n 1 5 r 太原理j ：人学硕士研究生学位论文 局部联接递归神经网络中的输出反馈，是从神经元的输出端将反馈 引到自身非线性激活函数的输入端。图2 7 所示的反馈网络又被称为 f l 茎s c 霸彝i g o ：；：s o d a 网络 l 。 x 、1 ( 七) x ：i i ( 七) * 。耻) 圈2 6 突触反馈型递归神经网络 f 嘻2 6s y n 印t i ci i e l l a c kr n n 图2 - 7 输出反馈型递归神经网络 f i g 2 7o u l p u ti i e l l a c kr n n 同样是输出反馈型网络，其反馈不是落到激活函数之前，而是落到 激活函数之后，便又得到一种新的递归网络，叫作自回归神经网络 ( a u t o r e g r e s s i v en e u r a ln e t w o r k ) 。直i 蛋2 8 ，2 9 所示。 由图2 8 可以看出，这也是一种无限脉冲响应神经网络。图2 9 所示的 网络又被称为m o z e 卜l e i ；t o n c o | t ；h 网络i 。 1 6 太原理工大学硕士研究生学位论文 x ( 七) j ，“1 ( ) 而“1 ( a ) 图2 8 自回归神经网络 f i g 2 _ 8a u t o r e g r e s s i v en e u r a ln e t w o r k 图2 9 自回归神经网络的等价形式 f i g ，2 9e q u l v a l e n tm o d e lo f a u t o r e g r e s s i v en e u f a ln e t w o r k 这三种不同的局部联接递归神经网络还可以相互组合，派生出多种 其它类型的网络。三种网络的结合的一般形式如图2 1 0 所示。 图2 1 0 广义局部递归神经网络 f i g 2 1 0g e n e r a l i z e d1 0 c a lr n n 以上各种网络，除去广义局部递归神经网络外，其他网络都属于局 部激活反馈网络、局部突触反馈网络或局部输出反馈网络中的一种。局 1 7 太原理工大学硕士研究生学位论文 ( 1 ) 网络不够稳定，网络的输出在有限的输入下可能趋向于发散。 ( 2 ) 收敛时间过长，可能需要很长时间进行学习，输出才能达到稳 定值。在处理非线性系统的在线辨识和控制问题时，此类网络往往不能 很好完成任务。 ( 3 ) 训练出现波动。在学习过程中，它会随机出现上下波动，影向 系统的学习性能。 刑于这些问题，局部联接型递归神经网络要好一些。但另一方面由 于全联接型递归神经网络的参数众多，使得它可以存储更多的历史数据， 可以用来辨识和控制更为复杂的非线性动态系统1 2 0 】。 ( 1 ) a r x 网络和 n a r x 刚络 ( 2 ) h o p n e l d 删络 ( 3 ) j o r d a n 网络 ( 1 ) e 1 m a n 网络 ( 1 ) 突触反馈型 ( 2 ) 记忆型递归网络 ( 2 ) 激活反馈犁 ( 3 ) 交叉连接网络 ( 3 ) 输山反馈型 图2 1 6 递归神经网络结构归纳图 f i 9 2 一1 6i n d u c t i o nd i a g r a mo f i 心ns t m c t u r e s x 太原理工大学硕士研究生学位论文 2 4 混合型递归神经网络 将全局反馈递归网络和全局前向递归网络结合，可以得到一种混合 型的网络。这里，只举一类简单的混合型网络，其结构如图2 1 5 所示。 j 。( 七) x ，。( ) 簟。( ) i 羲! 层i x 、。( 七) 图2 1 5 混合型递归神经网络 f 嘻2 - 15m i x e dr n n 2 5 小结 总结本章所给出的递归神经网络，可以归纳为图2 1 6 所示的类型。 各种递归神经网络的结构为非线性动态系统的辨识提供了选择空 间。目前较多应用的是局部联接型递归网络。局部联接型和全联接型递 归神经网络本质的不同就在网络结构的复杂程度上。正因为如此，一方 面，由于全联接型递归神经网络的参数过多，使得此类网络有以下缺点： 2 1 太原理工大学硕士研究生学位论文 第三章性能优化及b p 算法 3 1 性能优化 本章主要介绍的算法已经兴起和发展了几百年。优化的基本原理早 在1 7 世纪就由开普勒、费马、牛顿和布尼茨这些数学家提出了。自1 9