（控制理论与控制工程专业论文）非线性系统的自适应神经网络控制.pdf

摘要 神经网络控制作为一种全新的智能控制方法，为解决高度不确定性 和严重非线性的复杂动态系统的控制问题开辟了一条新的途径a 本论文针对当前神经网络控制的研究现状，在深入地分析了神经网 络内在机理和非线性控制理论的基础上，系统地研究了仿射非线性系统 和不确定机器人系统的自适应神经网络控制，提出了一些新的设计思想 和控制策略，庄要内容如下： ( 1 ) 针对一类非线性系统，采用反馈线性化方法和滑模控制技术，设 计了两种基于神经网络的自适应鲁棒控制方案，能够保证系统输出跟踪 误差渐近收敛于0 ，所给出的权重调整机制可以保证控制信号的有界性。 ( 2 ) 针对具有未知动态和不确定动态的机器人系统，利用基于模型的 控制技术和神经网络的非线性映射能力，提出了三种自适应神经跟踪控 制方案，能够保证控制系统对网络建模误差和外部干扰的鲁棒性。 ( 3 ) 研究了不确定机器人系统的比跟踪控制，提出两种新的满足风 性能指标的自适应神经控制方案，通过将自适应神经控制技术、吼控 制理论与基于模型的机器人控制方法相结合，可以达到补偿系统非线性 不确定性和改善系统动态性能的目的。 ( 4 ) 研究了非线性不确定性界未知时机器人系统的轨迹跟踪控制，提 出了两种新的自适应神经滑模控制方案。其显著特点是不需要预知系统 不确定性的上界，通过利用神经网络自适应学习非线性不确定性界，并 利用神经网络的输出自适应修正补偿器的参数，从而能够有效消除系统 不确定性的影响，保证机器人轨迹跟踪误差渐近收敛于0 。 ( 5 ) 针对只有关节位置可测的情况，研究了不确定机器人系统的轨迹 跟踪控制问题，通过利用一个基于神经网络的滑模观测器估计关节速 度，提出了种新的自适应神经输出反馈控制方案，给出了保证闭环系 统鲁棒稳定以及速度估计误差和轨迹跟踪误差渐近收敛的充分条件 j t1 关键词：非线性系统：机器人系统；不确定性：外部干扰；神经网络；建模误 差；神经网络控制；自适应控制：鲁棒控制；滑模控制。 a b s t r a c t a san e wi n t e l l i g e n tc o n t r o lm e t h o d ，t h en e u m l n e t w o r k - b a s e dc o n t r o lt e c h n i q u ep r o v i d e s a p o t e n t i a lt o o lf o rs o l v i n gt h ec o n t r o lp r o b l e m so fh i g h l yu n c e r t a i n ，c o m p l e x ，n o n l i n e a rd y n a m i c a l s y s t e m s 【nt h ei i g h to f r e c e n tw o r ki nt h ei n h e r e n tp r i n c i p l eo f n e u r a ln e t w o r ka n d t h ec o n t r o lt h e o r yo f n o n l i n e a rs y s t e m s ，t h i sd i s s e r t a t i o n p r e s e n t s as y s t e m a t i cs t u d yo nt h en e u r a l - n e t w o r k b a s e d a d a p t i v ec o n t r o lt e c h n i q u e sf o rac l a s so fn o n l i n e a rs y s t e m sa n du n c e r t a i nr o b o ts y s t e m s s o m e n o v e ld e s i g nt h o u g h t sa n dc o n t r o ls t r a t e g i e sh a v e b e e np r o p o s e d t h em a i nc o n t e n t sa n dr e s u l t si n t h i sd i s s e r t a t i o na f ea sf o l l o w s ： 1 w i t hf e e d b a c kl i n e a r i z a t i o nm e t h o da n ds l i d i n g - m o d ec o n t r o lt e c h n i q u e ，t w on e wn e u r a l 。 n e t w o r k - b a s e da d a p t i v er o b u s tc o n t r o ls c h e m e sa r ep r o v i d e df o rac l a s so fa f f i n en o n l i n e a r s y s t e m s u s i n gt h e s es c h e m e s ，n o to n l ys t r o n gr o b u s t n e s sw i t hr e s p e c tt ou n c e r t a i nd y n a m i c sa n d n e t w o r ka p p r o x i m a t i o n # r r o r sc a nb eo b t a i n e d ，b u ta l s ot h eo u t p u tt r a c k i n ge r r o r sb e t w e e nt h e p l a n to u t p u ta n dt h ed e s i r e do u t p u tc a na s y m p t o t i c a l l yc o n v e r g et oz e r o b e s i d e s ，t h ew e i g h t - r e s e a i n gm e c h a n i s m c a ne n s u r et h eb o u n d e d n e s so f c o n t r o ls i g n a l s 2 f o rr o b o ts y s t e m sw i t hu n k n o w nd y n a m i c so ru n c e r t a i nd y n a m i c s ，t h r e ea d a p t i v et r a c k i n g c o n t r o ls c h e m e sa r ep r o p o s e db yu s i n gt h em o d e l b a s e dc o n t r o l t e c h n i q u e sa n dt h e n o n l i n e a r m a p p i n ga b i l i t yo f n e u r a ln e t w o r k s i th a sb e e ns h o w nt h a tt h e s em e t h o d sc a np r o v i d et h es t r o n g r o b u s t n e s st on e t w o r k a p p r o x i m a t i o n e r r o r sa n de x t e r n a ld i z ：u r b a n c e 3 t h e 矾t r a c k i n gc o n t r o lp r o b l e m so fu n c e r t a i nr o b o ts y s t e m sa r ei n v e s t i g a t e d t w on e w a d a p t i v e 以n e u r a lc o n t r o ls c h e m e sa r ep r e s e n t e d t h r o u g hi n t e g r a t i n ga d a p t i v en e u r a lc o n t r o l a p p r o a c ha n d 以d i s t u r b a n c ea t t e n u a t i o nd e s i g ni n t om em o d e l - b a s e dc o n t r o lm e t h o d s ，t h e s en e w s c h e m e sc a n e f f e c t i v e l y e l i m i n a t et h ee f f e c t so fn o n l i n e a ru n c e r t a i n t i e sa n d i m p r o v e t h e ， d y n a m i c a lp e r f o r m a n c eo f u n c e r t a i nr o b o ts y s t e m s 4 t w on o v e la d a p t i v en e u r a l t r a c k i n gc o n t r o ls c h e m e sa r cp r e s e n t e df o rr o b o ts y s t e m sw i t h u n k n o w n u n c e r t a i n t yb o u n d s t h ek e yf e a t u r eo ft h e s es c h e m e si st h a tt h ep r i o rk n o w l e d g eo ft h e u p p e rb o u n d so f t h es y s t e mu n c e r t a i n t i e si sn o tr e q u i r e d t h en e u r a ln e t w o r k sa r eu s e di ol e a r nt h e u n k n o w nb o u n d so f n o n l i n e a ru n c e r t a i n t i e s ，a n dt h e n ，t h eo u t p u t so f t h en e u r a ln e t w o r k sa r eu s e d t oa d a p t i v e l ya d j u s t t h ec o m p e n s a t o rp a r a m e t e r s u s i n gt h e s es c h e m e s ，n o to n l yt h ee f f e c t so f s y s t e m su n c e r t a i n t i e sc 姐b ee f f e c t i v e l ye l i m i n a t e d b u ta l s ot h ea s y m p t o t i ce o n v e p g e n c eo f t r a j e c t o r yt r a c k i n ge r r o r sc a l lb eo b t a i n e df o r t h ed o s e d - l o o pr o b o tc o n t r o ls y s t e m s 5 an e u r a l - n e t w o r k - b a s e da d a p t i v eo u t p u tf e e d b a c ks c h e m ei sd e v e l o p e df o rt h et r a j e c t o r y t r a c k i n g c o n t r o lo fr o b o ts y s t e m sw i t h o n l yj o i n tp o s i t i o n m e a s u r e m e n t s an e u r a ls l i d i n g o b s e r v e ri sp r e s e n t e dt oe s t i m a t et h e j o i n tv e l o c i t i e s i ti ss h o w nt h a tt h es u f f i c i e n tc o n d i t i o ng i v e n c a nb ee n s u r et h er o b u s ts t a b i l i t yo f t h ec l o s e d - l o o ps y s t e mc o m p o s e do f ar o b o t , a l lo b s e r v e r a n d ac o n t r o l l e r b e s i d e s ，t h ej o i n tv e l o c i t ye s t i m a t i o ne r r o r sa n dt h et r a j e c t o r yt r a c k i n ge r r o r sc a nb e g u a r a n t e e d t oa s y m p t o t i c a l l yc o n v e r g et oz e r o k e y w o r d s ：n o n l i n e a rs y s t e m ；r o b o ts y s t e m s ；u n c e r t a i n t y ；e x t e r n a ld i s t u r b a n c e ；n e u r a l n e t w o r ka p p r o x i m a t i o ne r r o r ；n e u r a ln e t w o r kc o n t r o l ；a d a p t i v ec o n t r o l ；r o b u s tc o n t r o l ； s l i d i n gm o d e c o n t r 0 1 i l l 皇童竺三奎兰堡圭兰堡篁苎；二 第一章绪论 摘要本章首先对神经网络的发展历史、分类、特点及常见弼络模型作 了概述。然后，综述了神经网络控制的研究现状并对今后的发展方向作 了展望，最后，介绍了本文的研究内容及主要工作。 1 1 神经网络概述 1 1 1 神经网络的发展与现状 人工神经网络( 简称神经网络一一n e u r a ln e t w o r k ) 是从微观结构和 功能上对大脑的抽象、简化，是模拟人类智能的一条重要途径，反映了 人脑功能的若干基本特征，如信息的分布式存储、自适应学习、联想记 忆和容错性、鲁棒性等。它是由简单信息处理单元( 简称神经元) 互连 组成的网络，能接受并处理信息。网络的信息处理由神经元之间的相互 作用来实现，它是通过把问题表达成神经元之间的连接权来处理的。虽 然，单个神经元的组成和功能很有限，但大量神经元构成的神经网络所 能实现的功能却是极其丰富多彩的。 人们对神经网络的研究始于2 0 世纪4 0 年代，至今已有半个多世纪 的历史，走过了一条曲折而不平衡的发展道路，几经兴衰，其发展过程 大致可以分为三个阶段： 1 1 9 4 3 1 9 6 9 年为初创期 1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 首先提出了形式神经元 模型( 简称m p 模型) ，从此开创了神经科学理论研究的时代。m p 模型 除连接权不能调整外，其它与现在的阂值单元模型基本相同。1 9 4 9 年， 心理学家h e b b 提出了改变神经元连接强度( 即连接权) 的学习规则( 即 著名的h e b b 规则) ，使神经网络具有了可塑性，他认为神经元之间连接 权的调整正比于两个相连神经元之间激活值的乘积，到目前为止，大部 分神经网络的学习规则仍采用h e b b 规则或它的改进型。作为人工智能 的神经网络系统的研究则是从2 0 世纪5 0 年代末6 0 年代初开始的。1 9 5 8 ! ：；：；：；童! 三兰三；皇二：垒；：；：；：；一 年，r o s e n b l a t t 提出了著名的感知器( p e r c e p t r o n ) 模型，试图模拟动物和 人脑的感知和学习能力，这是第一个完整的人工神经网络模型，由阈值 单元构成，利用教师信号进行训练，它已初步具备了储如并行处理、分 布存储和学习等神经网络的一些基本特征，虽然，他并未能解决三层感 知器的训练算法问题，但为一大类神经网络模型的研究提供了重要的方 向。1 9 6 2 年，b l o c k 用解析法证明了感知器的学习收敛性。1 9 6 0 年，w i d r o w 和h o f f 提出了自适应线性单元( a d a l i n e ) 网络及一种有效的学习方法 w i d r o w h o f f 学习规则，它是一连续取值的网络，主要用于自适应系统。 由于神经网络的工作方式与当时占主导地位的以顺序离散符号推理 为基本特征的人工智能( a i ) 大相径庭，因而引起了不少人的兴趣，同时 在学术上也引起了很大的争议。人工智能创始人之一m i n s k y 和p a p e r 对 以感知器为代表的网络系统的功能及其局限性从数学上作了深入研究， 予1 9 6 9 年发表了颇有影响的p e r c e p t r o n ) ) 一书，严格论证了简单线性感 知器功能的局限性，指出单层感知器只能用于线性问题的求解，而对于 像x o r ( 异或) 这样简单的非线性问题却无法求解。他们还指出，能求 解非线性问题的网络应该是具有隐含层的多层神经网络，而对多层感知 器当时还不能找到有效的计算方法。由于m i n s k y 在学术界的地位和影 响，他作出的悲观结论导致神经网络的研究在其后若干年内，进入了一 个缓慢发展的低潮期。 21 9 7 0 1 9 8 6 年为过渡期 难能可贵的是，在这个低潮期仍有不少学者在极端艰难的条件下致 力于这一研究。1 9 6 9 年，美国波斯顿大学教授g r o s s b e r g 等提出了自适应 ， 共振理论( a r t ) ，具有无教师学习、识别和记忆能力；1 9 7 2 年，芬兰学 者k o h o n e n 提出了自组织映射理论，这是一种无教师的聚类法。与此同 时，神经心理学家a n d e r s o n 提出了b s b 模型；日本学者f u k u s h i m a 提出 了神经认识机( n e o c o g n i t r o n ) 理论，它是一具有自组织功能的多层神经 网络模型，用于结构化的字符识别；东京大学甘利俊( s h u n l c h ia m a r i ) 教 授则对神经网络的性质及其局限性作了许多理论研究。这些开创性的研 究工作对以后神经网络的研究和发展产生了重要影响。 7 0 年代后期，以逻辑推理为基础的人工智能理论和v o n n e u m a n n 数 字计算机在处理诸如视觉、听觉、形象思维、联想记忆和运动控制等智 室塞矍三奎兰些圭兰竺篁兰；：；：；： = ；= ；= = = ；= ；= = ；= = = = = = ；= = = = = = = ；= = = ；= = 一一 能信息处理问题上受到了挫折，这一切迫使人们思考：智能问题是否完 全可以由a i 智能中的逻辑规则来描述? 人脑的智能是否可以在机器中 重现? 美国加州理工学院生物物理学家h o p f i e l d 分别于1 9 8 2 年和1 9 8 4 年在 美国科学院院刊发表的两篇文章，有力地推动了神经网络的研究a h o p f i e l d 在他提出的网络模型( 称为h o p f i e l d 网络) 中，首次引入了网络能量函 数的概念，研究了神经网络的动力学渐近行为，开创了神经计算和联想 记忆的先河，为掀起神经网络的世界性高潮起了极为重要的作用。 1 9 8 4 年，多伦多大学教授h i n t o n 等人把神经元的输出函数与统计力 学中的波尔兹曼分布联系起来，提出了b o l t z m a n n 机网络模型，首次采 用了多层网络的学习算法，通过在学习过程中引入模拟退火算法，可以 保证整个系统趋于全局稳定点。 1 9 8 6 年，r u m e l h a r t 等人提出了多层前馈网络的误差反向传播学习算 法( 简称b p 算法) ，不仅为解决多层网络的学习问题开辟了一条成功之 路，而且客观上将神经网络的研究推向了高潮。通常称采用b p 算法训 练的多层前馈网络为b p 网络，目前已成为广泛使用的网络，并以此为 基础发展了许多快速收敛学习算法。 从1 9 7 0 年至1 9 8 6 年间，经过许多学者长期不懈的努力和潜心的研究 取得了突破性的重要成果，使得神经网络领域的研究工作摆脱了困境， 并步入了健康发展的新时期。 3 1 9 8 7 年至今为发展期 这一时期，随着大量开拓性研究工作的深入开展，数百种网络结构、 学习算法应运而生，硬件实现的研究工作也在积极开展，神经网络理论 的应用研究已经渗透到各个领域，并在智能控制、模式识别、自适应滤 波和信号处理、非线性优化、传感技术、机器人等方面取得了令人鼓舞 的进展。这些成就加强了人们对神经网络系统的进一步认识，引起了众 多学科研究人员的广泛关注，国际学术交流日趋频繁，1 9 8 7 年6 月i e e e 在s a nd i e g o 召开了第一届世界神经网络会议，标志着神经网络研究在世 界范围内形成了高潮。1 9 8 8 年1 月，( ( n e u r a ln e t w o r k ) ) 杂志创刊：1 9 8 8 年起国际神经网络学会和i e e e 联合召开每年一次的国际学术年会：1 9 9 0 年3 月，i e e et r a n sn e u r a ln e t w o r k ) ) 会刊问世。1 9 8 9 年我国在广州召开 4第一章绪论 了全国第一届神经网络信号处理会议；1 9 9 0 年我国八个一级学会联 合召开了神经网络首届全国学术会议( 北京) ：1 9 9 1 年在南京成立了中 国神经网络学会。 总而言之，神经网络的研究无论是在国际和国内，都受到了空前的 关注并引起了许多领域研究人员的极大兴趣。尤其是进入2 0 世纪9 0 年 代以来，可以说在世界范围内已经形成了研究神经网络的前所未有的高 潮，显示了神经网络发展的强大生命力。 当前，神经网络研究存在的问题是智能水平还不高，许多应用方面 的要求还不能得到很好的满足，网络分析与综合的一些理论性问题还未 得到有效的解决。 今后研究的主要方向包括： 神经网络模型的研究 包括利用神经生理与认知科学研究大脑思维及智能的机理；研究高 阶非线性模型、多维局域连接模型、计算模型( 特别是便于统一化的和 便于实现的模型) ；神经网络的学习算法与学习系统。 神经网络基本理论研究 包括： 非线性内在机制一一自适应、自组织、协同作用、突变、奇怪吸 引子与浑沌、分维、耗散结构、随机非线性动力学等： 神经网络的基本性能一一稳定性、收敛性、容错性、鲁棒性、动 力学复杂性等； 神经网络的能力与判别准则一一计算能力、准确性、存贮容量、 准则的表达与综合性能判别。 神经网络软件模拟和硬件实现的研究。 神经网络在各个科学技术领域应用的研究。包括模式识别、信息 处理、知识工程、专家系统、优化组合、智能控制等。 1 1 2 神经网络分类与特点 神经网络可以按以下几个方面进行分类： 按网络的性能分为连续型与离散型、确定型与随机型、静态与动 态网络： 南京理工大学博士学位论文 5 = = 一= = ；= ；= = = ；= ；= = = = = ；= = = = = ；= = ；= = = = 一 按网络的结构分为反馈型与前馈( 前向) 型； 按逼近特性分为全局逼近型与局部逼近型； 按照学习方式分为有教师学习( 也称监督学习) 、无教师学习( 也 称自组织学习) 和再励学习( 也称强化学习) ； 按连接突触性质分为一阶线性关联网络、高阶非线性关联网络； 神经网络对控制领域有吸引力的特点包括： 在理论上能逼近任意工，上的非线性函数，特别是能以任意精度 逼近任意连续非线性函数； 具有高度的自适应性和自组织性，能够学习和适应严重不确定性 系统的动态特性； 对信息处理的并行机制可以解决控制系统中大规模实时计算问 题；而且并行机制中的冗余性可以使控制系统具有很强的容错能力； 具有很强的数据融合能力，可以同时处理定量和定性的数据，能 很好地协调多种输入信息的关系； 自然地处理多输入信号，并有许多输出，非常适合多变量系统。 1 1 3 常用的神经网络模型 自1 9 5 8 年第一个人工神经网络感知器出现以来，人们已提出了几十 种不同的神经网络模型，下面简单介绍在控制领域中常用的几种神经网 络模型。 ( 1 ) 多层前馈神经网络( m u l t i l a y e r f e e d f o r w a r d n e u r a l n e t w o r k ) 多层前馈网络的结构如图1 1 所示。x 、y 是网络的输入、输出向量， 每一个神经元用一个节点表示。网络由输入层、隐层和输出层节点组成， 隐层可一层，也可以是多层，前层至后层节点通过权重连接。隐层的激 活函数( 或称兴奋函数) 一般为非线性函数( 如s 型函数或双曲正切函 数) ，输出层的激活函数可以是非线性的，也可以是线性的，这由输入、 输出映射关系的需要而定。 前馈网络的i o 关系可以看成是一映射关系。从系统观点看，这一 映射是一高度非线性的映射，即b p 网络可以实现从输入空间到输出空 间的非线性映射。它的信息处理能力也来自于简单的非线性函数的多次 复合。 6 第一章绪论 图1 1 三层前馈神经网络 多层神经网络需要解决的关键问题是网络的学习算法。2 0 世纪8 0， 年代中期，以r u m e l h a r t 和m c c l e l l a n d 为首提出的误差反向传播算法7 4 】 ( e r r o rb a c kp r o p a g a t i o n 一一b p 算法) 为多层前馈神经网络的研究奠定了 基础。 b p 算法的学习过程由正向传播和反向传播组成。在正向传播过程 中，输入信息从输入层经隐层逐层处理，并传向输出层，每一层神经元 的状态只影响下一层神经元的状态。如果在输出层得到了期望的输出， 则学习过程结束；否则，转入反向传播，反向传播就是将网络期望输出 与实际输出之间的误差信号沿原来的连接通路返回，并根据梯度下降法 通过修改各层神经元的权值，使得误差信号减小。 三层前馈b p 网络( 图1 1 ) 输出层第k 个节点的输出y 。为： y k = g ( 矿，b 厂( 庐。) ) ( 1 1 ) ， 其中，x ，为输入层第i 个节点的输入值，。为输入层第f 个节点到隐层 第，个节点的连接权，v 。为隐层第，个节点到输出层第k 个节点的连接 权，( ) 为隐层单元的激活函数( 通常取为s 型函数击或双曲正切 j 十p 函数兰) ，g ( - ) 为输出层单元的激活函数( 通常取为线性函数或与隐 ， g + 口 层单元相同) 。 注1 1 业已证明：由一单隐层和非线性激活函数组成的多层前馈神 经网络，能以任意精度逼近任意复杂的非线性函数 4 5 , 6 3 , 7 1 , 7 5 l ，而这一点正 是b p 网络吸引控制界的原因； 注1 2 由隐层单元所取的激活函数可知，b p 网络是全局逼近网络( 即 激活函数在x 的相当大的域内为非零值) ： 皇童矍三奎兰兰圭兰堡兰奎 = 一= ： 注1 3 由于b p 算法是基于梯度下降法的非线性优化，因而，b p 网 络存在学习速度慢、易陷入局部极小，以及学习过程与初始权值有关的 问题。目前，许多学者已提出了各种改进方法，如加惯量的改进b p 算 法【89 l 、拟牛顿法【1 7 9j 、回归最小二乘法i l ”、共轭梯度法1 ”、利用k a l m a n 滤波的高阶方法8 ，1 、自适应误差反传算法l 】、逐层优化法”、摸拟退 火法0 4 1 及遗传算法u , s s l 等等。 注1 4 虽然理论上已证明b p 网络具有非凡的非线性逼近能力，但关 于网络结构的设计问题( 即隐层及节点数的选择) ，尚处于研究之中， 已出现的一些设计方法见文【6 0 9 6 【1 2 8 】 1 6 8 等； 注1 5 关于b p 网络的泛化能力的研究尚不完善。泛化( g e n e r a l i z a t i o n ) 能力也称综合能力或概括能力，是指用较少的样本进行训练，使网络对 未经训练的输入也能给出合适的输出。关于改善网络泛化能力的研究见 文 4 8 1 4 1 等： 注1 6b p 网络的运行是单向传播，没有反馈，因此，这种模型并不 是一个非线性动力系统，而只是一个非线性映射，即一个静态网络。这 点是与后面将介绍的递归网络的主要区别。 ( 2 ) 径向基函数神经网络( r a d i a l b a s i sf u n c t i o n n e u r a l n e t w o r k ) 径向基函数( r b f ) 方法是在高维空间进行插值的一种技术。1 9 8 8 年，b r o o m h e a d 和l o w e l 2 2 i 率先将r b f 技术应用于神经网络中，构成了r b f 神经网络。它是具有单隐层的三层前馈网络，图1 2 为单输出的r b f 网 络结构。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输 出空间的变换是线性的。隐单元的激活函数妒( | i x c i f ) 是径向基函数， 它是一种局部分布的对中心点径向对称衰减的非负非线性函数，中心和 宽度是与基函数有关的两个重要参量，基函数只在中心c 。周围的一部分 区域( 由宽度确定) 有较强的反应，而这正体现了大脑皮层的反应特点。 构成r b f 网络的基本思想是：用r b f 作隐单元的“基”构成隐层空 间，这样就可将输入矢量直接( 即不通过权连接) 映射到隐层空间。当 r b f 的中心点确定以后，这种映射关系也就确定了。而隐层空间到输出 空间的映射是线性的，即网络的输出是隐单元输出的线性加权和。此处 的权即为网络可调参数，因此，r b f 网络的输出对可调参数( 权) 而言 !堑三童竺兰 一 是线性的。 x i 墨 _ y 图1 2r b f 网络结构 单输出r b f 网络( 图1 2 ) 的输出为： y = w f 删一c | ) ( 1 2 ) 广 式中： x 疗维输入向量： w 第j 个隐节点到输出节点的连接权； c ，第f 个隐节点的中心： i | 通常为欧氏范数： ( ) 一一i 也f 函数，具有局部感受的特性。常用的r b f 函数有： 高斯函数 ( v ) = e x p ( - v 2 o - 2 )( v o ，仃 0 ) 薄板样条函数矿( v ) = v 2 l o g ( v ) 多二次函数矿( v ) = ( v 2 + c 2 ) ”( v 2o ，c 0 ) 逆多二次函数妒( v ) = ( v 2 + c 2 ) 。”( v 2 0 ，c 0 ) r b f 函数的具体形式对网络的逼近能力并无太大影响，通常采用高 斯函数，另外，取相同的宽度时也并不影响网络的逼近能力，但中心点 集的选择对网络的逼近能力有很大影响1 3 9 , t 5 7 1 。 r b f 网络的训练，包括确定基函数的中心、宽度和网络权重。通 ， 常选择宽度为固定值。由于r b f 网络的输出相对权值w 是线性的，这样， 当基函数的中心和宽度确定后，网络的权重可由线性方程组直接解出或 采用各种最小二乘法计算，从而大大加快了学习速度并可避免局部极小 问题。然而，关于基函数中心点集的选择是r b f 网络应用的一个难点， 因为中心点集的选择对网络的逼近能力和效果有很大影响，并影响到网 络的规模。如果隐节点过少，则不能完成分类或函数逼近任务；若隐节 点过多，则由于网络参数过多而产生过学习，得不到正确的泛化结果。 皇塞矍三查兰矍圭兰堡丝兰 ： = = = ；= = ；= = = = ；= = = = ；= = = = = = ；= = = = = = = = = = = = = = = ；= ；i 一 针对r b f 网络中心点集的选择问题，目前已提出了许多解决的方法，常 用的有：k 一均值聚类法【8 i 、正交最小二乘法【”i 、局部训练法7 ”、递推 正交最小二乘法 6 7j 及最简单的随机选取法【2 0 4 1 ( 也称直接选取法) 等等。 注1 7r b f 网络适合于多变量函数逼近，只要中心点集选择得当，仅 需很少的神经元就能获得很好的逼近效果，并有唯一最佳逼近的优点； 注1 8 在b p 网络中，各层神经元都是同一种神经元模型，而r b f 网 络中的隐含单元与输出层中的神经元完全不同，这是r b f 网络与b p 网 络很重要的一个区别： 注1 9 由于r b f 网络模拟了人脑中局部调整、相互覆盖接收域( 或 称感受野一一r e c e p t i v ef i e l d ) 的神经网络结构，因此，r b f 网络是一种 局部逼近网络，它比b p 网络有更强的局部聚类能力； 注1 1 0 理论上已证明，r b f 能以任意精度逼近任一非线性函数| 6 ”。 由于r b f 网络具有线性参数及快速有效的训练算法等，因此，作为 相对b p 网络的另一种前馈网络，r b f 网络目前已引起相当的重视。 ( 3 ) 递归神经网络( r e c u r r e n t n e u r a l n e t w o r k ) 递归神经网络( r n n ) 亦称动态神经网络( d y n a m i c n e u r a l n e t w o r k ) ， 以区别于前面介绍的静态神经网络前馈网络( b p 网络和r b f 网络) 。 虽然有的文献( 如文 1 4 5 】) 通过将b p 网络和辅助抽头延迟线相结合构 成动态网络，解决一些非线性动力学系统，但是，前馈网络是一种静态 输入一一输出映射网络，在许多场合中不便于对时域的非线性控制的动 态特性进行学习。相反，递归神经网络却能自然地表示非线性动态系统， 具有处理时变输入或输出的能力，比前馈网络更适合于动态系统。 递归神经网络( r n n ) 可分为完全递归型和局部递归型。其中，完 全递归网络 1 6 1 , 2 0 6 1 的所有神经元全部互相连接和自连接，这样就使得网 络连接权过多，导致网络训练困难和收敛缓慢，因此，这种网络在控制 领域中的应用例子不多；局部递归网络通常只在隐层单元之间有连接或 自连接，而输出层单元无反馈，常见的局部递归网络有离散时间的对角 递归神经网络1 1 0 5 , 1 0 6 1 ( d i a g o n a lr e c u r r e n tn e u r a ln e t w o r k - - d r n n ) 和连续时 间的局部递归神经网络1 2 1 , 9 7 , 1 0 7 , 1 6 5 1 。 ( i ) 离散时间的对角递归神经网络( d r n n ) 1 0第一苹绪论 ：= = ；= ；= = ；= ；= = = = = ；= = ；= = = ；= = ；= 一 d r n n 的结构如图1 3 所示。其中，在k 时刻，( | | ) 为网络的第i 个 输入信号，y ( t ) 为网络输出，w ：为第i 个输入单元到隐层第- ，个单元的 连接权，w o ，为隐层第j 个单元到输出单元的连接权，w d ，为隐层第- ，个单 元的递归权值( 内部连接权) ，j ，( 后) 为隐层第，个单元的输入和，x ，( | 】 ) 为隐层第，个单元的输出。 ( 七) 正( 七) 厶( 妁 “七) 图1 3 对角递归神经网络 d r n n 的动态方程可表示为： y ( | ) = w o x 。( t ) ， x ，( ) = f ( s ，( 女) ) s ，( t ) = w ? x ，( | | 一1 ) + w ；，( ) c 1 3 a ) ( 1 3 b ) ( 1 3 e ) 其中，厂( 为非线性激活函数，通常取为s 型函数或双曲正切函数。由 上面的输入输出方程可见，d r n n 在隐层节点具有一个滞后一步的自反 馈，正是由于这个自反馈使d r n n 可以实现动态映射。 d r n n 网络连接权的训练可以采用d b p 法f ”“、遗传算法f 2 2 0 等。 f i i ) 连续时间局部递归神经网络 在连续时间域中，单个动态神经元的结构如图1 4 所示，由动态神经 元构成的递归神经网络如图1 5 所示。 图1 5 所示的动态递归神经网络可由下面的微分方程描述： 鼻= a x + w s ( x 、+ b u y = c x ( 1 4 a ) ( 1 4 b ) 其中，z r ”为神经元的状态，u r ”为输入矢量，r ”为输出矢量， a = d i a g ( a l ，口。) ，且口， 0 ) ，非线性优化器实现优化算法，使 二次型性能指标极小，以得到相应的控制“( 七) 。 图1 1 2 神经网络预测控制 1 2 3 非线性自适应神经控制的研究现状 长期以来，自动控制工作者一直面i 临着一个具有挑战性的问题，即 控制对象的不确定性和时变性( 包括环境) ，对策是采用自适应控制。 自适应控制有间接和直接两种方式，前者是通过辨识对象本身的模型来 1 8 第一覃缮论 调整控制器的参数，而后者则是直接估计控制器的参数。在二十世纪七、 八十年代，线性系统自适应控制一直是非常活跃的研究领域，有关理论 到目前已发展的相当完善。 近年来，基于微分几何理论对可反馈线性化的非线性系统的自适应 控制也取得了很大的发展，但对一般非线性系统，其自适应控制问题的 解决却相当困难。首先，由于非线性系统的多样性和复杂性，很难找到 合适的不确定非线性动态的模型结构，不象线性系统，只要阶次已知， 就可以有标准形式的传递函数表示；其次，不存在一般形式的自适应控 制律，不同的非线性系统其自适应控制律差别很大：另外，由于自适应 技术通常要求系统能够关于未知参数线性化，同时需要确定和计算复杂 的回归矩阵，这一切导致了自校正控制和模型参考自适应控制等成熟的 自适应控制理论在面对一般非线性系统时遇到了根本性的困难和局限。 神经网络的出现为解决非线性系统的自适应控制问题带来了生机， 其原因在于，神经网络具有优秀的非线性映射能力、自适应学习能力和 容错性、鲁棒性。目前，非线性自适应神经网络控制( n a n n c ) 已成为 非线性系统自适应控制的一个重要方面。 n m 州c 于2 0 世纪8 0 年代后期开始出现，当时受机器人逆动态控制 的启发，文【1 6 7 】利用神经网络在线学习系统逆动态提出了前馈直接 n a n n c 方案：文5 0 提出了采用b p 网络的间接n a n n c 方案，这一方 案在以后的许多文献中被采用；文 9 8 提出了误差反馈n a n n c 方案。 这一时期的主要工作是，探索将神经网络( 主要是b p 网络) 应用于非 线性系统的自适应控制的可能性，并提出了各种可能的n a n n c 控制方 案。关于权值学习的收敛性和闭环系统的稳定性分析几乎没有，所有 n a n n c 方案仅停留在计算机仿真和实验室验证阶段。 进入九十年代n a n n c 得到了迅速发展，各种新的方案不断出现1 8 0 j 。 如文【3 3 给出了基于神经网络的自校正控制方案；特别地，文【1 4 5 提出 了适用于控制系统中的神经网络的动态反向传输算法，针对四种典型离 散非线性系统给出了间接n a n n c 控制方案，奠定了将b p 网络用于动 态控制系统时的学习算法的理论基础：文【1 4 8 迸一步将文 1 4 5 】的结果 推广到多变量系统；文 1 1 4 ，1 1 5 n 继续讨论了如何利用神经网络实现非 线性系统的局部镇定，以及神经控制系统的可控性和可观性，一定程度 上解决了非线性系统的神经网络控制的理论问题。 塞塞垩三奎兰竺圭兰堡兰圣：；： ；= = ；= = = = ；= = ；= = = ；= = = = = = = ；= ；= ；= = ；i 一 需要指出的是，上述n a n n c 控制方案的最大缺陷在于没有给出关 于闭环系统稳定性的分析，并且，由于神经网络的高度非线性也使得基 于神经网络的控制系统的动态性能难以研究，特别是在线调整控制器的 参数时，问题尤为突出。对于线性系统的自适应控制，与此类似的问题 曾困扰过自适应控制界，对此问题的研究导致了基于稳定性理论的自适 应控制方案现代自适应控制理论的产生和发展。 由此可见，为了提高神经网络控制系统的可靠性，使之更好地走向 实际应用，开展基于稳定性理论的自适应神经网络控制系统的研究很有 必要。为此，许多学者已相继提出了能够保证学习算法收敛性及闭环系 统稳定性的n a n n c 控制方案( 如文【3 3 ，3 4 ，3 6 ，8 4 ，8 5 ，8 7 ，9 0 ，9 1 ，1 0 7 ，1 5 2 ，1 5 4 ，1 7 l ， 1 7 2 ，1 7 7 ，2 1 9 等) 。其中，文【3 5 1 在假设神经网络可以对非线性系统精确建 模型的条件下，给出了用于离散系统自适应调节问题的n a n n c 方案， 并得到了局部收敛性结果：文【3 4 ，3 6 】分别针对离散和连续非线性系统给 出了基于死区学习算法的n a n n c 方案，并得到了局部收敛性结果，这 些结果并不要求神经网络对非线性系统精确建模，但要求具有很小的建 模误差；文【1 7 1 ，1