（控制理论与控制工程专业论文）径向基神经网络在系统辨识应用中的结构与算法研究.pdf

摘要 作为人工智能的重要组成部分，人工神经网络有较大的应用潜力。本文在阐 述了神经网络的发展、现状、基本原理及其在自动控制中的应用的基础上，主要 研究了径向基神经网络在系统辨识应用中的结构与算法。 径向基函数神经网络是基于大脑皮层中存在局部、重叠的感受域这一特性提 出的。它具有其它前向网络所不具有的最佳逼近的性能，并且结构简单，训练速 度快。因此，径向基神经网络在运用于系统辨识时有其独特的优势。本文研究了 径向基神经网络的数学理论，详细分析了几种流行的径向基神经网络学习算法的 优缺点，介绍了系统辨识的一般原理，并在此基础上提出了基于径向基神经网络 的系统辨识器的一般结构。 径向基函数神经网络的构造性问题，即如何确定合理的隐层神经元的个数， 一直是其研究中的一个难点和关键。本文针对以上问题，受f a h l m a n 和l e b i e r e 的重叠相关学习算法的启发，提出了正交序贯学习算法，为径向基神经网络隐层 神经元的确定问题提供了一条新的途径。本文从理论方面对算法进行了深入的剖 析，介绍了算法的详细思路和具体过程，分析了算法的收敛性。并将算法训练后 的径向基神经网络运用到实际非线性系统的辨识过程中去。结果表明，算法有效 地减少的训练后网络的隐层神经元数目，取得了令人满意的辨识效果。 为了克服正交序贯学习算法在训练过程中由梯度法带来的局部极小问题，进 一步改善算法在训练过程中的收敛性能，本文将遗传算法引入，对正交序贯学习 算法进行了改进，提出了正交序贯遗传算法。仿真结果表面，这种改进方案不仅 能够提高算法在训练过程中的收敛速度，而且训练后的径向基神经网络具有更少 的隐层神经元，从而进一步提高了算法的性能。 关键词：人工智能、径向基神经网络、系统辨识、隐层神经元、正交序贯学习算 法、遗传算法 a b s t r a c t a r t i f i c i a ln e u r a ln e t w o r k ( a n n ) ，a sa ni m p o r t a n tp a r to fa r t i f i c i a li n t e l l i g e n c e ， h a sg r e a tp o t e n c ei na p p l i c a t i o n a f t e ri n t r o d u c i n gt h ed e v e l o p m e n t ，s t a t u sq u o ，b a s i c t h e o r yo fn e u r a ln e t w o r ka n di t sa p p l i c a t i o nt oa u t o m a t i cc o n t r o l ，t h i st h e s i sm a i n l y s t u d i e st h es t m c t u r e sa n da l g o r i t h m so fr b fn e u r a ln e t w o r ka n di t sa p p l i c a t i o nt o s y s t e m i d e n t i f i c a t i o n r b fn e u r a ln e t w o r ki sb a s e do nt h ee x i s t e n c eo fl o c a l i z e dr e c e p t i v ef i e l d si n h u m a nb r a i n s i th a su n i q u eb e s t a p p r o x i m a t i o na b i l i t y , s i m p l es t r u c t u r ea n df a s t c o n v e r g e n c es p e e d s o i th a s p a r t i c u l a ra d v a n t a g e s w h e n a p p l i e d i n s y s t e m i d e n t i f i c a t i o n t h i sp a p e rs t u d i e st h et h e o r yo fr b fn e u r a ln e t w o r k ，a n a l y z e st h e a d v a n t a g e sa n dd i s a d v a n t a g e so fs e v e r a lp o p u l a rt r a i n i n ga l g o r i t h m s ，i n t r o d u c e st h e m a i np r i n c i p l eo fs y s t e mi d e n t i f i c a t i o n ，a n dt h e nb r i n g sf o r w a r dt h es t r u c t u r eo f s y s t e mi d e n t i f i c a t i o nw h i c h i sb a s e do nr b fn e u r a ln e t w o r k h o wt od e t e r m i n et h er e a s o n a b l ea m o u n to fn e u r o n si nh i d d e nl a y e ri sac m c i a l a n dd i f f i c u l tp r o b l e mi nt h es t u d i e so fr b fn e u r a ln e t w o r k a f t e ra n a l y z i n gt h e c a s c a d ec o r r e l a t i o n l e a r n i n g m e t h o d d e v e l o p e db y f a h l m a na n d l e b i e r e ，t h e o r t h o g o n a ls e q u e n t i a ll e a r n i n ga l g o r i t h mi sb r o u g h tf o r w a r dt os o l v et h ep r o b l e m t h i sp a p e ra n a l y z e st h ea l g o r i t h md e e p l yi nt h e o r y , i n t r o d u c e st h ei d e aa n dp r o c e s s a n ds t u d i e st h ec o n v e r g e n c e c a p a b i l i t yo f t h ea l g o r i t h m t h e nt h er b fn e u r a ln e t w o r k t r a i n e db yt h i sa l g o r i t h mi sa p p l l e di n t os y s t e mi d e n t i f i c a t i o n t h er e s u l t ss h o wt h a t t h i s a l g o r i t h m r e d u c e st h en u m b e ro fh i d d e nn e u r o n so fr b fn e u r a ln e t w o r k e f f i c i e n t l ya n d a c h i e v e se x c e l l e n ti d e n t i f i c a t i o ne f f e c t i no r d e rt oo v e r c o m et h el o c a ll e a s tp r o b l e ma r o u s e db yt h eg r a d i e n tm e t h o di n t h e t r a i n i n gp r o c e s s o ft h e o r t h o g o n a ls e q u e n t i a ll e a n i n ga l g o r i t h m ，t h i s t h e s i s i n t r o d u c e s g e n e t i ca l g o r i t h m t os o l v ei ta n dp u t sf o r w a r d o r t h o g o n a ls e q u e n t i a l g e n e t i ca l g o r i t h m t h es i m u l a t i o nr e s u l t ss h o w t h a tt h i si m p r o v e da l g o r i t h mn o t o n l y i n c r e a s e st h e c o n v e r g e n c es p e e di n t h et r a i n i n gp r o c e s s ，b u ta l s ol e a d st of e w e r n e u r o n si nt h eh i d d e n l a y e r o fr b fn e u r a ln e t w o r k s oi th a sb e t t e rp e r f o r m a n c e k e y w o r d s ：a r t i f i c i a li n t e l l i g e n c e ，r b fn e u r a ln e t w o r k ，s y s t e mi d e n t i f i c a t i o n ，n e u r o n s i nt h eh i d d e n l a y e r , o r t h o g o n a ls e q u e n t i a ll e a r n i n ga l g o r i t h m ，g e n e t i ca l g o r i t h m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨洼盘茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：多色盏，军 签字日期：2 a 歹年月2 日 学位论文版权使用授权书 本学位论文作者完全了解叁鲞盘堂有关保留、使用学位论文的规定。 特授权叁洼盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：色乏，手 签字日期：2d 口了年月2 f 日 名；彤红 祥日知夕年7 月z , - t 日 第一章绪论 第一章绪论 1 1 论文的研究目的与主要工作 1 1 1 正交序贯学习算法的提出与改进 径向基函数神经网络( r b 卧) 是一种极其重要的神经网络。它是基于大 脑皮层中存在局部、重叠的感受域这一特性提出的。理论证明，它能够以任意精 度逼近任意非线性函数，而且具有其它前向网络所不具有的最佳逼近的性能，并 且结构简单，训练速度快，是一种性能优良的神经网络。因此，多年来，人们对 径向基神经网络进行了大量的研究，相继提出了多种确定网络结构及参数的学习 训练算法，例如，混合递推算法、正交化最小二乘法等。 这些算法都有着各自的优点与适用的场合，然而，它们也存在这样或那样的 缺点，本文的第三章对其进行了详细的阐述。尤其值得一提的是，它们都存在一 个共同的缺点，那就是，在确定径向基神经网络隐层神经元数目时，它们大都是 根据以往的经验或试凑的方法来确定，这就不可避免地带来了盲目性，而且增加 了设计的烦琐度，延长了设计的时间。虽然正交化最小二乘法能够根据对网络误 差的要求确定隐层神经元数目，但是当误差指标选择得过小时，就会在选取了一 定数目的正交向量后，难以进一步选出新的正交向量，使算法运行过程中出现数 值病态问题，而且正交化最小二乘法不适合大量样本的训练。 一般来说，对神经网络设计的要求为： ( 1 ) 能很好地解决给定的任务( 如模式分类、函数逼近等) 。 ( 2 ) 能利用给定的样本通过学习训练来确定合理的网络结构与参数。 ( 3 ) 训练后的网络具有很好的逼近性能，即网络在训练数据点上能够精确拟 合。 ( 4 ) 训练后的网络具有很好的泛化效果，即经过训练后能有效地推广到未出 现于训练样本中的数据上去。 其中，设计网络的关键是确定合理的网络结构。由于输入层的神经元数和输 出层的神经元数只要根据具体任务来确定即可，因此，径向基神经网络的结构确 定问题也就转化为隐层神经元数目的确定问题。以往的研究指出，隐层神经元数 目过少，网络不能完成给定的任务，达不到很好的逼近性能，而如果隐层神经元 数目过多的话，又会导致过拟合，使得网络的泛化能力下降。那么，可不可以建 立一种新的径向基神经网络的训练算法，使它不仅能够满足对网络性能的要求， 第一章绪论 而且能够自适应地构造网络，自适应地确定所需的隐层神经元数目以及相应的网 络参数? 针对以上问题，本文在分析了前人研究成果的基础上，受f a h l m a n 和l e b i e r e 的重叠相关学习算法的启发，提出了正交序贯学习算法，为径向基神经网络隐层 神经元的确定问题提供了一条新的途径。 本文从理论和仿真两个方面对此算法进行了深入的剖析。 在理论方面，详细分析了： ( 1 ) 算法提出的理论依据与总体思路。 ( 2 ) 算法中用到的正交化方法。 ( 3 ) 梯度的计算过程。 “) 算法的循环过程的停止条件。 ( 5 ) 算法中对网络输出层的设计方法。 ( 6 ) 算法的收敛性。 在仿真方面，本文将正交序贯学习算法和传统的学习算法进行了比较，从多 方面分析了算法的性能，指出了算法的主要优点与某些不足。实验结果表明，由 于本算法能够自适应地确定合理的网络结构，避免了网络结构确定的盲目性，因 此训练后的网络能够在保证隐层神经元数目尽量小的情况下，达到令人满意的逼 近性能和泛化效果。算法还具有一定的鲁棒性，能够克服训练数据中的随机干扰， 重现数据中的潜在规律。算法的主要缺点是效率较低，不过在不要求在线训练的 场合，影响不大。 另外，本文针对在算法训练过程中由梯度法带来的局部极小问题，提出了改 进方案，得到了正交序贯遗传算法。具体是利用遗传算法的全局寻优特性来克服 局部极小。仿真实验的结果表明，这种改进方案确实能够提高算法在训练过程中 的收敛特性，而且训练后的网络进一步减少了隐层神经元，因此，训练后径向基 神经网络的性能也得到了进一步改善。 1 , 1 2 基于径向基神经网络的系统辨识 过去3 0 年来，对线性、非时变和具有不确定参数的对象进行辨识和自适应 控制的研究已取得了很大的进展。对于非线性系统的辨识和自适应控制问题，往 往需要有关被辨识系统的结构形式等各种先验知识和假设，因此，它们基本上是 针对某些特殊非线性系统而进行的。如何进行有效的非线性系统的辨识，一直为 人们所关注。 传统的辨识方法，对于一般非线性系统的辨识是很困难的，而神经网络却为 此提供了一个有力的工具。神经网络系统辨识实质上是选择一个适当的神经网络 2 第一章绪论 模型来逼近实际系统。由于神经网络对非线性函数具有任意逼近和自学习能力， 所以神经网络系统辨识为非线性系统的辨识提供了一种简单而有效的一般性的 方法。而且神经网络系统辨识是非算法式的，神经网络本身就是辨识模型，其可 调参数反映在网络内部的连接权上，因而它不需要建立以实际系统数学模型为基 础的辨识格式，可以省去在辨识前对系统建模这一步骤。 目前，在神经网络非线性系统辨识方面还有一些问题需要进一步研究和探 索，这些问题有网络模型和结构的选择、快速学习算法的研究和收敛性的分析、 输入激励信号的选取等。 本文针对网络模型和结构的选择问题，研究了径向基神经网络在非线性系统 辨识中的应用，提出了径向基神经网络辨识器的一般结构，并使用本文所提出的 正交序贯学习算法训练后的径向基神经网络对实际非线性系统进行了辨识。实验 结果表明训练后的r b f 网络能够达到良好的辨识效果，可以作为实际系统的合 理化模型。 1 2 论文的内容安排 本论文的章节安排如下： 第一章概括介绍了本论文的研究目的与主要工作，以及论文的章节安排。 第二章概述了神经网络的发展、现状与基本原理，分析了几种典型的神经网络 结构，并介绍了神经网络在自动控制中的应用。 第三章研究了径向基神经网络的数学理论，详细分析了几种流行的径向基神经 网络学习算法的优缺点，介绍了系统辨识的一般原理，并在此基础上提 出了基于径向基神经网络的系统辨识器的一般结构。 第四章针对目前径向基神经网络研究中的关键问题，即隐层神经元数目的确定 问题，提出了一种正交序贯训练算法，对算法的具体过程和理论依据进 行了详细的说明，并将基于本算法的r b f 网络运用到实际非线性系统的 辨识过程中，根据仿真结果详细分析了算法的各方面性能。 第五章对上一章提出的正交序贯训练算法提出了改进方案，进一步提高了算法 的性能。 第六章本章是全文总结，综述了论文工作及得出的有关结论，并对未来的研究 工作提出了展望。 3 第二章人工神经网络及其在自动控制中的应用 第二章人工神经网络及其在自动控制中的应用 2 1 人工神经网络的发展与现状 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程，即 人工神经网络的研究，经历了一条曲折的路程。大致分为兴起、萧条和兴盛三个 时期【1 】【2 】1 3 】。 早在1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 在数学生物物理学会刊 b u l l e t i no f m a t h e m a t i c a lb i o p h y s i c s 上发表文章，总结了生物神经元的一些基本生 理特性，提出了形式神经元的数学描述与结构方法，即m p 模型。在m p 模型 中，赋予形式神经元的功能较弱，但网络的计算能力巨大，这种巨大的计算潜力 在于网络中足够多的神经元以及神经元之间丰富的联系，同时神经元还具有并行 计算的能力。m p 模型的提出兴起了对神经网络的研究。 1 9 4 9 年心理学家d o h e b b 提出神经元之间突触联系强度可变的假设。他认 为学习过程是在突触上发生的，突触的联系强度随其前后神经元的活动而变化。 根据这一假设提出的学习率为神经网络的学习算法奠定了基础。 5 0 年代末，r o s e n b l a t t 提出感知机，第一次把神经网络的研究付诸工程实践。 这是一种学习和自组织的心理学模型，它基本上符合神经生物学的知识，模型的 学习环境是有噪声的，网络构造中存在随机连接，这符合动物学习的自然环境， 当时人们对神经网络研究过于乐观，认为只要将这种神经元互连成一个网络，就 可以解决人脑思维的模拟问题，以后碰到了理论上和实现技术上的困难，加上其 它因素的影响，使得对神经网络的研究进入了低潮。 6 0 年代，美国著名人工智能学者m i n s k y 和p a p e r t 对r o s e n b l a t t 的工作进行 了深入的研究，写了很有影响的感知器一书，指出感知器的处理能力有限， 甚至连x o r 这样的问题也不能解决，并指出如果引入隐含神经元，增加神经网 络的层次，可提高神经网络的处理能力，但是研究对应的学习方法非常困难。加 以当时人工智能的以功能模拟为目标的另一分支出现了转机，产生了以知识信息 处理为基础的知识工程，给人工智能从实验室走向实用带来了希望。同时，微电 子技术的发展，使传统计算机的处理能力有很大提高，数字计算机的发展使当时 科学界普遍认为它能解决一切问题，包括模式识别、机器人控制等。因而不必去 寻找新的计算理论与实现方法。而且，当时的工艺水平还未能达到制作实用的具 有足够规模的神经网络，用分离的电子管即使是晶体管所制作的神经网络也只能 作示教性的表演。这些因素的共同作用，促使人们降低了对神经网络研究的热情， 4 第二章人工神经网络及其在自动控制中的应用 从而使神经网络进入萧条时期。 不过，还是有不少学者继续对神经网络进行研究，仍取得了一些积极的成果。 其中包括a r b i b 的竞争模型，1 9 7 7 年k o h o n e n 的自组织映射模型，g r o s s b e r g 的 自适应谐振模型和f u k u s h i m a 的新认知机等。特别是有的学者提出了连接机制和 并行分布处理概念等，具有较大影响。 到了8 0 年代，神经网络的研究进入了“柳暗花明又一村”的新境界，一个 竞相研究神经网络和设计构造神经计算机的热潮在世界范围内掀起。产生这种转 折变化的一个重要原因，是美国加州理工学院生物物理学家h o p f i e l d 采用全互连 型神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为n p 完全型的旅行商问题。这项突破性的进展引起了广大学者对神经网络潜在能力的 高度重视，从而掀起了研究神经网络信息处理方法和研制神经计算机的热潮。 如果说h o p f i e l d 的研究成果打破了神经网络理论十年徘徊的局面，那么1 9 8 6 年r u m e l h a r t 和m c c e l l a n d 及其研究小组提出的p d p ( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ) 网络思想，则为神经网络研究新高潮的到来起到了推波助澜的作用。 尤其是他们提出的误差逆传播学习算法，成为至今影响最大的一种网络学习方 法。与此同时，美国、日本等国在神经网络计算机的硬件实现方面也取得了一些 实实在在的成绩。有关神经网络的国际学术组织、学术会议、学术刊物也纷纷成 立、召开和创刊。 如今，神经网络的应用，已渗透到模式识别、图象处理、非线性优化、语音 处理、自然语言理解、自动目标识别、机器人、专家系统等各个领域，并取得了 令人瞩目的成果。神经网络理论也已成为涉及神经生理科学、认识科学、数理科 学、心理学、信息科学、计算机科学、微电子学、光学、生物电子学等多学科的 新兴的、综合性的前沿学科。 从众多应用研究领域取得的丰硕成果来看，人工神经网络的发展具有强大的 生命力。当前存在的问题是智能水平还不高，许多应用方面的要求还不能得到很 好的满足；网络分析与综合的一些理论性问题( 如稳定性、收敛性的分析，网络 的结构综合等) 还未得到很好的解决。随着人们对大脑信息处理机理认识的深化， 以及人工神经网络智能水平的提高，人工神经网络必将在科学技术领域发挥更大 的作用。 2 2 神经网络的基本构成与工作原理【4 】【5 】 2 2 1 人工神经网络模型 人工神经网络模拟了动物中生理神经网络的某些信息处理原理和过程，是真 第二章人工神经网络及其在自动控制中的应用 实神经网络的一种数学抽象，是用许多人工神经元按一定的方式相互连接而成的 一种网状数学拓扑。根据联结方式，神经网络常分成两大类：没有反馈的前向神 经网络和相互结合型网络，如图2 1 所示。前向神经网络由输入层、一层或多层 的隐含层和输出层组成，每一层的神经元只接受前一层神经元的输出。而相互结 合型神经网络中任意两个神经元之间都有可能有联结，因此，输入信号要在神经 元之间反复传递。从某一初始状态开始，经过若干次的变化，渐渐趋于某一稳定 状态或进入周期振荡等其它状态。 ( a ) 前向神经网络 图2 1 人工神经网络 ( b ) 相互结合型神经网络 虽然目前有上百种神经网络模型，但常见的三大类模型是：前向神经网络、 反馈神经网络和自组织神经网络。 前向神经网络就是网络除了输入输出结点外，有一层或多层的隐含层结点， 同层结点间无任何联结。输入数据从输入层节点，依次经过各隐含层节点，然后 到达输出节点，从而得到输出数据。由于同层节点间无任何偶合，故每层节点的 输出只影响下一层节点的输出。最常用的前向神经网络就是b p 神经网络 ( b a c k p r o p a g a t i o n n e u r a ln e t w o r k ) 和r b f 径向基神经网络。 反馈神经网络就是数据不仅要进行前向传输，还要经过反馈。输入数据决定 系统的初始状态，然后系统经过一系列前向传输和反馈之后，逐渐收敛于平衡状 态。这样的平衡状态就是反馈神经网络经计算后的输出结果。因此，稳定性是反 馈神经网络的最重要的问题之一。最典型的反馈神经网络就是h o p f i e l d 神经网 络。 自组织神经网络是一种无教师学习的神经网络，主要利用竞争原则来进行网 络的学习。它能模拟人类根据过去经验自动适应无法预测的环境变化。对于输入 模式x ，每个神经元的权向量都与其比较，距离最近的权向量自动调节直到与输 入模式x 的某一最大主分量的方向相重合为止。 2 2 2 神经网络的学习算法 6 第二章人工神经网络及其在自动控制中的应用 神经网络中信息处理、传递是由网络结构的连接权实现，而连接权值的大小 则是通过在一定拓扑结构固定的条件下，遵循一定的规则，按照一定的方式，应 用一定的学习算法训练得到。 对神经网络学习算法的研究是神经网络研究中最核心的部分。对于不同结构 的神经网络，人们都研究出许多的学习算法和它们相对应。 神经网络的学习过程一般来说就是对神经网络权值调整的过程，神经网络能 够根据样本模式逐濒调整权值，使神经网络具有卓越的学习、记忆和处理信息的 能力。 神经网络的学习方法有两大类：有教师学习和无教师学习。对于有教师学习， 神经网络的输出和希望的输出进行比较，然后根据两者之间的差的函数( 如差的 平方和) 来调整网络的权值，最终使其函数达到最小。对于无教师学习，当输入 的样本模式进入神经网络后，网络按照预先设定的规则( 如竞争规则) 自动调整 权值，使网络最终具有模式分类等功能。 神经网络学习算法中最著名的就是针对b p 网络的误差反向传播学习算法， 也就是梯度算法【6 l 【7 1 0 它属于有教师学习，其原理就是从误差平方和对网络权值 的梯度方向来修改网络的权值，从而使b p 网络较快地达到所希望的学习效果。 当然，梯度算法也存在一些问题，比如容易陷入局部极小点和收敛速度慢等。因 此人们也相应地研究出了一些改进的方案，比如： ( 1 ) 给权值加扰动，使网络脱离局部极小。 ( 2 ) 重新给网络的权值初始化。 ( 3 ) 合适选择网络的太小，避免因网络太大，节点过多而使反向误差越来越 大。 ( 4 ) 当误差在允许范围内时，就不再修正权值，以加快学习速度。 ( 5 ) 使用模拟退火算法和遗传算法，避免局部极小。 2 3 几种典型的神经网络 神经元的激活函数不同、拓扑结构不同、学习算法不同、构成神经网络的方 式不同，则神经网络对信息处理的方法和能力亦不同。下面介绍几种典型的神经 网络。 ( 1 ) 多层前向神经网络( m u l t i l a y e rf e e d f o r w a r d n no rm 卫n 多层前向神经网络是目前应用较多的一种神经网络结构。它是由输入层、若 干隐层、输出层构成。各层神经元之间无连接。神经元以不同的非减函数，如 s i g m o i d 函数、反正切、双曲函数等为激活函数。 多层前向神经网络结构如图2 1 ( a ) 所示。 7 第二章人工神经网络及其在自动控制中的应用 前向多层神经网络本质上是一种多输入、多输出的非线性映射。c y b e n k o ( 1 9 8 8 ，1 9 8 9 ) ，f u n a h a s h i ( 1 9 8 9 ) ，h e c h e t n i e s e n ( 1 9 8 9 ) ，c a r r o l l & d i c k i n s o n ( 1 9 8 9 ) 等学者 均对m f n n 具有对任意连续函数的逼近能力予以系统的证明。其结论是，在一 个相当宽的范围内，m f n n 具有以任意精度逼近定义在紧支集上的任意非线性 连续函数的能力。在f u n a h a s h i ( 1 9 8 9 ) 的证明中，隐节点函数限定为有界单调递增 连续函数。h o m i k 等人( 1 9 8 9 ) 和陈天平【8 】发现，有界性是必要的，单调递增的限 制条件并非必要。同时文献【9 】对网络的泛化机制和改进措施进行了系统的分析， 指出最简单拓扑结构不仅有利于硬件实现，也有利于网络泛化功能的改善，证明 了m f n n 仅用一个隐层就可逼近任意连续的非线性函数。m f n n 这一特点使其 在信号处理、非线性优化及系统辨识、非线性控制等领域具有广泛的应用前景。 ( 2 ) 径向基函数网络( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k , r b f n n ) 径向基函数网络r b f n n 是一种特殊的神经网络，它是由m o o d y 和d a r k e n ( 1 9 8 8 ，1 9 8 9 ) 基于大脑皮层中存在局部、重叠的感受域这一特性提出的。r b f n n 网络与m f n n 网络结构上十分相似。r b f 网实际上可以看作只有一个隐层的 m f n n ，其主要区别是r b f n n 的激活函数为径向基函数。 单输出的r b f n n 网络模型为 y 一w f g ( 卜c m q ) ( 2 1 ) 其中w i 为第i 个隐节点与输出节点之间的连接权，c ，为第i 个隐节点的中心， o ；为感受域( 敏感域) 。 同m f n n 一样，理论上r b f 网络也具有广泛的非线性的适应能力。 ( 3 ) h o p f i e l d 神经网络( h o p f i e l d n e u r a ln e t w o r k , h n n ) h o p f i e l d 神经网络是美国物理学家j j h o p f i e l d 于1 9 8 2 年首先提出的。它主 要用于模拟生物神经网络的记忆机理。 h o p f i e l d 神经网络是一种全连接型的神经网络。对于每一个神经元来说，自 己的输出信号通过其它神经元又反馈到自己，所以h o p f i e l d 神经网络是一种反馈 型神经网络。 h o p f i e l d 神经网络有离散型脚q n ) 和连续型( c 皿两种。 h o p f i e l d 神经网络状态的演变过程是一个非线性动力学系统，可以用一组非 线性差分方程( 对于d h n n ) 或微分方程( 对于c h n n ) 来描述。系统的稳定 性可用所谓的“能量函数”( 即李雅普诺夫或哈密顿函数) 进行分析。在满足一 定条件下，某种“能量函数”的能量在网络运行过程中不断减小，最后趋于稳定 的平衡状态。 目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把系统 第二章人工神经网络及其在自动控制中的应用 的稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找该记 忆的过程。初态可以认为是给定的有关该记忆的部分信息。这就是联想记忆的过 程。如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优 化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问 题的过程。由此可见，h o p f i e l d 网络的演变过程是一种计算联想记忆或求解优化 问题的过程。实际上它的解并不需要真的去计算，而只要构成这种反馈神经网络， 适当地设计其连接权和输入就可以达到这个目的。 ( 4 ) 小波网络( w a v e l e tn n ) 由z h a n g 等人最先提出的小波网络( w a v e l e t n e u r a l n e t w o r k ) ，是以近年来出 现的小波分析为理论依据，是小波变换的一种实现方式。小波网络实际上是一种 局部基函数网络，结构与r b f 网络相类似，所不同的是它的基函数是由小波函 数按分辨尺度伸缩与空间位置平移构成。所谓小波函数，就是由基函数妒e l 2 经 平移、伸缩形成的一簇函数，表示为 妒曲o ) - l aj i 妒( 三二二皇 ( 2 2 ) 其中，a , b 分别表示伸缩、平移系数。 其输出 ，俩) ；萝哪【生乌 ( 2 3 ) 铷 a i 其中x 墨【z 。，_ ，】为输入向量，a ，4 为第i 输入所对应的伸缩、平移参 数。 2 4 人工神经网络在自动控制中的应用 自动控制的发展已经走过6 0 余年的历程，在这段时期内，它经历了经典控 制理论到现代控制理论，又由现代控制理论发展到现在的智能控制诸阶段。在自 动控制发展的过程中，计算机科学一直对它产生着巨大的影响。但是，随着科学 技术的发展，对控制系统智能化的要求也越来越高。基于串行计算的 v o n n e u m a n n 计算机面对复杂的智能控制系统，在对环境的识别和实时大规模计 算等方面已显现出带有根本性的困难和局限。人工神经网络的发展为摆脱这种困 境提供了一条途径。 人工神经网络的兴起引起广大自动控制工作者的极大关注，其原因是人工神 经网络对自动控制具有多种有吸引力的特点，主要有： ( 1 ) 它能以任意精度逼近任意非线性函数。 9 第二章人工神经网络及其在自动控制中的应用 ( 2 ) 对复杂不确定问题具有自适应和自学习能力。 ( 3 ) 它的信息处理的并行机制可以解决控制系统中大规模实时计算问题， 而且并行机制中的冗余性可以使控制系统具有很强的容错能力。 ( 4 ) 它具有很强的信息综合能力，能同时处理定量和定性的信息，能很好 地协调多种输入信息的关系，适用于多信息融合( f u s i o n ) 和多媒体技术。 ( 5 ) 神经计算可以解决许多自动控制计算问题，如优化计算和矩阵代数计 算等。 ( 6 ) 便于用v l s i 或光学集成系统实现或用现有计算机技术虚拟实现。 神经网络在控制系统中的应用是多种多样的【1 0 】【1 1 i ，就其在控制系统中所起 的作用而言有如下几种方式： ( 1 ) 为控制系统提供某种模型。 ( 2 ) 充当各类控制器。 ( 3 ) 作为计算部件实现某种优化计算。 ( 4 ) 与其它智能控制方法如专家系统、模糊控制相融合，为它们提供非参 数化对象模型、推理模型等或通过模型进行预测。 ( 5 ) 动态系统故障诊断。 d a u n k e n s l l 2 】等人对模糊理论、神经网络和遗传算法等在智能控制中的应 用及相互关系进行了较为详细的评价与综述。模糊控制与神经网络分别是对人类 思维方式和思维结构的模拟，有各自的优点和局限，将两者结合形成优势互补， 同时把遗传算法作为模糊神经网络训练的有效工具，是当今智能控制发展的方向 之。 国内也有不少学者对神经网络控制现状【”l 【1 4 l 、神经网络控制器的典型结构 及基于神经网络的非线性自适应控制【1 5 l 【1 6 j 等进行了综述及讨论。 目前，神经网络的应用已渗透到自动控制领域的各个方面，包括系统辨识、 系统控制、优化计算以及控制系统的故障诊断与容错控制等。随着神经网络理论 与应用的发展，它必将在自动控制中获得更为广泛的应用，推动智能控制的进一 步发展。 1 0 第三章径向基神经网络与系统辨识 第三章径向基神经网络与系统辨识 3 1r b f 网络的结构 r b f 神经元网络即r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k ( 径向基函数神经网 络) ，它是人脑神经网络系统的一种抽象和简化，具有很强的生物学背景。在人 脑皮层中，具有局部调节和交叠的感受域( r e c e p t i v ef i e l d ) 。根据人脑的这一特 点，m o o d y 和d a r k e n 提出了径向基神经网络( r b f n e u r a ln e t w o r k ) ，又称为局 部感受域神经网络( l o c a l i z e dr e c e p t i v ef i e l dn e t w o r k ) 。 径向基神经网络是一种前向神经网络，包括一个隐层，如图3 1 所示， 输入层隐层输出层 图3 1 径向基神经网络模型 径向基神经网络的数学模型为 y - 善w , g ( 1 l x - q i i 时| 0 或者输出层具有闽值 v y 一m g ( o x - c i i i q ) + 6 其中x r ”为神经网络输入； 砒为r b f 输出层权重； g 为径向基函数； c ；为径向基函数的中心； 吼为径向基函数的感受域，o r 。越大，感受域越大； b 为输出层阈值。 i 。为输入x 与岛之间的距离。 1 1 ( 3 1 ) ( 3 2 ) 第三章径向基神经网络与系统辨识 径向基函数具有局部感受的性质，如取高斯函数，则g ( x ) r 在c i 附近的区域 有反应，这与大脑皮层局部感受性质相类似。 r b f 神经元网络不仅具有上述的生物学背景，而且还有数学理论的支持， 文献 1 7 ，1 8 1 利用正则化方法证明了如下结论： 若s = 暇；，i ) r “r i i = 1 ，) 是训练集合，9 ( ，w ) 表示未知的函数， 其中w 也未知。正则化问题的学习过程是寻找妒及参数w 使 矗- 【妒】；( 一妒( z ；，w ) ) 2 + a0 p 币0 2 ( 3 3 ) 7 = f 最小。式中第二项为正规化项，a 为正规化参数，f | t0 表示欧氏范数，p 为 线性微分算子。这里引入微分算子p ，表明性能泛函中隐含有对解平滑性和连续 性的要求。用变分原理可以证明妒应该选择径向基函数( r a d i a l b a s i s f u n c t i o n ) 。 3 2r b f 网络的分类 r b f 网络的分类可以从网络参数的不同确定方法入手，r b f 网络的参数确 定过程如下。一般r b f 网络可以表示成 厶僻) 一妒( 【z c ；】7 2 4 【x c i 】) ( 3 4 ) 可 z 。是控制r b f 网络感受域大小的矩阵，由此可知，对于r b f 网络来说有 3 类参数需要确定：( 1 ) r b f 网络输出层权值m ，k 1 ，n ；( 2 ) 网络基函数中 心c ；，i - - 1 ，n ；( 3 ) 控制矩阵。如果用参数0 来代替上述3 种参数，针对训 练样本d m f 墨，誓 ，i - - 1 ，m ，则p - d 3 , f 网络的学习过程就是寻找0 使下列式 予最小化。 s k ( 巩，o ) 一哩n 盈【d v ，厂皤， ) 】 ( 3 5 ) 其中， s 磊r d u ， 僻，。) 卜万1 善m i x 一，僻；，。) 1 2( 3 6 ) 可以看出对参数z 及c ；的优化是很复杂的非线性规划问题，难以有效的解 出，有效的解决方案是：首先选定，其次从训练样本中确定c ；，这样r b f 网 络的参数确定问题就转化为只对输出权值的最小化问题。这是一个线性方程求解 的问题，因此利用各种最小二乘法都可求出w i ，文献【1 9 ，2 0 ，2 1 】都采用了这种方 法。 第三章径向基神经网络与系统辨识 根据上述参数确定过程将r b f 网络分类如下： ( 1 ) o 型r b f 网络：如果r b f 网络的参数确定完全从嘈n s 盐 巩，暖，o ) 】 出发求解，c ；及w i ，则称这类r b f 网络为0 型网络或理想型网络。 ( 2 ) i 型r b f 网络：如果r b f 网络参数中预先选定，中心c 。随机从学习样 本置中选取，则称这类r b f 网络为i 型网络或基本型网络。 ( 3 ) i i 型r b f 网络：如果r b f 网络参数中预先选定，中心c ；由聚类方法完 成，则称这类r b f 网络为型网络或聚类辅助型网络。 3 3r b f 网络的函数逼近理论 前向神经网络理论研究的关键问题是函数逼近。文献 2 2 2 9 在这方面作了 深入研究。文中认为具有s i g m o i d 单元的3 层前向网络能够逼近连续函数或定义 于r “空间紧集上的函数。这些文献作了一个假设，就是s i g m o i d 函数必须连续 或单调，而文献 3 0 】则指出网络逼近函数的能力不是由激活函数的连续性或单调 性决定，而是函数的有界性起了关键作用。文献 3 1 】在h o m i k 工作的基础上【2 9 】， 证明了具有局部有界分段连续激活函数的标准前向网络可以逼近任意连续函数 至任意精度的充分必要条件是网络的激活函数是非多项式( 有限阶次) ，并且指 出激活函数的阈值有很重要的作用，它是保证上述充要条件成立的一个重要因 素。文献【3 2 中，h o m i k 指出：( 1 ) 如果激活函数局部黎曼可积且是非多项式， 则前向网络可以一致逼近紧集上的连续函数；( 2 ) 如果激活函数局部有界且是非 多项式，则前向网络可以r ( 肛) 逼近连续函数，p 是具有紧支撑的输入环境测度 ( i n p u te n v i r o n m e n t m e a s u r e ) 。 r b f 神经元网络是一类前向网络，因此上述函数逼近的理论也适用于它。 但针对r b f 网络有许多特点需要研究。一般的前向网络( 例如多层感知器 ( m l p ) ) 是仿射基函数a b f ( a f f i n eb a s i sf u n c t i o n ) 神经元网络，这种网络的 目标是用函数族y w i g z + 0 。) 逼近连续函数，而r b f 网络的目标是用函数族 蔷w i 占( i l 盖一x i