（控制理论与控制工程专业论文）基于径向基函数网络的非线性系统自适应逆控制.pdfVIP

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均己在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：圣查丝日期：盟璺垡 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手 段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：垂查丝导师签名：石五赵遗日期：殳。塞 山东大学硕士学位论文 摘要 传统的控制和自适应控制采用的反馈控制方式是将输出和干扰同时反馈来提 高系统性能和消除干扰，这样在两者之间只能折衷实现。而自适应逆控制需要很 少的先验知识，不需要知道被控对象的数学模型，就可以设计出性能优良的自适 应逆控制系统。自适应逆控制对对象动态响应的控制和消除扰动的控制是分别进 行的，二者互不影响，这样就可以尽量提高系统动态性能和消除干扰。设计出的 自适应逆控制系统，不仅可以得到好的动态响应，还可以使噪声和扰动减小到最 小。 神经网络由于具有逼近非线性对象的能力、并行分布处理、学习和适应、数 据融合等特点，非常适合于作为自适应控制中的建模工具。径向基函数神经网络 是其中的一类非常有效的前馈网络，具有收敛速度快、逼近精度高、可避免局部 最小等优越性。论文对r b f 网络的各种学习算法进行了较系统的分析研究，r b f 网络的隐层中心的选择是决定r b f 网络性能的最重要的因素。首先对目前常用的 r b f 网络的隐层节点数的选择办法进行了分析，并指出它们的优点和不足。r b f 网络的权值修正一般采用r l s 方法，但是r l s 方法依赖输入信号自相关矩阵的逆， 这不仅可以导致大的计算量，而且还可以出现不稳定问题，从而使网络的性能下 降，我们选用r p c l l a f 方法，并进行了仿真研究，验证了r p c l - l a f 方法的有 效性。在多种控制方案中，- 滤波算法能够适用于非线性系统，并对建模和逆建模 精度要求不高，适合于本课题的被控对象，最后也进行了仿真实验研究。 关键词：径向基网络；次胜者受罚竞争学习；8 - 滤波算法；自适应逆控制 非线性系统 山东大学硕士学位论文 a b s t r a c t t h ec o n v e n t i o n a lf e e d b a c kc o n t r o lt r i e dt oh e i g h t e nt h es y s t e mp e r f o r m a n c ea n dt o c a n c e ld i s t u r b a n c es i m u l t a n e o u s l yt h r o u g hf e e d i n gb a c ko u t p u ta n dd i s t u r b a n c e i tc o u l d n o tg e tt h eo p t i m a ls o l u t i o n sf o rc o n t r o lp e r f o r m a n c ea n dd i s t u r b a n c ea t t e n u a t i o na tt h e s a m et i m e w ec a no n l ym a k eat r a d e o f fb e t w e e nt h e m h o w e v e ra d a p t i v ei n v e r s e c o n t r o lc a l ld e a lw i t ht h et w op r o b l e m ss e p a r a t e l y , i td o e s n tn e e dt o om u c hp r i o r k n o w l e d g e w ec a l ld e s i g na d a p t i v e i n v e r s ec o n t r o l l e rw i t h o u tk n o w i n gp l a n t s m a t h e m a t i cm o d e l i na d a p t i v ei n v e r s ec o n t r o ls y s t e m s ，t h ec o n t r o lo fp l a n td y n a m i c r e s p o n s ea n dd i s t u r b a n c e c a n c e l i n gd on o ti n t e r a c te a c ho t h e r w ec a nn o to n l yo b t a i n g o o dd y n a m i cr e s p o n s e , b u ta l s om a k et h ei n f l u e n c eo fn o i s ea n dd i s t u r b a n c et ot h e m i n i m u m n e u r a ln e t w o r kh a st h ec h a r a c t e r i s t i co fa p p r o a c h i n ga n yn o n l i n e a rf u n c t i o n ； p r o c e s s i n gd a t ai np a r a l l e la n dd i s t r i b u t i o n ，l e a r n i n ga n da d a p t i n g i ti ss u i t a b l ef u r a d a p t i v ei n v e r s ec o n t r 0 1 r a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r ki sa ne f f e c t i v e f e e d f o r w a r dn e t w o r k i th a sh i g hc o n v e r g e n c er a t ea n dh i g ha p p r o a c h i n gp r e c i s i o n ，a n d c a l la v o i dl o c a lo p t i m a ，s y s t e m a t i ca n a l y s i sa n dr e s e a r c ha r em a d et ot h ev a r i o u s l e a r n i n gm e t h o d so fr b f n n t h ek e yf a c t o rt h a ti n f l u e n c e sr b f n n sp e r f o r m a n c ei s t h ec h o i c eo fr b f n n sh i d d e nl a y e rc e n t e lf i r s t ，t h eu s u a lw a y st h a ta r ee m p l o y e dt o c h o o s et h en u m b e ro fr b f n n sh i d d e nl a y e rn o d e sa r ea n a l y z e da n dc o m p a r e d ，a st o r b f n n sw e i g h tt r a i n i n g , t h en o r m a lw a yi sr l sw h i c hr e l i e so nt h ei m p l i c i to r e x p l i c i tc o m p u t a t i o no f t h ei n v e r s eo ft h ei n p u ts i g n a l sa u t o c o r r e l a t i o nm a t r i x t h i sn o t o n l yi m p l i e sah i g h e rc o m p u t a t i o n a lc o s t b u ti tc a nl e a dt oi n s t a b i l i t yp r o b l e m s a sa r e s u l t ，w es e l e c tr p c l l a fa l g o r i t h m i tc a ns a t i s f yt h ed e m a n d so fm o d e l i n g t h e f i l t e r i n ga l g o r i t h mc a nd e a lw i t hn o n l i n e a rs y s t e mw e l l a n di si n s e n s i t i v et ot h e i m p r e c i s i o no fp l a n tm o d e la n di t sd e l a y e di n v e r s em o d e l s ow eu s et h e - f i l t e r i n g a l g o r i t h mi nt h ec o n t r o l l e rd e s i g n t h es i m u l a t i o nr e s u l t ss h o w t h a to u rc o n t r o ls c h e m e i se f f e c t i v e k e y w o r d s ：r a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k ；r i v a lp e n a l i z e dc o m p e t i t i v e l e a r n i n g ；- f i l t e r i n ga l g o r i t h m ；a d a p t i v ei n v e r s ec o n t r o l ；n o n l i n e a rs y s t e m 2 山东大学硕士学位论文 1 1 引言 第一章绪论 在国民经济所有的目标管理系统中，几乎无处不在使用反馈控制。反馈是控 制论对现代社会所贡献的最深刻也是最激动人心的概念之- - 1 1 ，它对社会的发展不 可或缺，在学习、适应、组织和进化等过程中非常重要，它已经渗透到诸如生物 学、经济学、气象学、甚至心理学等许多科学领域，在控制领域反馈就像物理中 的因果律一样是一个重要的基本概念。 传统的反馈控制方法是将检测到的对象输出反馈到输入端与期望响应( 如指 定的速度) 比较得到误差来调整控制器。由于对象输出不可避免的存在扰动，对 象扰动和对象输出就混合在一起反馈到系统输入端，这样反馈值与期望响应比较 后得到的误差包括两个部分：对象扰动和被控对象输出与期望响应的偏差。误差 经控制器放大和滤波后驱动被控对象使对象的输出跟随期望响应以及抵消外部干 扰，这时控制器既要放大反馈扰动信号使它与对象输出扰动相消，又要将误差信 号中输出与期望响应的偏差放大去调节对象输出使对象输出跟随上期望响应，这 就产生了矛盾，所以两者间只能折中选择参数，显然调节性能受到了影响。 为了克服以上反馈控制的局限性，美国斯坦福大学的w i d r o w 教授于1 9 8 6 年 首次命名并提出来自适应逆控制【2 】，它是自适应控制和自适应信号处理融合而成的 新学科，当时在控制界引起了很大的反响，这为设计控制系统和调节器开辟了新 的途径。自适应逆控制与传统反馈控制和自适应控制在原理上截然不同，它的基 本思想是用自适应滤波方法或神经网络辨识出被控对象的逆模型，串连到被控对 象的输入端作为控制器来控制对象的动态特性，使得被控对象的输出跟随系统指 令输入，并且加入了扰动消除回路，提高了系统的抗干扰性能。自适应逆控制是 一种逆控制方法，使控制器逼近对象的逆映射。该系统的目的是既可以使得对象 的输出跟随指令输入，也可以跟踪一个经延迟或平滑过的指令输入。而且对象的 动态特性控制和消除扰动的控制是分开来各自独立完成的，从而提高了系统的动 态性能，并且成功地抑制了扰动。自适应逆控制的优越性还表现在对被控对象只 3 山东大学硕士学位论文 需要较少的先验知识，通过一定的自适应算法，便可以“学习”和“掌握”对象，进而 给出对象逆模型来进行控制工作。用这种方式处理问题，各个自适应子系统相对 比较简单，容易分析和优化。 作为一种新的控制器和调节器设计方法，由于其表现出传统控制所不具备的 特性，自适应逆控制自提出之同起就引起了很多学者的关注和研究，经过十几年 的发展，无论是在理论研究，还是在实际应用上，都已经取得了一定成果，已成 为现代控制理论向智能控制发展的一个全新的活跃分支。工程实际上的被控对象 通常本质上是非线性的，非线性系统与线性系统之间存在很大的差别，主要原因 是非线性系统不具备线性s i s o 系统的补偿特性。利用线性自适应逆控制方法常 常达不到所需得控制效果。这就要求我们采用更能描述非线性本质的数学工具来 加以研究。 非线性系统在工业控制中是很常见的，如交流电机控制、精确定位系统、机 器人控制等。传统的设计方法是对非线性系统进行反馈线性化，再利用线性方法 设计控制器。由于这种方法太多是基于对象精确的数学模型，而且当对象的参数 变化较大时，线性控制器可能无法使系统正常工作，因此这种方法在现场实时控 制中，效果不太理想。神经网络具有非线性逼近能力，而且它的分布参数使其具 有容错、概括和记忆能力，用它作为控制器，无需精确的数学模型，可以在线学 习控制参数( 即网络权值) ，且具有较强的鲁棒性。r b f n n 由于其诸多优点( 如： 非线性逼近能力强、效果好、网络结构简单，网络权值与输出里线性，学习速度 快等) 而被广泛应用于模式识别、函数逼近、信号处理、系统建模和控制等领域。 但是r b f n n 的中心和宽度及其隐含层节点个数的确定是一个急待解决的问题，它 们对网络性能有至关重要的影响。寻求r b f n n 快速有效的学习算法是目前研究 r b f n n 控制的重点。它的研究成果不仅可以解决非线性系统的控制问题，而且为 其他类型的神经网络学习算法和应用提供新的思路。理沦上，如何开辟非线性自 适应逆控制的新途径、新思路、新方法，已经成为需要进一步探讨的课题。由此 可见，非线性系统的自适应逆控制研究无论是在理论上还是在工程实际中都具有 十分重要的意义，因而值得我们对此作深入的研究。 4 山东大学硕士学位论文 1 2 非线性自适应逆控制的可行性 线性自适应逆控制理论已经较成熟，其控制效果也不错f 3 一，并且已经有了一 些实际应用。如斯坦福线性加速器中心用于电子束控制的一个自适应噪声消除系 统1 2 j 。然而自适应逆控制的非线性方法还处于起始阶段，还有大量的工作要做。非 线性系统与线性系统之间存在很大的差别，主要原因是非线性系统不具备线性单 输入单输出系统的补偿特性。此外，非线性系统通常不是一一对应的函数，严格 地说，非线性系统并没有逆。然而从原理上讲，作为逆控制方法的基础的可逆性 概念是不局限于系统方程的特定形式，而具有普遍的研究意义。这使得逆控制方 法可以直接以一般形式的非线性系统作为考察的范围，并建立设计理论，而且在 更大的范围上，逆控制方法的设计思想对于离散系统、分布参数系统这样的不同 系统类型也同样适用。这也既明，逆控制方法是一种基于对非线性系统的某种本 性认识之上的、具有一般性和普遍性的设计方法。其次，由于逆控制引用系统逆 的概念作控制器，因而显得直接、直观和易于理解。再者，目前成熟的神经网络 技术就很适于解决这个问题，通过神经网络建立系统的逆，利用一定的算法训练 神经网络提高控制器的响应速度，为自适应逆控制开辟了新的研究途径。 1 3 非线性自适应逆控制领域的研究进展 自适应逆控制最早期的有关工作是在w i d r o w 关于血压调节【5 】的一篇文章中 提出的，稍后的工作见于在a s i l o m a r 会议上报道的几篇文章1 6 , 7 。由s h m u e l s c h a f f e r 完成的博士论文是有关模型参考自适应逆控制的嘲。w i d r o w 和s t e a m s 合写过这方面的专门著作 9 1 。包括自适应对象扰动消除在内的有关自适应逆控制 方面的第一篇文章是由w i d r o w 和w a l a c h 于1 9 8 3 年在旧金山市举行的t h e f i 体ti f a cw o r k s h o pi nc o n t r o la n ds i g n a l p r o c e s s i n g 会上发表的“o l 。第二篇文章是 由w i d r o w 于1 9 8 6 年在瑞典的u n i v e r s i t yo fl u r i d 举行的t h es e c o n di f a c w o r k s h o po na d a p t i v es y s t e m s i nc o n t r o la n ds i g n a lp r o c e s s i n g 会上作为主导性发 言出现的。 w i d r o w 和p l e t t 对非线性自适应逆控制徽了详细的分析l i ，并对基于线性和 非线性自适应滤波器的自适应逆控制进行了深入论述和比较【1 2 1 。针对不同的非线 山东大学硕士学位论文 性系统，解决的问题和采用的方法将有所不同。当研究对象在小幅度范围内工作， 系统可以看作是线性的，但是当振幅变大时会产生非线性的扰动输出。文 1 3 1 进一 步研究带有外部干扰的非线性不确定系统的自适应逆控制问题，基于l y a p u n o v 理论，证明了自适应逆控制算法的最优性和鲁棒性。文献 1 4 1 针对这种结构提出了 两种非线性滤波器补偿控制信号的预处理方法：( 1 ) 扩展多项式方法；( 2 ) 神经网络 方法。 要想实现非线性自适应逆控制，起决定作用的是非线性系统建模的精确性和 稳定性。许多工业系统因其固有的不确定性和非线性特性，难以建立精确的数学 模型，使传统控制理论在应用于实践时遇到前所未有的困难。另一方面，由于各 种干扰的存在，系统的结构乃至参数都可能发生变化，因此即使依靠过程先验信 息离线辨识得到了系统的模型，也难免存在失配问题，用此模型建立起来的控制 方案用于在线控制时，因为未建模动态的影响，也难保持其原有的性能。自适应 控制方法在一定程度上解决了不确定性问题，但其本质是对模型参数的在线辨识， 需要知道对象的结构模型，这又使问题趋向复杂。因此，如何在系统模型未知时， 实现对系统的控制。一直是控制领域研究的焦点。这一问题的研究无论是对控制 理论的发展，还是对控制理论在实践中应用都具有重要的意义 t 5 1 。 神经网络具有学习能力和逼近任意非线性映射的能力【i ”，为解决这类系统的 控制提供了新的手段，但一般 兑来，神经网络不适合表达基于规则的知识，因此 在对神经网络进行训练时，由于不能很好的应用已有的经验知识，常常只能将初 始权值取为零和随机数，从而增加了网络训练的时间或者陷于非要求的局部极值。 这是神经网络的一个不足。随着神经网络、模糊控制和神经模糊控制等非线性算 法的同趋完善，能够构造良好的非线性自适应逆控制系统。实际上，神经网络、 连续函数和模糊系统之间存在着等效关系。连续函数、神经网络、模糊控制器和 离散模糊专家系统之间存在数值上的等效关系，它们都可以逼近连续函数，且它 们之间又都可以相互逼近，可以构造既在计算上完全等效于模糊系统又具有神经 网络的学习机制的混和神经网络。近年来，国内外学者在神经网络与传统技术相 结合，应用于非线性、不确定性系统控制方面，进行了许多有益的尝试，并取得 了一些可喜的成果。 文献 1 4 1 进一步研究了在自适应逆控制中适合使用神经网络的环境，讨论了影 响u 。控制器权值更新速度的变量，选择有效的神经元拓扑结构和训练算法对控制 6 山东大学硕士学位论文 器的离线权值更新非常重要。h a r l a n d 和l e e 等分析了动力系统基于神经元自适应 逆控制的无模型结构，非线性对象的收敛速度和工作性能都得到了较好的结果， 对于开环不稳定系统i 一定要先稳定对象，而对于很复杂的未知系统，采用离线 训练以简化计算旧；他们进一步将该理论应用于非线性动力系统中，同样得到令 人满意的结论【1 8 r1 9 i ，但是为了提高动态响应性能而增加无模型结构的阶数，会增 加隐层的神经元个数，并且会降低训练学习的速度。文献 2 0 】给出了采用模糊神经 网络的混合非线性自适应逆控制方法，有效消除了直接逆控制的静态误差以及采 用p i d 控制产生的过平衡现象，并且在放热系统中得到验证，获得较好的收敛速 度和鲁棒性。文献【2 l 】将神经网络引入自适应逆控制，应用于火电厂的热工系统， 可有效克服扰动，适应环境和参数的变化，从而获得很好的控制效果。文献 2 2 】 将一种带有单纯形法算子的进化规划算法一e p s m 用于训练r b f 神经网络作为自 适应逆控制器。为了进一步改善系统的动态性能。并且加入了p i d 控制器，使p i d 控制与直接逆控制相结合。改善了系统的动态性能。文献 2 3 】将改进的n a r x 网 络用于自适应逆控制，用两个n a r x 网络分别实现了对象的辨识和逆控制器的设 计。文献 2 4 i = j e 明了神经网络串联b p 算法的三步式自适应逆控制方法的可行性， 应用于电弧炉电极升降自适应逆控制，较好解决了复杂系统的逆建模问题，加快 了逆建模的训练时间，增强了逆模控制的在线学习能力。 1 4 论文的内容安排 r b f 网络既具有生物学背景又与函数逼近理论相吻合，也适于多变量函数的 逼近，只要中心选择得当，只需很少的神经元就可获得较好的逼近效果，且它还 有唯一最佳逼近点的优点。在非线性多变量系统建模中得到了广泛应用。利用神 经网络实现非线性系统的建模已经得到研究者们的关注，本论文主要研究基于径 向基函数神经网络的自适应逆控制，具体内容安排如下： 第二章对r b f 神经网络的几种学习算法进行了分析，指出了各自的不足，综 合几种方法给出了一种新的网络训练方法，并通过对h e r m i t 多项式的逼近证明了 这种方法的有效性。 第三章中给出了可逆性的定义及可逆判定定理，接着给出了r b f 网络控制器 存在的充分条件，从理论上证明了r b f 网络控制器是存在的，也表明r b f 网络可 7 s 山东大学硕士学位论文 以建立对象的逆。 第四章首先给出了菲线性滤波器，然后分析了基于神经网络的建模与逆建模 方法，并给出了仿真，表明非线性滤波器能够很好的对非线性对象进行建模。 第五章首先讨论了几种自适应逆控制系统，随后给出了非线性系统的自适应 逆控制系统，并作了相应的仿真。 山东大学硕士学位论文 第二章径向基函数神经网络学习算法 2 1 前馈式神经网络 虽然目前已经有数十种神经网络模型，但已有的神经网络的拓扑结构一般都 分为两种：前馈式神经网络( f e e d f o r w a r dn n ) 、反馈式神经网络( f e e d b a c kn n ) 。 通常的前馈网络有多层感知器( m l p n ) ，径向基函数网络( r a f n ) 、概率神经网络 ( p n n ) 等；反馈网络通常有h o p f i e l d 网络、a r t 网络等。 前馈式神经网络是一种单方向层次网络模型，它包括输入层、隐层和输出层。 从学习的观点看，前馈式神经网络是一种强有力的学习系统。从信息处理的观点 看，前馈式网络是一类信息映射处理系统。由于前馈式神经网络具有通过样本学 习完成任意空间映射的能力，即泛函逼近能力，所以它成为非线性系统建模、仿 真预测的主要工具。在信号系统、模式识别等领域中，前馈式神经网络是应用极 广泛的模型。 在前馈型网络中，b p 网络是较为经典的一种，但是在实际应用中，b p 算法 存在以下问题： ( 1 ) 即算法的学习常数r 及动量因子1 7 很难选定过小叩会引起收敛速度过慢， 过大的理会引起收敛震荡；过小的盯起不了平滑作用，过大的o r 会使修正远离梯度 最大方向。 ( 2 ) 目标函数存在局部极小问题。 ( 3 ) 初值的选择会影响算法的收敛速度，有时甚至会导致算法收敛于局部极小 值。 针对b p 算法这些缺陷，有人提出了各种改进方法。如自适应训练算法、共轭 梯度法、递推最小二乘法等，但其改进程度是有限的e 径向基函数网络在这方面具有一定的优越性，它具有收敛速度快、逼近精度 高、可避免局部最小的特点，在逼近能力和学习速度等方面均优于b p 网络，所以 本课题选用r b f 网络。 9 山东大学硕士学位论文 2 2r b f 神经网络原理 1 9 8 8 年，b r o o m h e a d 和l o w e 2 5 l 以及m o o d y 和d a r k e n i 2 6 】最早将r b f 用于神经 网络设计。r b f 网络结构与多层前向网络类似，它是一种三层前向网络。输入层 由信号源节点组成，采用线性函数。第二层是隐层，变换函数是径向基函数( r a d i a l b a s i sf u n c t i o n - r b f ) 它是一种局部分布的对中心点径向对称衰减的非负非线性函 数，一般采用高斯函数： h ，= e x p ( - 一嗲内x p 卜瓷笋一啦，r j = 1 , 2 , - - - , m , ， 式中x r ”为网络的输入矢量；c ，r ”为第，个隐节点中心矢量；盯，为相应于该 隐节点的形状参数，控制隐节点径向基函数的相应范围：h ，为第，个隐节点的输 出，所为输出矢量的维数；计算中心与网络输入向量的欧几里德距离，并通过非 线性函数传递至输出层。第三层是输出层，是一个线性组合器，由线性求和单元 组成，所以输出是各隐单元输出的加权和， y i = w b i 昭，c i ，o ( 2 - 2 ) 径向基函数网络的输出表示为： j ，( 朋= ke x p 一i 1 ( 孕) 2 1 ( 2 - 3 ) 其中，f 表示第f 个高斯条单元( 即隐层节点，) ：，表示输入维；x j 年 1 c f ，乃， 分别是输入向量和第，个高斯条函数的中心e ，宽度q 以及权矢量彬的第项。 构成r b f 网络的基本思想是：用r b f 作为隐单元的“基”构成隐层空间，这样 就可以将输入矢量直接( 即不通过权连接) 映射到隐空问。当r b f 的中心确定以 后，这种映射关系就确定了。而从隐含层空间到输出层空间的映射是线性的，即 网络的输出是各隐单元输出的线性加权和。此处的权即为网络可调参数。从总体 上看，网络从输入到输出的映射是非线性的，而网络的输出对可调参数而言却又 是线性的。这样网络的权就可由线性方程组直接解出或用r l s 方法递推计算，从 而大大加快学习速度并避免局部极小问题。高斯函数作隐层节点激发函数，其学 习算法简单实用，收敛速度快。网络基本结构如下： 山东大学硕士学位论文 图2 - ir b f 网络的结构 2 3r b f 神经网络学习算法分析 k y 2 圪 在r b f 网络中，输出层和隐层所完成的任务是不相同的，因而它们学习的策 略也不相同。输出层是对线性权值进行调整，采用的是线性优化策略。而隐层是 对作用函数( 高斯函数) 的参数进行调整，采用的是非线性优化策略，因而学习 二般分两个层次进行。首先确定隐层r b f 的数量、中心值和宽度，第二阶段确定 输出权值。 下面就介绍r b f 网络的几种主要的学习方法，并对它们的优缺点进行讨论。 为简单起见，假定目标空间都为一维，即r b f 网络的输出层只有一个输出单元。 2 3 1 基于梯度法的r b f 神经网络学习算法 p o g g i o 和o i r o s i 在文献 2 7 1 中首次采用梯度下降法进行r b f 中心的有监督学 习，通过比较研究认为，对r b f 中心和输出权值的有监督学习可以显著提高r b f 网络的泛化性能。 在这种学习方法中，r b f 的中心以及网络的其他参数都是通过有监督的学习 来确定的，这是r b f 网络学习的最一般化形式。假设网络输出为一维，考虑下列 平方和代价函数： 1 e = 去才 ( 2 4 ) 二，；l 其中，为训练样本数，岛为网络输出的误差。网络的学习目标是，寻找r b f 网 络的参数，包括r b f 的中心、权值和宽度，使得上述代价函数达到极小，如果采 用高斯基函数，用梯度下降法求解上述问题，则有下列优化计算公式 误差函数对权值的偏导数： 山东大学硕士学位论文 筹= 嘻t 仍 p s ， 误差函数对r b f 中心的偏导数： 考一知等 仁回 误差函数对宽度的偏导数： 瓦c o e = 毒u 参 ， r b f 函数对中心的偏导数： 堕a c j 一 m 酬o r ( 2 - s ) p , b f 函数对宽度的偏导数： 2 吣，簪 则r b f 网络隐层中心，宽度和输出层权值的更新方程如下： u ( 盘+ 1 ) = u ( _ | ) + 一= m ( ) + 玎。暑 ( 2 i o ) c j ( k + 1 ) 一( 卅奶= 吖卅玎：要 1 ) 吖川细) + q _ 等 p 1 2 ) 其中，巩材2 ，瑰为学习速率，一般取为不同值 值得注意的是： e 对为凸函数，而对q ，乃都不是，所以对后两个参数 存在局部极小问题。 该方法是最常用的r b f 网学习算法，运算过程简单，通常采用梯度下降来修 正网络的中心，l m s 算法来修j 下权值，但是，r b f 的数量需预先确定，且要求所 给定的隐层节点数必须与输入样本空i 日j 的聚类数相差不要很多，如果隐层节点数 大于输入样本空间的聚类数，则一方面会降低网络的学习速度，另一方面因为过 多的隐节点带来的计算误差而使r b f 网的收敛精度下降；如果隐层节点数小于输 入样本空阳l 的聚类数，则无论网络学习多少次，最终的精度都不能达到很高。这 1 2 山东大学硕士学位论文 一点正是固定隐层节点数的一类算法的通病。 2 3 2 基于k 一均值聚类的r b f 神经网络学习算法 在这种学习方法中，r b f 的中心是可以移动的，并通过自组织学习确定其位 置。r b f 的中心的选择可以采用可k 均值聚类算法f 2 6 1 。这是一种无监督的学习方 法，具体步骤如下： ( 1 ) 初始化聚类中心c ( f = 1 , 2 ，m ) 。一般是从输入样本，( = 1 , 2 ，n ) 中 选择吖个样本作为聚类中心。 ( 2 ) 将输入样本按最邻近规则分组，即将x ，( ，= 1 , 2 ，) 分配给中心为 c f g = l ，2 ，彤) 的输入样本聚类集合谚( j = 1 ，2 ，肘) 亦即x ，只，且满足 以= m i n j i x j c ( ，= l ，2 ，；f = l ，2 ， 彳)( 2 1 3 ) 式中，矿表示最小欧氏距离。 ( 3 ) 计算只中样本的平均值( 即聚类中心e ) 弘玄磊 ( 2 1 4 ) 式中， t 为谚中的输入样本数。按上面步骤计算，直到聚类中心的分布不再变化。 ( 4 ) 根据系统的实际输出值和上一步所得到的网络中心值，用l m s 算法确定 隐层与输出层之间的权值。 k - 均值聚类算法的终止条件是网络学完所有的训练样本且中心的分布不再变 化。缺点是过分依赖于初始中心的选择，容易陷入局部最优值。并且不能根据系 统的输入来实时的确定网络中心。 2 3 3 基于正交最小二乘法( 0 l $ ) 的r b f 神经网络学习算法 正交最小二乘法是r b f 神经网络的另外一种重要的学习方法1 2 9 。该方法来源 于线性回归模型。设网络的训练样本为 x ，d ( 。 ，( f = 1 , 2 ，n ) 。其中为训练样 本数：置e r ”为网络的输入数据矢量：d ( f ) r i 为网络期望的输出响应，则网络期 望输出响应可表示为 山东大学硕士学位论文 d ( f ) = p 2 ( i ) w j + p ( j ) ( ，= 1 , 2 ，n ；j = 1 , 2 ，彤) ( 2 1 5 ) j ：l 式中m 为隐含层单元数，m - - c ( 1 l x , 一q 胁( j = 】，2 ，n ；j = 1 ，2 ，m ) ( 2 1 6 ) 将式2 1 5 写成矩阵形式，有 d = p w + e ( 2 17 ) d = 啊( 1 ) ，d ( 2 ) ，d ( ) 】7( 2 - i s ) 矿q m ，w 2 ，】1 ( 2 - 1 9 ) 尸= 喃，p 2 ，p “】7 ( 2 2 0 ) 只= 眇，( 1 ) ，p ，( 2 ) ，p ( ) 】 ( 2 2 1 ) p = 【e 0 ) ，p ( 2 ) ，e ( n ) j 1( 2 2 2 ) 式中，p 为回归矩阵。求解回归方程式的关键问题是回归算子矢量p ，的选择。 一旦p 已定，模型参数矢量就可用线性方程组求解。o l s 法的任务是通过学习选 择合适的回归算子矢量尸，l s j s m 及其个数肘，使网络输出满足二次性能指标 要求。o l s 算法的基本思想是：通过正交化p ，l s m ，分析p 对降低残差的 贡献，选择合适的回归算子，并根据性能指标，确定回归算子数肘，即r b f 隐单 元数。 可以看到该算法存在一个很大的缺点：该方法中最终确定的网络中心只是从 输入向量中进行选取的，这在很多情况下，是难以反映系统的真正输入向量聚类 的，因此，它最终所确定的网络结构并不一定足最优的。这在一定程度上限制了 该方法的应用。 优点是：该方法在满足精度要求的前提下，中心的数量少，还不会导致数值 病态情况的发生，并且用该方法来训练网络不光非常直观，清楚的表明了各个隐 层中心节点对网络的偏差下降率影响的大小，而且，迭代的次数也很少，一般最 终确定需要几个隐层节点，就只需要几次迭代，因此，在很多应用中可以把该方 法作为一个辅助的分析手段。即，首先用其他方法大致的确定出网络的中心，然 后，利用该方法分析各中心对网络输出影响的大小，进而，进一步优化网络的结 构。 1 4 山东大学硕士学位论文 2 3 4 基于动态均值聚类的r b f 神经网络学习算法矧 k 均值聚类是按照欧氏距离来进行聚类的方法。但它要求预先知道聚类中心的 数目，在实际应用中，这是不可能的。因此极其需要一种自适应调整聚类中心的 一种方法，动态均值聚类法便是其中的一种。它的计算过程可以简要的描述如下： 首先，令类别数为零( 第一个输入会强迫创建出一个类别模式以支持该输入) 。 以后，每遇到每一个新的输入向量，则计算它与任何一个已分配的类别模式之间 的距离。如果指定第p 个输入向量为z ，以及第_ ，个聚类中心为c ，则欧氏距离d 可以表示为 d = i i x ( p ) _ e 8 = f 善( ”一勺) 2 2 ( 2 2 3 ) jl ，；1 其中肘是输入向量的维数。 设输入向量x ( r 和所有已分配的模式类别之间的距离己知，且和该输入矢量 最近的中心为g 。应有 磊一- i i x 归一g0 肛扣一q 0 ( 2 - 2 4 ) 歹= 1 , 2 ，t歹女其中丁是已分配类别的数目。 在确定了与输入矢量最近的中心后，k 就已经确定了，从而磊也就确定了， 先把它和距离门限值p 进行比较。 ( 1 ) 当磊 p 时，输入矢量x 9 不在允许的误差范围内，从而不能分配到该类 别中去。此时，应该以( ，1 为中心，分配一个新的。 该方法的计算过程简单，计算量小，并且能实时的动态确定网络的结构，是 一种很不错的方法。但是，由计算过程可以看到，当输入向量属于某一个中心聚 山东大学硕士学位论文 类进而对该中心进行更新时，要用到属于该中心的所有的全部向量，也就是说， 该方法要求我们在网络学习过程中，必须记录全部过去的输入向量，对于一个规 模较大的问题，所占用的存储空自j 将会很大，这是一个值得考虑的问题，另外， 该方法最大的缺点是对输入向量的次序非常敏感，原因很简单，随着新的输入向 量引起莱一个中心c x 的更新，空间的位置发生了移动，变成为c ：，这时，很有 可能出现这样的情况，某一个过去属于q 的向量工与c 。的距离小于门限值p ，但 是与c ：的距离却大于门限值p ，显然，这时x 已经不再属于c ：，或者是属于其 他的中心聚类，或者是应为x 另开辟一个新的中心聚类。这一点，在该算法中并 没有考虑，从而，所求得的中心也就必然会有一定的偏差，另外，这一过程显然 是不确定，随着输入向量的顺序的不同，所造成的影响也不会一样，对输入矢量 的次序是很敏感的。 2 3 5 基于r p c l - l a f 的。r b f 神经网络学习算法 在传统竞争学习算法中，只有竞争获胜的单元才被修正。x ul c i 等人在传统 竞争学习算法的基础上提出了一种次胜者受罚的竞争学习算法r p c l l 3 0 ( r i v a l p e n a l i z e dc o m p e t i t i v el