（计算机软件与理论专业论文）基于遗传算法的rbf神经网络及其在系统辨识中的应用.pdf

摘要 系统辨识是控制理论设计的基础。传统的辨识算法往往是建立在线性系统理 论基础上的，对非线性系统的辨议仍然存在困难。神经网络具有较强的逼近非线 性函数的能力，并具有自适应学习、并行分布处理和较强的鲁棒性及容错性等特 点，为解决未知不确定非线性系统的建模和控制问题提供了一种有效途径。 径向基函数神经网络是一种新颖有效的前馈式神经网络，它具有其他前向网 络所不具有的最佳逼近的性能和全局最优的特性。并且结构简单。训练速度快。 困此，径向基函数神经网络运用于系统辨识时有其独特的优势。在r b f 神经网络 中，隐层中心的数量和位簧的选择是整个嘲络性能优劣的关键，直接影响网络的 逼近能力。本文在研究r b f 网络传统学习算法的基础上，提出了基于遗传算法的 r b f 神经网络优化算法。 本文提出的算法在应用遗传算法优化网络参数的同时自动配置网络结构。既 避免了传统算法易陷入局部极小点的缺点，又不需要通过大量实验或凭经验预先 指定网络结构。通过仿真实验证明，具有较好的逼近能力和泛化能力。 最后将用本算法优化的r b f 神经网络用于非线性系统的辨识，通过仿真实 验表明，具有较好的辨识精度，并且具有较好的泛化能力a 关键词：系统辨识；径向基函数神经网络；遗传算法；辨识精度；泛 化能力 a b s t r a c t s y s t e mi d e n t i f i c a t i o ni st h eb a s i so fc o n f x o lt h c u r t 髓et r a d i t i o n a li d e n t i f i c a t o n a l g o r i t h m sa r cu s u a l l yb a s e do nt h el i n e a rs y s t e mt h e o r ya n di ti sd i f f i c u l tf o rt h e mt ob e a p p l i e di nn o n l i n e a rs y s t e mi d e n t i f i c a t i o n d u et ot h e i rp o w e r f u la b i l i t yo fa p p r o x i m a t i n g n o n l i n e a rf u n c t i o n s ，a n dw i t ht h ec h a r a c t e r i s t i c so fa d a p t i v e l e a r n i n g ，p a r a l l e la n d d i s t r i b u t e dp r o c e s s i n ga b i l i t y , s t r o n gr o b u s t n e s sa n df a u l tt o l e r a n c e ，n e u r a ln e t w o r k sh a v e b e e na ne f f e c t i v ea p p r o a c ht om o d e ia n dc e n t r e lt h ei m k n o w na n du n c e r t a i n n o n i n e a r s y s t e m s i 也fn e u r a ln e t w o r ki san e wa n de f f e c t i v en e u r a ln e t w o r k i th a st h eb e s ta n d u n i v e r s a la p p r o x i m a t i o np r o p e r t y , s i m p l es t r u c t n r oa n df a s tt r a i n i n gs p e e d s ohh a s p a r t i c u l a ra d v a n t a g e sw h e na p p l i e di ns y s t e mi d e n t i f i c a t i o n 1 1 1 cc h o i c efq u a n t i t ya n d p o s i t i o no fh d d e nl a y e rr a d i a lb a s i sf u n c t i o n si sv e r yi m p o r t a n ta n dd i r e c t l ya f f e c t st h e g o o d n e s so ff i t o fo v e r a l ln e t w o r ka p p r o x i m a t i o nc a p a b i l i t i e s ，i nt h i sp a p e r , an e w o p t i m i z a t i o na l g o r i t h mb a s e do ng e n e t i ca l g o r i t h mf o rr b f n e u r a ln e t w o r ki sp r e s e n t e d a f t e rt r a d i t i o n a la l g o r i t h m sa r et h o r o u g h l yr e s e a r c h e d i nt h ea l g o r i t h mo ft h i sp a p e r , g e n e t i ca l g o r i t h mi sa p p l i e dt oa u t o c o n f i g u r et h e n e t w o r k sa n do b t a i nt h em o d e lp a r a m e t e r s i ta v o i d st h ed i s a d v a n t a g eo ft r a d i t i o n a l a l g o r i t h m sw h i c ha 船o f t e nt r a p p e dt ol o c a lm i n i m a a n o t h e ra d v a n t a g eo f t h em e t h o di s t h a ti ti s n tr e q u i r e dt od e s i g n a t et h en e t w o r ks t r u c t u r ei na d v a n c eb ye x p e r i e n c eo rp l e n t y o f t r i a l s a c c o r d i n gt ot h es i m u l a t i o n ，t h em e t h o d h a sh i g h e ro p t i m i z a t i o np r e c i s i o n f i n a l l y , t h en e t w o r kb a s e do n t h i sa l g o r i t h mi sa p p l i e do nn o n l i n e a rs y s t e m i d e n t i f i c a t i o n ，a c c o r d i n gt os i m u l a t i o n , t h em e t h o dh a sh i g h e rp r e c i s i o na n dg o o d g e n e r a l i z a t i o na b i l i t y k e y w o r d s ：s y s t e mi d e n t i f i c a t i o n ；r b fn e u r a ln e t w o r k s ；g e n e t i ca l g o r i t h m ； i d e n t i f i c a t i o np r e c i s i o n ；g e n e r a l i z a t i o na b i l i t y 第一章绪论 1 1 引言 第一章绪论 系统辨识是控制理论研究的一个重要分支，它是控制系统设计的基础【“。随着 控制过程复杂性的提高，控制理论的应用日益广泛。但是，控制理论的实际应用不 能脱离被控制对象的数学模型。然而，在多数情况下，被控制对象的数学模型是不 知道的，因此，利用控制理论去解决实际问题，首先必须建立被控对象的数学模型。 这是控制理论能否成功地应用于实际的关键之一【2 】。 控制对象的高度复杂性是过程控制的特点，它表现为非线性、时变性【3 1 ；内部 关联错综，机理分析困难；先验知识少并且表达非常规，方便而且有效的建立过程 对象的数学模型是控制系统设计的一个重要基础，有了适当的模型，才便于开展有 关的分析、设计、预报、计算机仿真等研究工作。 目前，尽管对线性系统已经有了较成熟的辨识方法，如最小二乘法，但是对非 线性系统的辨识尚处于探索阶段。已有的一些非线性系统的辨识方法，往往需要有 关被辨识系统的结构形式等各种先验知识和假设，因此他们基本上是针对某些特殊 非线性系统而言的。过去几十年中，对线性、非时变和具有不确定参数的系统进行 辨识的研究已经取得了很大的进展。但是辨识模型的结构选取和保证整个系统全局 稳定的自适应调参规律的构成等，都是建立在线性系统理论基础上的，对于非线性 系统得辨识问题却一直难于找到相应的数学方法。神经网络由于它的学习能力和非 线性特性，在这一领域有很大的潜力，现阶段似乎是对非线性系统进行辨识的最有 效的途径之一。 1 2 人工神经网络的特点及发展展望 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是理论化的人脑神经网 络的数学模型，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统柳。 它是由大量简单元件相互联结而成的复杂网络，具有高度的非线性，能够进行复杂 的逻辑操作和非线性关系实现的系统。 1 2 1 人工神经网络的特点 人工神经元网络系统的基本处理单元是神经元，主要结构单元是信号的输入、 综合处理和输出，其输出信号的强度大小反映了该单元对相邻单元影响的强弱【5 1 。 人工神经元之间的相互联结形成网络，称为人工神经网络。神经元之间相互联结的 青岛大学硕士学位论文 方式称为连接模式，相互之间的联结度由联结权值体现。在人工神经元网络中，改 变信息处理过程及其能力，就是修改网络权值的过程。 人工神经网络吸取了生物神经网络的许多优点，因而具有很多其固有的特点嘲： ( 1 ) 高度并行性 人工神经网络是由许多相同的简单处理单元并联组合而成，虽然每个单元的功 能简单，但大量简单处理单元的并行活动，使其对信息的处理能力与效果惊人。 ( 2 ) 高度的非线性全局作用 人工神经网络每个神经元接受大量其他神经元的输入，并通过并行网络产生输 出，影响其他神经元。网络之间的这种相互制约和相互影响，实现了从输入状态到 输出状态空间的非线性映射，从全局的观点来看，网络整体性能不是网络局部性能 的简单迭加，而表现出某种集体性的行为。 ( 3 ) 良好的容错性和联想记忆功能 人工神经网络通过自身的网络结构能够实现对信息的记忆，所记忆的信息以分 布式存储方式存储在神经元之间的权值中，使得网络具有良好的容错性，并能进行 聚类分析、特征提取、模式复原等模式信息处理工作，又宜于做模式分类、模式联 想等模式识别工作 ( 4 ) 自适应性和自学习能力强 人工神经网络可以通过训练和学习来获得网络的权值和结构，呈现出很强的自 学习能力和对环境的自适应能力。 ( 5 ) 便于用v i s i 或现有计算机技术虚拟实现。 1 2 2 人工神经网络的发展 最早用数学模型对神经系统中的神经元进行理论建棋的是美国心理学家 w m c c u l l o c h 和数学家w p i t t s 7 ， 1 9 4 3 年，他们利用电路构成了简单的神经网络 模型，即m p 模型。m - p 神经元模型首次用简单的数学模型模仿出生物神经元的活动 功能，并揭示了通过神经元的相互连接和简单的数学计算，可以实现相当复杂的逻 辑运算。该模型除了连接权不调整外，其他与现在的闽值单元模型基本相同。 1 9 4 9 年，心理学家d 0 h e b b 提出了神经元之间突触强度调整的假设。他认 为，学习过程是在突触上发生的，连接权的调整正比于两相连神经元激活值的乘积。 这就是有名的h e b b 学习规则捧j 。 5 0 年代末，f r o s e n b a t t 提出了著名的感知器( p e r c e p t r o n ) 模型，这是第 一个完整的人工神经网络【9 】。这个模型由阈值单元构成，初步具备了诸如并行处理、 分布存储和学习等神经网络的一些基本特征；从而确立了从系统的角度研究人工神 经网络的基础。 2 第一章绪论 1 9 6 0 年，b w i n d r o w 和m e h o f f 提出了自适应线性单元( a d a l i n e ) 网纠1 0 1 。 它可用于自适应滤波、预测和模型识别。从5 0 年代末到6 0 年代触，神经网络的研 究受到人们的重视，研究工作进入了一个高潮。 1 9 6 9 年，美国麻省理工学院著名人工智能学者m m i n s k y 和s p a p e r t 编写了 影响很大的p e r c e p t r o n 一书。该书指出：单层的感知器只能用于线性问题的求 解，而对于像异或这样简单的非线性问题却无法求解【l ”。由于m i n s k y 的悲观结论， 加上当时以逻辑推理为基础的人工智能和数字计算机取得了辉煌成就，从而大大降 低了许多人们对人工神经网络研究的热情。在这之后近1 0 年中，神经网络的研究进 入了一个缓慢发展的低潮期。 美国加州理工学院生物物理学家j j h o p f i e l d 于1 9 8 2 年和1 9 8 4 年在美国科 学院院刊发表的两篇文章，有力的推动了神经网络的研究，引起了神经网络研究的 又一次热潮【1 2 】。1 9 8 2 年他提出了一个新的神经网络模型h o p f i e l d 网络模型。 他在这种网络模型的研究中，首次引入了网络能量函数的概念，并给出了网络稳定 性的判据。1 9 8 4 年h o p f i e l d 提出了网络模型实现的电子电路，为神经网络的工程 实现指明了方向【1 3 】【1 4 】。h o p f i e l d 的研究成果开拓了神经网络用于联想记忆和优化计 算的新途径，并为神经计算机的研究奠定了基础。 h i n t o n 和s e j n o w s k i 借用了统计物理学的概念和方法，提出了b o l t z m a n 机模型 【坫】，首次采用了多层网络的学习算法，在学习过程中运用模拟退火技术，保证整个 系统趋于全局稳定点。 1 9 8 6 年，d e r u m e l h a r t 和j l m c c l e l l a n d 及其研究小组提出了解决多 层神经网络权值修正的算法误差反向传播( b p ) 算法，成为迄今为止影响很大 的一种网络学习算法【i ”。 8 0 年代中期以来，神经网络的应用研究取得了很大的成绩，涉及的面非常广泛： 计算机视觉，语言的识别、理解与合成，优化计算，智能控制及复杂系统分析，模 式识别，神经计算机的研制，知识处理，专家系统与人工智能等。 1 3 神经网络与系统辨识 2 0 世纪8 0 年代以来，神经网络研究的复兴，也带来了神经网络控制研究的迅 速发展。尤其是从1 9 8 6 年r u m e l h a r t 的突破性研究以来，在控制领域，将神经网络 与传统控制技术相结合取得了令人鼓舞的结果。研究方法不断涌现，理论探索和工 程应用并驾齐驱。在这个过程中，h u n t ，n a r e n d r a 和k o s k o 等人在神经网络控制方 面做了大量开拓性的工作。他们的研究工作给神经网络控制理论的发展与应用奠定 了坚实的基础，具有重要的里程碑意义。 神经网络所具有的特点说明神经网络在解决高度非线性和严重不确定性系统的 3 青岛大学硕士学位论文 控制方面具有巨大的潜力。可以说，采用传统控制理论解决的各种实际问题，几乎 都可以用神经网络控制技术来解决，而许多传统控制技术不能解决的问题也可以用 神经网络来解决【”j 。 系统建模和辨识是控制理论的基本问题。过去几十年中，人们对线性系统的建 模和辨识进行了深入的研究，总结出了一整套成熟的辨识算法，可以建立具有较高 可靠性的模型。然而在现实世界中，非线性是普遍存在的，而线性模型只是对非线 性对象的一种简化和近似。因此当系统非线性严重且我们期望得到高品质的控制效 果时，建立性能良好的非线性模型就显得至关重要。然而，利用传统的辨识方法要 做到这一点，无论是理论研究还是工程实践中都存在极大的困难。相比之下，神经 网络在这方面显示了明显的优越性。近年来人们将神经网络模型引入非线性系统建 模和辨识中，利用神经网络所具有的对任意非线性映射的逼近能力，来模拟实际系 统的输入输出关系；而利用神经网络的自学习、自适应能力，可以方便的给出工程 上易于实现的学习算法，经过训练得到动态系统的正向或逆向模型【1 8 】。 传统的辨识算法的基本原理，就是通过建立系统依赖于参数的模型把辨识问 题转化成堆模型参数的估计问题。这类算法能较成功的应用于线性系统或可线性化 的系统的辨识，就其基本原理来说，可分为三种不同的类型： 第一种称为最小二乘法。它利用最小二乘原理，通过极小化广义误差的二次方 和函数来确定模型的参数。 第二种为梯度校正法。它利用最速下降法原理，沿着误差准则函数关于模型参 数的负梯度方向，逐步修改模型的参数估计值，直到误差准则函数达到最小值。 第三种方法为极大似然法。它根据极大似然原理，通过极大化似然函数来确定 模型的参数。 传统的辨识方法，对于一般非线性系统的辨识是很困难的，而神经网络却提供 了一个有力的工具。神经网络系统辨识实质上是选择一个适当的神经网络模型来逼 近实际系统。由于神经网络对非线性函数具有任意逼近和自学习能力，所以神经网 络系统辨识为非线性系统的辨识提供了一种简单而有效的一般性的方法。 对于本质非线性系统，上面的传统算法已难以使用。因为这类系统对应的模型 很难化成最小二乘格式( 即关于参数空间的线性模型) ，而使用神经网络进行系统辨 识不需要预先建立实际系统的辨识格式，使非线性系统的辨识成为可能。神经网络 对系统进行辨识是通过直接学习系统的输入输出数据，学习的目的是使得所要求的 误差函数达到最小，从而归纳出隐含在系统输入输出数据中的关系。这个关系隐含 在神经网络内部，它究竟表现为何种形式，对外界是不可知的，并且人们关心的并 不是神经网络以什么样的形式去逼近实际系统，而只要神经网络的输出能够逼近同 样输入信号激励下的输出，则认为神经网络已充分体现出实际系统特性，完成了对 4 第一章绪论 原系统的辨识。 与传统的基于算法的辨识方法相比较，基于神经网络的辨识具有以下几个特点 | 2 1 ： ( 1 ) 不要求建立实际系统的辨识格式，即可省去系统结构建模这一步。因为神经 网络本质已作为一种辨识模型，其可调参数反映在网络内部的权值上。 ( 2 ) 可以对本质非线性系统进行辨识。辨识是非算法式的，由神经网络本身体现。 辨识的结果为网络外部特性拟合系统的输入输出特性，网络的内部特性归纳隐含在 系统输入输出数据中的系统特性。 ( 3 ) 辨识的收敛速度不依赖于待辨识系统的维数，只与神经网络本身及其所采用 的学习算法相关，而传统的辨识算法随模型参数维数的增大变得很复杂。 ( 4 ) 神经网络具有大量连接，其连接权的权值在辨识中对应于模型参数，通过调 节这些参数可使网络输出逼近系统输出。 ( 5 ) 神经网络作为实际系统的辨识模型，实际上也是系统的一个物理实现，可以 用于在线控制。 神经网络的以上特性为非线性系统的控制提供了广阔的前景，并成为控制工作 者解决非线性系统复杂控制的有利工具，大量的理论研究和仿真表明，对于非线性 系统，神经网络控制具有优于传统方法的控制效果，同时，基于神经网络的系统辨 识已有许多成功的实际应用。但是也应该看到，神经网络的理论仍有许多缺陷，尚。 待迸一步发展与完善。因此，要使神经网络走出实验室，真正用于工程实践中，在 诸多领域还有许多工作要作。 1 4 本文研究的主要内容 r b f 网络既具有生物背景又与函数逼近理论相吻合，也适于多变量函数的逼近， 只要中心选择得当，只需要很少的神经元就可获得较好的逼近效果，且它还有唯一 最佳逼近点的优点。p a r k 和s a n d b e r g 证明具有一个隐含层的r b f 网络具有任意逼 近能力【1 9 1 1 2 0 l 。r b f 网络的连接权与输出呈线性关系，这使其可采用线性优化算法而 保证全局收敛。r b f 网络研究的重点和难点就在于隐含层节点数的确定和隐含层中 心点的确定。传统算法中，隐含层节点数的确定往往通过经验获得或者通过大量的 反复实验获得。本文将特殊设计的遗传算法用于r b f 网络的优化，这个过程既是对 网络结构的优化，又是对网络参数的优化，在优化的过程中逐步确定隐含层节点数， 同时又得到最优的中心值。此后，又将此算法优化得到的r b f 网络用于系统辨识， 通过仿真实验，得到了较好的辨识效果。 具体内容安排如下： 第一章是绪论，简要介绍了神经网络及系统辨识的发展，并总结了神经网络系 5 青岛大学硕士学位论文 统辨识与传统算法相比所具有的特点，同时介绍了本课题研究的目的意义。 第二章主要介绍了r b f 网络的结构和主要算法。 第三章对基于神经网络的系统辨识进行了概述。主要包括神经网络系统的辨识 的基本要素、主要结构、基本步骤等。 第四章首先介绍了遗传算法的基本原理和方法，并提出了基于遗传算法的r b f 优化算法，使得网络结构和参数同时得到优化，通过仿真实验，证明了该算法具有 较好的逼近能力。 第五章将通过第四章所提出算法优化的r b f 网络用于系统辨识，并进行了仿真 实验，对结果进行了分析。 第六章总结与展望。 6 第二章r b f 神经网络及其学习算法 第二章r b f 神经网络及其学习算法 2 1 前馈式神经网络 虽然目前已经有数十种神经网络模型，但已有的神经网络的拓扑结构一般都分 为两种：前馈式神经网络( f e e d f o r w a r dn n ) 、反馈式神经网络( f e e d b a c kn n ) 。 通常的前馈网络有多层感知器( m l p n ) 、径向基函数网络( r b f n ) 、概率神经网络 ( p n n ) 等；反馈网络通常有h o p f i e l d 网络、a r t 网络等。 前馈式神经网络是一种单方向层次网络模型，它包括输入层、隐层和中间层。 从学习的观点看，前馈式神经网络是一种强有力的学习系统。从信息处理的观点看， 前馈式网络是一类信息映射处理系统。由于前馈式神经网络具有通过样本学习完成 任意空间映射的能力，即泛函逼近能力，所以它成为非线性系统建模、仿真预测的 主要工具。在信号系统、模式识别等领域中，前馈式神经网络是应用极广泛的模型。 自从r u m e l l h a r t 提出了有效的训练多层感知器网络( m l p n ) 的反向传播算法 ( b p ) 以来，人们改变了对m l p n 难以训练学习的悲观认识，重新对m l p n 的研 究产生兴趣。但是在实际应用中，b p 算法训练m l p n 存在以下问题： ( 1 ) b p 算法的学习常数1 7 及动量因子口很难选定。过小的，7 会引起收敛速度过慢， 过大的玎会引起收敛震荡；过小的口起不了平滑作用，过大的口会使修正远离梯度 最大方向。 ( 2 ) 目标函数存在局部极小问题。 ( 3 ) 初值的选择会影响算法的收敛速度，有时甚至会导致算法收敛于局部极小 值。 针对b p 算法这些缺陷，有人提出了各种改进方法。这些改进方法有学习最佳野 和口的自适应训练算法、共轭梯度法、递推最小二乘法等，但其改进程度是有限的。 2 2r b f 神经网络原理 2 2 1r b f 与插值问题 r b f ( r a d i a lb a s i sf u n c t i o n ) 方法最初是被用于严格多变量插值问题中的一 种方法口”。对一个严格多变量插值问题，要求插值空间( 函数) 穿过所有训练样本数 据点，用数学语言可以表示如下： 在玎维空间中，给定一个有个不同点的集合 置科i i = 1 ，2 ，n ，并在r 1 中 7 青岛大学硕士学位论文 相应给定个实数的集合，碱r 1 i i = l ，2 ， ，寻求一个函数f ：r “寸r 1 使之满 足插值条件 f ( 置) = 珥( f = l ，2 ，n ) 2 一( 1 ) 在r b f 方法中，函数f 具有如下形式： f ( z ) = q 妒防一五0 ) 2 一( 2 ) 式中，伊眵一置忱f = 1 ，2 ，) 为r b f ，一般为非线性函数。表示范数，通常取 欧氏范数。取已知数据点置r ”为r b f 的中心，伊对中心点径向对称。 常用的r b f 有： 高斯函数 砷) - c x p ( _ 争，( 。o 雕o ) 2 _ ( 3 ) 多二次函数 伊( v ) = ( v 2 + c 2 ) 啦，d 0 ，v o ) 2 一( 4 ) 逆多二次函数 妒( v ) = ( v 2 + c 2 ) 一啦，p 0 ，v o ) 2 一( 5 ) 薄板样条函数 妒( v ) = v 2 l o g ( v ) 2 一( 6 ) 将插值条件f ( 置) = 4 ( f = 1 ，2 ，) 带入式( 2 - 2 ) ，可得到含有个未知数q 的 个线性方程 o w ：d 2 - ( 7 ) 式中，n x n 矩阵。称为插值矩阵，它可表示为 m = 和。i ，f - 1 ，2 ，) 2 一( 8 ) 而 = 伊4 k 一五忱o ，i = 1 ，2 ，) 2 - - ( 9 ) w = 【国i ，2 ，a r 2 一( 1 0 ) 8 第二章r b f 神经网络及其学习算法 d = h ，吐，如】r 若。可逆，则可得到权矢量 2 - - ( 1 1 ) = 中。1 d 2 - - ( 1 2 ) 如果。趋于奇异，则上式的求解就成为病态问题，这时可以将它摄动到m + 2 1 求解。 其中五为一小的正实数。 2 2 2r b f 网络结构 1 9 8 8 年，b r o o m h e a d 和l o w e 吲以及m o o d y 和d a r k e n 2 3 l 最早将r b f 用于神经 网络设计。r b f 网络结构与多层前向网络类似，它是一种一种三层前向网络。输入 层由信号源节点组成。第二层是隐层。第三层是输出层，它对输入模式的作用做出 响应。从输入空间到隐含层空间的变换是非线性的，而从隐含层空间到输出层空间 的变换是线性的。隐单元的变换函数是r b f 。 在插值问题中，基函数的数目和样本数据点的数目是完全一致的。因为只有这 样才能保证插值函数严格穿越每个样本点。这样，当样本数据点很大时，网络的实 现很复杂，且高维矩阵逆的计算易产生病态问题。因此，r b f 用于神经网络设计与 严格的插值问题不同。在神经网络训练过程中，训练样本数目常常是远大于隐单元 数的。如果对每个样本点都引入一个基函数，就将导致网络由于过于庞大和过拟和 而瘫痪阱1 。 过拟和( 0 v e r - f i t i n g ) ：神经网络训练过程中，由于训练样本中噪音的存在，过 度的严格要求学习算法精确拟和每个样本，而导致网络被噪音误导，泛化能力降低， 称为过拟和。 泛化能力：也称为推广能力，是指经训练后的神经网络对未在训练样本集中出 现( 但具有同一规律性) 的样本作出正确反映的能力瞄】。 基于上面的分析，为了适应神经网络的特点，b r o o m h e a d 和l o w e 矧以及稍后的 m o o d y 和d a r k e n 2 3 】( 1 9 8 9 ) 对严格插值中的r b f 做了以下改动：r b f n n 使用的基函 数数目远小于训练样本数；基函数中心的选择是训练过程的一个重要步骤，而不是限 定在输入样本点上。经过这样的修改，网络输入输出映射模型变为： f ( x ) = q 妒0 p g l i 2 一( 1 3 ) i - l 其中，m 为隐单元数。eer ”为基函数中心。网络基本结构如下： 9 青岛大学硕士学位论文 2 3r b f 学习算法综述 图2 1 径向基函数神经网络结构 从r b f 网络训练的阶段来看，有混合学习方式和体式学习方式。 混合学习方式：将学习分为两个阶段，首先确定隐层r b f 的数量、中心值和宽 度，第二阶段确定输出权值。 一体式学习方式：在学习过程中，r b f 的数量、中心值和宽度以及输出权值同 时确定。 下面就介绍r b f 网络的几种主要的学习方法。为简单起见，假定目标空间都为 一维，即r b f 网络的输出层只有一个输出单元。 2 3 1 混合学习方法 m o o d y 和d a r k e n 提出了一种r b f 网络的混合学习方法t 2 a ，预先确定r b f 的数 量之后，首先采用非监督学习方法如k - 均值聚类方法确定r b f 的中心，当r b f 的 中心和宽度确定后，r b f 网络从输入到输出就成了一个线性方程组，这时可以用线 性优化方法来求解权值，此为有监督学习阶段。 1 基函数中心和宽度的非监督训练 因为r b f 是一种局部响应函数，所以隐层函数中心位置的确定应保证至少有一 个隐层单元在输入数据出现时输入空间的某个区域被激活，即基函数的中心应当位 于数据集中的区域，且其宽度必须与数据的局部分布以及到最近的其他基函数中心 的距离有关。r b f 中心和宽度的选择有下列几种方法 ( 1 ) 随机选取r b f 中心u 1 这是一种最简单的方法。此方法中，隐单元r b f 的中心是随机的在输入样本数 据中选取，且中心固定。r b f 的中心确定后，隐单元的输出是已知的，这样，网络 的连接权就可通过求解线性方程组来确定。对于给定问题，如果样本数据的分布具 l o 第二章r b f 神经网络及其学习算法 有代表性，则此方法不失为一种简单可行的方法。 当r b f 选用高斯函数时，它可表示为 伊4 卜啪= e x p ( 一翔j q ) z - ( 1 a ) 式中，m 为中一t 3 数( 即隐单元数) ；如为所选中心之间的最大距离。在此情况下， 高斯e r b f 的均方差( 即宽度) 固定为 仃= 矗4 2 m 2 一( 1 5 ) 这样选择盯的目的是为了使高斯函数的形状适度，既不太尖，也不太平。 ( 2 ) 自组织学习选取r b f 中心 在这种学习方法中，r b f 的中心是可以移动的，并通过自组织学习确定其位置。 r b f 的中心的选择可以采用可k 一均值聚类算法1 2 3 。这是一种无监督的学习方 法，具体步骤如下： 第一步，初始化聚类中心c j ( f = l ，2 ，m ) 。一般是从输入样本z ，u = l ，2 ，n ) 中选择m 个样本作为聚类中心。 第二步，将输入样本按最邻近觑则分组，即将置u = i ，2 ，) 分配给中心为 c ：( ，= l ，2 ，m ) 的输入样本聚类集合b ( f = 1 ，2 ，m ) ，亦即x ，6 ：，且满足 碡- - 幽l l x j c , i i ( ，= 1 ，2 ，n ；i = 1 ，2 ，m ) 2 - - ( 1 6 ) 式中，正表示最小欧氏距离。 第三步，计算只中样本的平均值( 即聚类中心g ) g ：上yx ， l m t 每| 2 一( 1 7 ) 式中，m 为b 中的输入样本数。按上面步骤计算，直到聚类中心的分布不再变化。 ( 3 1 对于k - 均值聚类算法或其他聚类算法，需要预先指定隐层节点的数量，这是 件非常困难的事情。为了解决这一闷题，x u l e i 等人在传统竞争学习算法的基础上提 出了一种次胜者受罚的竞争学习算法r p c l ( r i v a l p e n a l i z e d c o m p e t i t i v e l e a r n i n g ) ， 可以自动确定r b f 网络隐层单元合适的数量【2 5 l 。 在传统竞争学习算法中，只有竞争获胜的单元才被修正。而r p c l 算法的基本 思想是，对于每个输入值，不仅竞争获胜的单元被修正以适应输入值，而且每次对 】1 青岛大学硕士学位论文 次胜单元( 第二个竞争获胜单元) 采用惩罚的方法，使之远离输入值。p r c l 算法 如下： 第一步，从输入数据集中随机选取k 个输入数据作为初始的聚类中心， i = 1 ，2 ，k ： 第二步，从输入数据集中选择一个输入数据x ，对于f = 1 ，2 ，k ，使 乩= 1 如果当扣埘， 1 1 2 = m i l l ，乃忙- o j i l 2 ； 一1 如果当f = ，时 以肛一c , 1 1 2 = r n i n 皿乃肛一巳| 1 2 ； 2 一( 1 8 ) 0 其它 其中下标w 表示获胜者( 埘n n c r ) ，表示次胜者( 第二个获胜者r i v a l ) 1 s f ，j k ，乃= 啊，n j 为m = 1 出现的次数之和。 第三步，更新中心q 和坼= l 出现的次数之和吩： f 砰“+ 口。( x c f ) 如果蚱= 1 0 “= 薛“一咋( x q ) 如果m = - 1 2 - ( 1 9 ) 1 0其它 矿= 黔1 嚣一 z 嘲， 其中，0 - 0 r r 吼s 1 分别为获胜单元和次胜单元的学习速率。 已有很多文献对r p c l 算法进行了研列2 6 】f 2 7 1 并提出了改进方法，文献 2 8 】指出 当数据类有重叠时，r p c l 算法对竞争获胜单元及次胜单元学习速率的变化非常敏 感，其性能不能令人满意，并用一组协方差矩阵来代替欧氏距离，文献【2 9 】针对r p c l 算法中获胜单元和次胜单元来回震荡转换得问题提出了相应的改进方法，文献【3 0 】 通过考虑数据点的几何位置对权值调整地作用，提高了算法的收敛速度和聚类的准 确性。 ( 4 ) 宽度的确定：可以为每个基函数指定相同的宽度，或者每个基函数的宽度都 不同。在第一种情况下，通常将宽度设置成基函数中心平均距离的倍数。这个倍数 控制着平滑的程度，宽度越小，函数平滑度越小。在第二种情况下，每个中心的宽 度设置成到l 个最近邻近中心距离的平均数的1 5 到2 倍，然后再训练阶段对这些 1 2 第二章r b f 神经网络及其学习算法 宽度进行调整。 在由r b f 网络实现的函数特性中，基函数的宽度具有重要的作用，当它在一个 范围内变化时，会导致不同的效果。 2 输出层权值的训练 一旦确定了基函数的中心和宽度，则输入到相应得隐单元的输出之间的转换即 固定。此时网络可以看成是一个等效的带有线性输出单元的单层网络。下面介绍两 种比较常用的方法。 ( o m p 伪逆学习算法【3 1 l 网络的连接权可以用伪逆方法计算，即 w = o + d 2 - ( 2 1 ) 式中，d 是期望响应矢量，是矩阵m 的伪逆，由文献【3 l 】可知，o + 存在且唯一。 中由下式确定 中= - - j 。通过比较研究认为，对r b f 中心和输出权值的有监督学习可以显著提高r b f 网 络的泛化性能。 在这种有监督学习方法中，r b f 的中心以及网络的其他参数都是通过有监督的学 习来确定的，这是r b f 网络学习的最一般化形式。假设网络输出为一维，考虑下列 平方和代价函数： e = 去0 2 - - ( 2 8 ) 其中，n 为训练样本数，e j 为网络输出的误差。 网络的学习目标是，寻找r b f 网络的参数，包括r b f 的中心、权值和宽度，使 得上述代价函数达到极小，如果采用高斯基函数，用梯度下降法求解上述问题，则 有下列优化计算公式。 误差函数对权值的偏导数： 署= 一再n 岛野 z 一( 2 9 ， 误差函数对r b f 中心的偏导数： 1 4 第二章r b b 神经网络及其学习算法 考= 嘻q 挈a c i急。a c l 误差函数对宽度的偏导数： 筹8 0 一缸参 j总。a 口j r b f 函数对中心的偏导数： 誓：呐，掣a c 。盯j 2 一( 3 0 ) 2 - - ( 3 1 ) 2 一( 3 2 ) 等嘲掣2z 一 则r b f 网络隐层中心、宽度和输出层权值的更新方程如下： 吣+ 1 ) 州卅叩帅h 筹 c j ( k + l h “惜鼢嗜 啪+ 1 ) 吲卅叩啪考 2 一( 3 4 ) 2 一( 3 5 ) 2 一( 3 6 ) 其中，仍，r , ，为学习速率，一般取为不同值。 文献【3 3 】认为有监督学习方法的缺点是r b f 的数量需预先确定，网络训练时间 较长且学习不一定收敛，文献【3 4 】将有监督学习方法和最小二乘法相结合，r b f 网 络隐层中心和宽度采用上述梯度下降法，而输出权值则采用最小二乘法，这是一种 混合学习算法，可以有效减少训练时间。 2 3 3 正交最小二乘法( 0 l s ) 正交最小二乘法是r b f 神经网络的另外一种熏要的学习方法【3 5 】。该方法来源于 线性回归模型。设网络的训练样本为 五，d ( o ，( f = 1 ，2 ，) 。其中为训练样本 数；置彤为网络的输入数据矢量：d ( i ) r 1 为网络期望的输出响应，则网络期望 输出响应可表示为 1 5 青岛大学硕士学位论文 d ( f ) = p j ( i ) w j + e ( f ) ( f = 1 ，2 ，n ；j = i ，2 ， 彳) 2 一( 3 7 ) j a i 式中，膨为隐含层单元数，m ，为模型参数，“p 是残差；肼o ) 为回归 算子，它实际上是隐含层r b f 在某种参数下的响应，可表示为： , , o = g ( 1 l x , - c , 1 1 ) o = 1 ，2 ，n ；j = i ，2 ，m ) 2 - ( 3 8 ) 将式写成矩阵形式，有 d = p w + e 2 - - ( 3 9 ) d = 【d ( 1 ) ，d ( 2 ) ，d ( ) r 2 一“o ) w = 【w i ，w 2 ，k 】7 2 - - ( 4 1 ) p = 【日，e ，】 2 - - ( 4 2 ) 弓= 嗡( 1 ) ，p j ( 2 ) ，目( ) 】r 2 一( 4 3 ) e = 函( 1 ) ，8 ( 2 ) ，p ( 删 2 - - 似) 式中，p 为回归矩阵。求解回归方程式的关键问题是回归算子矢量p 的选择。 一旦尸己定，模型参数矢量就可用线性方程组求解。o l s 法的任务是通过学习选择 合适的回归算子矢量只，1 ，吖及其个数m ，使网络输出满足二次性能指标要求。 o l s 算法的基本思想是：通过正交化弓，i j m ，分析弓对降低残差的贡献，选 择合适的回归算子，并根据性能指标，确定回归算子数m ，即r b f 隐单元数。 2 4r b f 神经网络的优点及问题 r b f 神经网络是一种性能良好的前向网络，它不仅有全局逼近性质，而且具有 最佳逼近性能。r b f 网络结构具有输出一权值线性关系，同时训练方法快速易行，不 存在局部最优问题。这些优点给r b f 网络的应用奠定了良好的基础。 尽管如此。r b f 网络仍然存在需要解决的问题： ( 1 ) r b f 网络结构的确定，最重要的是隐层节点数的确定。前面的很多算法中隐 层节点数的确定都是经过若干次实验获得或者根据经验选择，很多时候并不是最优 选择。 ( 2 ) r b f 网络隐层中心值的确定。这是r b f 网络训练中最重要的一点。目前很多 1 6 第二章r b f 神经网络及其学习算法 方法都从聚类出发，但是聚类需要有一个度量问题。如何定义这种度量才能恰当的 找到r b f 网络的数据中心还需要研究，因为在仿真研究中发现r b f 网络的数据中心 对r b f 网络的学习速度及性能有较大影响。因此，研究寻找r b f 网络最佳逼近算法 是一个很重要的问题。 1 7 青岛大学硕士学位论文 第三章基于神经网络的系统辨识 系统建模与辨识是进行控制系统设计的基本前提。传统的系统建模方法是在理 论分析的基础上，建立过程的机理模型，在复杂的实际工业过程中，这种建模方法 是非常困难的。但是如果只关心过程的外特性，则可以把过程看成“黑箱”，根据其 输入输出信息，建立与“黑箱”特性等价的过程外特性模型，这正是过程辨识的基 本出发点【3 “。用这种方法得到的模型，其参数可能不具有明确的物理意义，但这并 不影响我们利用该模型进行控制系统的设计【3 7 1 。 l a z a d e h 曾给辨识下了一个定义【3 8 】：“辨识就是在输入和输出数据的基础上， 从一组给定的模型中，确定一个与所测系统等价的模型”。这个定义明确了辨识的三 要素。 ( 1 ) 输入输出数据。进行系统辨识时，需要一组能反映系统特性的输入输出可 观测数据，观测数据可通过对具体对象进行实验获得。一般地，要求在满足系统约 束的前提下，尽可能使观测数据具有最大的信息量，也就是对系统进行充分的激励。 ( 2 ) 模型类。从中可以选出一个合适的模型，能在某种期望的程度上代表被辨识 系统。模型类可以是根据机理建模所得到的具体某些未知参数的模型结构，也可以 是参数待定的黑箱模型结构。 ( 3 ) 等价原则。用于从模型类中确定一个特定的模型，使之与当前观测数据达到 最佳逼近，即辨识的优化目标。 实际上，要找到一个与实际系统完全等价的模型是不可能的。辨识的实质就是 按照某种准则，从一组模型中选择一个模型，使之能最好的拟合由系统的输入腧出 观测数据体现出的实际系统的动态或静态特性。 3 1 神经网络辨识概述 采用神经