（检测技术与自动化装置专业论文）基于改进遗传算法的rbf神经网络的研究与应用.pdf

at h e s i ss u b m i t t e di nf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g t h er b fn e u r a ln e t w o r k s t u d ya n da p p l i c a t i o n b a s e do nm o d i f i e dg e n e t i ca l g o r i t h m m a j o r ：e n g i n e e r i n ga n dt h e o r yo fcontrolniaj o ra n t h e o r y c o n t r o l： c a n d i d a t e ：z h o uy o n g s u p e r v i s o r ：h uz h o n g g o n g p r o f e s s o r w u h a ni n s t i t u t eo ft e c h n o l o g y w u h a n ，h u b e i4 3 0 0 7 4 ，p r c h i n a m a y , 2 0 0 7 - 摘要 摘要 径向基函数( r b f ) 神经网络是一种具有单隐层的三层前馈网络， 其网络结构和学习算法与b p 网络有着很大的差别，在一定程度上克 服了b p 网络的缺点。目前，r b f 网络仍然是智能控制领域的研究热点 之一。r b f 神经网络是模拟人脑中局部调整和相互覆盖接收域的神经 网络结构，是一种局部逼近网络，它可以以任意精度逼进任意连续函 数。i 狙f 神经网络的设计问题可归纳为网络隐含层基函数的中心、宽 度和隐含层到输出层权值的性能指标最小化问题。然而有效地确定 r b f 网络的结构和参数却没有系统的规律可循。遗传算法( g a ) 是 模拟自然遗传学机理和生物进化理论而形成的一种全局并行的随机 搜索方法，具有比较好的鲁棒性和全局收敛性。遗传算法与r b f 神经 网络的结合为解决这些难题提供了一条有效的途径。本文提出了一种 改进的遗传算法设计r b f 神经网络的结构和参数，以优化r b f 神经网 络隐含层节点数目、隐含层基函数的中心、基宽和输出的线性权值， 使网络的性能指标最优。 本文主要工作如下： 1 针对遗传算法易陷入局部最优和收敛速度慢的问题，提出了 一种具有参数动态调节功能的改进遗传算法。在本算法中，引入个体 的最大适应度值、最小适应度值和平均适应度值这三个变量来衡量群 体的集中程度，使得算法能够根据种群个体的分布特性在运行过程中 自动地调节遗传操作的参数以改进算法的全局寻优性能。仿真实例证 实这种方法比标准g a 和自适应g a 具有更好、更快的收敛性。 2 针对r b f 神经网络的不足及遗传算法的特点，在改进遗传算 法的基础上提出了一种采用递阶遗传编码方案的混合递阶遗传算法， 用该算法优化r b f 神经网络的隐含层结构、隐含层中心值、基宽和 输出的线性权值。通过仿真实例证实这种方法优于基于梯度下降法的 辨识结果。 3 将基于改进遗传算法的r b f 神经网络应用到转炉炼钢的终点 温度预测研究中，仿真研究表明了所提出算法的有效性。 关键词：改进遗传算法白适应遗传算法r b f 神经网络梯度下降法 a b s t r a c t a b s t r a c t r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r ki sat h r e e 1 a y e rf e e d f o r w a r d n e u r a ln e t w o r kw i t hs i n g l eh i d d e nl a y e r ，t h e r ei sg r e a td i f f e r e n c eb e t w e e n i t ss t r u c t u r ea n d1 e a r n i n ga l g o r i t h m sw i t hb pn e u r a ln e t w o r k s r b f n e t w o r ki sas t r u c t u r a ls i m u l a t i o no fl o c a lr e g u l a r i z a t i o na n dm u t u a l o v e r c a s ti nh u m a nb r a i nw i t hl o c a la p p r o x i m a t i o nc h a r a c t e r i z e i tc a n a p p r o x i m a t ea r b i t r a r y c o n t i n u o u sf u n c t i o nw i t ha r b i t r a r y p r e c i s i o n g e n e t i ca l g o r i t h mi sak i n do fs t o c h a s t i cg l o b a lp a r a l l e ls e a r c ha l g o r i t h m ， w h i c hs i m u l a t e sn a t u r a lg e n e t i c sm e c h a n i s ma n db i o l o g i ce v o l u t i o n t h e o r e t i c i th a ss t r o n gr o b u s t n e s sa n dg l o b a lo p t i m i z a t i o np e r f o r m a n c e t h er b fn e t w o r kc o n f i g u r a t i o ni sf o r m u l a t e da sam i n i m i z a t i o np r o b l e m w i t hr e s p e c tt ot h en u m b e ro f h i d d e nl a y e rn o d e s ，t h ec e n t e rl o c a t i o n sa n d t h ec o n n e c t i o nw e i g h t s s i n c eg e n e t i ca l g o r i t h m so p e r a t ed i r e c t l yo nt h e o b j e c t i v ef u n c t i o n s ，t h i sp r o v i d e sa na l t e r n a t i v em e t h o df o rc o n s t r u c t i n g r b fn e t w o r k s t h i sp a p e rc o n s i s t so ft h r e ep a r t s ： f i r s t ，a s t ot h e d i s a d v a n t a g e o fl o c a l o p t i m u ma n ds l o w e r c o n v e r g e n c es p e e do fg e n e t i ca l g o r i t h m , t h i sp a p e rb r i n gf o r w a r da m o d i f i e d g e n e t i ca l g o r i t h mw i t hd y n a m i cc h a n g i n gp a r a m e t e r s i n m o d i f i e dg e n e t i c ，b yi n t r o d u c t i o n i n d i v i d u a lt h em o s ta d a p t i v ev a l u e 、t h e l e a s t a d a p t i v e v a l u ea n dt h e a v e r a g ea d a p t i v ev a l u e b y s c a l e c o n c e n t r a t i o nd i s s i p a t i o nd e g r e eo f p o p u l a t i o ns oa st oa r i t h m e t i ci nr u ni s a b l et oa u t o m a t i s ma c c o m m o d a t ep a r a m e t e ro fi n h e r i to p e r a t i o no nt h e b a s i so fi n d i v i d u a ld i s t r i b u t i n gc h a r a c t e r i s t i co f p o p u l a t i o n t h ei m p r o v e d a l g o r i t h m sn o to n l yi sa b l et oc o n v e r g e n c ew a sv e r i f i e df u l lo p t i m u m ， b u ta l s oi n c r e a s es e a r c he f f i c i e n c y t h i sm e t h o dw a sa p p r o v e dh a v em o r e a n df a s t e ra s t r i n g e n c yt h a ns t a n d a r dg e n e r a la l g o r i t h ma n da d a p t i v e g e n e r a la l g o r i t h m b ys i m u l a t i o nr e s u l t s s e c o n d ，a st ol o c a l i z a t i o no ft h ei 氇fn n ( r a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k ) ，b r i n gn o d ec o n n e c tv a l u e 、c e n t e rv e c t o rv a l u ea n dr a d i c v e c t o ro fr b f n nt oi n h e r i to p t i m i z eb ym g a t h es i m u l a t i o nr e s u l t s s h o wt h ei d e n t i f i c a t i o ne f f e c t so fr b f n nw h i c hi so p t i m i z e db yh y b r i d h i e r a r c h yg e n e t i ca l g o r i t h m si sb e t t e rt h a nt h o s eo fw h i c hi so p t i m i z e db y g r a d i e n t d e s c e n ta l g o r i t h m s 武汉工程大学硕士学位论文 l a s tb u tn o tl e a s t ，t oa p p l yb yr b f n no nt h eb a s i so fm g ai nt h e e n d p o i n tt e m p e r a t u r e c o n t r o lo fb a s i c o x y g e nf u r n a c e ( b o f ) s t e e l m a k i n g t h es i m u l a t i o nr e s u l t ss h o wv a l i d i t yf o rr b f n no nt h e b a s i so fm g a k e y w o r d s ：m o d i f i e dg e n e t i ca l g o r i t h m , a d a p t i v eg e n e t i ca l g o r i t h m , g r a d i e n t d e s c e n ta l g o r i t h m s ，r b fn e u r a ln e t w o r k l 目录 目录 摘要i a b s t r a c t i i 目录i 第1 章绪论1 1 1 人工神经网络的发展史与应用研究2 1 1 1 人工神经网络的发展史2 1 1 2 神经网络的应用研究2 1 2 遗传算法的发展史与研究现状3 1 2 1 遗传算法的发展史- 3 1 2 2 遗传算法的研究现状3 1 3 遗传算法与r b f 神经网络4 1 4 本文的主要工作5 第2 章人工神经网络与r b f 神经网络。6 2 1 引言6 2 2 人工神经网络的概念、结构及学习算法6 2 2 1 神经网络的概念。6 2 3 人工神经网络的几种基本类型7 2 4 人工神经网络学习的算法8 2 4 1h e b b 学习规则8 2 4 2d e l t a ( 8 ) 学习规则9 2 5r b f 神经网络1 0 2 5 1r b f 神经网络的结构和常规学习方法1 0 2 5 1 1r b f 神经网络的结构1 0 2 5 1 2r b f 神经网络的常规学习方法1 3 2 6 小结j 。16 第3 章遗传算法17 3 1 引言17 3 2 遗传算法的基本原理和方法17 3 2 1 遗传算法的描述l7 3 2 2 编码方式及适应度函数2 0 武汉工程大学硕十学位论文 3 2 2 1 编码方式2 0 3 2 2 2 适应度函数21 3 2 3 遗传算法的操作2 3 3 2 3 1 选择2 3 3 2 3 2 交叉2 4 3 2 3 3 变异2 6 3 2 4 控制参数选择2 7 3 3 遗传算法的寻优特点2 8 3 4 遗传算法存在的缺陷2 8 3 5 改进遗传算法的设计2 9 3 5 1 参数动态调整的遗传算法3 0 3 5 2 改进遗传算法的具体实现31 3 5 3 仿真算例3 2 3 6 本章小结3 5 第4 章改进遗传算法优化r b f 神经网络的研究3 6 4 1 引言3 6 4 2r b f 神经网络与遗传算法结合的必要性3 6 4 3 改进遗传算法优化r b f 神经网络的具体实现3 7 4 3 1 混合递阶遗传算法3 8 4 3 2 算法设计4 1 4 4 仿真运行结果4 2 4 5 本章小结4 4 第5 章基于改进遗传算法的r b f 神经网络的应用4 5 5 1 引言4 5 5 2 转炉炼钢终点控制4 5 5 3 基于改进遗传算法的r b f 神经网络的终点温度预测4 6 5 3 1 基于改进遗传算法的r b f 神经网络的预报设计4 6 5 3 1 1 终点温度预报模型4 6 5 3 1 2 输入输出数据标准化4 7 5 3 1 3 网络中心与权值的确定4 8 5 4 实验及结果分析4 8 5 4 1 数据预处理4 8 目录 5 4 2 结果分析51 5 5 本章小结5 3 第6 章结论与展望5 4 参考文献5 5 附录a 改进遗传算法的优化程序5 9 附录br b f 网络训练优化程序6 2 附录c 测试程序6 7 致谢6 9 第1 章绪论 第1 章绪论 建立在被控对象精确数学模型( 微分方程、传递函数或状态方程) 基础上的经典自动控制理论和现代控制理论已在许多领域中取得了 比较好的成就，然而，目前，现代工业过程一般都具有多变量、大时 滞以及非线性等特征，同时系统的外部环境也存在着许多不可确定的 干扰以及对控制性能越来越高的要求导致了设计控制器时需要综合 考虑更多的因素。这些都使系统难以建立精确的数学模型。因此，当 被控对象是复杂系统，尤其是复杂系统中的非线性和大时滞问题的时 候，常规的控制方法就很难取得满意的控制效果。 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是在现代神经科 学研究成果的基础上提出的反映人脑功能的基本特征。网络的信息处 理是由神经元间的相互作用来实现，知识与信息的存贮表现为网络元 件互相联结分布的物理联系，网络的学习和识别决定于各神经元连接 权系数的动态演化过程【l 】。a n n 的非线性映射能力和学习能力，并行 信息处理和鲁棒性、容错能力，使其在工业控制系统中得到了广泛的 应用。目前应用较多的是b p 网络( 误差回传神经网络) ，但b p 网 络存在局部最优的问题，并且训练速度慢，效率低。r b f 网络在一定 程度上克服了这些困难，因此它的研究与应用越来越得到重视。 遗传算法( g e n e t i ca l g o r i t h m ，g a ) ，是一类借鉴生物界自然选 择和自然遗传机制的随机优化搜索方法，其主要特点是群体搜索策略 和群体中个体间的信息交换，搜索不依赖于梯度信息，具有较好的鲁 棒性和全局收敛性。它尤其适用于处理传统搜索方法难以解决的复杂 和非线性问题，可广泛用于组合优化、机器学习、自适应控制、规划 设计和人工生命领域，是2 1 世纪智能计算中的关键技术之一f 2 】。 现代科学发展的趋势是多学科的互相交叉和渗入。a n n 与g a 同 属于人工生命领域的模型，是智能科学的发展领域，g a 不是通过解 析方法获得最优问题的解，而是采用自适应的搜索策略，a n n 具有自 适应，自学习与自组织的能力，而a n n ( 包括r b f 网络) 的学习训练也 就是对网络结构和权系数的优化问题，将二者结合是一个很有意义的 研究方向，可以相辅相成，推动二者的发展。 本文旨在探讨遗传算法与r b f 神经网络相结合从而达到优化 武汉工程大学硕士学位论文 r b f 神经网络性能的研究与应用。 1 1 人工神经网络的发展史与应用研究 1 1 1 人工神经网络的发展史 a n n 的研究始于本世纪4 0 年代。19 4 3 年，心理学家m c c u l l o c h 和 数学家p i t t s 提出m p 模型，开创了神经网络这一新兴边缘学科研究的 先河。5 0 6 0 年代，r o s e n b l a t t 提出了著名的感知器( p e r c e p t r o n ) 模型， w i n d r o w 提出了自适应线性单元( a d a l i n e 的及w i d r o w h o f f ) 这种有效 的学习方法，成为当时科学技术发展的重要成就之一。2 0 世纪8 0 年代 初期，h o p f i e l d 提出t h o p f i e l d n - - 络( 联想记忆网络) 模型，使神经网 络的研究有了突破性进展。1 9 8 6 年，r u m e l h a r t 矛i l e c u n 等学者提出了 多层网络的反向传播学习算法( b p 算法) 求解了感知器所不能解决的 问题。h o p f i e l d 网和反向传播算法的提出使人们看到了神经网络的前 景和希望。1 9 8 7 年在美国召开了第一届国际神经网络会议，他由此掀 起了世界范围内神经网络研究的热潮。 1 1 2 神经网络的应用研究 人工神经网络近年来取得了令人瞩目的进展，引起了不同学科和 领域的众多科学家和工程技术人员的广泛兴趣，其应用研究主要有下 述几个方面【】。 1 基于神经网络的系统辨识 ( 1 ) 将神经网络作为被辨识系统的模型，可在已知常规模型结构 的情况下，估计模型的参数。 ( 2 ) 利用神经网络的线性、非线性特性，可建立线性、非线性系 统的静态、动态、逆动态及预测模型，实现系统的建模和辨识。 2 神经网络控制器 神经网络作为控制器，可对不确定、不确知系统及扰动进行有 效的控制，使控制系统达到所要求的动态、静态特性。 3 神经网络与其他算法相结合 第1 章绪论 将神经网络与专家系统、模糊逻辑、遗传算法等相结合，可设计 新的智能控制系统。 目前神经网络的研究正逐步深入，由单纯的神经网络计算转向计 算智能并结合脑科学的研究向生物智能方向发展，以开拓神经网络研 究的更为广阔的前景。 1 2 遗传算法的发展史与研究现状 1 2 1 遗传算法的发展史 关于遗传算法的文章最早出现于6 0 年代，研究内容大多以对自 然遗传系统的计算机模拟为主。这段时期由于缺乏指导性理论，研究 无确定目标。这种现象直到7 0 年代由于h o l l a n d t 5 】和d el o n g 的研究 成果的发表才得到改善。遗传算法研究的真正兴起是在8 0 年代末9 0 年代初，这不仅表现在理论研究方面，尤其还表现在应用领域研究方 面。遗传算法在诸多学科领域的应用如：机器学习、组合优化、自动 控制以及工程设计等不断地见于国内外许多期刊中。随着遗传算法的 研究和应用的不断深入，一系列以遗传算法为主题的国际会议十分活 跃：开始于19 8 5 年的i c g a ( i n t e r n a t i o n a lc o n f e r e n c eo ng e n e t i c a l g o r i t h m ) 每两年举行一次；在欧洲，开始于1 9 9 0 年的p p s n ( p a r a l l e l p r o b l e ms o l v i n gf r o mn a t u r e ) 会议也每两年举行一次；还有如f o g a ( f o u n d a t i o no fg e n e t i ca l g o r i t h m ) 自19 9 0 年开始也每两年举行一次。 这些会议的举行体现了遗传算法正不断地引起学术界的重视，同时这 些会议的论文也集中反映了遗传算法近年来的最新发展和动向。 近年来，国内许多学科及专业的学者也已经开始研究并应用遗传 算法，发表了一些较有影响的综述文章和著作【6 8 】，为国内学者进一步 。研究及应用遗传算法起到了积极的推动作用。 1 2 2 遗传算法的研究现状 遗传算法是多学科结合与渗透的产物，它已经发展成一种自组 织、自适应的综合技术，其研究方向主要有下述几个方面。 武汉工程大学硕士学位论文 1 基础理论 遗传算法的数学理论并不完善，张玲等对遗传算法的“模式定理 和“隐性并行性”进行了分析研究，指出其不足并指出遗传算法本质 上是一个具有定向制导的随机搜索技术。在遗传算法中，群体规模和 遗传算子的控制参数的选取非常困难，但它们又是必不可少的实验参 数，在这方面，已有一些具有指导性的实验结果。遗传算法还有一个 过早收敛的问题，如何阻止过早收敛也是人们正在研究的问题之一。 2 分布并行遗传算法 遗传算法在操作上具有高度的并行性，许多研究人员都在探索在 并行机和分布式系统上高效执行遗传算法的策略。对分布遗传算法的 研究表明，只要通过保持多个群体和恰当控制群体间的相互作用来模 拟执行过程，即使不使用并行计算机，也能提高算法的执行效率。 3 遗传神经网络遗传神经网络包括连接级、网络结构和学习规 则地进化。 4 进化算法 模拟自然进化过程可以产生鲁棒的计算机算法一进化算法。遗传 算法是其三种典型的算法之一，其余两种算法是进化规划和进化策 略，这三种算法是独立发展起来的。 5 人工生命与遗传算法 今几年来，通过计算机模拟再现种种生命现象，已达到对生命更 深刻理解的人工生命的研究正在兴起。已有不少学者对生态系统的演 变、食物链的维持以及免疫系统的进化等用遗传算法做了生动的模 拟。但是实现人工生命的手段很多，遗传算法在实现人工生命中的基 本地位和能力究竟如何，这是值得研究的课题。 目前，遗传算法已广泛用于b p 网络、r e c u r r e n t 网络等各种人工 神经网络的训练与设计中。 1 3 遗传算法与r b f 神经网络 近十几年来，r b f 神经网络的应用己渗透到各个领域，并在智能 控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化 等方面取得了比较好的进展，但在实际应用中也面l 临一些问题。 4 第1 章绪论 ( 1 ) r b f 网络的结构选取。神经网络的性能取决于其结构1 1 。 但目前尚无系统的理论指导，大多数情况下都用试凑法来选择网络结 构。结果是计算量大、效率低且难以评价网络结构是否较优。 ( 2 ) r b f 网络的泛化能力。所谓网络的泛化能力是指经过训练后 的网络是否适应未经训练的工作样本，即网络装入学习样本的能力是 否具有一般性的问题。从理论上看，神经网络的泛化能力不仅和学习 样本的分布与工作样本的分布间的偏差有关，而且和网络结构以及学 习样本数有关。 由此可见，神经网络的结构与其泛化能力是密切相关的。对于特 定的任务，一般网络的输入和输出节点都是固定的，只有中间的隐层 节点数是可选的。隐含层节点数是网络性能的重要特征，它影响网络 的容量、泛化能力、学习速度及输出响应。从理论上来讲，隐含层节 点数越大，则网络的逼近能力会越好。但是，从网络的泛化角度来讲， 隐含层节点数不应该太大。一是因为在学习过程中，最佳网络是未知 的，是需要经过推测来决定的：二是当隐含层节点过多时，则网络只 是单纯的记忆样本，网络的泛化性能差，甚至有可能出现过拟合现象。 将遗传算法引入r b f 网络中是近年来r b f 神经网络研究的一个 新方向之一。 1 4 本文的主要工作 本文首先对遗传算法进行了一定的理论分析，针对遗传算法易陷 入局部最优和收敛速度慢的不足，提出了一种具有参数动态调节功能 的改进遗传算法的可行方案，然后，针对r b f 神经网络学习算法的 不足，提出了一种利用改进遗传算法优化r b f 神经网络的结构和参 数，并通过仿真实验来验证所设计算法的有效性；最后把所提出的改 进算法应用到转炉炼钢的终点温度预测研究中，仿真研究表明了所 提出算法的有效性。 武汉工程人学硕士学位论文 2 1 引言 第2 章人工神经网络与r b f 神经网络 神经网络是近年来再度兴起的一个智能控制研究领域之一。人们 试图通过对它的研究最终揭开人脑的奥秘，从而建立能模拟人脑功能 和结构的人工神经网络，使计算机能像人脑那样进行信息处理等工 作。 本章将简要介绍神经网络的发展史、基本概念、结构及学习算法， 并在此基础上重点介绍具有良好全局逼近性能的r b f 神经网络 ( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k ) 及其相关的学习算法。 2 2 人工神经网络的概念、结构及学习算法 2 2 1 神经网络的概念 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是对人脑的一 种物理结构上的模拟，即以计算机仿真的方法，从物理学上模拟人脑， 以使系统具有人脑的某些智能。1 9 8 8 年，h e c h t n i e l s e n 给出了人工 神经网络的定义：人工神经网络是一个并行，分布处理结构。它由处 理单元及称为连接的无向信号通道互连而成。这些处理单元 ( p r o c e s s i n ge l e m e n t p e ) 具有局部内存，并可以完成局部操作。每个 处理单元有一个单一的输出连接，这个输出可以根据需要被分支成希 望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应 处理单元输出信号的大小不因分支的多少而变换。处理单元的输出信 号可以是任何需要的数学模型，每个处理单元中进行的操作必须是局 部的。也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所 有输入信号的当前值和存储在处理单元局部内存中的值。 从以上定义可以知道，神经网络实际上是由大量的处理单元通 过适当方式互连而成的一个大规模非线性自适应系统。处理单元是神 经网络的最基本成分。确定一个神经网络首先必须确定神经元的特 性，神经元具有以下特性： 第2 章人j 。r ：神经网络与r b f 神经网络 ( 1 ) 多个连接( 对应生物神经元的突触) ，连接强度由各连接上 的权值表示，其中正值表示连接强度增强，负值表示连接强度减弱； ( 2 ) 一个用于求取各输入信号的加权和的单元； ( 3 ) 一个激活函数，起映射作用并将输出值限制在一个特定范 围内。 ( 4 ) 一个阈值，对神经网络输出值起调节作用。 严格说来，神经网络是一个具有如下性质的有向图。 ( 1 ) 对于每个结点有一个状态变量x ，； ( 2 ) 结点i 到结点门亨一个连接权系数w j , ； ( 3 ) 对于每个结点有一个阈值p ，； ( 4 ) 对于每个结点定义一个变换函数硝毛，w ，o j ( i 川，最常见 的情形为厂( b 一巴) 。 2 3 人工神经网络的几种基本类型 人工神经网络是以数学手段来模拟人脑神经网络的结构和特征 的系统。利用人工神经元可以构成各种不同拓扑结构的神经网络，从 而对实现生物神经网络的模拟和近似。 目前神经网络模型的种类相当丰富，已有近4 0 余种神经网络模 型，其中典型的有多层前向传播网络( b p 网络) 、h o p f i e l d 网络、c m a c 小脑模型、a r t 自适应共振理论、b a m 双向联想记忆、s o m 自组织 网络、b o l t z m a n n 机网络等。 根据神经网络的连接方式，神经网络可分为3 种形式。 1 前向网络 神经元分层排列，组成输入层、隐含层和输出层。每一层的神 经元只接受前一层神经元的输入。输入模式经过各层的顺次变换后， 由输出层输出。在各神经元之间不存在反馈。感知器和误差反向传播 网络采用前向网络形式。 2 反馈网络 该网络结构在输出层到输入层存在反馈，即每一个输入节点都 有可能接受来自外部的输入和来自输出神经元的反馈。这种神经网络 武汉工程大学硕士学位论文 是一种反馈动力学系统，它需要工作一段时间才能达到稳定。h o p f i e l d 神经网络是反馈神经网络中最简单且应用最广泛的模型，它具有联想 记忆的功能。 3 自组织网络 k o h o n e n 网络是典型的白组织网络。k o h o n e n 认为，当神经网络 在接受外界输入时，网络将会分成不同的区域，不同区域具有不同的 响应特征，即不同的神经元以最佳方式响应不同性质的信号激励，从 而形成一种拓扑意义上的特征图，在这个过程中所形成的特征图实际 上是一种非线性映射。这种映射是通过无监督的自适应过程完成的， 所以也称为自组织特征图。k o h o n e n 网络通过无导师的学习方式进行 权值的学习，稳定后的网络输出对输入模式生成自然的特征映射，从 而达到自动聚类的目的。 2 4 人工神经网络学习的算法 神经网络学习算法是神经网络智能特性的重要标志，神经网络 通过学习算法，实现了自适应、自组织和自学习的能力。 目前神经网络的学习算法有多种，按有导师分类，可分为有导 师学习( s u p e r v i s e dl e a r n i n g ) 、无导师学习( u n s u p e r v i s e dl e a r n i n g ) 和再激励学习( r e i n f o r c e m e n tl e a m i n g ) 等几大类。在有导师学习方 式中，网络的输出和期望的输出( 即导师信号) 进行比较，然后根据 两者之间的差异调整网络的权值，最终使差异变小。在无导师的学习 方式中，输入模式进入网络后，网络按照一种预先设定的规则( 如竞 争规则) 自动调整权值，网络最终具有模式分类等功能。再激励学习 是介于上述两者之间的一种学习方式。 2 4 1h e b b 学习规则 h e b b 学习规则是一种联想式学习算法。生物学家d 0 h e b b i a n 基于对生物学和心理学的研究，认为两个神经元同时处于激发状态 时，它们之间的连接强度将得到加强，这一论述的数学描述被称为 h e b b 学习规则，即 第2 章人：r 神经网络与r b f 神经网络 w o ( k + 1 ) = w o ( k ) + i ， ( 2 1 ) 式中，w o ( k ) 为连接从神经元f 到神经元_ ，的当前权值；，和，分别为神 经元f 栅的激活水平。 h e b b 学习规则是一种无导师的学习方法，它只根据神经元连接 间的激活水平改变权值，因此，这种方法又称为相关学习或并联学习。 2 4 2d e l t a ( 8 ) 学习规则 假设误差准则函数为 1 pp e = 去( d p - y p ) 2 = e p ( 2 2 ) o l a = l p l l 式中，d p 代表期望的输出( 导师信号) ；y p 为网络的实际输出， y p = f ( w x p ) ，形为网络所有权值组成的向量，即 x ，为输入模式，即 w = ( w o ，w l ，) r x ，= ( x p o ，z ，l ，工朋) r ( 2 3 ) ( 2 4 ) 式中，训练样本数p = 1 , 2 ，p 。 神经网络学习的目的是通过调整权值w ，使误差准则函数最小。 可采用梯度下降法来实现权值的调整，其基本思想是沿着e 的负梯度 方向不断修正w 值，直到e 达到最小，这种方法的数学表达式为： 唧吲一舞w ) ( 2 5 ) d ， 一o e o w , = 砉堡o w , ( 2 6 ) 智 其中 武汉工程人学硕士学位论文 砟= l ( d p - y p ) 2 令巳= w x p ，则 鲁：等等：堡箸_ _ ( o y ( o , ) x i p o 硎i 8 8 p 揪i y p8 9 p ” 叫“ 形的修正规则为 ( 2 7 ) ( 2 8 ) p = 玎( d ，一y p ) 厂( 以) x 驷 ( 2 9 ) p = l 上式称为万学习规则，又称误差修正规则。 2 5r b f 神经网络 径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 神经网络是由j m o o d y 和c d a r k e n 屹 1 3 】于2 0 世纪8 0 年代未提出的一种神经网络，它是具 有单隐层的3 层前馈网络。r b f 网络模拟了人脑中局部调整、相互覆 盖接收( 或称感受野，r e c e p t i v ef i e l d ) 的神经网络结构。r b f 网络 不仅具有良好的泛化能力，而且避免了像反向传播那样繁琐、冗长的 计算，使学习可以比通常的b p 学习方法快1 0 3 1 0 4 倍。径向基函数网 络的应用领域十分广泛，如语言识别、数据分类、时间序列的预测、 图像处理、白适应信道均衡等。本节中主要对r b f 神经网络的原理、 结构和学习算法作简要介绍。 2 5 1r b f 神经网络的结构和常规学习方法 2 5 1 1r b f 神经网络的结构 i0 依据结构划分，r b f 神经网络和b p 网络一样，同样属于多层前 向神经网络。r b f 网络的产生具有很强的生物学背景。在人的大脑皮 层区域中，局部调节及交叠的感受野( r e c e p t i v ef i e l d ) 是人脑反应 的特点。m o o d y 和d a r k e n 基于感受野的这一特点，提出了一种r b f 神经元网络结构。它也是一种包括输入层、隐含层和输出层的三层前 第2 章人工神经网络与r b f 神经网络 向网络，如图1 1 。其中，输入层直接由信号源节点构成，其作用只 是接受输入信号并将其传递到隐含层，中间不做任何改变( 即该层神 经元传递函数为线性函数，并且连接输入层与隐含层的权值固定为1 ， 其单元个数由输入向量的维数决定。而输出层只对隐含层的非线性输 出进行线性组合( 隐含层与输出层之间的连接权值可调) ，得到最后 的结果。隐含层是r b f 网络区别于其他神经网络中最重要的一个环 h l 图1 1r b f 神经网络结构 f i 9 1 1c o n f i g u r a t i o no f r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k 节，其单元个数通过所求解的问题的具体情况来确定，该层神经元的 传递函数采用局部分布的对中心点径向对称衰减的非负非线性函数。 具体说来，隐含层的基函数( 神经元的传递函数) 对输入信号将在局 部产生响应。当输入信号靠近基函数的中央范围时，隐含层节点将产 生较大的输出，而当信号距离基函数稍远，则其输出值将大大降低， 由此可以看出径向基函数具有局部逼近能力，因此，r b f 网络也具有 局部逼近能力，是一种局部逼近网络。从理论上可以证明，它能以任 意的精度逼近任一连续函数【1 2 。1 7 】( 即具有唯一最佳逼近特性、且无局 部极小问题) 。 在r b f 神经网络中，隐含层执行的是一种固定不变的非线性变 换，将输入空间映射到一个新的空间，输出层相当于一个线性组合器 在新的空间中对隐含层输出实现线性组合，可调节的参数就是该线性 组合器的权值。这种方法的一个优点是可以用线性最小二乘法来确定 这些参数，其基函数常用的是高斯函数，可表示为 武汉_ t 程大学硕士学位论文 铲e x p ( - 簪卜2 ，肼 汜 式中，x = 【工。，工：，】r 为输入样本；c ，表示为第个隐含层节点的高 斯函数的中心且与x 具有相同的维数；b j 为节点，的基宽参数，且为 大于零的数，它决定了该基函数曲线围绕中心点的宽度；h j 表示第， 个隐含层节点的输出；m 表示为隐含层节点的个数。 在r b f 网络中，隐含层的每个节点都有一个径向基函数的中心向 量c ，此向量与输入样本x 具有相同的维数， c ，= c ”c f 2 c 加】 i = 1 , 2 ，m ， 整个网络有m 个这样的中心。隐节点的“净输入定义为输入样本 x = ( x 。，工：，) ，距该隐节点的径向基函数的中心向量c ，的欧几里得范 数眵一砒，即 一 4 = l i x - c j i l 2 = ( t c ) 2 ，f = 1 , 2 ，历 ( 2 11 ) 隐节点的输出为隐含层完成非线性转换的某种径向基函数。 在r b f 网络中，各隐节点的输出实际代表着输入样本x 离开该隐 节点的径向基函数中心c ，的程度。而且在r b f 网络中，并不存在一个 像其他网络那样联接各输入节点与各隐节点的隐层权值矩阵。因此， 隐含层训练任务不是调节其权矩阵，而是为每个隐节点选择其中心向 且 里o r b f 网络中的输出层是一组线性组合器。输入层实现从x h ；的 非线性映射，输出层实现从h ，一y 。的线性映射，即i 氇f 网络的输出为 隐含层节点输出的线性组合，有 儿= w