（控制理论与控制工程专业论文）基于遗传算法的神经网络优化设计.pdf

沈阳化t 学院硕士学位论文 y6 0 2 7 7 9 中文摘要 基于遗传算法的神经网络优化设计 摘要：神经网络理论是在现代神经科学研究成果的基础上提出来的，它 反映了人脑功能的若干特性，但并非神经系统的逼真描述，而只是其简 化，抽象和模拟。神经网络是一个非线性动力系统，其特色在于信息的 分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有 限，但大量神经元组成网络系统所能实现的行为却是极其丰富多彩的。 它具有很强的容错性和鲁棒性，善于联想，综合和推广，因此它广泛用 于人工智能，自动控制，机器人，统计学等领域的信息处理。 遗传算法( g e n e t i ca l g o r i t h m g a ) 是一类借鉴生物界自然选择和自 然遗传机理的随机优化算法，是模拟达尔文遗传选择和自然淘汰生物进 化过程的计算模型。主要特点是群体搜索策略和群体中个体的信息交换， 搜索不依赖于梯度信息。尤其适用于处理传统搜索方法难以解决的复杂 和非线性问题。可广泛用于组合优化，机器学习，自适应控制，规划设 计和人工生命等领域。 本文深入讨论了神经网络与遗传算法理论，同时二者的结合使神经网 络的应用更加广泛，人工智能领域也有了新的扩展。本文首先将神经网 络控制器应用于生物反应器，对生物细胞生长进行仿真控制研究。在此 基础上，本文创新地移入遗传算法来对神经网络控制算法进行改进，包 括加入自适应遗传算法，采用遗传算法完全取代神经网络b p 算法，对 生物反应过程进行模拟仿真控制。最后对神经网络结构设计进行了阐述， 提出一系列设计方法，由于神经网络结构的设计没有现成的理论，只能 依据专家的经验设计，所以设计比较困难，神经网络结构设计的瓶颈问 题是隐含层层数和隐含层神经元个数的确定，本文提出了一种简单的针 对异或问题的神经网络结构设计算法，能够同时确定隐含层和隐含层神 经元个数，可见遗传算法在神经网络设计问题上有很好的应用前景。 关键词：神经元；神经网络；遗传算法；生物反应过程；神经网络控制 器；神经网络优化； 素自舴髫、导师陵鬈 匆全文公布 沈阳化t 学院硕士学位论文 英义摘要 n e u r a ln e t w o r k o p t i m u md e s i g n w i t hg a a b s t r a c t ：n e u l 9 1t i e t w o r kt h e o f i e sa r eb r in g i n gu pt 0c o m ei ni l l o d e f r l r l e r v es c ier l c e i tr e f le c t e dt h ef u n c t i o r l ss o m ec h a r a c t e r is t ic0 f p e j c s o nb r a i n b u tn o tr l e f v o u ss y s t e mo f 1if el i k ed e s c r i b e ，a n d u s ti t ss i m p lif i c a t i 0 e la b s t r a c t i o nw i t hi 珈i t a t e n e u r a lf i e t w o r k isaf i o n l if i em o t i v eo fs ys t e m i t st h es p e c i a lf e a t u f e sc o i l s is t i i 1t h ei n f o r m a t i0 n sd is t r i b u t es t o r ew i t hp r o c e e dt o g e t h e ra n d b eif tc o n j ue i c t i o nw i t ht 0h a n d l e a 1 t h o u g hs i n g l et h ec o n s t f u c t i o n f o rn e i - v el i n i tis v e r ys i m p l e ， a n dt h ef u n c t i 0 1 3is1 i m i t e d b u t t h eb e h a v i o r1 a r g eq u a n t i t yn e r v eue l i t sc o i l s t i t u t ew h a ti q e t w o r k s y s r e i nisv e r ya b u n d a n t i th a sv e ：f ys t t o n gp r o p e r t yo fp e r m i t t i n g i n is t a k ea n dt h er o b u s t b e9 0 0 da tt h ea s s o c i a t i o r lo ft h o u g h t ， s y r i t h e s i z e2 1 r l d t h ee x p a n s i o n 1 h e r e f o r ei ta r e e x t e n s i v et 0u s e d f o rt h ea f t i f i c i a l i n t e l l i g e n c e ， a u t o c o n t f 0 1 ，r o b o t ， t h e c o v a r i l 3 r i c ei e a r i n _ si n f o r m a t i o i lh a n d l e g e n e t ica 1 9 0 r i t h mist h er a n d o mo p t i m iz ea , r i t hr n e t ict h a ti t isor lt h eb a s eo f8 , f i i m a t er l a t u l - e sc h o o s en a t u r a l l y w i t hi n h e r i tn a t u a 1 1 y i tist h ec a l c u l a t i o nm o d e l0 fi m i t a t i n g 1 ) a r w i ng as e l e c t i o f ta n dn a t u r a lw a s h i n go u tc r e a t u r ee v o l v e s p r 0 c e s s i t sm a i i 1 c h a r a c t e r is t ic sa r ec o m m u n i t ys e a , r c hs t r a t e g y a n di n d i v i d u a l si n f o r m a t i o i le x c h a n g ei nt h ep o p u l a t i o f t t os e a r c h f o ri n f o r m e t t i 0 1 1t h a tisr i o tt 0d e p e n do i lt h eg r a d ei n f o r m a t i o n s oi tc a nb eu s e df o rc o m b i n s , t i o no p t i m iz a t i 0 1 2 ，m a c h i t i es t u d y ，f i t c o n t l 0 1 p r o g r a md e s i g na n da i t i f i c i a l l i f e t h is p a p e rt h o r o u g h l y d is c u s st h en e u r a ln e t w o r kt h e o r ya n d g e n e t ic a l g o r i t h mt h e o i y a n dp o i n t o u tt h e i r sa d v a n c ea n d 9 e a k n e s s b u tt h e i r sc o m b i l l 8 t i o nm a k e m a k et h e t i e r v er l e t w o f k a p p l i c a t i o nm o i ee x t er l s i v ea n dt h ea r t i f i c i a lf i e l dm o r ee x p a n d i n g f ir s tb e f v et i e t w o r kisa p p l i e dt 0t h eb i o r e a c t o fm o d e l t 0r e s e a r c h c e l l g r o w t h w i t ht h i s u n d e r s t a n d i n g ，t h i s p a p e r ise l e a t i v et 0 c o m b i n et h en e u r a lf l e t w o r ka r l dg at 0c o n t r o lt h eb i 0 i e a c t o rm o d e l a n d g e tg o o de i l l l l l a t i o i l i e s l , 1 1 t a f t e r w a r dr e s e a r c h e dt h e 3 e u - a l i i 沈阳化t 学院硕士学位论文英文摘要 l q e t w o r k ss t r u c t u r ea n db r i n gu pas e ie s t h ed e s i g nt h em e t h o d s o w i n gt 0b e i uf is h o r to fl r e a d y m a d et h e o r i e s ，s oc a bo n l yd e s i g n i tw i t he x p e r t se x p e r ie l i c e s b o t t le n e c kp r o b le mt h a td e s ig nr l e i v e i l e t w o r ks t f u c t u r eish id d e e l 1 a y e rn u m b e r 8 , r l d e v e r y h id d e r l 1 a y e s t i el i r a lu r l i t sn u m b e r y h isp a p e rg iv eam e t h o dd e s i g n i n g t h en e u r a ln e w w o r ks t rl i c t u r ew i t hx o rp r o b l e mt h a tc a nc 0 1 3 f i r mt h 0 h id d e n1 a y sn u m b e ra n di t sn e u r a l1 3 u m b e r s 0i tis0 b v i0 u st h a t g ac a l lb eu s e di i 1n e u r f t lt i e t w o r ks t r u c t u r ed e s i g n in k e yw o r d ：n e u r a lu n i t ；n e u r a ln e t w o r k ；g e t i e t ica 1 9 0 r i t h m ；c r e a t u r e e v 0 l v e sp r 0 c e s s ：n e u r a ln e t w o r kc o n t r 0 11 e r ：n e u r a ln e t w o r k o p t i m i s t i c d e s i g n ： 沈阳化t 学院硕士学位论文 第一章绪论 1 1 引言 第一章绪论 8 0 年代后期，在美国、日本等一些工业发达国家里，掀起了一股竞 相研究开发神经网络( n e u r a ln e t w o r k s ，简称n n ) 的热潮。神经网络是模拟 人类生理上的神经机制的计算模型。近15 年来，神经网络技术已渗透到 各个领域，在智能控制、模式识别、计算机视觉、非线性优化、连续语 音识别、信号处理等方面取得了巨大的成功和进展，但仍然存在一些难 以解决的问题【9 l 。 本文正是针对神经网络由于存在一些难以解决的问题而应用遗传 算法来作为优化算法的理论研究，由于遗传算法能够收敛到全局最优解， 而且遗传算法的鲁棒性强，将遗传算法与神经网络( 前馈网络) 结合起来 是很有意义的，不仅能发挥神经网络的泛化映射能力，而且，使神经网 络具有很快的收敛性以及较强的学习能力。遗传算法与神经网络结合主 要有两种方式【6 0 】：一是用于网络训练，即学习网络各层之问的连接权值； 二是设计网络的拓扑结构，即确定网络隐含层数及每层神经元个数等等。 1 2 遗传算法脚 遗传算法( g e n e t i ca l g o r i t h m s ，g a ) 研究的历史比较短，2 0 世纪6 0 年 代末期及7 0 年代初期，主要由美国m i c h i g a n 大学的j o h nh o l l a n d 与其 同事、学生们研究形成了一个较完整的理论和方法，从试图解释自然系 统中生物的复杂适应过程入手，模拟生物进化的机制来构造人工系统的 模型。随后经过2 0 余年的发展，取得了丰硕的应用成果和理论研究的进 展，特别是近年来世界范围形成的进化计算热潮，计算智能已作为人工 智能的一个重要方向，以及后来的人工生命研究兴起，使遗传算法受到 广泛的关注。 遗传算法是一类借鉴生物界自然选择和自然遗传机理的随机优化算 法，是模拟达尔文遗传选择和自然淘汰生物进化过程的计算模型。主要 特点是群体搜索策略和群体中个体的信息交换，搜索不依赖于梯度信息。 尤其适用于处理传统搜索方法难以解决的复杂和非线性问题。可广泛用 1 沈阳化t 学院硕士学位论义 第一苹绪论 于组合优化，机器学习，自适应控制，规划设计和人工生命等领域。其 作为一种新的全局优化搜索方法，具有简单通用，鲁棒性强，适用于并 行处理以及应用范困广等优点。 随着神经网络应用的广泛，传统优化方法在许多应用中有明显的缺 点，加上人工智能发展迅速，使遗传算法这种优化算法在人工智能方向 上走出了新路，尤其是与神经网络的结合，更加推动了人工智能理论应 用的前景。 1 3 神经网络及其应用 1 9 8 7 年6 月，首届国际神经网络学术会议在美国加利弗尼亚洲召开， 到会代表有1 6 0 0 余人。在会上成立了国际神经网络学会( i n t e r n a t i o n a l n e u r a ln e t w o r ks o c i e t y ) 。接着于1 9 8 8 年创办了世界第一份神经网络杂 志 。随后，国际电气工程师与电子工程师学会( i e e e ) 也成立了神经网络协会并出版神经网络刊物。 近几年来，在神经网络这个涉及多种学科的新的高科技领域中，吸 引了众多的神经生理学家，心理学家，数理科学家，计算机与信息科学 家以及工程师和企业家等。大量豹有关神经网络机理、模型、算法特性 分析，以及在各方面应用的学术论文像雨后春笋般在报刊杂志上和许多 国际学术会议中涌现，神经网络以及建立在神经网络原理基础上的神经 计算机( n e u r oc o m p u t e r ) 成为当代高科技领域中方兴未艾的竞争热点。 人工神经网络以其独特的优点引起了人们的极大关注，其基本思想 是从仿生学的角度对人脑的神经系统进行模拟，使机器具有人脑那样的 感知，学习和推理等智能。神经网络理论是在现代神经科学研究成果的 基础上提出来的，它反映了人脑功能的若干特性，但并非神经系统的逼 真描述而只是其简化，抽象和模拟。人工神经网络是一种抽象的数学 模型，它可用作大脑结构模型，认识模型，计算机信息处理方式或算法 结构。神经网络由许多并行运算的功能简单的单元一一神经元组成，这 些单元类似于生物神经系统的神经元。神经网络是一个非线性动力系统， 其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构 极其简单，功能有限，但大量神经元组成网络系统所能实现的行为却是 极其丰富多彩的。它具有很强的容错性和鲁棒性，善于联想，综合和推 广，因此它广泛用于人工智能，自动控制，机器人，统计学等领域的信 息处理。有代表性的神经网络模型有感知器，多层映射b p 网络，r b f 网络，h o p f i e l d 网络等。其中，b p 网络是应用比较广泛的种模型。 沈阳化t 学院硕士学位论文第一南绪论 1 4 遗传算法优化神经网络研究现状 针对神经网络的联结权重初始化和训练，网络结构设计，学习规则 调整等网络实现问题，目前基于g a 的神经网络优化设计主要分为以下几 类： ( 一) 网络联结权重的优化训练 传统的网络权重训练一般采用梯度下降的算法r “，但是易于陷入 误差函数的局部极小点，利用遗传算法进行网络权重训练，就是将权 重训练过程看成权重在网络结构和学习任务环境中进化。权重进化训 练的实现主要包括两方面内容：一是权重个体染色体表达式的确定； 二是根据选取的染色体表达方式设计遗传操作算子。不同的表达方式 和操作算子将产生不同的训练性能。标准遗传算法用二进制位串进行 个体染色体表达【2 4 】。在网络权重进化训练的早期研究中，多采用这种 表达方式f 2 。2 “。权重个体染色体的实值表达，对于实值表达，e p ( 进 化规则) 和e s ( 进化策略) 更为适合，因为它们主要是基于突变操作， 可避免杂交操作造成的负面影响。目前，在这方面已有大量成功的研 究事例【2 7 2 8 1 在这些实例中，遗传算子主要是g a u s s i a n 突变算子，也有 采用c a u c h y 突变算子”。 ( 二) 网络结构的优化设计 目前，对于网络结构设计已提出了一些方法，这些方法均可归结 为结构“增构法”和“减构法”两类。“”】，其结构设计包括结构个体 的染色体表达式设计和进化方法的选取两方面内容。大量研究 3 3 1 表明， 节点传递函数的不同选取将直接影响网络性能，因此网络结构的进化 设计应考虑节点传递函数的选取。文献 3 4 将节点传递函数信息融入 网络拓扑结构的编码表达中，实现了节点传递函数的进化选取；文献 3 5 则在初始群体中设定每个个体8 0 的节点为s i g m o i d 函数，2 0 的 节点为g a u s s i a n 函数，传递函数的优化即为两种传递函数的节点比例 的优化。 ( 三) 网络结构和联结权重的同时优化 文献 3 6 指出无权重信息的结构优化设计中个体适应度的准确评 价是困难的，克服这一问题的有效方法是对网络结构和网络权重同时 进行优化，即结构信息和权重信息同时编码，以消除适应度评价噪声， 从而提高个体进化效率和进化质量。 ( 四) 训练算法的优化设计 沈阳化t 学院硕士学位论文第壹绪论 大量研究已揭示出网络结构与训练算法间存在内在联系。因此， 网络要得到更优的性能，须对其训练算法进行调整。训练算法的优化 设计主要包括训练算法参数优化和学习规则进化两方面。训练算法进 化设计的初期研究主要集中在对算法参数( 如学习率和惯性系数等) 的进化选取。其基本方法是将算法参数与网络结构一起编码进行优化 m 】。对于b p 算法的学习参数也提出了一些非进化方式的参数调整方 法，但这两者问的优缺点比较还有待于进一步研究。文献 3 8 将学习 规则定义为4 个节点局部变量及其2 阶生成项的线性组合，忽略了3 阶项和4 阶项，并将1 0 个口系数和1 个尺度系数编码为二进制串，个 体适应度计算采用单隐层网络。经过1 0 0 0 代的进化，得到了著名的 d e l t a 规则和d e l t a 规则的派生规则。文献 3 9 采用文献 3 8 的进化 策略对感知器的学习规则进行进化，也取得了满意的结果。文献 3 9 进一步将网络结构，联结权重和学习规则同时进化。 1 5 本文的主要内容 本文主要讨论了遗传算法在神经网络优化设计中的应用，尤其对遗 传算法与神经网络的结合在非线性控制中的应用情况加以研究。首先在 第二章介绍了神经网络的理论基础，主要阐述了神经网络的基本理论与 相关算法，然后讨论了b p 网络的结构与理论，b p 网络是应用比较广泛， 研究也相对多的神经网络算法，但是它也存在许多缺点，尤其是收敛时 间慢、极易陷入局部最小值，而应用遗传算法代替神经网络算法能够很 好解决以上问题。在第三章重点讨论了遗传算法的理论与应用，结合各 种遗传思想，对遗传算法作了深刻的理论阐述与应用展望，遗传算法作 为优化算法的积极推动者，尤其是遗传算法与神经网络的结合使人工智 能研究更具有挑战性和实用性，已经成为工业界和学术界的热点研究方 向之一。 从第四章开始阐述了遗传算法与神经网络结合的具体应用，在神经 网络对非线性对象生物反应器控制的基础上，加入遗传算法作为神经网 络优化算法，对非线性对象生物反应器过程进行模拟控制，系统动态响 应有明显的提高。随后对遗传算法作了相应的改进，采用自适应遗传算 法，利用在遗传过程中根据种群每代性能对遗传交叉和变异进行自适应 改变，使每代个体都是最优的。通过以上几种方法对生物反应器用神经 网络控制器进行控制，取得了不同的控制效果，从而证明遗传算法对神 沈阳化t 学院硕士学位论义 第一章绪论 经网络权值优化有更好的优化结果，能够完成对复杂非线性问题的优化 计算。文章对提到的每种算法都用不同个数神经元的神经网络加以研究。 对于神经网络结构的设计问题，主要针对网络隐含层和隐含层节点数的 确定，提出一种方法设计神经网络结构，以异或( x o r ) 问题的神经网络 为例，讨论了一种同时确定神经网络结构和权值的遗传优化方法，能够 处理各节点任意连接的神经网络。关于神经网络结构设计的研究也是比 较多，各种方法也都有其优缺点，在讨论了过去研究方法的基础上，对 这方面也作了相应的研究，神经网络结构的研究还不够完善，有必要在 以后的工作中对这方面进行更深入的研究。 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 第二章神经网络理论基础 2 1 神经网络的历史回顾 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过 程，即人工神经网络的研究，经历了一条曲折的路程。大致分为兴起、 萧条和兴盛三个时期。 早在1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 在数学生物物理学 会刊b u l l e t i no fm a t h e m a t i c a lb i o p h y s i c s 上发表文章，总结了生物神经 元的一些基本生理特性，提出了形式神经元的数学描述与结构方法，即 m p 模型。在m p 模型中，赋予形式神经元的功能较弱但网络的计算能 力巨大，同时具有并行计算的能力。m p 模型的提出兴起了对神经网络 的研究。 1 9 4 9 年心理学家d o h e b b 提出神经元之间突触联系强度可变的 假设。他认为学习过程是在突触上发生的，突触的联系强度随其前后神 经元的活动而变化。根据这一假设提出的学习率为神经网络的学习算法 奠定了基础。 5 0 年代末，r o s e n b l a t t 的感知机第一次把神经网络的研究付诸工程 实践。这是种学习和自组织的心理学模型。当时人们对神经网络研究 过于乐观，认为只要将这种神经元互连成一个网络，就可解决人脑思维 的模拟问题，以后碰到了理论上和实现技术上的困难，加上其它因素的 影响，使得对神经网络的研究开始进入低潮。6 0 年代，m i n s k y 和p a p e r t 合作发表了颇有影响的p e r c e p t r o n 一书，得出了消极悲观的论点， 加上数字计算机正处于全盛时期，并在人工智能领域取得显著成就，七 十年代人工神经网络的研究完全处于低潮。 进入八十年代后，传统的v o nn e u m a n n 数字计算机在模拟视听觉的 人工智能方面遇到了物理上不可逾越的极限，与此同时，r u m e l h a r t 与 m c c l e l l a n d 以及g o p f i e l d 等人在神经网络领域取得了突破性进展，神 经网络的热潮再次掀起高潮。 目前在研究方法上已形成多个流派，最富有成果的研究工作包括： 多层网络b p 算法，h o p f i e l d 网络模型，自适应共振理论( a r t ) ，自组 织特征映射理论等等。如今，神经网络已经应用到生产，生活的各个方 6 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 面，其应用十分广泛。 2 2 神经网络主要原理及主要算法 2 2 1 神经元网络的基本单元 图2 2 1 表示了在中央神经系统中，典型神经细胞的主要元件。 图2 2 1 神经元的构造 ( 1 ) 细胞体：由细胞膜，细胞质和细胞壁等组成。 ( 2 ) 轴突：有细胞体向外伸出的最长的一条分支，称为轴突，既神经纤维。 轴突相当于细胞的传输电缆，其端部的许多神经末梢为信号的输出端， 用以送出神经激励。 ( 3 ) 树突：由细胞体向外伸出的其它许多较短的分支，它相当于神经细胞 的输入端，用于接受来自其它神经细胞的输入激励。 ( 4 ) 突触：细胞与细胞之间通过轴突与树突相互连结，其接口称为突触， 有兴奋型和抑制型两种。 ( 5 ) 膜电位：细胞膜内外之间有电势差，约为7 0 一1 0 0 r a v ，膜内为负，膜 外为正。 沈阳化t 学院硕士学位论文第二章神经两络理论基础 2 2 2 神经元模型 人工神经元是对生物神经元的一种模拟与简化。它是神经网络的基本 处理单元。图2 2 2 显示了一种简化的人工神经元结构它是一个多输入， 单输出的非线性元件其输入，输出关系可推述为： ，= 彩_ - t 9 i( 2 2 1 ) i = l ( 2 - 2 - 2 ) 其中，x ，( 1 2 1 ) 是从其他神经元传来的输入信号；表示从神经元j 到神 经元i 的连接权值；只为域植；“) 称为激发函数或作用函数。常用的几种 激发函数有阂值型函数，饱和型函数，双曲函数，s 型函数，高斯函数。 其中最常用的是s 型函数： f ( 炉志肛。( 2 - 2 - 3 ) 图2 2 2 人工神经元模型 8 y 垄堕些三竺堕堡主兰竺堡苎 兰三兰i 生型型墨里! ! 型旦 2 2 3 人工神经网络模型 人工神经网络是以工程技术手段来模拟人脑神经元网络的结构与特 征的系统。我们利用人工神经元可以构成各种不同拓扑结构的神经网络， 它是生物神经网络的一种模拟和近似。就神经网络的主要连接型式而言， 目前已有数十种的神经网络模型，其中前馈型网络和反馈型网络是两种 典型的结构模型。 f l 、前馈型神经网络： 前馈型神经网络，又称前向网络( f e e d f o r w a r dn n ) 。如图2 2 3 所 示，神经元分层排列，有输入层，隐层和输出层，每层的神经元只接 受前一层神经元的输入。 从学习的观点来看，前馈网络是一种强有力的学习系统，其结构简 单而易于编程；从系统的观点看，前馈网络是一静态非线性映射，通过 简单非线性处理单元的复合映射，可获得复杂的非线性处理能力。典型 的前馈网络有感知器网络，b p 网络等。 输入层!隐层 ： 输出层 图2 2 3 前馈型神经网络结构 ( 2 ) 反馈型神经网络： 反馈型神经网络( f e e d b a c kn n ) 的结构如图2 2 4 所示。若总节点 ( 神经元) 数为n ，则每个节点有n 个输入和一个输出，也就是说，所 有节点都是一样的，它们之间都可相互连接。反馈神经网络是一种反馈 动力学系统，它需要工作一段才能稳定。h o p f i e l d 神经网络是反馈网络 中最简单且应用广泛的模型，它具有联想的功能。 9 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 图2 2 4 反馈型神经网络结构 2 2 4 神经网络的学习方法 学习方法是体现人工神经网络智能特性的主要标志，离开了学习算 法，人工神经网络就失去了自适应，自组织和自学习的能力。目前神经 网络的学习方法有多种，按有无导师来分类，可分为有教师学习，无教 师学习和再励学习等几大类。在有教师的学习方式中，网络的输出和期 望的输出进行比较，然后根据两者之间的差异调整网络的权值，最终使 差异变小。在无教师的学习方式中，输入模式进入网络后，网络按照预 先设定的规则自动调整权值，使网络最终具有模式分类等功能。再励学 习是介于上述两者之间的一种学习方式。 下面介绍神经网络中常用的几种最基本的学习方法： f 1 ) h e b b 学习规则： h e b b 学习规则是一种联想式学习方法。联想是人脑形象思维过程的 一种表现形式。生物学家d o h e b b i a n 基于对生物学和心理学的研究， 提出了学习行为的突触联系和神经群理论。认为突触前与突触后二者同 时兴奋，即两个神经元同时处于激发状态时，它们之间的连接强度得到 加强，这一论述的数学描述被称为h e b b 学习规则，即： c o ( 露+ 1 ) = 。( k ) + i i ， ( 2 2 - 4 ) 其中，彩。( ) 为从神经元i 到神经元j 的当前权值；，。，为神经元的激活 水平。 ( 2 ) d e l t a 学习规则： 假设下列误差准则函数： l o 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 1p p 占= ( d ，一y ，) = e ， ( 2 _ 2 - 5 ) 厶d = lp t l 神经网络中w 是网络的所有权值组成的向量，现在问题是如何调整 权值使准则函数最小，可用梯度下降法来求解，其基本思想是沿着e 的 负梯度方向不断修正矿值，直到e 达到最小，的修正规则为： = 7 7 ( d ，一) ，1 ( p ，) x ，( 2 2 - 6 ) 此式既为d e l t a 学习规则，也叫占学习规则，又称误差修正规则。j 规则 实现了e 中的梯度下降，因此使误差函数达到晟小值。但它只适用于线 性可分函数，无法用于多层网络。 ( 3 ) 概率式学习： 从统计力学，分子热力学和概率论中关于系统稳态能量的标准出发， 进行神经网络学习的方式称概率式学习。神经网络处于某一状态的概率 主要取决于在此状态下的能量，能量越低，概率越大。同时，概率还取 决于温度参数t 。t 越大，不同状态出现的概率的差异便越小，较容易 跳出能量的局部极小点；t 越小时，情形正相反。 ( 4 1 竞争式学习： 竞争式学习属于无教师学习方式。这种学习方式是利用不同层问的 神经元发生兴奋性联接，以及同一层距离很近的神经元间发生同样的兴 奋性联接，而距离较远的神经元发生抑制性联接。在这种联接机制中引 入竞争机制的学习方式称为竞争学习。它的本质在于神经网络中高层次 的神经元对低层次神经元的输入模式进行竞争识别。在这类学习规则中， 关键不在于实节点的输出怎样与外部的期望输出相致，而在于调整权 向量以反映观察事件的分布，提供基于检测特性空间的活动规律的性能 描写。 2 3b p 网络及其算法 2 3 1b p 网络 下面具体讨论本课题主要研究的基于遗传算法优化的b p 网络的相 1 1 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 关理论，误差反向传播神经网络，简称b p 网络，是一种单向传播的多 层前向网络。在自适应控制、模式识别、图象处理、系统辨识、函数拟 合、优化计算，最优预测等领域有着较为广泛的应用。图2 3 1 是b p 网 络示意图。 喻 按 式 墙入层隐舍屡蝓出羼 1 磊丽一 图2 3 1b p 网络结构 误差反向传播的b p 算法简称b p 算法，其基本思想是最小二乘法。 它采用梯度搜索技术，以期使网络的实际输出值与期望值的误差均方值 为最小。 b p 算法的学习过程由正向传播和反向传播组成。在正向传播过程 中，输入信息从输入层经隐含层处理，并传向输出层，每层神经元的状 态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则 转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经 元的权值，使误差信号最小。 设b p 网络的结构如图2 3 1 所示，有m 个输入节点，输入层节点 的输出等于其输入输出层有l 个输出节点，网络的隐含层有q 个节点， 缈。是输入层和隐含层节点之间的连接权值。国。是隐含层和输出层节点 之间的连接权值，隐含层和输出层节点的输入是前一层节点的输出的加 权和，每个节点的激励程度由它的激发函数来决定。 2 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 2 3 2b p 算法 ( 1 ) b p 网络的前馈计算 在训练该网络的学习阶段，设有n 个训练样本，先假设用其中的 某一固定样本中的输入输出模式彳，和 d 肚 对网络进行训练。暂时将公 式中样本p 的记号略去，如隐含层的第j 个节点的输入写为： m n e t = n e t j = d j ( 2 3 - 1 ) j = 1 第j 个节点的输出为 o j = f ( n e t ，) ( 2 - 3 2 ) 其中，f ( n e t j ) = 丢而 1 + p 一r ( 2 3 3 ) 其中，q 表示偏置或闽值，正的q 的作用是使激发函数沿水平轴向 右移；吼的作用是调节艿函数的形状，较小的晚使占函数逼近阶跃函数， 较大的吼使j 函数变得较为平坦。占函数为： 万。薏= 一瓦o e p 瓦3 y p ( ：。) a 8 。a y 。a 0 ， 、 第j 个节点的输出g 将通过加权系数且向前传播到第个节点，输 出层第个节点的总输入为： n e t k = o j ( 2 - 3 5 ) 其中q 为隐含层的节点数。输出层第| i 个节点的实际网络输出为： 0 = f ( n e t ) 若网络输出与期望输出值d 。不一致，则将其误差从输出端 反向传播( 见图2 3 1 ) ，并在传播过程中对加权系数不断修j 下，使在 输出层节点上得到的输出结果尽可能接近期望输出值以。对样本 沈阳化t 学院硕士学位论义第二章神经网络理论基础 p ( p = 1 , 2 ，p ) 完成网络加权系数的调整后，再送入另一样本模式对， 进行类似学习，直到完成p 个样本的训l 练学习为止。 ( 2 1b p 网络权值的调整规则 设每一样本p 的输入输出模式对的二次型误差函数定义为： 1 上 2 e ，= 寺( d 肚一d 肿) ( 2 _ 3 6 ) 厶 = 1 系统的平均误差代价函数为： o 肚) = e f ( 2 3 - 7 ) 式中，p 为样本模式对数，l 为网络的输出节点数。问题是如何调整 连接权系数以使代价函数e 最小。下面给出一阶梯度法的优化方法，即 最速下降法权值调节的权系数公式。 输出层权系数修正公式为： a ( o j , = r ( d k q ) f ( n e t i ) o j = 可以o j ( 2 3 - 8 ) 对于输出节点k ： a p c o 业= 。( n e t p , ) ( d 肚- 0 肚) 0 ( 2 3 9 ) 隐含层节点权系数调整： 对于隐含节点，： a p ( o f = 矿( n f f ) i 占p k ( 0 止1 0 ， ( 2 - 3 1 0 ) ，l、 k = l 式中，0 肚是输出节点k 的输出，o p j 是隐含节点，的输出，0 。，是输入节 点i 的输出。因此有网络连接权值调整式； c 0 0 ( t + 1 ) = c 0 0 , ( t ) + 卵4 q + 口f ( 0 一c o , j ( t 1 ) 】( 2 3 1 1 ) 式中，t + l 表示第t + l 步，口平滑因子，0 口 1 。 ( 3 ) b p 网络学习算法的流程图如图2 3 2 在使用b p 算法时，要注意几个问题： 1 ) 学习开始，各隐含层连接权系数的初值应以设置较小的随机数为适宜。 2 ) 采用s 型激发函数时，由于输出层各神经元的输出只能趋于1 或o ， 不能到达1 或0 。在设置各训练样本时，期望的输出分量d 。不能设 置为1 或0 ，以设置为0 9 或0 1 为适宜。 1 4 沈阳化t 学院硕士学位论文 第二章神经网络理论基础 3 ) 学习速率柙的选择，在学习开始阶段，叩选较大的值可以加快学习速率。 学习接近优化区时，玎值必须相当小，否则权系数将产生振荡而不收敛。 平滑因子班的选值在0 9 左右。 初始化 给定输入向量和目标输出 求隐含层、输出层各节点输出 求目标值与实际输出的偏差 计算反向误差 ，夏、权值学习 n 0 ； b 计算误差e 的负梯度方向d ( ”) = v e ( c o ) ： c 若肛枷j f e ，则停止计算；否则从w ( n 。) 出发，沿d ”作一维搜索，求 兰堕些三竺堕堡主兰堡丝兰 篁三童壁垒堕塑堡笙茔型 出最优步长，7 ( n 。) ； d 进行权的迭代： w ( n 。+ 1 ) = w ( n o ) + 即( 咒o ) d ( 2 - 3 1 2 ) 并转b a 但是在b p 算法中步长五( 学习率) 是不变的，其原因是由于e ( w ) 是一 个十分复杂的非线性函数，很难通过最优求极小的方向得到最优的步长 五。可是从b p 网络的误差吐面看出，有平坦区存在，如果在平坦区上五 太小使迭代次数增加，而当w 落到误差剧烈变化的地方，步长太大又使 误差增加，反而使迭代次数增加影响了学习收敛的速度，变步长方法可 以使步长得到合理的调节。 ( 2 ) 加动量项。 为了加速收敛和防止振荡，在许多文献中都建议引入一个动量因子a ： w ( n o + 1 ) = w ( n o ) + 五( 辩o ) d ( ”o ) + o a w ( n o ) ( z - 3 1 3 ) 其中第三项是记忆上一时刻权的修改方向，而在时刻n 。的修改方向为 ( 1 2 。一1 ) 时刻的方向与1 1 。时刻方向的组合。将式( 2 3 13 ) 改写为： w ( no + 1 ) 2 w ( no ) + ( no ) d ( n o ) + i 笋_ a w ( n o ) 】( 2 - 3 - 1 4 ) x 4 , n oj 上式中动量因子0 a 0 ，五要 减小时，让a = o ，然后调节到五增加时，使a 恢复。 此外还有很多b p 算法的改进方法，以上列出的是最常用的改进方法。 2 4 小结 本章在回顾了神经网络的发展历史的同时，详细地介绍了神经网络理 论，讨论了不同结构的神经网络以及它们的算法，包括前馈神经网络结 构和反馈神经网络结构，这两种结构也是最典型的神经网络结构。随后 重点介绍了本课题主要研究的b p 网络的相关理论，针对b p 网络给出了 详尽的讨论，最后在介绍了b p 网络算法的同时总结了这种算法的不足 之处，提出几种改进方法，b p 网络是一种前馈网络，其算法具有反向 传播的特点，其反向传播的是网络输出值与期望值的偏差。不过b p 网 络极易陷入局部极小值，下章讨论的遗传算法具有全局寻优的特点，能 够很好的弥补b p 网络收敛速度慢、容易陷入局部极小值问题。 沈阳化t 学院硕士学位论文 第三章遗传算法理论研究 第三章遗传算法理论研究 3 1 遗传算法的历史回顾 1 9 6 8 至1 9 7 1 年，h o l l a n d 提出了重要的模式理论1 1 3 1 ，建议采用二进 制编码。h o l l a n d 首次采用二进制编码来研究函数优化问题，并指出了运 用g r a y 码的一些优点，研究了从生物系统引申出的各种不同的选择和配 对策略。 1 9 7 5 年树立了遗传算法发展史上的两块里程碑： 一是h o l l a n d 出版了经典著作“a d p t a t i o ni n n a t u r ea n da r t i f i c i a l s y s t e m ”，该著作是作者十几年f b j 许多思想的结晶，详细阐述了遗传算法 的理论，并为遗传算法奠定了数学基础，发展了一整套模拟生物自适应 系统的理论； 二是d e j o n g 完成了具有指导意义的博士论文岬】“a n a n a l y s i so f t h e b e h a v i o ro fac l a s so fg e n e t i ca d a p t i v es y s t e m ”。 进入八十年代，随着以符号系统模仿人类智能的传统人工智能暂时 陷入困境，神经网络，机器学习和遗传算法等从生物系统底层模拟智能 的研究重新复活并获得繁荣。o o l d b e r g 在遗传算法研究中起着继往开来 的作用 t s , t 6 ，他在1 9 8 3 年的博士论文中第一次把遗传算法用于实际的工 程系统一一煤气管道的优化f l ”，从此，遗传算法的理论研究更为深入和 丰富，应用研究更为广泛和完善。 进入九十年代，以不确定性、非线性、时间不可逆为内涵，以复杂 问题为对象的科学新范式得到学术界的普遍认同，如广义进化综合理论。 由于遗传算法能有效地求解属于n p c 类型的组合优化问题及非线性多模 型、多目标的函数优化问题以及其他复杂问题的求解，从而得到了多学 科的广泛重视。 表3 1 列出了遗传算法理论的经典研究成果： 沈阳化t 学院硕士学位论文 第三章遗传算浊理论研究 表3 1 年份贡献者内容 1 9 6 2h o l l a n d 程序漫游元胞计算机自适应系统框架 1 9 6 8h 0 l l a n d 模式定理的建立 l9 7 1h o l l s t e i n 具有交配和选择规则的二维函数优化 19 7 2b o s w o r t h 提出具有复杂变异、遗传算法的基因操作 1 9 7 2f r a n t z 位置非线性和倒位操作研究 1 9 7 3h o l l a n d 遗传算法中实验的最优配置和双臂