（计算机软件与理论专业论文）bp算法的改进及其应用研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 随着人工神经网络的发展，其用途日益广泛，应用领域也在不断拓展，已在人工 智能、自动控制、计算机科学、信息处理、机器人、模式识别等各个工程领域中有着 成功的案例。在众多的神经网络中，又以b p ( b a c kp r o p a g a t i o n ) n 络的应用最为广泛， 它所采用的b p 算法已成为目前应用最为广泛的神经网络学习算法，绝大部分的神经网 络模型都是采用b p 算法或它的变化形式。这类算法具有很好的非线性映射能力、泛化 能力、容错能力，已在各个工程领域中取得了广泛的应用。但人们在使用过程中却发 现，该类算法存在这样那样的局限，比如收敛速度慢、容易陷入局部极小值以及忘记 旧样本的趋势，这些局限性严重影响了b p 算法的应用。 本文主要针对b p 算法的缺点，从进化算法和b p 算法融合的角度进行改进，设计 出效果较优的算法。主要的研究工作如下： 第一、在对生物神经网络认识的基础上，对人工神经网络进行了系统的综述。重 点研究了b p 神经网络模型，对它所采用的b p 算法进行了进行了详细的推导，定性分 析了该算法的局限性。最后通过吸取前人的b p 网络设计经验，总结出了基本的网络设 计方法，以求推广b p 网络的应用。 第二、研究了遗传算法，对遗传算法的构成要素进行了详细的探讨。在此基础上， 将它与加动量项和自适应学习率的b p 改进算法相结合，提出了一种基于遗传算法的神 经网络训练算法，建立了遗传神经网络模型。 第三、分析了基本蚁群算法的原理以及三种蚁群算法模型，在t s p 问题上，当城 市个数很小时，它们具有很好的性能，当问题规模增大时，它们的求解性能下降。针 对这一问题，研究了改进蚁群算法蚁群系统( a c s ) 原理并进行了仿真实验。在此基 础上，结合蚁群系统对b p 算法进行改进，提出了一种基于蚁群算法的神经网络训练算 法，建立了蚁群神经网络模型。 第四、进一步讨论了基于蚁群算法的神经网络训练算法中的利用分割法和随机生 成法生成蚁群算法的备选权值集合的方式，提出了利用遗传算法优化生成备选权值集 合的方法，通过比较表明此方法对于该算法的收敛性有一定影响，但影响不大。 将本文所提出的算法运用在城镇居民家庭人均可支配收入的预测方面，验证了算 法的优越性。在一定程度上克服了神经网络容易陷入局部极小值，达到快速收敛的目 的。 关键字：神经网络；遗传算法；蚁群算法； 西南交通大学硕士研究生学位论文第1 i 页 a b s t r a c t w i t ht h ed e v e l o p m e n to fa r t i f i c i a ln e u r a ln e t w o r k s ，i ti sa p p l i e dw i d e l yi nm o r ef i e l d s s u c ha sa r t i f i c i a li n t e l l i g e n c e ，i n t e l l i g e n tc o n t r o l ，c o m p u t e rs c i e n c e ，i n f o r m a t i o np r o c e s s i n g ， r o b o t i c s ，p a t t e mr e c o g n i t i o n b p ( b a c k p r o p a g a t i o n ) n e u r a ln e t w o r ki so n eo ft h em o s t w i d e l ya p p l i e dn e u r a ln e t w o r k s b pa l g o r i t h mh a sb e c o m et h em o s tw i d e l ya p p l i e dn e u r a l n e t w o r ka l g o r i t h m s ，i ta n di t sd e f o r m a t i o n sa r eu s e di nm o s tn e u r a ln e t w o r km o d e l s t h e s e a l g o r i t h m sw h i c hh a v eg o o dn o n l i n e a rm a p p i n ga b i l i t y ，g e n e r a l i z a t i o na b i l i t ya n df a u l t t o l e r a n c eh a v ew i d ea p p l i c a t i o n si nv a r i o u se n g i n e e r i n gf i e l d s h o w e v e r ，t h es t a n d a r db p a l g o r i t h mo ri t si m p r o v e da l g o r i t h m sa r eb a s e do ns t e e p e s td e s c e n ta l g o r i t h m ，t h u st h e r ea r e s o m es h o r t c o m i n g s ，s u c ha ss l o wc o n v e r g e n c e ，e a s yt of a l li n t ol o c a lm i n i m u ma n df o r g e t t h eo l ds a m p l e s t h e s es h o r t c o m i n g ss e r i o u s l ya f f e c tt h ea p p l i c a t i o no fb pn e t w o r k i nt h i st h e s i s ，t h es h o r t c o m i n g so fb pa l g o r i t h mi ss t u d i e d ，f r o mt h ep e r s p e c t i v eo f c o m b i n i n ge v o l u t i o n a r ya l g o r i t h m 、析t 1 1b pa l g o r i t h m t h eo p t i m u ma l g o r i t h m sa r ed e s i g n e d t h em a i np o i n t so fr e s e a r c ha r ea sf o l l o w s ： f i r s to fa l l ，o nt h eb a s i so ft h e a n a l y s i so ft h eb i o l o g i c a ln e u r a ln e t w o r k s ，t h e b a c k - p r o p a g a t i o nn e t w o r k sa r ee x p o u n d e ds y s t e m a t i c a l l y t h es t a n d a r db pa l g o r i t h mi s d e r i v e di nd e t a i la n di t ss h o r t c o m i n g sa r ea n a l y z e dq u a l i t a t i v e l y t h e ni no r d e rt oe x p a n dt h e a p p l i c a t i o no fb pn e t w o r k ，ab a s i cn e t w o r kd e s i g nm e t h o di ss u m m a r i z e d s e c o n d l y ，t h eg e n e t i ca l g o r i t h mi ss t u d i e d ，a n di t se l e m e n t sa r ep r o b e di nd e t a i l t h e n b yc o m b i n i n gi tw i t hb pa l g o r i t h mi nt h et e r mo fa d a p t i v el e a r n i n gr a t ea n dm o m e n t u mt e r m ， an e u r a ln e t w o r kt r a i n i n ga l g o r i t h mw h i c hi sb a s e do nt h eg e n e t i ca l g o r i t h mi sd e s i g n e d ，a n d ag e n e t i cn e u r a ln e t w o r km o d e li se s t a b l i s h e d t h i r d l y ，t h eb a s i ca n tc o l o n ya l g o r i t h ma n di t st h r e em o d e l sa r es t u d i e d ，i nt h et s p p r o b l e m ，w h e nt h en u m b e ro fc i t i e si sl e s s ，t h et h r e e b a s i ca n tc o l o n ya l g o r i t h m sh a v eg o o d p e r f o r m a n c e ，b u ti t sp e r f o r m a n c ed e g e n e r a t e dw h e nt h ep r o b l e ms c a l ei n c r e a s e s t os o l v e t h e s e s h o r t c o m i n g s ，a c sw a sp r o p o s e da n di t ss i m u l a t i o ne x p e r i m e n t sa r ed i d t h e n c o m b i n i n gi tw i t l lb pa l g o r i t h mi nt h et e r mo fa d a p t i v el e a r n i n gr a t ea n dm o m e n t u mt e r m a n e u r a ln e t w o r kt r a i n i n ga l g o r i t h mw h i c hi sb a s e do na n tc o l o n ya l g o r i t h mi sd e s i g n e da n da c o l o n yn e u r a ln e t w o r km o d e ii se s t a b l i s h e d f i n a l l y ，t h ew a yo fg e n e r a t i n gt h ew e i g h t ss e t si nt h eu s eo fs e g m e n t a t i o na n dr a n d o m i nt h en e u r a ln e t w o r kt r a i n i n ga l g o r i t h mw h i c hi sb a s e do na n tc o l o n ya l g o r i t h mi sd i s c u s s e d ， a n da n o t h e rw a yo fu s i n gt h eg e n e t i ca l g o r i t h mf o rg e n e r a t i n gw e i g h ts e t si sp r o p o s e d ，i t s h o w st h a tt h i sm e t h o da f f e c t st h ec o n v e r g e n c eo ft h ea l g o r i t h m ，b u tn o ts i g n i f i c a n t l y 西南交通大学硕士研究生学位论文 第1 i i 页 i nt h i st h e s i s ，b yp u t t i n gt h ea l g o r i t h m sw h i c ha r ep r o p o s e da b o v ei n t op r a c t i c eo ft h e p o s i t i v er e s e a r c ht of a m i l y sd i s p o s a b l ei n c o m e 、析t hu r b a nr e s i d e n t so fd u r i n gt h ec i t i z e n s t e n t hf i v e y e a rp l a np e r i o do f t h et e n t hf i v e - y e a rp l a n ”，t h er e s u l t ss h o wt h a tt h e i m p r o v e da l g o r i t h m sc a no v e r c o m et h en e u r a ln e t w o r kf a l l i n gi n t ol o c a lm i n i m u ma n d a c h i e v et h eg o a lo ff a s tc o n v e r g e n c et oac e r t a i ne x t e n t k e y w o r d s ：n e u r a ln e t w o r k s ；g e n e t i ca l g o r i t h m s ；a n tc o l o n ya l g o r i t h m 西南交通大学曲南爻逋大罕 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权西南交通大学可以将本论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 不保密酣使用本授权书。 ( 请在以上方框内打“”) 学位论文作者签名： 羲众硪 、 日期：矽f 矿，p 将老师虢矽j 锄、 日期：矽，夕6 ，乙一 西南交通大学硕士学位论文主要工作( 贡献) 声明 本人在学位论文中所做的主要工作或贡献如下： 1 ) 研究了b p 网络模型。首先介绍了b p 网络模型结构，对它采用的b p 训练算法 进行了推导。然后，定性分析了b p 算法的局限性。最后通过吸取了前人的b p 网络设 计经验，总结出了基本的设计方法，便于网络的设计，以推广b p 网络的应用。 2 ) 针对b p 算法的缺点，利用进化算法进行改进。首先将加动量项、自适应学习率 的b p 改进算法与遗传算法这三者相结合，设计了一种基于遗传算法的b p 网络训练方 法；其次再将加动量项、自适应学习率的b p 改进算法与蚁群算法相结合，设计了另外 一种基于蚁群算法的b p 网络训练方法。最后，以城镇居民家庭人均可支配收入预测问 题为实例，验证了改进的训练方法的有效性和正确性。 3 ) 进一步探讨了基于蚁群算法的b p 网络训练方法中的蚁群算法备选权值集合的生 成方式，提出了利用遗传算法求出的较优个体作为备选权值集合的方法。 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所得的成 果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰 写过的研究成果。对本文的研究做出贡献的个人和集体，均己在文中作了明确说明。 本人完全了解违反上述声明所引起的一切法律责任将由本人承担。 学位论文作者签名： 爹矗i 式 日期：沙fp 6 。i v 西南交通大学硕士研究生学位论文第1 页 i n , n 笪nn t-nn_ 一 i l l 蔓曼曼曼鼍曼曼曼皇曼 第1 章绪论 1 1 课题的研究背景及意义 人脑的信息处理机制是在漫长的进化过程中逐渐形成和完善的，通过将计算神经 科学研究得到的人脑系统层次和生物科学( 主要是细胞和分子水平) 研究得到的人脑 微观层次结合起来，人类形成了对人脑神经网络的基本认识。在此基础上，由多个简 单的处理单元彼此按照某种方式相互连接而形成的计算机系统来模拟人脑神经网络的 信息存储、加工处理机制，建立某种简化的模型，就称为了人工神经网络。该网络通 过对连续或断续式的输入作出状态响应而进行信息处理。虽然每个神经元的结构和功 能十分简单，但由这些神经元构成的网络系统的行为十分复杂，它不但具有一般非线 性系统的共性，更主要的是还具有自己的特点，这些特点主要有【l 】： 1 ) 并行分布处理。该特点使得神经网络在信息处理方面具有分布存储与并行计算、 存储和处理一体化的优势，由此带来了较快的处理速度和较强的容错能力。 2 ) 自学习、自组织、自适应。自学习是指当外在条件变化时，经过一段时间的训 练，通过自动调整网络参数，逐步逼近期望值。自组织是指在外部的刺激下，该网络 按照一定规则调整网络连接，逐步构建起网络的过程。神经网络能够改变自身的性能 以适应新的条件变化，这就是自适应性。 目前对人工神经网络的研究可分为二大类，一是理论模型；二是应用。理论模型 的研究已经提出很多的模型，它们之间的差异主要表现在网络结构、学习算法及其应 用领域上。应用研究领域包括信息处理领域、自动化领域、工程领域、经济领域、医 学领域等方面。神经网络已经在社会主义现代化建设中具有广阔的应用前景，解决了 许多传统方法不能解决的问题，但神经网络也不是尽善尽美的，因为神经网络理论具 有很强的交叉特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题， 既给神经网络理论的研究提出了新挑战，又给它迎来了发展的最大机会。要想建立起 严密的理论体系，还要等待生物学家破译人脑的秘密。目前，神经网络的理论研究和 实际应用都在进一步的探索之中，它至今仍然是一门非常重要又极具挑战的课题，是 当今的研究热点之一。 在众多的神经网络中，b p 网络是应用最广泛的网络，它所采用的b p 算法已成为 研究神经网络必须学习的算法。因为绝大部分的神经网络模型都是采用b p 算法或它的 变化形式，这类算法具有很好的非线性映射能力、泛化能力、容错能力，但同时人们 在理论研究和实际应用中发现该类算法仍然存在很多局限，比如收敛速度慢、易陷入 局部极小以及忘记旧样本的趋势，这些缺陷严重影响了b p 网络的应用。尽管前人做了 深入的研究，但到目前为止，还是存在这样那样的缺点。因此，通过深入研究b p 算法， 西南交通大学硕士研究生学位论文第2 页 设计新的改进算法，对于推广b p 网络的应用，具有十分重要的意义。 1 2 国内外研究现状 神经网络是一门边缘性交叉学科，研究它的发展过程、前沿问题，具有重要的理 论意义。 人工神经网络的研究工作始于1 9 世纪末期，虽然目前已经在很多领域取得了广泛 的应用，但它发展过程尤其曲折，大致分为四个时期【l j ： 1 ) 启蒙时期 1 8 9 0 年，美国心理学家w i l l i a mj a m e s 出版了第一部详细论述人脑结构和功能的专 著心理学原理，他首先对于学习、联想记忆相关的基本原理进行了研究。1 9 4 3 年， m c c u l l o c h 和p i t t s 提出了神经元模型，为m p 模型【9 j ，开创了神经网络理论研究先河， 该模型指出神经元可用简单的插值函数来表示，用它可以实现逻辑函数功能。1 9 4 9 年， h e b b 认为信息能被存储在神经元的连接上，也就是说大脑的活动是靠脑细胞的组合连 接实现的，他提出了更新神经元连接的学习机制，被称为h e b b 学习规则【7 j 。 f r o s e n b l a t t l 9 5 8 年提出了感知器模型2 | ，这是第一个真正的神经网络，它通过学习、修 改连接的权值，能够分类一定的模式。感知器模型在首次提出时由于其概念简单，网 络结构简单，因此很受重视，但后来m i n s k y 年 i p a p e r t 从数学上证明：感知器不能完成复 杂的逻辑函数功能【l j 。2 0 世纪6 0 年代初，b w i d r o w 和m h o f 魄 f i a d a l i n e ( a d a p t i v el i n e a r e l e m e n t ) 模型 l ，该模型采用最小均方( l e a s tm e a ns q u a r e ，l m s ) 算法( 即梯度下降法) 来调节权值，使输出与期望输出的误差最小。a d a l i n e 具有线性和自适应性的特点，而 且l m s 算法具有严格的数学基础，因此该模型成为了自适应信号处理的有力工具，其 采用的硬件方法实现人工神经网络的思想为今天开发神经网络硬件指明了方向。 2 ) 低潮时期 随着神经网络研究的深入，m i n s k y 年1 p a p e r t 对以感知器为代表的网络功能及其局限 性从数学上做了深入分析，发表名为感知器的书，该书指出简单的神经网络只能 用于线性问题的求解，能够求解非线性问题的网络应该具有隐层，而当时从理论上还 不能证明感知器模型扩展到多层是有意义的。该理论影响了当时神经网络的研究，从 此神经网络研究进入低潮时期。但是仍然有不少学者投入神经网络的研究工作中【l 】： p a u lw e r b o s 在研究社会科学问题时，发现了b p 算法的数学原理；a m a r i 研究了神经网络 的数学理论；g r o s s b e r g 与g a i lg a r p e n t e r 基于人脑自动组织的识别码( r e c o g n i t i o nc o d e ) 思想，提出了自组织映射理论( a d a p t i v er e s o n a n c et h e o t y , a r t ) ；日本的f u k u s h i m ak 阴 提出了一些神经网络结构* d j i i 练算法，其中最重要的就是具有进行模式识别的能力认 知机模型。 3 ) 复兴时期 西南交通大学硕士研究生学位论文第3 页 1 9 8 2 年，j h o p f i e l d 通过总结和吸取前人对神经网络的研究成果，把网络结构和学 习算法结合起来，并对网络采取系统分析的方法，引入能量函数来研究系统的稳定性， 提出了h o p f i e l d 神经网络，又掀起了神经网络研究的热潮。接着，g e h i n t o n 和 t j s e j n o w s k i t7 采用统计学的概念和方法提出了一种随机神经网络模型b o l t z m a n 机， 其学习过程采用模拟退火技术，有效克服了极小问题。2 0 世纪8 0 年代中期，r u m e l h e r t 和他的同事们出版了著名的并行分布式处理( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 专著i7 ，建 立了b p 算法和前向神经网络。 4 ) 高潮时期 以1 9 8 7 年首届国际人工神经网络学术会议为开端，迅速再次引燃了人们对神经网 络的研究热情。至此，神经网络这一门活跃的边缘性交叉学科，应用领域不断拓展， 取得了辉煌的成果。9 0 年代，又提出了基于知识的人工神经网络和进化神经网络等。 我国对于神经网络的研究最早涉及的学者只有涂序彦等，他们于1 9 8 0 年出版了 生物控制论，书中的神经系统控制论单独设为一章，系统地介绍了神经元和神 经网络的结构、功能和模型。随着神经网络国际研究的复苏，尤其在1 9 8 2 年，j h o p f i e l d 提出了h o p f i e l d 神经网络。该研究激发了国内学者们对神经网络的研究热情。北京大 学非线性研究中心在1 9 8 8 年9 月举办了b e i j i n gi m e m a t i o n a lw o r k s h o po nn e u r a l n e t w o r k 。1 9 8 9 年召开了非正式的全国神经网络会议，1 9 9 0 年2 月，我国八个学会在 北京召开“中国神经网络首届学术大会”，会议主题为“八学会联盟，探智能奥秘”， 开创了人工神经网络研究的新纪元。紧接着第二年在南京召开了第二届中国神经网络 学术大会，成立了中国神经网络学会。与此同时神经网络的相关课题研究也进入国家 “8 6 3 ”、“攀登 计划，纳入相关基金的选题指南。同年国际神经网络学会和i e e e 神 经网络委员会主办的国际性学术会议在北京召开。 从1 8 9 0 年以来，伴随着人们对神经网络的不断深入研究，国内外学者已经提出了 多种神经网络模型，包括多层前向神经网络( b p ) 、自组织神经网络( s o m 和趾玎) 、 h o p f i e l d 神经网络、模糊神经网络f n n 等，现有的模型按照神经网络的信息传递方向 可以分成两类i l 】：反馈网络和前馈网络。 1 ) 反馈网络 在反馈网络中，每个神经元既可以从外界接受输入又可以向外界输出，有些神经 元的输出被反馈至同层或前层神经元，任何神经元均互连以组织一个互连神经网络。 因此，信号能够从正向和反向流通。h o p f i e l d 网络是反馈网络有代表性的例子。 2 ) 前馈网络 前馈网络由一些同层神经元间不存在互连的输入层、隐层( 可以多层) 、输出层组 成，信息的处理具有逐层传递进行的方向性，各神经元接受前一层的输入信号，并且 输出至下一层。前馈网络的例子有多层感知器( b p ) 。 西南交通大学硕士研究生学位论文第4 页 曼曼曼曼鼍曼曼曼曼曼詈鼍曼皇曼皇曼曼曼! 曼曼i i i mii 一 i 邕 目前，在众多的神经网络模型中，又以b p 网络的应用最为广泛，它在信息处理领 域、自动化领域、工程领域、经济领域、医学领域等都有成功的实例。b p 算法已成为 目前应用最为广泛的神经网络学习算法，绝大部分的神经网络模型都是采用b p 算法或 它的变化形式。但标准b p 算法也不是尽善尽美的，在理论研究和实际应用中，发现了 这种基于梯度下降的b p 算法的不足，存在收敛速度慢、容易陷入局部极小值、缺乏统 一的理论指导网络设计等缺点。针对这些缺陷，国内外学者已经提出了很多行之有效 的改进算法哺j ，现有的常见方法分为增加动量项、自适应学习率、初始权值的优化三类。 1 ) 增加动量项：在标准b p 算法中，权值调整只考虑k 时刻的梯度，而没有考虑以 前的梯度变化方向，即网络训练积累的经验，因此导致训练过程发生震荡，收敛速度 过慢。为了解决这个问题，提出了动量项法。该方法使权值调整在当前变化量的基础 上，增加一个正比于前一个权值调整量的量，这样做会导致收敛加快，就相当于我们 学新知识时，必须用旧知识来理解新知识，那么学习就会加快一样。 2 ) 自适应学习率：在标准b p 算法中，学习率通常为常数。但在实际应用中，很难 确定一个合理的学习率。在平坦区域，希望增大学习率，以使训练更快的逃离该区域； 在某些陡峭的区域，希望减小学习率，避免网络训练振荡，这就增加了训练次数。目 前较理想的方法是自适应的调整学习率。常用的方法是根据误差变化来作为自适应调 整的依据。 3 ) 初始权值的优化：在标准b p 算法中，权值调整过程按照误差梯度降的方式进行， 所以一旦确定初始值，就基本确定了权值调整方向，那么一旦初始权值选择不好，会 影响算法是否收敛，即使收敛是否可以到达指定的精度。目前一种常用的方法是可以 采取相关的优化算法来优化网络的采用随机方式生成的初始权值，使其最大限度的避 免b p 算法发散，或者说收敛过慢的问题。 目前较常用的方法为第三种。近年来，随着遗传算法、蚁群算法等进化算法的相 继出现，它们都具有全局优化搜索性质，容易得到全局最优解。它们的发展为改进b p 算法指明了另外一种方向，即这些算法融合。可以综合它们各自的优势，扬长补短。 将进化算法和b p 算法结合起来。这样的结合是有意义的，因为这样不仅能够发挥神经 网络的泛化能力和学习能力，并且可以加快神经网络的收敛。目前关于这些算法结合 的研究，主要集中在三个方面 3 8 3 9 4 0 4 14 2 4 34 4 4 5 】：利用进化算法优化神经网络的连接权、 网络结构以及学习规则。 1 ) 丰f 9 经网络权值的优化 神经网络的训练过程实际上是一种复杂函数的优化问题。其本质为在训练中逐步 调整权值并最终寻找较好的权值分布，其整体分布包含着所提取出全部知识。 大多数传统的学习算法，比如：误差反传算法、共轭梯度法等都是基于梯度的， 它们对权值初值十分敏感。这些算法的权值调整过程是严格按照误差梯度下降的方式 西南交通大学硕士研究生学位论文第5 页 进行的，所以一旦确定初始值，就基本确定了权值调整方向。如果权值初值选择不好， 训练会很容易陷入局部极小值，得不到较好的权值分布。如果采用进化算法进行前期 的优化，可在一定程度上克服这种缺点。 2 ) j ：0 0 经网络结构的优化 连接权值优化是建立在神经网络固定的结构之上。一个好的结构不允许有多余的 节点和权值存在，但是网络结构的设计缺乏统一的理论。实际建模中，通常采用经验 和实验试探相结合的方法，才能设计出优化的网络结构，这种过程是需要大量的时间 的。因此可以通过对结构进行编码，运用进化算法运算，可以得到较优的结构。目前 很多学者致力于这方面的研究。 3 ) 学习规则的优化 以上的两种优化都是假定学习规则是固定的，但是未必合理【9 j 。利用进化算法来设 计网络的学习规则。目前大部分工作集中在学习指导进化或者是结构训练和权值调整 之间的关系等方面。一般来讲，学习规则优化包括学习参数的进化和学习规则的进化。 利用进化的思想对b p 算法的参数，学习率和动量因子进行自适应调节只是进化学习规 则的初探1 5 j ，学习规则进化的研究才刚刚开始。 目前，国内外学者已经将进化算法和神经网络在一定程度上进行了结合。庞勇1 2 j 在2 0 0 3 年1 2 月进行了遗传算法和神经网络的分析与改进研究，并建立了电池荷电态 自适应预测模型。章义来i l5 j 将遗传算法进行改进并用来优化神经网络权值，运用异或 问题验证了算法的有效性，克服了神经网络容易陷入局部极小的缺陷。王小玲1 3 j 等人 用v c + + 编程实现遗传算法对神经网络权重的优化，通过异或问题验证了该算法的有效 性。尹淑玲【5 1 2 0 0 7 年进行了基于自适应遗传算法和改进b p 算法的遥感影像分类实验， 采用混合算法和四层神经元网络模型，有效的解决了武汉地区t m 影像分类。伍振军【l 6 j 通过对流域土地覆盖利用几种分类方法的研究，指出基于遗传b p 算法具有较强的分 类能力。周永进【7 】进行b p 网络的改进及其应用研究，针对b p 算法收敛慢，对转移函 数进行了限制和新的定义。孙娓娓瞵j 进行b p 神经网络的算法改进及应用研究，将寻优 能力较强的遗传算法和b p 算法相结合，设计了一种基于改进遗传算法的b p 网络训练 方法。张璐璐桫j 提出了基于遗传神经网络的人民币识别方法，对遗传算法的选择、交叉、 变异进行了分析，得到最优个体，优化神经网络的初始权值和阀值，并将网络应用于 人民币识别。曹步清【2 7 】同样做了g a 优化b p 神经网络的货币识别研究。赵玖玲【1 4 】运 用遗传算法优化神经网络权值，并将此算法用来进行指纹识别分类，证明了该算法的 有效性、鲁棒性。谷小青【l7 】提出了遗传算法和b p 算法融合的三种方式，实现g a b p 算法同时优化网络结构和权值。李喜盼【1 8 】、翟宜峰【2 5 】、卢常娜【2 9 1 ，将神经网络和遗传 算法相结合分别做了滑坡灾害、气象预报、多泥沙洪水预报、洪水预报等研究，为气 象预报工作的发展做出了重要贡献。郑志军【1 9 】、戎丽霞例研究了实数编码方法在遗传 西南交通大学硕士研究生学位论文第6 页 神经网络中的运用。姚亚夫【2 l 】、陈文1 3 u j 等人将遗传神经网络运用在交通流预测方面， 取得了很好的效果。吴仕勇【2 3 j 将遗传算法和b p 算法结合起来并用于数字计算中。熊 凌1 2 4 j 提出了基于遗传算法的b p 网络全局收敛的混合智能学习算法，通过实验比较， 该算法优于遗传算法、b p 算法来进行网络训练。刘亚营【2 6 1 、郑卫燕【2 9 1 、b oy a n g 3 4 1 、 j i a n g a i p i n g 3 5 】做了基于遗传算法的b p 网络优化研究。伴随着蚁群算法的出现，为b p 算法的改进找到了另外一种新的算法。k r z y s z t o fs o c h a 3 6 j 做了蚁群算法优化神经网络 权值研究。高尚【4 2 】2 0 0 5 年在他的论文中对蚁群算法理论、应用及其与其它算法的混合 进行了研究。2 0 0 7 年浙江大学刘彦鹏1 4 l j 博士在论文蚁群优化算法的理论研究及其应用 提出a c o b p 算法并成功预测了煤灰熔点。z o uz h e n g d a 3 7 1 、邹刚【4 3 】、师春祥【4 8 1 将蚁 群算法和神经网络结合起来用于电力负荷预测，对安全供电和运输具有很大应用价值。 王鸽【4 0 】、梅红】、张国立【4 5 】等人都做了基于蚁群优化的前向神经网络的研究。金小梅 4 6 】运用a c o b p 算法运用于c 0 2 提纯，对现实的生产具有指导意义。卜松【47 】建立 a c a b p 网络模型，并运用黄河河渠断的实际材料，进行冰塞水位预测，预测结果基 本吻合。戴芬f 5 u j 、汪怔江【5 l j 将蚁群神经网络应用在企业资信评估中，具有较高的评价 准确率。 综上，伴随着进化计算的发展，许多学者做了它们与b p 算法一定程度的融合，但 是研究它们怎样和b p 算法、以及它们之间更好的结合是未来的一个研究方向，这一切 还需要做很多研究工作。本人做这个课题也是为响应国际国内的形式，神经网络在世 界范围的兴起，以及进化计算的发展，目前许多中国高等院校都把神经网络与进化计 算结合的研究作为研究生的研究学习方向，发表了很多研究论文。相信随着这些理论 的研究深入，b p 神经网络的应用领域将不断的扩展。 1 3 本文的研究内容 本课题的主要研究工作如下： 1 ) 研究了b p 网络模型。首先介绍了b p 网络模型结构，对它采用的b p 训练算法 进行详细的推导。然后，定性分析了b p 算法的局限性。最后，通过吸取前人的b p 网 络设计经验，总结出了基本的设计方法，便于网络的设计，以推广b p 网络的应用。 2 ) 研究了遗传算法并用它来进行b p 算法的改进。首先，简单介绍了遗传算法的原 理，对它的构成要素进行了详细的讨论，给出了遗传算法解决问题的基本步骤。然后， 针对b p 算法的缺点，从遗传算法与b p 算法融合的角度入手改进b p 算法，利用遗传 算法优化神经网络的权值，提出了一种基于遗传算法的神经网络训练算法，建立遗传 神经网络模型。 3 ) 重点讨论了蚁群系统及其运用它来进行b p 算法的改进。首先，对蚁群算法进行 介绍，包括蚁群算法的定义、发展、特点及其应用。通过引入了t s p 问题，重点介绍 西南交通大学硕士研究生学位论文第7 页 詈曼曼曼曼曼曼! m_ i _i i i _ 皇曼曼曼鼍皇曼曼曼曼曼曼! 曼! 曼曼曼曼 了基本蚁群算法原理及其三种模型。在t s p 问题上，当城市个数很小时，这三种模型 具有很好的性能，当问题规模增大时，它们求解性能下降。针对这一问题，分析了改 进蚁群算法( a c s ) 原理并进行了仿真实验。然后，针对b p 算法的缺点，从蚁群系统 与b p 算法融合的角度入手，采取了蚁群算法优化神经网络权值的策略，改进了b p 算 法，提出了一种基于蚁群算法的神经网络训练算法，建立蚁群神经网络模型。 4 ) 进一步讨论了基于蚁群算法的神经网络训练算法中的利用分割法和随机生成 法生成蚁群算法的备选权值集合的方式，提出了利用遗传算法优化的方式来生成蚁群 算法备选权值集合的方法。通过与其它两种方法比较，表明此方法对于该算法的收敛 性有一定影响，但影响不大，因为蚁群算法具有很强的寻优能力，非常适合解决组合 问题，而且b p 算法在一定程度上补偿了优于备选权值选取所带来的误差。 通过对十五期间中国城镇家庭人均可支配收入进行预测实验，验证本文提出的算 法的优越性，期望它们能较好地克服b p 算法的一些问题并且有效提高神经网络的泛化 性能。 1 4 论文的组织安排 论文的组织结构如下： 第1 章绪论 第2 章b p 神经网络模型 第3 章基于遗传算法的b p 神经网络改进遗传神经网络构建 第4 章基于蚁群算法的b p 神经网络改进蚁群神经网络构建 第5 章b p 算法与遗传算法、蚁群算法融合 第6 章总结与展望 西南交通大学硕士研究生学位论文第8 页 第2 章人工神经网络基本原理 人工神经网络是对人脑神经网络的某种抽象、简化和模拟【l 】，反映了人脑功能的若 干基本特性。在学习b p 神经网络之前，有必要学习生物神经网络。在此基础上学习人 工神经元模型及其网络的三种学习规则。最后学习应用最为广泛的b p 神经网络模型。 2 1 人工神经网络的生物学基础 自从模拟真正的人脑实际神经网络以来，人们更习惯把这种人工神经网络直接称 为神经网络。生物神经网络的基础在于生物神经细胞，因此研究生物神经细胞的客观 行为及其它们相互之间的连接是诞生和形成神经网络的理论物质基础。一方面，将生 物神经细胞的客观行为特性从数学角度来加以描述就产生了神经网络的神经元数学模 型；另一方面，将生物学解剖中神经细胞互连的方式加以数学描述就形成神经网络的 拓扑结构。因此，在研究神经网络相关理论之前，有必要揭露生物神经细胞的行为特 性和互连方式。 2 1 1 生物神经细胞的结构 在人脑中，虽然生物神经细胞的形态不尽相同，功能也有差异，但就其结构来讲， 都是由细胞体、树突、轴突以及突触四部分组成【。如图2 1 【8 】所示： 1 ) 细胞体 细胞体是由很多分子形成的综合体，内部含有一个细胞核、细胞质、细胞膜等。 细胞核占据细胞体的大部分，在这里进行新陈代谢等各种生物化学过程。整个细胞体 的最外层是细胞膜，它将其内外的细胞液分开。由于细胞膜对不同的离子具有不同的 通透性，由此存在离子浓度差，出现静电电位( 在这里规定，内部为正，外部为负) 。 2 ) 树突 所谓树突就是指细胞体向外伸延出许多的突起部分。它是接受从其它神经元传入 的信息的入口，相当于细胞体的信息输入端。 图2 ，1 生物神经元结构 西南交通大学硕士研究生学位论文第9 页 3 1 轴突 所谓轴突是指细胞体向外伸延出的最长突起，它是把生物神经细胞兴奋的信息传 出到其它神经元的出口，相当于细胞体的输出端。 4 ) 突触 突触是个神经细胞的轴突末梢与另一个神经元的树突之间相联系并进行信息传 送的结构。突触结构如图2 2 所示，它由突触前成分、突触间隙和突触后成分组成。 突触前成分是一个生物细胞的轴突末梢。突触后成分可以是细胞体，树突或轴突。突 触间隙是突触前成分与后成分之间的距离空间，在电学上把两者断开，它的存在说明 了细胞与细胞不直接相通，彼此通过突触这个纽带相连组成庞大的生物神经网络。 树突 图2 2 突触结构 2 1 2 生物神经细胞的信息处理机制 树突和轴突用来完成神经细胞之间的通信。树突接受来之其它神经细胞的输入， 轴突给其它神经细胞提供输出，各神经细胞通过突触进行连接，神经细胞对各突触点 的输入信号进行组合，在一定条件下产生输出信号，这一输出信号通过轴突传递给其 它神经细胞，信息的传递效率与突触的连接强度密切有关。因此，神经细胞突触是信 息处理的关键。 生物神经细胞的信息处理过程实际上是一种电化学活动【l 】。由于细胞膜本身对不同 的离子具有不同的渗透性，它将内外细胞液分开从而存在离子浓度差，进而出现电位 差。当无信号输入时，该电位差大致8 0 m v ( 在这里规定内部电压为负，外部为正) ，此 时的神经细胞处于静息状态。当神经元受n ； t - 界刺激时，如果电位差朝正的方向偏移， 此时神经元处于兴奋状态。相反则神经细胞处于抑制状态。偏移量的多少决定了神经 细胞的兴奋、抑制程度。在外界的刺激下，当神经细胞的兴奋程度超过了某个程度即 电位差超过某个阀值时，该神经细胞的膜电压的急剧上升，然后急剧下降，回到静息 值。在这个过程中会输出电脉冲，电脉冲宽度一般大约为l m s ，如图2 3 所示。由神经 细胞传出的电脉冲信号几乎可以不衰减，通过轴突传送到其它神经元去。它首先到达 轴突末梢，这时会使其中的囊泡产生变化从而释放神经递质，这种神经递质通过突触 西南交通大学硕士研究生学位论文第1 0 页 量曼曼皇曼曼曼曼鼍曼毫曼曼曼皇i ii iii； 一 i ii | 曼曼皇曼曼曼曼曼曼曼曼曼皇! 皇曼曼曼曼曼曼曼 的间隙进入到另一个神经细胞的树突中。然后树突上的受体能够接受神经递质，使膜 内外离子的通透性变化，从而导致膜外内离子浓度差产生变化，进而使电位产生变化。 这样，信息就从一个神经细胞传送到另一个神经细胞中了。 当神经细胞接受来自其它神经细胞的信息时，开始时膜电位是按时间连续渐渐变 化的。当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴 突进行传递。神经细胞这种膜电位高达某个阀值才产生脉冲传送的特性称为神经细胞 信息传递的阀值特性。除了具有阀值特性之外，这种信息传递还具有两个特点：一个 是单向性传递，即只能从前一级神经细胞的轴突末梢传向后一级神经细胞的树突或细 胞体，不能反之。另一个是延时性传递，信息通过突触传递，通常会产生o 5 1 m s 的延 时。 神经元对信息的整合具有空间综合特性、时间综合特性【l 】。在神经网络结构上，大 量不同的神经元的轴突末梢可以到达同一个神经元的树突并形成