（计算机应用技术专业论文）基于pso与bp前馈神经网络学习算法的研究.pdf

江苏大学硕士学位论文 摘要 基于b p 算法的b p 网络在计算上以并行为主，具有很强的鲁棒性和容错 能力，并且非线性单隐层b p 网络可以实现以任何精度近似任何连续非线性函 数，因此b p 网络在实际应用中受到广泛关注。但是，由于采用梯度下降法训 练网络，b p 算法容易陷入局部极小点、收敛速度慢、从而全局搜索能力较弱。 与b p 算法相比，遗传算法( g a ：g e n e t i ca l g o r i t h m ) 、微粒群算法( p s o ： p a r t i c l es w a r mo p t i m i z a t i o n ) 等优化算法具有较强的全局搜索能力。遗传算法 和微粒群群优化算法都随机初始化种群，采用适应值来评价系统并且都根据 适应值来进行一定的随机搜索。和g a 算法相比，微粒群算法不要求目标函 数具有连续性，且它的搜索方式具有全局性和并行性，所以算法简单，收敛 速度快，且不再有g a 算法的选择、交叉、变异等复杂操作。但对于复杂问 题，微粒群算法易早熟收敛，无法保证收敛到最优点。而且和b p 算法相比， 它的局部搜索能力较弱。 本文主要将p s o 和b p 结合起来训练前馈神经网络以提高算法的收敛速 度和网络的泛化性能，并且就p s o 过早收敛问题提出了一些改进的方法。本 文的研究工作主要有： ( 1 ) 在将p s o 和b p 结合起来的基础上提出两个混合算法，算法在克服 p s o 和b p 的缺点的同时发扬它们的优点。混合算法降低了训练过程 中陷入局部极小点的几率，实验结果也验证了算法有优于传统算法的 收敛性能。 ( 2 ) 针对粒子群算法早熟的问题，本文提出了增加粒子群多样性的p s o t 江苏大学硕士学位论文 算法。算法从每个粒子的每一维矢量着手考虑，通过一随机函数对每 个粒子进行扰动，提高粒子群多样性，随着迭代次数的增加，扰动的 幅度也随之减小，保证算法收敛。此外，对于一类具有单调性样本， 将样本中单调信息耦合到每个粒子中，以减少粒子群陷入局部极值的 可能性，同时增加粒子群的多样性。实验结果也说明了该类方法的有 效性。 关键词：前馈神经网络，b p 算法，微粒群算法，收敛性能 i i 江苏大学硕士学位论文 a b s t r a c t b pa l g o r i t h mi sak i n do ff e e d f o r w a r dn e u r a ln e t w o r k , w h i c hh a se x c e l l e n ta b i l i t yo f h a n d l i n g n o n l i n e a rp r o b l e m s ab p - b a s e df e e d f o r w a r dn e u r a ln e t w o r km a i n l yc a l c u l a t e s p a r a l l e l l y , a n dh a se x c e l l e n ta b i l i t yo fr o b u s ta n df a u l tt o l e r a n c e b e s i d e s ，b pn e u r a ln e t w o r k 、析t l las i n g l eh i d d e nl a y e ri sc a p a b l eo ff o r m i n ga na r b i t r a r i l yc l o s i n ga p p r o x i m a t i o no fa n y c o n t i n u o u sn o n l i n e a rm a p p i n g t h e r e f o r e ，b pn e u r a ln e t w o r ki sw i d e l ya p p l i e di nm a n ya r e a s h o w e v e r , s i n c eb pa l g o r i t h mi sg r a d i e n t - b a s e dt y p el e a r n i n ga l g o r i t h ma n dt h e r ea r em a n yl o c a l m i n i m a lv a l u e se x i s t i n go nw e i g h t s e r r o rs u r f a c e ，b pa l g o r i t h m si se a s i l yt r a p p e di n t ol o c a l m i n i m a , c o n v e r g e ss l o w l ya n dh a sl i m i t e dg e n e r a l i z a t i o nc a p a b i l i t y , t h u sr e s u l t i n gi n t op o o r p e r f o r m a n c eo fg l o b a ls e a r c h i n g c o m p a r e d 谢t hb pa l g o r i t h m ，o p t i m i z a t i o na l g o r i t h m sl i k eg a ( g e n e t i ca l g o r i t h m ) ，p s o a ( p a r t i c l es w a r mo p t i m i z a t i o na l g o r i t h m ) h a v es t r o n g g l o b a ls e a r c h i n ga b i l i t y b o t hg a a n d p s oi n i t i a l i z es w a r mr a n d o m l y , u s ef i t n e s sv a l u et oe v a l u a t et h es y s t e ma n ds e a r c hr a n d o m l y a c c o r d i n gt ot h ef i t n e s sv a l u e c o m p a r e d 谢mg aa l g o r i t h m ，p s oa l g o r i t h md o e s n tn e e di t s o b j e c tf u n c t i o nt ob ec o n t i n u o u s ，a n di t ss e a r c h i n gi sp a r a l l e la n dg l o b a l h e n c e ，t h i sa l g o r i t h mi s e a s y , c o n v e r g e sf a s ta n dd o e s n tc o n t a i nc o m p l i c a t e do p e r a t i o n sl i k eg a ss e l e c t i o n , c r o s s o v e r a n dm u t a t i o n h o w e v e r , o ns o m ec o m p l i c a t e dp r o b l e m s ，p s oa l g o r i t h mi sp r o n et op r e m a t u r e c o n v e r g ea n di sn o ts u r eo fc o n v e r g i n gt oo p t i m a lp o i n t c o m p a r e dw i t l lb p , i t sn o tg o o da tl o c a l s e a r c h i nt h i st h e s i s ，b pa n dp s oa r ec o m b i n e dt ot r a i nf e e d f o r w a r dn e u r a ln e t w o r kt oi m p r o v e a l g o r i t h m s c o n v e r g e n c er a t e a n dn e t w o r k s g e n e r a l i z a t i o np e r f o r m a n c e b e s i d e s ， s o m e i m p r o v e dm e t h o d sh a v eb e e np r o p o s e dt os o l v ep s o sp r o b l e mo fp r e m a t u r ec o n v e r g e n c e n o v e lp o i n t si nt h i st h e s i sa r ea sf o l l o w s f i r s t ：s i n c eb o t l lb pa n dp s oh a v ea d v a n t a g e sa n ds h o r t c o m i n g s ，a n dt h es t u d i e ss h o wt h a t t h e s et w oa l g o r i t h m s a d v a n t a g e sa n ds h o r t c o m i n g sa r ec o m p l e m e n t a r y , b a s i n go no v e r c o m i n g e a c ha l g o r i t h m sa d v a n t a g e sa n ds h o r t c o m i n g s ，t w on o v e ld o u b l es e a r c h i n ga l g o r i t h m sa r e p r o p o s e di nt h i sp a p e rt oi m p r o v ec o n v e r g e n c e r a t ea n dn e t w o r k sg e n e r a l i z a t i o np e r f o r m a n c e s e c o n d ：o nt h ep r o b l e mo fp r e m a t u r ec o n v e r g e n c e ，t h i st h e s i sc o n s i d e r so ne a c hp a r t i c l e s i i i 江苏大学硕士学位论文 v e c t o ra n dp r o p o s e st od i s t u r be a c hp a r t i c l et oi m p r o v es w a r m sd i v e r s i t y a si t e r a t i o nn u m b e r i n c r e a s e s ，m a g n i t u d eo fd i s t u r b a n c ei sd e c r e a s e dt om a k es u r eo fc o n v e r g e n c e b e s i d e s ，s i n c e t h e r ea r em a n yl o c a lm i n i m a lv a l u e se x i s t i n go nw e i g h t s e r r o rs u r f a c e ，t h i st h e s i st r y st od r a w p r i o ri n f o r m a t i o nf r o mak i n do ff u n c t i o n sa n dc o u p l et h ei n f o r m a t i o ni n t oe a c hp a r t i c l ea n db p a l g o r i t h m s ，t or e d u c es w a r m sp r o b a b i l i t yo ft r a p p i n gi n t ol o c a lm i n i m a f i n a l l y , n e wa l g o r i t h m sa r ea p p l i e di n t of u n c t i o na p p r o x i m a t i o na n dp e t r o l e u mr e f i n i n gf o r v a l i d a t i o n k e y w o r d s ：f e e d f o r w a r d n e u r a l n e t w o r k ，b a c k p r o p a g a t i o na l g o r i t h m ，p a r t i c l es w a r m o p t i m i z a t i o n ，c o n v e r g e n c ep e r f o r m a n c e i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密i - - i 。 学位论文作者签名：导师签名： 霜镌 签字日期：年月日签字日期：年月 e 1 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已注明引用的内容以外，本论文不包含任何 其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律 结果由本人承担。 学位论文作者签名：顾同跃 日期：2 0 0 9 年1 2 月1 6 日 江苏大学硕士学位论文 1 1 引言 第一章绪论 人工神经网络是模仿细胞结构和功能、脑神经结构以及思维处理问题等脑功能的新型 信息处理系统。由于人工神经网络具有复杂的动力学特征、并行处理机制、学习、联想和 记忆等功能，以及它的高度自组织、自适应能力和灵活性而受到自然科学领域学者的广泛 重视。特别是b p 网络近年来广泛应用于模式识别、图像处理、信息处理、智能控制、故 障检测、企业管理、市场分析等，并取得良好的效果i l 】。基于b p 算法训练的网络称之为 b p 网络。b p 网络利用实际输出对理想输出的误差，和误差梯度调整神经网络的权值来训 练神经网络，达到模式识别的目的。传统的b p 算法是一种梯度下降学习算法，其权值的 修正是沿着误差性能函数梯度的反方向进行的，由于实际应用的复杂性，传统b p 算法存 在训练速度慢、泛化能力差等问题。 “ 针对传统b p 算法存在的一些不足，文献 2 】将遗传算法、微粒群等优化算法用于训练 神经网络。微粒群算法的应用，进一步加快了b p 网络的训练速度。微粒群算法不要求目 标函数具有连续性，且它的搜索具有全局性和并行性，所以算法简单，收敛速度快，且不 再有g a ( g e n e t i ca l g o r i t h m ) 的选择、交叉、变异等复杂操作。但对于复杂问题，微粒群 易失去多样性，产生“过早熟”现象。而且p s o 算法采用跳跃式的搜索策略在误差曲面上 搜寻最优解，和b p 算法相比，其全局搜索能力较强，局部搜索能力较弱。 本文在考虑b p 算法和p s o 算法优缺点的基础上，将p s o 和b p 算法结合起来训练前 馈神经网络，同时考虑改善粒子群的多样性，以提高算法的收敛性能和网络的泛化性能。 1 2b p 网络和粒子群优化 1 2 1b p 神经网络 神经网络是一门活跃的边缘性交叉学科。人工神经网络是相对于生物学中所说的生物 神经网络系统而言的，它提出的目的在于用一定的简单的数学模型对生物神经网络结构进 行描述，并在一定的算法指导下，使其能够在某种程度上模拟生物神经网络所具有的智能 行为，解决传统算法所不能胜任的智能信息处理的问题。它是巨量信息并行处理和大规模 并行计算的基础，神经网络既是高度非线性动力学系统，又是自组织自适应系统，可用来 江苏大学硕士学位论文 描述认知、决策和控制的智能行为【3 1 。 目前在神经网络研究方法上已形成多个流派，他们的研究工作主要包括：多层网络b p 算法，h o p f i e l d 网络模型，自适应共振理论，自组织特征隐射理论等。将b p 算法用于训 练前馈神经网络，我们称之为b p 网络。b p 网络是各种神经网络模型中具有代表意义的一 种神经网络模型【4 1 ，也是当前获得广泛应用的神经网络模型之一。 b p 网络能得到广泛应用，是因为它们具有一些良好的性能：首先，前馈网络在计算上 以并行为主，即网络各节点的阈值和连接权值可以同时进行修改；其次，网络具有较强的 鲁棒性和容错性。对于一个大规模的网络来说，个别节点和连接的损坏不会影响整体的结 果；第三，网络具有很强的学习能力。网络可在学习过程中不断完善自己，并具有推广能 力；最后，结构简单明了。训练方法物理概念清楚，通用性较强。而最重要是它能较好地 满足函数逼近的有关要求，具有较强的映射能力。 然而，基于梯度下降的b p 算法存在着如下的缺点：第一：网络训练容易陷入局部极 小值，学习过程收敛速度慢；第二，网络的结构难以确定( 包括隐层数及各隐层节点数的 确定) ；第三，学习样本的数量和质量影响学习效果和学习速度；最后，和群智能优化算 法相比，b p 算法全局搜索能力较弱。 1 2 2 粒子群优化 优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。其目的是 找到使目标函数值达到最小或最大的条件。常规方法( 如牛顿迭代法、共轭梯度法、模式 搜索法等) 已无法处理人们所面对的复杂问题，因此高效智能的优化算法成为科学工作者 的研究目标之一1 5 j 。 二十世纪八十年代，一些新颖的优化算法得到了迅速发展。例如遗传算法【6 1 ，粒子群 优化算法( p a r t i c l es w a r mo p t i m i z a t i n ，p s o ) 等。p s o 算法同遗传算法( g a ) 类似，都 是一种基于迭代的优化工具，系统初始化为一组随机解，通过迭代搜寻最优值。与g a 相 比，p s o 算法具有一些优点：p s o 算法没有遗传算法的交叉和变异操作，算法简单、容易 实现，没有许多参数需要调整 r l 。并且它们的信息共享机制不同：在g a 中，染色体互相 共享信息，所以整个种群的移动是比较均匀地向最优区域移动。在p s o 算法每次迭代过程 中，只有全局最优的粒子或局部最优的粒子给其它粒子提供信息，这是单向的信息流动， 整个搜索更新过程是跟随当前最优解的过程。而且粒子群还有个重要的特点，就是具有记 忆性。此外，p s o 算法同时将粒子的位置和速度模型化，给出一组显式的进化方程，是其 2 江苏大学硕士学位论文 不同于其它进化类算法的最显著之处，也是该算法所呈现出许多优良特性的关键。并且在 大多数情况下，p s o 算法中所有粒子能更快地收敛于全局最优解，目前已广泛应用于函数 优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域。研究表明，用p s o 算 法修改神经网络权值，收敛速度较快且有较好的结果。但是p s o 的发展历史不长，在理论 与应用推广都存在一些问题，有待解决喁- 9 1 。 首先，微粒群算法具体应用过程与它所采用的参数取值有较大的关系，参数的选取仍 然是一个尚待解决的问题。通常认为，对不同的问题应选取相应的参数，不过，如果能对 待微粒群算法参数的选取规律有一个定性规律的认识，必将对不同的问题域的参数选取有 很大的帮助。 其次，微粒群算法应用于高维复杂问题优化时，往往会有早熟收敛的问题，也就是还 未找到全局最优时已经聚集到一点停滞不动。这些早熟收敛点，有可能是局部极值点，也 有可能是局部极值点领域的一个点。换句话说，早熟收敛并不能保证算法收敛到全局极值 点。因而，对算法早熟收敛行为的研究可为算法的进一步改进奠定基础。 i 最后，微粒群算法在接近或进入最优点区域时，收敛速度比较缓慢。研究表明，微粒 群算法早期收敛速度很快，但到寻优后期，其结果改进不甚理想。这主要归因于算法收敛 到局部极值，缺乏有效的机制使算法逃离局部极值点【。 1 3 研究内容及研究现状 如上所述，粒子群算法和b p 算法训练神经网络各有优缺点，本文重点围绕b p 算法易 陷入局部极小值和p s o 算法早熟收敛的现象及相关问题展开研究，将p s o 算法与b p 算法 相结合，提出两种新的双重搜索策略训练神经网络。具体研究内容如下： ( 1 )在将p s o 算法和b p 算法相结合的基础上，提出两种混合算法训练前馈神经网 络，算法在克服p s o 和b p 算法缺点的同时发扬它们的优点。算法一：算法前 期，利用改善多样性之后的p s o 算法训练神经网络；算法后期，利用b p 算法 继续训练网络。算法二：在粒子群失去多样性时，利用一随机函数改善粒子群 多样性，同时利用b p 算法训练全局极优值；之后，利用改善后的粒子群跟踪 b p 算法训练过的全局最优点，继续寻找更优的目标点。如果算法未达到目标精 度，则重复执行上述过程。 ( 2 )针对粒子群容易失去多样性的缺点，本文从粒子矢量中的每一维着手考虑，提 出一随机函数对粒子中的每一维进行扰动，提高粒子群多样性，并且随着迭代 3 江苏大学硕士学位论文 次数的增加，控制扰动的幅度，使其变小。这样，可以保证算法一定收敛。对 于一类具有单调性的样本来说，本文将样本单调性的先验信息作为条件，控制 每个粒子的每一维的修改，从而控制粒子的运行轨迹，减小陷入局部极小点的 可能性，改善算法的性能。 国内外将p s o 算法和b p 网络相结合的研究主要分为将p s o 算法运用于b p 神经网络 和p s o 算法与b p 算法相结合训练神经网络。 将p s o 算法运用于b p 神经网络主要有：文献【“】将粒子群优化方式用于电网规划、 检修计划、短期发电计划和电容器配置等方面，主要是利用粒子群算法全局搜索能力强的 优点。文献 1 2 】主要将粒子群优化算法引入到发动机模型的求解中。利用粒子群优化算法 所具有的群体智能和记忆功能，能够较快地求解模型。以上这一类文献，主要是将p s o 算 法应用于实践，单纯的利用p s o 算法全局搜索能力强的优点，并没有对算法的缺点加以改 善。文献【1 3 】提出含被动聚集因子的p s o 算法称之为p s o p c 算法。该算法在粒子的位置 更新中添加一个被动聚集部分，它代表了群体中一个个体对其它成员的影响。该算法一定 程度上改善了p s o 算法的早熟收敛问题，但是并没有改善算法的局部搜索能力。文献 1 4 】 提出免疫粒子群算法。算法将免疫系统的免疫信息处理机制引入粒子群算法中，利用其特 有的浓度选择机制以及免疫接种功能的原理，改进粒子群优化算法的全局寻优能力，提高 收敛速度。同样，该算法只是利用免疫机制增强了p s o 算法的全局搜索能力，并没有克服 p s o 算法的缺点。文献【1 5 】提出基于岛屿群体模型的算法，将粒子群整体划分成若干个小 的群体，在每个小的粒子群失去多样性的时候，取出其训练得到的全局最优值，组成新的 粒子群，继续训练网络。该算法一定程度上改善了粒子群的多样性，但是以此算法训练网 络，付出的时间代价很高，并且没有增强p s o 算法的局部搜索能力。 p s o 和b p 算法相结合训练神经网络。例如文献【1 6 】中提出p s o b p 算法，该算法在训 练初期利用p s o 算法早期的全局搜索能力强的特点训练网络权值，后期利用b p 算法的局 部搜索能力强的特点，用b p 算法继续训练神经网络，取得了一定的效果。p s o b p 算法相 结合训练神经网络，只是两种算法简单的叠加，仅仅利用两种算法的优点，并没有克服两 种算法的缺点。 本文研究的重点是如何克服两种算法的缺点，同时利用他们的优点，由此提出两种改 进的双重搜索算法训练网络，算法在开始阶段利用p s o 算法全局搜索能力强的特点训练网 络，在粒子群失去多样性的时候，采用某种机制增强粒子群的多样性，同时与b p 算法有 机的结合，继续训练网络，提高算法的收敛精度和收敛速度。 4 江苏大学硕士学位论文 1 4 内容安排 本文后续章节安排如下： 第二章，首先介绍人工神经网络的发展背景，b p 算法的若干个改进型，同时指出其共 同具有的局限性。 第三章，全面介绍p s o 算法之后，本文提出一函数干扰每个粒子，提高种群多样性。 并且介绍提取样本先验信息的方法，如何将先验信息和p s o 算法相结合进行研究，提出改 进的算法，并且做实验验证算法的优越性。 第四章，将p s o 算法和b p 算法相结合，提出两种新的算法，并且从理论和实践上验 证算法的合理性。 第五章，对全文所做的工作进行总结。并且根据本文工作的基础，指出进一步完善的 工作和设想。 江苏大学硕士学位论文 2 1 人工神经网络 第二章b p 网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n s ) 简称为神经网络( n n s ) 或称之为 连接模型( c o n n e c t i o n i s tm o d e l ) ，是对人脑或自然神经网络( n a t u r a ln e u r a ln e t w o r k ) 若 干基本特性的抽象和模拟【1 7 1 。人工神经网络是以对大脑的生理研究成果为基础的，其目的 在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家 h e c h t - n i e l s e n 给人工神经网络下的定义是：人工神经网络是由人工建立的以有向图为拓扑 结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理【1 8 】。 人工神经网络的研究，可以追溯到1 9 5 7 年r o s e n b l a t t 提出的感知机模型。几乎与人工 智能a i ( a r t i f i c i a li n t e l l i g e n c e ) 同时起步，但3 0 余年来却并未取得人工智能那样巨大的成 功，中间经历了一段长时间的萧条。直到8 0 年代，获得了关于人工神经网络切实可行的 算法，并且以v o n n e u m a n n 体系为依托的传统算法在知识处理方面日益显露出其力不从心 后，人们才重新对人工神经网络发生了兴趣，导致神经网络的复兴1 9 】。目前在神经网络研 究方法上已形成多个流派，最富有成果的研究工作包括：多层网络b p 算法，h o p f i e l d 网 络模型，自适应共振理论，自组织特征隐射理论等。人工神经网络是在现在神经网络的逼 真描写，而只是它的某种简化抽象和模拟【2 0 1 。 2 1 1 人工神经网络模型 神经网络按网络结构可分为前馈神经网络和反馈神经网络；按学习方式可分为有导师 和无导师学1 2 1 1 。具有代表性的模型主要有以下几种： ( 1 )b p 网络。它是基于误差反向传播算法的多层前馈神经网络。每个神经元只前馈 到其下一层的所有神经元，没有层内联结，并且采用s i g m o i d 型传递函数。 ( 2 ) h o p f i e l d 网络。网络中的每个神经元都将自己的输出通过连接权传递给所有其他 神经元，同时又接收其它神经元传递过来的信息，并且该系统具有动态性能， 一般用于联想记忆和优化计算。 ( 3 )径向基函数网络。网络的学习速度和收敛较快，但是，所需要训练样本要多一 些。 6 江苏大学硕士学位论文 2 1 2 人工神经网络的特点 由大量的人工神经元连接构成的人工神经网络具有一些显著的特征捌： ( 1 )具有较强的鲁棒性和容错性。对于一个大规模网络来说，个别节点和连接的损 坏不会影响整体的结果； ( 2 )结构简单明了，训练方法物理概念清楚，通用性较强，而最重要是它能较好地 满足函数逼近和分类的有关要求，具有较强的映射能力； ( 3 )具有很强的学习能力。网络在学习过程中不断完善自己； ( 4 )计算上以并行为主。即网络各节点的阈值和连接权值可以同时进行修改。 人工神经网络的特点和优越性，主要表现在三个方面【2 3 】： ( 1 )具有自学习功能。例如实现图像识别时，只要先把许多不同的图像样板和对应 的应识别的结果输入神经网络，网络就会通过自学习功能，慢慢学会识别类似 的图像。自学习功能对于预测有特别重要的意义。可以设想未来的人工神经网 络计算机将为人类提供经济预测、市场预测等。其应用前途是很远大的。 ( 2 )具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 ( 3 )具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计 算量，利用一个针对问题而设计的反馈型人工神经网络，发挥计算机的高速运 算能力，可能很快找到优化解。 2 1 3 人工神经网络的主要研究方向 神经网络的研究可分为理论研究和应用研究两大方面f 2 4 1 。 理论研究可分为以下两类： ( 1 )利用神经网络生理与认知科学研究人类思维以及智能机理； ( 2 )利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越 的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛性、容错性和 鲁棒性等；开发新的网络数理理论，如：神经网络动力学、非线性神经网络等。 应用研究可分为以下两类： ( 1 )神经网络的软件模拟和硬件实现的研究； ( 2 )神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信号处理、 知识工程、专家系统、优化组合、机器人控制等。随着神经网络理论本身以及 相关理论、相关技术的不断发展，神经网络的应用定将更加深入。 7 江苏大学硕士学位论文 2 2b p 神经网络 b p 网络是1 9 8 6 年由r u m e l h a r t 和m c c e l l a n d 为首的科学家小组提出，是一种按误差 反向传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一【2 5 1 。b p 网络 能学习和存储大量的输入一输出模式映射关系，而无需事前揭示描述这种映射关系的数学 方程。它的学习规则是使用梯度下降法，通过反向传播不断调整网络的权值和阈值，使网 络的误差平方和最小。b p 神经网络模型拓扑结构包括输入层( i n p u t ) 、隐层( h i d el a y e r ) 和输出层( o u t p u tl a y e r ) 。 2 2 1b p 神经元 图2 1 给出了第j 个基本b p 神经元( 节点) ，模仿了生物神经元所具有的三个最基本 也是最重要的功能：加权、求和与转移。其中x - 溉为五分别代表来自神经元1 ， 2 ，i ，n 的输入；w 。，w 2 w i w n 则分别表示神经元l ，2 ，i n 与第j 个神经元的连接强 度，即权值；b j 为阈值；厂( ) 为传递函数；y j 第j 个神经元的输出。 x i x 2 x i x n 第j 个神经元的净输入值西为： 图2 1b p 神经元 西= m + 历= 唧+ 易 i = l 其中：x = 【机氘x i 而】r彤= 【坳t ，w j z 坳坳】 若视x o = 1 ，w j o = 历，即令x 及彤包括x o 及w j o ，则 x = 【氘乩知而】7 彤= 【坳，w j ：w j j 坳】于是节点j 的净输入町可表示为： 8 ( 2 1 ) 江苏大学硕士学位论文 町= 啪= 唧 - 0 ( 2 2 ) 净输入影通过传递函数厂( ) 后，便得到第j 个神经元的输出弦： 弦= 厂( 町) = 厂( w j o c ，) = f ( w j x ) i = o ( 2 3 ) 式中( ) 是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无限增加， 必有一最大值。 2 2 2b p 算法 b p 算法由数据流的向前计算( 正向传播) 和误差信号的反向计算( 反向传播) 两个过 程构成。正向传播时，传播方向为输入层到隐藏层再到输出层，每层神经元的状态只影响 流程。通过这两个过程交替进行，在权向量空间执行误差函数梯度下降策略，动态迭代搜 索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程【2 6 1 。 五 ： 五 ： ： x 刀 nam 图2 2 三层神经网络的拓扑结构 y l y m ( 1 ) 正向传播 设b p 网络的输入层有1 1 个节点，隐层有q 个节点，输出层有n 1 个节点，输入层与隐 层之间的权值为w ，隐层与输出层之间的权值为坳，如图2 2 所示。隐层的传递函数为 厂- ( ) ，输出层的传递函数为厂z ( ) ，则隐层节点的输出为： 输出层节点的输出为： 磊硝( 善删j t ，2 9 棚f = o一， 9 ( 2 4 ) 江苏大学硕士学位论文 弦2 厂2 ( k f f i 0 岫)j | = 1 ，2 ，棚一j ， 至此b p 网络就完成了n 维空间向量对m 维空间的近似映射。 ( 2 ) 反向传播 1 ) 定义误差函数 输入p 个学习样本，用z ，x 2 9o - ，x p 来表示。第p 个样本输入到网络后得到输出 ( 2 5 ) ”( = 1 ，2 ，朋) 。采用平方型误差函数，于是得到第p 个样本的误差e p ： e p = 昙兰( 哆一彤) ( 2 6 ) ，= l 式中：哆为期望输出。 对于p 个样本，全局误差为： 1pr d p 昂= 去( 哆一) = 昂 厶卢= i ，= lp = l 2 ) 输出层权值的变化 采用累计误差b p 算法调整懒，使全局误差e 变小， 式中：r 为学习率。 定义误差信号为： 其中第一项： 第二项： ( 2 7 ) 帅一刁瓦a e 一刁瓦g qc 否p 助= 言( 一刁象) c 2 勘= 一面c 3 e p = 一嚣器 ( 2 9 ) 等= 旦a 劬隐l - j = l 州) 2 = - 抄， 眩 是输出层传递函数的偏微分。 娑：力( 昌) 劝 1 0 ( 2 1 1 ) 江苏大学硕士学位论文 于是： 由链定理得： 如= ( 哆一彤) 力( 邑) = l ( 2 1 2 ) 象= 誊嚣一跏一善( 哆嗍脚a 眩 于是输出层各神经元的权值调整公式为： 3 ) 隐层权值的变化 定义误差信号为： 其中第一项： 依链定理有： 第二项： p 朋 a w j k = 7 7 ( 哆一) 以( ) 乙 p = lj - i 吣一刁瓦c p p = 和静 如= 一堡a s k = 一鲁急 ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) 鲁= 非薯c 哆堋2 = 芬哆硼差 泣 是隐层传递函数的偏微分。 于是： 由链定理得： 挈：警孚：矗( 岛) = = r i 、l w 跣k 蕊ia z “、j p 堕=石，(瓯)ask 。1 、7 颤= ( 巧p 一乃p 忱, ( 邑) 石( s d j = l ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) 江苏大学硕士学位论文 甏= 簧鲁一屯薯一茎( 哆一彤胤邑) 水& ) 再 c 2 纠) 从而得到隐层各神经元的权值调整公式为： a v n = 圭羔刁( 哆一) 以( 岛) 石，( 瓯) p = lj = l 2 2 3b p 网络的性能分析 ( 2 2 2 ) ( 1 ) b p 网络的主要缺陷 b p 网络的理论依据坚实，推导过程严谨，公式对称优美，物理概念清楚，通用性强。 但是，人们在适用过程中发现b p 网络也存在许多不足之处，主要包括以下几个方耐2 7 。2 8 1 ： 1 )算法容易陷入局部极值点，而不能收敛到全局最优解。 2 )训练过程非常费时。为了降低学习时间，通常采用增大学习率的方法，但是学习 率太大，算法就变得不稳定甚至不收敛。反之，为了保证算法收敛，通常降低学 习率，但是学习率太小，算法收敛很慢。 3 )算法容易导致网络瘫痪。在训练网络权值时，有可能使神经元的激活函数的输入 很大，导致训练速度降得非常低，导致网络训练停顿。 4 )算法的全局搜索能力较弱。 正是因为b p 网络自身的缺陷使得其在应用过程中存在一些棘手的问题，从而极大地 影响了b p 网络的进一步发展和应用。 ( 2 )网络存在缺陷的原因分析 1 )隐层节点难以确定的原因 在使用b p 网络时，遇到的第一个大问题就是网络最佳结构的确定。具体地说，就是 给定了某个应用任务，如何确定网络层数和每层应选的节点数。而且网络层数及节点数对 网络收敛性及收敛时间、泛化能力等都有极大的影响。另外，网络的繁简程度对b p 网络 的硬件实现也具有很大的影响f 2 9 1 。目前，对于b p 网络隐层数目以及隐层的节点数目的确 定方法都没有充分的理论依据，大都是靠经验来确定。而且，对于不同的问题遵循的规律 也不一样，这就给b p 网络的应用及推广带来了很大的障碍【3 0 1 。 2 )易陷入局部极小值的原因 b p 网络采用梯度下降法，训练是从某一起始点开始的斜面逐渐达到误差的最小值。对 于复杂的网络，其误差函数为多维空间的曲面，就像一个碗，其碗底是最小点。但是这个 1 2 江苏大学硕士学位论文 碗底表面是凹凸不平的，因而在其训练过程中，可能陷入某一小谷区，而这个小谷区产生 的是一个局部极小值，由此点向各方向变化均使误差增加，以至于训练无法逃出这一局部 极小值。 3 )学习过程收敛速度慢的原因 导致b p 网络学习过程收敛速度慢的原因主要有以下两个方面【3 1 】： a )固定的学习率，7 b p 网络本质上是优化计算中的梯度下降法，利用误差对权值、阈值的一阶导数信息来 指导下一步的权值调节方向，使最终误差最小。为保证算法的收敛性，学习率r 必须小于 某一上界。这就决定了b p 网络的收敛速度不可能很快。 b p 网络执行过程中，权值和阈值每次调整的幅度，均以一个与网络误差函数或其对权 值或阈值的导数大小成正比的项乘以固定的因子进行。这样在误差曲面较平坦处，由于这 一偏导数值较小，权值和阈值的调整幅度比较小，以至于需要经过多次调整才能将误差函 数曲面降低；在误差曲面率较高处，偏导数较大，权值和阈值的调整幅度也较大，以至于 在误差函数最小点附近发生过冲现象，难以收敛到最小点。 b )学习过程的“假饱和现象是指在学习过程中误差在一定的时间范围内，并不随学 习次数的增加而减小，而过了这段时间以后，误差才明显下降的现象。 在b p 网络中，初始权值和阈值一般是在一个范围内随机产生的。输入样本与连接到 第一隐层的初始权值进行内积运算得到第一隐层神经元的总输入，而经非线性函数的作用 给出其输出，该输出又作为下一层的输入，照此直到输出层。输出层的实际输出与目标输 出之差作为误差度量的基本项。如果神经元的总输入与阈值相距甚远，就称为它进入了饱 和区。当输出层神经元的总输入落入饱和区且实际输出与目标输出相矛盾时，为非正确的 饱和，即“假饱和 。这时需要对权值有大的修改量，而实际上，由于此时导数值趋于零， 导数权值修改量很小，因而学习缓慢。对隐层神经元也是如此，只不过其误差用误差反向 传播计算，学习一旦进入“假饱和 状态，需要较长的时间才能摆脱这种状态甚至无法摆 脱，导致不能找到全局最优【3 2 1 。 2 2 4b p 算法的改进分析 b p 算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但标准 b p 算法存在以下缺点：收敛速度缓慢，容易陷入局部极小值，难以确定隐层数和隐层节点 个数。在实际应用中，b p 算法很难胜任，因此出现了很多改进算法。 1 3 江苏大学硕士学位论文 ( 1 ) 利用动量法改进b p 算法 标准b p 算法实质上是一种简单的最速下降静态寻优方法，在修正w ( k ) 时，只按照第 k 步的负梯度方向进行修正，而没有考虑到以前积累的经验，从而常常使学习过程发生震 荡，收敛缓慢。动量法权值调整算法的具体做法是：将上次权值调整量的一部分迭加到按 本次误差计算所得的权值调整量上，作为本次的实际权值调整量，即： a w ( n ) = - r i v e ( n ) + a a w ( n - 1 ) ( 2 2 3 ) 其中：口为动量系数，通常0 口 4 ( 3 8 ) 通常将痧设为4 1 ( q = c 2 = 2 0 5 ) ，其中只要恰当选取愀c l 、c 2 的值，带惯性因子的 p s o 算法与带收缩因子的p s o 算法一样，从数学上分析，这两个参数惯性因子w 和带收 缩因子口是等价的，前者是为了提高算法的收敛性能，平衡收敛的全局和收敛速度，后者 是为了保证算法的收敛性。 ( 2 ) 改善粒子群多样性 p s o 算法作为一种新的随机搜索算法，仍旧存在着早熟收敛和算法后期收敛速度慢的 问题，并且具有种群多样性随迭代增加下降过快，有可能收敛不到全局最优解等缺点。为 了避免早熟收敛，改善粒子群多样性，l o v b j e r g 等人提出带交叉算子的p s o 4 8 1 ，在粒子 群每次迭代后，按几率在粒子间交换各维，通过交叉来生成更优秀的粒子，这个交叉概率 是用户确定的，与粒子的适应值无关。h i g a s h i 等人【4 9 】提出带变异算子的p s o ，引入变异 算子来增强群体多样性，避免陷入局部最优。a n g e l i n e 5 0 1 将选择算子引入p s o 算法中，选 择每次迭代后的较好复制到下一代，以保证每次迭代的粒子群都具有较好的性能。除此之 外，许多研究者提出一些混合的p s o 算法，例如，提出基于模拟退火算法思想的p s o 算 法【5 l 】、混沌粒子群优化算、法【5 刁等，通过与其他优化算法的结合，改善粒子群多样性，避免 产生过早熟、陷入局部极值等问题。 3 3 2 粒子群算