（计算机软件与理论专业论文）基于改进pso的bp网络的研究及应用.pdf

摘要 b p ( b a c kp r o p a g a t i o n ) 网络的传统b p 算法和w i d o w - h o f f 学习规则一样属于 种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方向进行 静，壶予实际应用的高维复杂性，韶网络采用传统静算法存在训练速度慢甚至 导致网络系统瘫痪的问题。针对传统b p 算法存在的一些不足，出现了基于遗传 算法( g e n e t i ca l g o r i t h m , 馘) 、粒子群算法( p a r t i c l es w a r mo p t i m i z a t i o n ， p s 0 ) 等b p 网络的学习训练算法。特别是粒子群算法的应用，进一步加快了b p 网络的学习速度。 粒子群算法不要求目标函数具有连续性，且它的搜索具有全局性和并行性， 所以算法简单，收敛速度快，且不再有g a 算法的选择、交叉、变异等复杂操作。 毽对高维复杂河题，粒子群算法易早熟收敛，无法保证收敛到最优点。 在借鉴前人的研究基础上，本文对粒子群算法的收敛性进行了研究，并根据 遗传变异能增加秘群多样性的特性给擦7 改进型算法，帮自适应变异粒子群算法 ( p a r t i c l es w a r mo p t i m i z a t i o nw i t ha d a p t i v em u t a t i o n ，a m p s 0 。a m p s o 算 法以鲁然界和物理界的基本原理为导向，并根据环境的变化，通过提高秭群多样 性的方法使算法获得持续搜索能力，克服了p s o 算法的早熟收敛现象。 最后，本文将a m p s o 算法作为b p 网络的学习训练函数，建立了基于a m p s o 算法的韶网络。并把该b p 网络应用予入侵检测技术中，通过k d d 9 9c u p 数据集 分别对基于不同算法的b p 网络进行了仿真实验比较，结果表明，基于a m p s o 算 法的b p 网终迭代次数较少，测试平均准确率高，荠有效的克服了传统静算法收 敛速度慢的问题。 关键词：粒子群算法；遗传算法；b p 神经网络；入侵检测；变异 a b s t r a c t t h et r a d i t i o n a lb p ( b a c kp r o p a g a t i o n ) a l g o r i t h mi nb pn e t w o r ki st h es a n l ea s t h er u l eo fw i d o w h o f fs t u d y , w h i c hb e l o n g st og r a d i e n td e s c e n tl e a r n i n ga l g o r i t h m s t h e v a l u eo ft h ea m e n d m e n t sc a r r i e sr i g h ta l o n go ft h eo p p o s i t ed i r e c t i o no ft h e g r a d i e n to ft h ee r r o rp e r f o r m a n c ef u n c t i o n d u et ot h ec o m p l e x i t yo fh i g h d i m e n s i o n i np r a c t i c a l a p p l i c a t i o n ，t h e f a c tt h a tb pn e u r a ln e t w o r ka d o p t st r a d i t i o n a lb p a l g o r i t h ms l o w st h et r a i n i n gp r o c e s sa n de v e nl e a d st oc o l l a p s eo ft h en e t w o r ks y s t e m s i n c et h et r a d i t i o n a lb pa l g o r i t h me x i s t ss o m es h o r t c o m i n g s ，t h e r ea p p e a r ss o m eb p n e u r a ln e t w o r kt r a i n i n gl e a r n i n ga l g o r i t h m sb a s e do ng e n e t i ca l g o r i t h m ，p a r t i c l e s w a ma l g o r i t h me t c p a r t i c u l a r l y , t h ea p p l i c a t i o n0 ft h ep a n i c l es w a r ma l g o r i t h m s f u r t h e ra c c e l e r a t e st h el e a r n i n gs p e e do ft h eb pn e u r a ln e t w o r k p s oa l g o r i t h md o e sn o tr e q u i r eac o n t i n u i t yo ft h eo b j e c t i v ef u n c t i o n i na d d i t i o n ， i t ss e a r c hc 柚b ec h a r a c t e r i z e db yp a r a l l e la sw e l la sa l lo v e r a l ls i t u a t i o n ，t h u si t s c o n v e r g e n c ef e a t u r e sa ss i m p l ea n df a s t ，a n di tn ol o n g e rn e e d sc o m p l e xo p e r a t i o n so f s e l e c t i o n ，c r o s sa n dm u t a t i o ni ng a ( g e n e t i ca l g o r i t h m ) a l g o r i t h m h o w e v e r , f o rt h e c o m p l e xi s s u e so fh i g h - d i m e n s i o n ，p s oa l g o r i t h mt e n d st ob ee a s yp r e m a t u r ea n d c o n v e r g e n t ，s oi tc a l ln o tg u a r a n t e et h ec o n v e r g e n c et ot h em o s ta d v a n t a g e b a s e do np r e d e c e s s o r s r e s e a r c h ，t h i sa r t i c l en o to n l yc o n d u c t st h er e s e a r c hi n t ot h e p s oa l g o r i t h mc o n v e r g e n c eb u ta l s op r o v i d e sa l lm o d i f i e da l g o r i t h mc a l l e da m p s o ( p a r t i c l es w a r mo p t i m i z a t i o nw i t ha d a p t i v em u t a t i o n ) ，a c c o r d i n gt o t h ef a c tt h a t g e n e t i cv a r i a t i o nc a ni n c r e a s et h ed i v e r s i t yo ft h ep o p u l a t i o n l e db yt h eg e n e r a l t r u t h si nn a t u r ea n dt h eb a s i cp r i n c i p l e so f p h y s i c sc o m m u n i t y , i na c c o r d a n c ew i t ht h e c h a n g i n ge n v i r o n m e n t ，t h ea m p s oo v e r c o m e st h ep r o b l e mo fp r e m a t u r ec o n v e r g - e n c ep h e n o m e n o ni nt h ep s o a l g o r i t h m f i n a l l y , t h i sa r t i c l em a k e st h ea m p s oa l g o r i t h ml e a r n i n ga n dt r a i n i n gf u n c t i o n o fb pn e u r a ln e t w o r k b e s i d e s ，i tb u i l d sb pn e u r a ln e t w o r k so n ab a s i so ft h ea m p s o a l g o r i t h m w h a t sm o r e ，t h eb pn e u r a ln e t w o r k si sa p p l i e dt o t h et e c h n o l o g yo f i n v a s i o nd e t e c t i o n i tt u r n so u tt h a tb a s e do nt h ea m p s oa l g o r i t h m ，t h ei t e r a t i o no f b pn e u r a ln e t w o r kt i m e sa r el e s st h a no t h e ra l g o r i t h m s ，a n di th a sah i g h e ra v e r a g e a c c u r a c yr a t ew h i l ei te f f e c t i v e l ys o l v e st h ep r o b l e mo fs l o wc o n v e r g e n c ee x i s t e di n t r a d i t i o n a lb pa l g o r i t h mc o m p a r e dw i t ht h ek d d 9 9c u pd a t ab a s e do nd i f f e r e n t a l g o r i t h m si nb pn e t w o r ks i m u l a t i o ne x p e r i m e n t s k e yw o r d s ：p a r t i c l es w a mo p t i m i z a t i o n ；g e n e t i ca l g o r i t h m ；b pn e u r a ln e t w o r k s ； i n t r u s i o nd e t e c t i o n ；m u t a t i o n 长沙理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名：黄诬彳p 日期：少砀年5 月少日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的翘定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权长沙理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名：茜幺星弓砂日期：雠多月a 日 导师签名： 日期：加百年箩月i o 日 1 1 课题研究的背景 第一章绪论 人工神经网络是一类模拟人类神经系统的结构，他揭示数据样本中蕴含的非 线性关系，大量处理单元组成非线性自适应动态系统，具有良好的自适应性、自 组织及很强的学习、联想、容错和抗干扰能力，在不同程度和层次上可模仿大脑 的信息处理机理，可灵活方便的对多成因的复杂未知系数进行建模。特别是b p 网络近年来广泛应用于模式识别、图像处理、信息处理、智能控制、故障检测、 企业管理、市场分析等，并取得良好的效果【1 l 。 b p ( b a c kp r o p a g a t i o n ) 神经网络。，即误差反向传播前馈神经网络也叫b p 网 络。利用输入的输出对理想输出的误差，和误差梯度调整神经网络的权值来训练 神经网络，达到模式识别的目的。b p 网络的传统b p 算法和w i d o w - h o f f 学习规 则一样是一种梯度下降学习算法，其权值的修正是沿着误差性能函数梯度的反方 向进行的，由于实际应用的高维复杂性，b p 网络采用传统b p 算法存在训练速度 慢甚至导致网络系统瘫痪的问题。针对传统b p 算法存在的一些不足，国内外的 专家、学者做了大量的工作，提出了使用遗传算法、粒子群算法等作为b p 网络 的学习函数【2 1 。 特别是粒子群算法的应用，进一步加快了b p 网络的训练速度。粒子群算法 不要求目标函数具有连续性，且它的搜索具有全局性和并行性，所以算法简单， 收敛速度快，且不再有g a ( g e n e t i ca l g o r i t h m ) 算法的选择、交叉、变异等复 杂操作。但对高维复杂问题，粒子群算法易早熟收敛，无法保证收敛到最优点。 而遗传算法中的变异特性，可以在种群出现单一现象时，通过小概率变异使种群 多样化，有利于种群的进化和生存能力的增强。 在借鉴前人的研究基础上，本文用自适应变异粒子群优化算法作为b p 网络 的学习训练函数，以优化b p 神经网络的智能化的速度和精度，并建立了基于 a m p s o( p a r t i c l es w a r mo p t i m i z a t i o nw i t ha d a p t i v em u t a t i o n ) 的b p 网络 模型。作为被优化后的b p 神经网络模型，其实际应用领域更为广泛。在本研究 课题中，我们把这种优化后的b p 网络模型应用于网络入侵检测技术中，模拟识 别网络的入侵检测类型，以验证其网络模型的性能，并实现其实际应用价值。 1 2 课题研究领域现状分析 1 神经网络研究现状 神经网络是一门活跃的边缘性交叉学科。人工神经网络是相对于生物学中所 说的生物神经网络系统而言的，它提出的目的在于用一定的简单的数学模型来对 生物神经网络结构进行描述，并在一定的算法指导下，使其能够在某种程度上模 拟生物神经网络所具有的智能行为，解决传统算法所不能胜任的智能信息处理的 问题。它是巨量信息并行处理和大规模并行计算的基础，神经网络既是高度非线 性动力学系统，又是自组织自适应系统，可用来描述认知、决策和控制的智能行 为【3 1 。 对人工神经网络的研究始于1 9 4 3 年，经历6 0 多年的发展，目前已经在许多 工程研究领域得到了广泛应用。但它并不是从一开始就倍受关注，它的发展道路 曲折、几经兴衰，大致可以分为以下五个阶段【4 1 1 5 l ： ( 1 ) 奠基阶段：1 9 4 3 年，由心理学家m c c u l l o c h 和数学家p i t t s 合作，提 出第一个神经计算模型，简称m - p 模型，开创了神经网络研究这一革命 性的思想。 ( 2 ) 第一次高潮阶段：2 0 世纪5 0 年代末6 0 年代初，该阶段基本上确立了 从系统的角度研究人工神经网络。1 9 5 7 年r o s e n b l a t t 提出的感知器 ( p e r c e p t r o n ) 模型，如图1 1 所示。感知器模型是一个具有单层计算机 单元的神经网络，并由线性阈值元件组成，可以通过监督学习建立模式 判别能力【们。 y = ，( 咐一 图1 1 感知器模型 ( 3 ) 坚持阶段：随着神经网络研究的深入开展，人们遇到了来自认识、应用、 实现等方面的难题，一时难以解决。神经网络的工作方式与当时占主要 地位的、以数学离散符号推理为基本特征的人工智能大相径庭，但是， 更主要的原因是：当时的微电子技术无法为神经网络的研究提供有效的 技术保证，使得在其后十几年内人们对神经网络的研究进入了一个低潮 阶段。 2 ( 4 ) 第三次高潮阶段：2 0 世纪7 0 年代后期，由于神经网络研究者的突出成 果，并且传统的入工智能理论和y o n n e u m a n n 型计算机在许多智能信息 处理问题上遇到了挫折，丽科学技术的发展又为人工神经网络的物质实 现提供了基础，促使神经网络的研究进入了一个新的高潮阶段。 ( 5 ) 快速发展阶段：囊放对李睾经网络的研究进入第二次高潮以来，各种神经 网络模型相继提出，其应用已经很快渗透到计算机图像处理、语音处理、 优化计算、智能控制等领域，并取得了很大的发展。 神经网络的分类主要从网络结构和学习方式两方面分类【 。 按网络结构分为：反馈网络和前馈网络。反馈网络是任何神经元之间均可互 相连接的网络，是非线性动力系统。前馈网络是信息单向传递的分层结构网络， 各神经元接受前一级输入，并输出到下一级，无反馈。输入、输出节点称为可见 层，其他中闻层称隽隐层。如匿l 。2 所示。誉前，嚣馈网络的学习算法，包括感 知器算法、最小均方误差算法和反向传播( b p ) 算法。 隐层 ，、 斟 1 s 输出 j 图1 2 前馈网络 按学习方式分为：非监督学习和监督学习。非监督学习是给定输入模式，网 络自组织调整权值，自学习产生输出响应。监督学习有监督学习有时也瑟堪有教师 学习，“教师 在这里要对一组给定的输入提供应有的输出结果。这组已知的输 入一输出数据就称为训练样本集。其学习系统如图l 。3 。 图1 3 监督学习系统 目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括： 多层嬲终黪算法，h o p f i e l d 嬲络模型，童适疲共振理论，自组织特征映射理论 3 等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能 的基本特征，但远不是自然神经网络的逼真描写，只是它的某种简化抽象和模拟。 而b p 网络是各种神经网络模型中具有代表意义的一种神经网络模型【射。 b p 网络是有监督的前馈神经网络，是当前获得广泛应用的神经网络模型之 一。由于b p 网络存在其固有的缺陷，所以许多专家学者对其性能的改善做了大 量的工作，对b p 网络做了卓有成效的研究。目前，对b p 网络的研究大致分为应 用型和理论型两类。应用型是对其已有的理论加以应用，将其运用到不同的领域， 目前b p 网络的主要应用领域有：模式识别、图像处理、信息处理、智能控制、 故障检测、企业管理、市场分析等。理论型是对经典b p 网络的缺陷进行研究， 对网络性能进行改进，使b p 网络的理论体系趋于完善。对b p 网络的理论型改进 研究，概括起来大致分为三个趋势【9 l ： 第一：对网络训练算法进行修改； 第二：新的激活函数研究，以及由单一激活函数到组合函数； 第三：由网络定结构到网络变结构调整。 2 优化技术的研究现状 优化技术是一种以数学为基础，用于求解各种工程问题优化解的应用技术。 其目的是找到使目标函数值达到最小或最大的条件。随着人类生存空间的扩大， 以及认识世界改造世界范围内的拓宽，常规方法如牛顿迭代法、共轭梯度法、模 式搜索法、单纯形法、r o s e n b r o c k 法和p o w e l l 法已无法处理人们所面对的复杂 问题，因此高效智能的优化算法成为科学工作者的研究目标之一p o 。其特点： 是在问题的解域选项取一个初始点，通过迭代找到一个极值点，算法简单。 二十世纪八十年代以来，一些新颖的优化算法得到了迅速发展。人工神经网 络( a n n ) 在一定程度上模拟了人脑的组织结构【1 1 1 ；遗传算法( g a ) 借鉴了自然 优胜劣汰的进化思想【1 2 】；蚁群算法( a c o ) 受启发于自然界蚂蚁的寻径方式i x 3 ； 模拟退火( s a ) 思路源于物量学中固体物质的退火过程、禁忌搜索( t s ) 模拟了 人类有记忆过程的智力过程【1 4 】。这些算法有个共同特点：都是通过模拟或揭示 某些自然界的现象和过程得到发展，在优化领域，有人称之为智能优化算法 ( i n t e l l i g e n to p t i m i z a t i o na l g o r i t h m s ) 。现在源于另一种生物系统社会 系统的算法，即粒子群优化算法( p a r t i c l es w a r mo p t i m i z a t i o n ，p s o ) 成为人 们研究的焦点。 p s o 算法是一种进化计算技术( e v o l u ti o n a r yc o m p u t a ti o n ) ，由e b e r h a r t 博士和k e n n e d y 博士发明。源于对鸟群捕食的行为研究。设想这样一个场景：一 群鸟类在随机的搜索食物。在这个区域里只有一块食物，所有的鸟都不知道食物 在那。但是它们知道自己当前的位置距离食物还有多远。那么找到食物的最优策 4 略是什么? 最简单有效的就是搜索目前离食物最近的鸟的周围区域。 p s o 同遗传算法类似，是一种基于迭代的优化工具。系统初始化为一组随机 解，通过迭代搜寻最优值。但是并没有遗传算法用的交叉( c r o s s o v e r ) 以及变异 ( m u t a t i o n ) ，而是粒子在解空间追随最优的粒子进行搜索。与遗传算法比较，p s o 的优势在于简单容易实现并且没有许多参数需要调整【1 5 l 。目前已广泛应用于函 数优化，神经网络训练，模糊系统控制以及其他遗传算法的应用领域。研究表明 p s o 是一种很有潜力的神经网络算法。速度较快且有较好的结果。但是p s o 的发 展历史尚短，在理论与应用推广上都存在一些问题，有待解决【1 6 】1 1 7 1 。 首先，对任何一种算法，如果不从理论上对其研究，那对其行为将无法彻底 剖析。仅仅从试验数据对粒子群算法进行研究，终将无法了解其内部机理。因此， 对粒子群算法收敛模型的建立和收敛性的分析对p s o 的研究十分有益。 其次，粒子群算法具体应用过程与它所采用的参数取值有较大的关系，参数 的选取仍然是一个尚待解决的问题。通常认为，对不同的问题应选取相应的参数。 不过，如果能对粒子群算法参数的选取规律有一个定性规律性的认识，必将对不 同的问题域的参数选取有很大的帮助。 。， 第三，粒子群算法应用于高维复杂问题优化时，往往会有早熟收敛的问题， 也就是还未找到全局最优时已经聚集到一点停滞不动。这些早熟收敛点，有可能 是局部极小点。也有可能是局部极小点领域的一个点。换句话说，早熟收敛并不 能保证算法收敛到全局极小点。因而，对算法早熟收敛行为的研究可为算法的进 一步改进奠定基础。 此外，粒子群算法在接近或进入最优点区域时的收敛速度也比较缓慢。实际 上对粒子群算法的研究发现，粒子群算法早期收敛速度快，但到寻优的后期，其 结果改进才不甚理想。这主要归因于算法收敛到局部极小，缺乏有效的机制使算 法逃离极小点【1 引。 针对上述问题，本文展开了细致的研究，提出了改进的p s o 算法，并将改进 的p s o 算法应用到b p 网络的优化训练中。 3 优化算法的有关的国际会议： ( 1 ) a n t s ( i n t e r n a t i o n a lw o r k s h o po na n tc o l o n yo p t i m i z a t i o na n ds w a r m i n t e l l i g e n c e ) ，1 9 9 8 年首次召开，每两年一次，2 0 0 6 年是第五次。 ( 2 ) g e c c o ( g e n e t i ca n de v o l u t i o n a r yc o m p u t a t i o nc o n f e r e n c e ) 国际演化 计算会议，每年一次。2 0 0 6 年主题是：p a r t i c l es w a r mo p t i m i z a t i o n ( p s o ) ，t h a tf o c u s e so nc o n t i n u o u so p t i m i z a t i o np r o b l e m s 。 5 1 3 本文研究的内容 本文主要是研究改进粒子群算法在b p 神经网络中的应用。基于以上介绍和 评述，可以得出：粒子群算法和b p 神经网络要得到进一步的发展，都各自面临 不同方面的问题。 1 b p 神经网络存在的缺陷 ( 1 ) 易陷入局部极小值； ( 2 ) 学习过程收敛速度慢； ( 3 ) 网络的结构难以确定( 包括隐层数及各隐层节点数的确定) ： ( 4 ) 学习样本的数量和质量影响学习效果( 主要是泛化能力) 和学习速度。 2 粒子群算法面临的问题 ( 1 ) 算法离散化。基本粒子群算法能有效地处理连续优化问题，但是实际工 程中存在很多非连续优化问题，如组合优化问题； ( 2 ) 算法后期收敛速度慢。p s o 算法在后期随种群多样性的丢失，收敛速度 变慢，提高收敛速度的已知方法主要在于修改p s o 算法的速度更新方 程，而不是去修改算法的结构。这些方法通常会得到较好的局部优化结 果，然而对于一些多模态优化问题则会导致性能下降； ( 3 ) 早熟收敛。目前，p s o 算法作为一种新的随机搜索算法，仍旧存在着早 熟收敛问题，并且具有种群多样性随代数增加下降过快，有可能不收敛 到全局最优解等缺点。 本文将重点围绕b p 神经网络学习过程收敛速度慢和p s o 算法早熟收敛的现 象及相关问题展开研究。把p s o 算法与b p 神经网络结合，对b p 网络的社会应用 来说，有着广泛的前景，为此作者拟展开p s o 算法和b p 网络的部分研究，具体 研究内容有以下几个方面： 夺本文搜集了大量有关神经网络的资料，在作了详细的研究和分析的基础 上，对人工神经网络的模型、结构及研究现状作了介绍，其中，重点阐 述了b p 神经网络的结构、算法、以及传统b p 算法的优势和局限性，并 对b p 神经网络的实际应用领域及使用前景作了科学的研究和分析。 夺对优化技术的概念、背景、现状和动态作了详细的分析，重点介绍了粒 子群优化算法，主要介绍粒子群算法原理，结构及算法的优势和局限性， 并分析了遗传算法中变异的特性，给出了自适应变异粒子群优化算法。 夺把本文提出的自适应变异粒子群优化算法作为b p 网络的学习训练函数， 对其可行性和优越性进行了认真研究和分析，并建立了基于a m p s o 的b p 网络模型。 6 把这种模型用于入侵检测技术中。为验证其效果，本文使用k d d 9 9 数据 集作为检测数据，分别对基于不同算法的b p 网络进行了仿真实验比较， 并给出了仿真实验比较结果。 1 。4 本文的组织结构 本文撰写的过程是从理论由浅入深，再到实践对理论验证的过程。 论文后续章节安排如下： 第二章，首先介绍了人工神经网络的模型、结构及研究现状，然后详细介绍 了b p 神经网络工作原理、模型、特点及存在的局限性。 第三章，详细叙述了粒子群优化算法原理及其特点，并针对p s o 算法局部搜 索能力较弱和存在早熟收敛的问题，指出了当前已有的改进算法，并给出了这些 算法的局限性，最后给出了自己的改进算法，即在搜索过程中增加遗传算法中的 变异操作来增加种群的多样性，以避免早熟收敛。 第四章，本章重点是构建基于自适应变异p s o 算法的b p 网络训练算法。包 括粒子群结点模型构造、适应度函数的定义、算法流程分析及程序代码实现。 第五章，把上述b p 网络训练算法应用于入侵检测技术中，详细介绍了k d d 9 9 数据集，并用k d d 9 9 数据集作为b p 网络的仿真数据，分别对基于传统b p 算法、 遗传算法、粒子群优化和自适应变异粒子群优化算法的b p 网络进行了测试模拟。 并对测试结果作了详细的分析。 。第六章，对全文所做的工作进行了概括性的总结，并根据本文工作的基础， 给出了还需进一步完善的工作和设想。 7 第二章b p 神经网络分析 2 人工神经网络 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n s ) 也简称为神经网络( n n s ) 或称作连接模型( c o n n e c t i o n i s tm o d e l ) ，是对人脑或自然神经网络( n a t u r a l n e u r a ln e t w o r k ) 若干基本特性的抽象和模拟【1 9 j 。人工神经网络以对大脑的生理 研究成果为基础的，其目的在于模拟大脑的莱些机理与机制，实现某个方面的功 能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人 h e c h t - - - n i e l s e n 给人工神经网络下的定义就是：人工神经网络是壶人王建立豹 以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行 信息处理l 矧。 人工神经网络的研究，可以追溯到1 9 5 7 年r o s e n b l a t t 提出的感知器 ( p e r c e p t r o n ) 模型。它几乎与人工智能a i ( a r t i f i c i a li n t e l l i g e n c e ) 同时起步， 但3 0 余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧 条。直到8 0 年代，获得了关于人工神经网络切实可行的算法，以及以v o nn e u m a n n 体系为依托的传统算法在知识处理方面日益显露出其力不欲心嚣，人们才重新对 人工神经网络发生了兴趣，导致神经网络的复兴【2 1 1 。目前在神经网络研究方法 土已形成多个流派，最富有成果的研究工作包括：多层网络静算法，h o p f i e l d 网络模型，自适应共振理论，自组织特征映射理论等。人工神经网络是在现代神 经科学的基础上提患来的。它虽然反映了人脑功能的基本特征，但远不是自然神 经网络的逼真描写，而只是它的某种简化抽象和模拟f 2 2 】。 2 1 。| 1 人工神经网络模型 神经网络模型各种各样，她们是从不同的焦度进行不同层次的描述和模拟。 神经网络按网络结构可分为前馈型和反馈型；按学习方式可分为有导师和无导师 学习l 矧。有代表性的模型主要有以下几种： ( 1 ) b p 网络是基于b p ( b a c kp r o p a g a t i o n ) 误差反向传播算法的多层前馈神 经网络，1 9 8 6 年由d e r u m e l h a r t 等人提出。每个神经元只前馈到其 下一层的所有神经元，没有层内联结、各层联结和反馈联结。采用 s i g m o i d 型传递函数。 8 ( 2 ) h o p f i e l d 网络是一种反馈网络，网络中的每一个神经元都将自己的输 出通过连接权传递给所有其他神经元，同时又接收其它神经元传递过来 的信息，所以该系统具有系统的动态性能，一般用于联想记忆和优化计 算。 ( 3 ) 径向基函数网络( r b f 网络) 也是一种前馈网络。网络的学习速度和收敛 较快，但是，所需训练样本要多一些。r b f 网络采用高斯型传递函数。 2 1 2 人工神经网络的特点 人工神经网络的几个突出的优点使它近年来引起人们的极大关注【2 4 l ： 1 可以充分逼近任意复杂的非线性关系。 2 所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强 的鲁棒性和容错性。 3 采用并行分布处理方法，使得快速进行大量运算成为可能。 4 可学习和自适应不知道或不确定的系统。 5 能够同时处理定量、定性知识。 ，人工神经网络的特点和优越性，主要表现在三个方面【2 5 2 6 l ： 第一：具有自学习功能。例如实现图像识别时，只要先把许多不同的图像样 板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学 会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神 经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远 大的。 第二：具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三：具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要 很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机 的高速运算能力，可能很快找到优化解。 2 71 3 人工神经网络的主要研究方向 神经网络的研究可以分为理论研究和应用研究两大方面田1 。 1 理论研究可分为以下两类： ( 1 ) 利用神经生理与认知科学研究人类思维以及智能机理。 ( 2 ) 利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更 加优越的神经网络模型，深入研究网络算法和性能，如：稳定性、收敛 9 性、容错性、鲁棒性等：开发薪的蕊络数理理论，鲡：神经鼹络动力学、 非线性神经网络等。 2 。应用研究可分为以下两类： ( 1 ) 神经网络的软件模拟和硬件实现的研究。 ( 2 ) 神经网络在各个领域中应用的研究。这些领域主要包括：模式识别、信 ，号处理、知识工程、专家系统、优化组合、机器人控制等。随着神经 网络理论本身以及糍关理论、糠关技术酶不断发展，神经网络的应用定 将更加深入。 2 28 p 神经网络 b p ( b a c kp r o p a g a t i o n ) 网络是1 9 8 6 年由r u m e l h a r t 和m c c e l l a n d 为首的 科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最 广泛的神经网络模型之一汹l 。b p 网络能学习和存贮大量的输入一输出模式映射关 系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下 降法，通过反向传播来不断调整网络的权僮和阙值，使鼹络的误差平方和最小。 b p 神经网络模型拓扑结构包括输入层( i n p u t ) 、隐层( h i d el a y e r ) 和输出层 ( o u t p u tl a y e r ) ，其结构如图2 1 所示。 2 。2 。1 b p 神经元 输入层 隐层输出层 圈2 。王醇神经网络结构示意图 图2 2 给出了第歹个基本b p 神经元( 节点) ，它只模仿了生物神经元所具 有的三个最基本也是最重要的功能：加权、求和与转移。其中毛，x ：，而，x 。分 别代表来自神经元1 2 ，f ，以的输入；，w i 2 ”，则分别表示神经元 1 0 1 , 2 ，f ，刀与第j 个神经元的连接强度，即权值；b ，为阈值；厂( 。) 为传递函数； y 第j 个神经元的输出。 第_ 个神经元的净簿令值s ，为： 其中： 而 屯 置 s ，2 善w 庙+ 6 ，2 x + 6 ， 图2 2b p 神经元 x = i x l z 2 鼍x n 】r 皇【w 1 w 一w 声w 加】 若视工o = 1 ，w ，o 一6 ，即令x 及包括及w ，o ，则 x = i x o 石1 石2 z i x n 】2 = 【w ，o w ，1 w ，2 w f w 加】 ( 2 1 ) 于是节点，的净输入s 可表示为： s j 。荟懈2 x 2 2 ) 净输入s ，通过传递函数( t r a n s f e rf u n c t i o n ) ，( ) 后，便得到第j 个神经 元的输出y ： y j = 邢j ) = ，( w _ ) ；f q v ，x ) ( 2 3 ) 式中，( ) 是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能无 限增加，必有一最大值。 2 2 2b p 神经网络原理 b p 算法由数据流的向前计算( 正向传播) 和误差信号的向后计算( 反向传 播) 两个过程构成。正向传播时，传播方向为输入层一隐层一输出层，每层神经 元的状态只影响下一层神经元。若在输出层得不到期望的输出，则转向误差信号 的反向传播流程。通过这两个过程的交替进行，在权向量空间执行误差函数梯度 下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信 息提取和记忆过程【2 9 1 。 i 正向传播 图2 3 三层神经网络的拓扑结构 咒 设b p 网络的输入层有雅个节点，隐层有譬个节点，输出层有嬲个节点，输 入层与隐层之间的权值为，隐层与输出层之间的权值为w 豫，如图2 3 所示。 隐层的传递函数为 ( ) ，输出层的传递函数为，2 ( ) ，则隐层节点的输出为( 将 阈箧写入求和项中) ： 一兵( 罗鼍) 。k - 1 , 2 ，g ( 2 4 ) 蠲 输出层节点的输出为： y j f 2 ( 耄w j k g k ) j 一2 ，牌 ( 2 5 ) 至此静鼹终就完成了f l 维空阆商量对r a 维空闻酶近似映射。 2 反向传播 ( 1 ) 定义误差函数 输a p 个学习样本，用鼍，x 2s o 芦来表示。第p 个样本输入到网络后得到输 出罗 ( i = 1 ，2 ，m ) 。采用平方型误差函数，于是得到第p 个样本的误差p ： 一吾芝。罗一y ；) ( 2 。6 ) 式中：f f 为期望输出。 对予p 个样本，全局误差为： 肌吉薹善o f 一) ，岁) 。蒌砟 ( 2 7 ) 1 2 ( 2 ) 输出层权值的变化 采用累计误差b p 算法调整w 辟，使全局误差冒变小， h w j k ；一? 嚣= 一叩寺( 薹ep ) = 薹( 一刀鲁) 式中：节为学习率。 定义误差信号为： 6 刃= 一酱= 一鲁鲁 其中第一项： 鲁一责e y 卟。_ 私一t ； ) 第二项： 熹= f 2 ( s ，) 是输出层传递函数的偏微分。 于是： 6 订= o ? 一y ? ) 以( s ，) 由链定理得： 鲁= 每。鲁= 一6 埘2 一再。罗一y 罗) 疋( s z 七 ( 2 1 3 ) 于是输出层各神经元的权值调整公式为： 一薹善，7 0 j 一y f ) a ( s j ) q ( 3 ) 隐层权值的变化 缸矗2 一叩面o e 。1 寺( 荟r 砟) 5 荟( 一，7 劫 定义误差信号为： ， 6 吐= 一鲁= 一鲁惫 其中第一项： 1 3 ( 2 1 4 ) ( 2 1 5 ) ( 2 1 6 ) ” m m m 乙 2 ( ( ( ( 鲁。苌a _ 【i i 薹v ，p y ? ，2 】一一薹。；一y ? ，兰 依链定理有： 鲁。碧- 等篁i 一2 ，) 蔷2 葡蔷篁p ，j 第- g a ： 惫一 ( & ) 是隐层传递函数的偏微分。 于是： 6 硅荔。罗一y f ) f i ( s ，) 爿( s t ) 由链定理得： 鼍- 鲁卺一- 6 旗萎蒜。茸丽i4 旗石 ( 2 1 7 ) ( 2 1 8 ) ( 2 1 9 ) ( 2 2 0 ) _ 。荟。多一y 岁沈爷，) 爿蛾) 兹( 2 2 1 ) 从蔼得到隐层各神经元酶权值调整公式为： 矗拉。薹薹州叫垅( 跗爿薯 ( 2 2 2 ) 2 。2 38 p 网络的性能分析 1 b p 网络的主要缺陷 b p 网络的理论依据坚实，推导过程严谨，所得公式对称优美，物理概念清 楚，通用性强。但是，人们在使用过程中发现b p 网络也存在许多不足之处，主 要包括以下几个方面f 硝3 1 l ： ( 1 ) 易陷入局部极小值； ( 2 ) 学习过程收敛速度慢； ( 3 ) 网络的结构难以确定( 包括隐层数及各隐层节点数的确定) ； ( 4 ) 学习样本的数量和质量影响学习效果( 主要是泛化能力) 和学习速度。 ( 5 ) 正是因为b p 网络自身的缺陷使得其在应用过程中存在一些棘手的问 题，从而极大地影响了b p 网络的进一步发展和应用。在上蘑的几点中， 前三者都是b p 网络存在的最引人注目的问题，第三点也是很有研究价 值的一个内容；第四点是一个较难的内容。 1 4 2 网络存在缺陷的原因分析 ( 1 ) 隐层节点难以确定的原因 在使用韶翳终时，遇到的第一个大问题就是网络最佳结构的确定。具体地 说，就是给定了某个应用任务，如何确定网络层数和每层应选的节点数。而且网 络层数及节点数对网络收敛性及收敛时间、泛化能力等都有极大的影响。另外， 两络的繁简程度对b p 网络的硬件实现也具有很大的影响，具有实际意义和经济 价值【翊。目前，对于b p 网络隐层数目以及隐层的节点数目的确定方法都没有 充分的理论依据，大都是靠经验来确定。而且，对于不同的问题遵循酶规律也不 一样，这就给b p 网络的应用及推广带来了很大的障碍【3 3 】。 ( 2 易陷入弱部极小值的原因 b p 网络采用梯度下降法，训练是从某一起始点开始的斜面逐渐达到误差的 最小值。对于复杂的网络，其误差番数为多维空间的曲面，就像一个院，其碗底 是最小点。但是这个碗底表面是凹凸不平的，因而在其训练过程中，可能陷入某 一小谷区，丽这小谷区产生的是一个局部极小值，由此点向各方向变化均使误差 增加，以至于使训练无法逃出这一局部极小值。 ( 3 ) 学习过程收敛速度慢的原因 导致释霹络学习过程收敛速度慢的原因主要有以下两个方面【弱l 毒3 5 】： 第一：固