（应用数学专业论文）多层前馈神经网络算法的改进及应用.pdf

重庆大学硕士学位论文 中文摘要 摘要 且酶，采用b p 算法的多层前馈神经网络在模式识别、控制工程、信号处理和 经济预测等各个领域有着广泛的应用。但是b p 算法有三个本质的缺点：收敛速度 慢，易陷入局部极小和网络容错性差。本文针对其缺陷对算法进行了改进。 首先，本文对b p 神经网络模型和算法进行了系统的综述。针对标准b p 算法存 在的缺陷，对b p 神经网络模型输出神经元过早饱和的机理进行了分析和研究。在 数学理论上深入分析了b p 神经网络输出神经元出现过早饱和现象的内在机制，提 出了相关定理并加以证明。 其次，本文介绍了包含学习率、动量因子和比例因子的三项b p 算法，详细推 导出网络学习参数的最优估计公式。并从理论上分析了三项b p 算法的复杂性，其 结果是：最优学习参数的三项b p 算法不需要太大的计算量和内存，算法优于两项 b p 算法，并能有效提高网络的学习性能。 最后，通过分析隐层神经元饱和度对网络性能的影响，构造了新的误差函数， 同时设计了一种自适应调节的放大误差信号方法，得到新改进的b p 学习算法。该 算法流程简单，不需要太大的计算复杂性。仿真实验结果表明新改进的b p 算法在 收敛速度和避免误差函数陷入局部极小方面明显优于其它b p 算法。 关键词：前馈神经网络，b p 算法，过早饱和，最优学习参数，局部极小，误差信 号 重庆大学硕士学位论文 英文摘要 a b s t r a c t t h eb a c k - p r o p a g a t i o na l g o r i t h mh a sb e e nw i d e l yr e c o g n i z e da sa ne f f e c t i v e m e t h o df o rt r a i n i n gf e e d f o r w a r dn e u r a ln e t w o r k s t h i sm e t h o dh a si t sp o p u l a ru t i l i t yi n t e r m so fp a t t e r nr e c o g n i t i o n , c o n t r o le n g i n e e r i n g , s i g n a l p r o c e s s i n ga n de c o n o m i c p r e d i c t i o ne t c h o w e v e r ，t h e r ee x i s t st h r e ee s s e n t i a ld e f e c t si nb a c k - p r o p a g a t i o n a l g o r i t h ma sf o l l o w s ：s l o wc o n v e r g e l l c e ，t r a pi nl o c a lm i n i m aa n dw o r s et o l e r a n t c a p a c i t y t h i sp a p e r t r i e st om a k es o m ei m p r o v e m e n t sw i t hr e g a r dt ot h o s e s h o r t c o m i n g s 。 f i r s t l y , w ee x p o u n db a c k - p r o p a g a t i o nn e t w o r k ss y s t e m a t i c a l l yi nt h i sp a p e r f o r t h es h o r t c o m i n g so fs t a n d a r db a c k - p r o p a g a t i o na l g o r i t h m ，t h em e c h a n i s mt h a tg i v e sr i s e t ot h ep h e n o m e n o no fp r e m a t u r es a t u r a t i o no ft h eo u t p u tu n i t so fb a c k - p r o p a g a t i o n n e t w o r kf r o mm a t h e m a t i c si sd e s c r i b e d t h et h e o r e mf o rt h eo c c u l t e n c co fp r e m a t u r e s a t u r a t i o ni sp r e s e n t e da n dp r o v e d s e c o n d l y , at h r e e - t e r mb a c k - p r o p a g a t i o na l g o r i t h mc o n s i s t i n go fal e a r n i n gr a t e ，a m o m e n t u mf a c t o ra n dap r o p o r t i o n a lf a c t o ri sp r e s e n t e d ，a n dt h el e a r n i n gp a r a m e t e r so f o p t i m a le s t i m a t e df o r m u l aa r eo b t a i n e db yd e d u c i n gi nd e t a i l m e a n w h i l e ，t h e c o m p u t a t i o n a lc o m p l e x i t yi sa n a l y z e d t h er e s u l t ss h o wt h a tt h eo p t i m a ll e a r n i n g p a r a m e t e r so ft h r e e - t e r mb a c k p r o p a g a t i o na l g o r i t h mn e e d n th e a v yc o m p u t a t i o n a la n d s t o r a g eb u r d e i lc o m p a r e dw i t ht h es t a n d a r db a c k - p r o p a g a t i o na l g o r i t h m i tc a na l s o i m p r o v ee f f i c i e n t l yt h ep e r f o r m a n c eo f b a c k p r o p a g a t i o na l g o r i t h m f i n a l l y , b ya n a l y z i n gt h e i n f l u e n c e so fs a t u r a t i o nd e g r e ei nt h eh i d d e nl a y e ro nt h e p e r f o r m a n c e so fm u l t i l a y e rf e e df o r w a r dn e u r a ln e t w o r k s ，c o n s t r u c t i n gan e we r r o r f u n c t i o na n dd e s i g n i n gan e wa d a p t i v em e t h o do fm a g n i f y i n ge r r o rs i g n a l ，a ni m p r o v e d b a c k - p r o p a g a t i o na l g o r i t h mi sp r e s e n t e di nt h i sp a p e r t h er e s u l t ss h o wt h a t ，i nt e r m so f t h ec o n v e r g e n c er a t ea n dt h ec a p a b i l i t yo fe s c a p i n gl o c a lm i n i m a , t h en e wa l g o r i t h m a l w a y so u t p e r f o r m st h eo t h e rt r a d i t i o n a lm e t h o d s k e yw o r d s ：f e e df o r w a r dn e u r a ln e t w o r k s ，b a c k - p r o p a g a t i o na l g o r i t h m ，p r e m a t u r e s a t u r a t i o n , o p t i m a ll e a r n i n gp a r a m e t e r s ，l o c a lm i n i m a , e r r o rs i g n a l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重废太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：熊上尉签字日期：肋5 年r 2 月，口e t 学位论文版权使用授权书 本学位论文作者完全了解重庞太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重麽太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( v ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名：洲! 衍 导师签名：纠缘茄、 签字日期：加j 年，。月r 。日签字日期：刃形年f2 ，月f 扩日 重庆大学硕士学位论文1 绪论 1 绪论 1 1 神经网络的概述 1 1 1 神经网络的定义 人工神经网络( 简称神经网络) 是在对人脑神经网络基本认识的基础上，用 数学方法和从信息处理的角度对人脑神经网络进行抽象并建立某种简化的数学模 型。它是一个由简单处理单元构成的规模宏大的并行分布式处理器，天然具有存 储经验知识和使之可用的特性。神经网络在两个方面与人脑相似【1 】： ( 1 ) 神经网络获取的知识是从外界环境中学习得来的。 ( 2 ) 互连神经元的连接强度，即突触权值，用于储存获取的知识。 1 1 2 神经网络的特点 神经网络的计算能力有以下两个特点：一是具有大规模并行分布式结构：二 是具有神经网络学习能力和泛化能力。另外它还具有下列的性质与能力【l 】： ( 1 ) 非线性单个人工神经元可以是线性或者是非线性的。一个由非线性神经元互 联而成的神经网络自身是非线性的，并且非线性是一种分布于整个网络中的特 殊性质。 ( 2 ) 输入输出映射在有监督学习或有教师学习的过程中，通过使用训练样本对神 经网络的突触权值进行修改。每个训练样本由一个唯一的输入信号和相应期望 输出组成。从一个训练集中随机选取一个样本给网络，网络就会利用样本信息 调整它的突触权值，以最小化期望输出与实际输出之间的差别。通过反复的使 用样本进行学习，建立输入输出映射。 ( 3 ) 适应性神经网络嵌入了一个调整自身突触权值以适应外界变化的能力。特别 是，在特定运行环境下接受训练的神经网络，对环境调节不大的变化可以容易 进行重新训练。 ( 4 ) 证据响应在模式识别的问题中，神经网络可以设计成既提供不限于选择哪一 个特定模式的信息，也提供决策的置信度的信息。 ( 5 ) 背景的信息神经网络的特定结构和激发状态代表知识。 ( 6 ) 容错性 以硬件形式实现后的神经网络有天生容错的潜质。 ( 7 ) v l s i 实现神经网络的大规模并行性使它具有快速处理某些任务的潜在能力。 ( 8 ) 分析和设计的一致性 ( 9 ) 神经生物类比神经网络的设计是由对人脑的类比引发的。人脑是一个容错 的、并行处理的活生生的例子，由此说明这种处理不但在物理上可实现而且快 重庆大学硕士学位论文1 绪论 速高效的。 1 2 神经网络的发展历史 神经网络的研究可以追溯到1 9 世纪末期，其发展历史可以分为四个时期，第 一个时期为启蒙时期，开始于1 8 9 0 年美国著名心理学家w j a m e s 关于人脑结构与 功能的研究，结束于1 9 6 9 年m i n s k y 和p a p e r t 发表感知器( p e r c e p t r o n ) 一书。 第二时期为低潮时期，开始于1 9 6 9 年，结束于1 9 8 2 年h o p f i e l d 发表著名的文章“神 经网络和物理系统”( n e u r a ln e t w o r ka n dp h y s i c a ls y s t e m ) 。第三个时期为复兴时 期，开始于j j h o p f i e l d 的突破性研究论文，结束于1 9 8 6 年d e r u m e l h a r t 和 j l m c c l e l l a n d 领导的研究小组发表的并行分布式处理( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ) 一书。第四个时期为高潮时期，以1 9 8 7 年首届国际人工神经网络学术 会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮至今势头不 衰f 2 1 。 但是目前神经网络主要存在应用面不够宽，结果不够精确，可信度不够理想 等问题。因此目前的主要研究方向为： ( 1 ) 开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造， 以提高网络的训练速度和运行的准确度； ( 2 ) 与其他的智能算法相结合，充分发挥各个技术的优势； ( 3 ) 在理论上寻找新的突破，建立新的专用、通用模型； ( 4 ) 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 表1 1 概括了神经网络的研究历史【3 】 表1 1 神经网络的研究历史 t a b l ei ii n v e s t i g a t i o nh i s t o r yo f n e u r a ln e t w o r k s 时间贡献者a n n 模型 1 9 5 7r o s e n b l a t t 感知器( p e r c e n t r o n ) 1 9 6 ls t e i n b u c h 学习矩阵( i z r m a t r i x ) 1 9 6 2w i d r o w 自适应线性元件( a d a l i n e ) 1 9 6 8 c r r o s s b e r g 大系统模型 1 9 6 9w i l l s h a w 布尔a m 1 9 7 1a m a r i 布尔网络理论 1 9 7 2a n d e r s o n线性a m 1 9 7 2a l b u s 雪崩网络理论 1 9 7 2 1 9 8 4f u k u s h i m a 认识机神经认知机 2 重庆大学硕士学位论文1 绪论 1 9 7 2v o nd e rm a l s b u r g 自组织原理 1 9 7 2k o h o n e n a m 理论 1 9 7 5f r e e m a n a m 网络设计 1 9 7 7h e e h t - n i e l s e n 自适应大系统 1 9 7 7a n d e r s o n b s b 一盒中脑 1 9 7 8 - 1 9 8 6 g r o s s b e r g自适应共振理论( a r t l 和a r t 2 】 1 9 8 0k o h o n e n自组织映射 1 9 7 4 1 9 8 5r u m e l h a t r , w e b b 等b p 理论 1 9 8 2 h o p f i e l d h n n 1 9 8 2 p s a l t i s h i n t o n 等联想网络 1 9 8 2 c r u z y o n g 学习网络 1 9 8 5h i n t o n 等 b o l t z m a n 机( b m ) c a u c h y 机 1 9 8 6 h e e h t - n i e l s e n c o u n t e r - p r o p a g a t i o n 1 9 8 6m a r k si i 交替投影n n ( a p n n ) 1 9 8 6p s a r i s 等光学n n 1 9 8 8 c h u a - y a n g细胞n n ( c n n ) 1 9 8 5 1 9 8 8k o s k o b a m 自适应b a m 1 3 本课题研究的内容、意义及成果 1 3 1 研究的内容、意义 神经网络是基于对人脑组织结构、活动机制的初步认识提出的一种新型信息 处理体系。通过模仿脑神经系统的组织结构以及某些活动机理，神经网络可呈现 出人脑的许多特征，并具有人脑的一些基本特征。神经网络的基本特征有：在结 构上处理单元的高度并行性与分布性，这给神经网络带来较快的处理速度和较强 的容错能力，同时具有自学习、自组织与自适应性。神经网络还具有联想记忆、 非线性映射、分类与识别、优化计算、知识处理等基本功能。因此，神经网络在 信息技术、自动化、工程、医学、经济等各个领域有着广泛的应用。 前馈神经网络特别是b p 网络是神经网络中最重要、应用最广泛的网络之一。 一方面是其网络结构简单，二是因为实现起来比较容易。但随着应用的广泛，越 来越多的人发现b p 网络有三个本质的缺点：一是训练速度比较缓慢，一般具有四 五个神经元的b p 网络使用标准算法求解，通常必须循环几千次，甚至上万次才能 收敛，故难以处理海量数据；二是算法不完备( 即算法易陷入局部极小) ；三是 网络的容错性差。这些问题极大地影响该网络的进一步的应用和发展【4 l 。 3 重庆大学硕士学位论文1 绪论 因此，研究多层前馈神经网络，设计好的改进算法，甚至融合一些智能算法， 能加快收敛速度、有效避免局部极小、提高网络的容错性等，无论在学术上还是 在应用上都有十分重要的意义。 1 3 2 研究的主要成果 ( 1 ) 在数学理论上对b p 网络输出神经元过早饱和的机理进行了研究，并得到相应 的定理。 ( 2 ) 介绍了包含学习率、动量因子和比例因子的三项b p 算法，通过导数的信息对 学习参数进行最优估计，得到了最优参数估计公式。 ( 3 ) 通过分析隐层神经元饱和度对网络性能的影响，构造了新的误差函数，同时 设计了基于新的误差函数和一种自适应调节的放大误差信号方法的改进b p 算 法。 1 4 论文的组织结构 本文共分七章。 第一章是绪论，主要阐述了神经网络的定义、特点、发展历史以及本论文研 究的内容、意义和成果。 第二章详细描述了神经网络基础知识，介绍了神经网络的生物学基础、神经 元模型、网络结构、学习规则以及几种常见的神经网络。 第三章主要对b p 神经网络模型进行系统的综述，对其工作原理进行详细的推 导并给出算法的实现步骤。同时对b p 算法存在的主要缺陷和局限性进行探讨，并 对国内外研究现状进行详尽的综述。 第四章主要对b p 神经网络模型中输出神经元过早饱和的机理进行研究。在数 学理论上深入分析了b p 神经网络输出神经元出现过早饱和现象的内在机制，提出 了相关定理并加以证明。 第五章主要对三项b p 算法的学习参数作了最优估计。介绍了包含学习率、动 量因子和比例因子的三项b p 算法通过导数的信息对学习参数进行最优估计，得 到了最优估计公式。 第六章主要通过引入隐层神经元饱和度，分析了其对网络性能的影响，构造 了新的误差函数，同时设计了一种自适应调节的放大误差信号方法，得到新改进 的b p 算法。 第七章为结束语，对本文作了总结并给出了进一步的研究工作。 4 重庆大学硕士学位论文 2 神经网络基础知识 2 神经网络基础知识 2 1 生物神经元模型 生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人 类大脑的神经细胞大约有1 0 11 - 1 0 1 3 个。神经细胞也称神经元，是神经系统的基本 单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可 塑性，使得大脑具有学习、记忆和认知等各种智能。人工神经网络的研究出发点 是以生物神经元学说为基础的。生物神经元学说认为，神经细胞即神经元是神经 系统中独立的营养和功能单元。其独立性是指每一个神经元均有自己的核和自己 的分界线或原生质膜。生物神经系统包括中枢神经系统和大脑，均是由各类神经 元组成【2 】。 生物神经元之间的相互连接让信息传递的部位称为突触( s y n a p s e ) 。突触按其 传递信息的不同机制，可分为化学突触和电突触，其中化学突触占大多数，其神 经冲动传递借助于化学递质的作用。神经元是基本的信息处理单元。它主要由树 突、轴突和突触组成。其结构大致描述如图2 1 所示。 感受部 传导部 效应部 图2 1 生物神经元结构 f i 9 2 1s t r u c t u r eo f b i o o g y n e u r a l u n i t 2 2 神经网络模型 目前人们提出的神经元模型已有很多，其中提出最早且影响最大的是1 9 4 3 年 心理学家m c c u l l o c h 和数学家w p i t t s 在分析总结神经元基本特性的基础上首先提 重庆大学硕士学位论文2 神经网络基础知识 出的m - p 模型，如图2 2 所示，它是大多数神经网络模型的基础。 图2 2 m p 模型 f i g2 , 2m pm o d e l o f n e u r a lu n i t w 。代表神经元l 与神经元，之间的连接强度( 模拟生物神经元之间突触连 接强度) ，称之为连接权； “代表神经元i 的活跃值，即神经元状态； h 代表神经元j 的输出，即是神经元f 的一个输入； 口。表神经元f 的闽值。 函数厂表达了神经元的输入输出特性。在m p 模型中，厂定义为阶跃函数： ，、f 1 ， 虬 0 驴八2 1 0 ，珥o 2 3 神经网络的结构 神经网络的网络结构可以归为以下几类： ( 1 ) 前馈式网络该网络结构是分层排列的，每一层的神经元输出只与下一层 神经元相连。 ( 2 ) 输出反馈的前馈式网络该网络结构与前馈式网络的不同之处在于这种网 络存在着一个从输出层到输入层的反馈回路，该种结构适用于顺序型的模 式识别问题。 ( 3 ) 前馈式内层互连网络该网络结构中，同一层之间存在着相互关联，神经 元之问有相互的制约关系，但从层与层之间的关系来看仍然是前馈式的网 络结构，许多自组织神经网络大多具有这种结构。 ( 4 ) 反馈型全互连网络在该网络中，每个神经元的输出都和其他神经元相连， 6 h 也 屹； 重庆大学硕士学位论文2 神经网络基础知识 从而形成了动态的反馈关系，该网络结构具有关于能量函数的自寻优能力。 ( 5 ) 反馈型局部互连网络该网络中，每个神经元只和其周围若干层的神经元 发生互连关系，形成局部反馈，从整体上看是种网格状结构。该网络适 合于图像加工和处理。 艇巍鹞播 赣凡醛爨鬣羲积麓 图2 3 前馈网络 f i g2 3f e e d f o r w a r dn e t w o r k 图2 4 反馈网络 f i g2 4f e e d b a c kn e t w o r k 2 4 神经网络的学习规则 人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐步形成和 发展起来的。学习即根据与环境的相互作用而发生的行为改变，其结果导致对外 界刺激产生反应的新模式的建立。学习过程离不开训练，学习过程就是一种经过 训练而使个体在行为上产生较为持久改变的过程。 神经网络的学习算法很多，根据一种广泛采用的分类方法可以将神经网络的 学习算法归纳为三类：有导师学习、无导师学习和死记式学习【2 】。 有导师的学习也称为监督学习，这种学习模式采用的是纠错规则。在学习训 练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模 式，称为“教师信号”。将神经网络的实际输出与期望输出进行比较，当网络的输出 与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值，以使 下一次网络的输出更接近期望结果。对于有导师学习，网络在执行工作任务之前 必须先经过学习，当网络对于各种给定的输入均能产生所期望的输出时，即认为 网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行 工作了。 无导师学习也称为无监督学习。在学习过程中，需要不断地给网络提供动态 输入信息。网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可 能存在的模式和规律同时能根据网络的功能和输入信息调整权值，这个过程称 7 重庆大学硕士学位论文 2 神经网络基础知识 为网络的自组织，其结果是使网络能对属于同一类的模式自动进行分类。 在有导师的学习中，提供给神经网络学习的外部指导信息越多，神经网络学 会并掌握的知识越多，解决问题的能力也就越强。但是，有时神经网络所解决的 问题的先验信息很少，甚至没有，这种情况下无导师学习就显得更有实际意义。 死记式学习是指网络事先设计成能记忆特定的例子，以后当给定有关该例子 的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不 再变动，因此其学习是一次性的，而不是一个训练过程。 网络的运行一般分为训练和工作两个阶段。训练的目的是为了从训练数据中 提取隐含的知识和规律，并存储于网络中提供给工作阶段使用。 单个神经元是一个自适应单元，其权值可以根据它所接受的输入信号、输出 信号以及对应的监督信号进行调整。日本著名神经网络学者a m a r i 于1 9 9 0 年提出 一种神经网络权值调整的通用学习规则，该规则的图解表示见图2 5 。 一1 玉 ： 图2 5 权值调整的一般情况 f i g2 5g e n e r a lc a s eo f m o d i f y i n g t h ew e i g h t s 图中的神经元，是神经网络中的某个节点，其输入用向量x 表示，该输入可 以来自网络外部，也可以来自其他神经元的输出。第f 个输入与神经元，的连接权 值用，表示，连接到神经元，的全部权值构成权向量形。该神经元的阂值正= w o ， 对应的输入分量而恒为一l 。图2 5 中，= r q ：矿，x ，d ，) 代表学习信号，该信号通常 是矿和石的函数，而在有导师学习时，它也是教师信号d 的函数。通用的学习规 则可表达为：权向量彬在t 时刻的调整量形( f ) 与t 时刻的输入向量x ( f ) 和学习信 号，的乘积成正比。用数学表示为： 形( f ) = r t r ( f ) ，z ( f ) ，t ( f ) z ( f ) 重庆大学硕士学位论文2 神经网络基础知识 式中，巧为正数，称为学习常数，其值决定了学习速率，也称学习率。不同的学习 规则对r = r ( 嘭，x ，乃) 有不同的定义，从而形成各种各样的神经网络学习规则。常 用的学习规则有h e b b i a n 学习规则、p e r c e p t r o n ( 感知器) 学习规则、j ( d e l t a ) 学习规 则、w i d r o w - h o f f 学习规则、c o r r e l a t i o n ( 相关1 学习规则、w i n n e r - t a k e a l l ( 胜者为 王1 学习规则、o u t s t a r ( 外星) 学习规则等。如表2 1 所示。 表2 1 几种常用的学习规则 t a b l e2 1s o m ek i n d so f g e n e r a ll e a r n i n gr u l e s 学习规则权值调整权值初始化 学习方式转移函数 h e b b i a n = r l f ( w f x ) x o无导师任意 p e r c e p t r o n = 印 乃一s 鲥哆z ) 】彳 任意有导师 二进制 d e l t a = ，7 ( 嘭一o j ) f ( n e t j ) x 任意 有导师连续 w i d r o w - h 0 f f = r l ( d j 一哆x ) x 任意有导师任意 相关 彬= 叩d j x 0 有导师任意 w i n n e r - t a k d a l l a 呒= 叩( z 一既) 随机、归一化无导师连续 o u t s t a r = r ( d 一) 0 有导师连续 2 。5 常见的神经网络 ( 1 ) b p 神经网络 该网络也称为“误差反传训练人工神经网络”，它利用网络对学习信号的输出响 应与期望输出之间的误差作为导师信号，对网络连接强度进行调节，通过多次反 复调节达到误差最小，从而完成学习过程。 ( 2 ) h o p f i e l d 网络 该网络是一种反馈型网络，即它是一种动态神经网络，需要工作一段时间后 才能稳定。该网络可分为离散型网络和连续型网络两种，其中离散型网络可以应 用于联想记忆，而连续型网络主要应用于优化计算，如t s p ( t r a v e l i n gs a l e s m a n p r o b l e m 旅行推销员问题) 的解决。 ( 3 ) b o l t z m a n n 机 b o l t z m a r m 机也是一种反馈型神经网络，类似于h o p f i e l d 网络。它属于随机 神经网络，可以应用于模式分类、预测、组合优化等领域。 9 重庆大学硕士学位论文2 神经网络基础知识 ( 4 ) c m a c 神经网络 c m a c 即小脑模型关节控制器( c e r e b e l l am o d e la c c u s a t i o nc o n t r o l l 神，是模仿 人类小脑控制肢体运动的原理而建立的神经网络模型。经过不断发展，现在主要 用于机器人控制、模式识别、信号处理及自适应控制等。 此外常用的神经网络模型还有a r t 、a g e n t 、a d a l i n e 等。据文献介绍，现已 公开发表的神经网络模型达5 0 多种，表2 2 对当前较为著名的几种神经网络的特 点进行列表说明，并对其特点与应用进行了评述和比较。 表2 2 几种著名的神经网络及其特点 t a b l e2 2s o m ek i n d so f n o t e ln e u r a ln e t w o r k sa n dt h e i rc 。h a r a c t e r s 名称 发明( 或开发) 人 主要应用领域局限性评述 p e r c e p r o n f r a n kr o l s e n b l a t t文字和声音的识不能识别复属于可训练的线性分 ( 感知机)( 1 9 5 7 ) 别、声纳信号的识杂的字型，对类单层网络，也是最 别及学习记忆问字的大小、平古老的网络 题的研究移和旋转敏 感 a d a l i n eb e r n a r dw i d r o w雷达天线控制、雷假定输入输具有最小方差学习功 ( 自适应线性( 1 9 6 2 ) 达干扰的适应性出之间呈线能的线性网络，学习 单元1消除、适应性调制性关系能力强 解调等 c m a c d m a n 机器人手臂运动需要复杂的能调和各种指令序 ( 小脑模型关j a l b u s的控制控制输入列，按需要缓慢的插 节控制器) a p e l l i o n e z入动作 ( 1 9 s 2 ) b p d a v i dr u m e l h a r t &文本的语音合成、是有导师的属于多层映射网络， f 误差 j a m e sm c c e l l a n d 语言识别、慢过程训练，需要大采用最小方差学习方 反传网络) d p a r k 口有滞后环节的工量输入、输出式，是应用最广泛和 p w e r b o s业控制等样本来纠正最普及的网络 ( 1 9 8 5 ) a r t g g a r p e n t e r 模式识别、特别是受平移、大可以对任意多和任意 ( 自适应谐振s g r o s s b e r g 复杂模式的识别、小、旋转的影复杂的二维模式进行 理论)( 1 9 9 0 ) 图象识别、语音识响自组织、自稳定和大 别等规模并行处理 b r a i ns t a t ei nj a m e sa n d e r s o n 解释概念形成、分只能进行一是具最小方差的单层 b o x( 1 9 7 7 )类和知识处理次性决策，无自联想网络 ( b s b 网络) 重复性共振 s e l f - o r g a n i z i n g t u e v ok o h o n e n语音识别、机器入 需要丈量的描述某种最优跌射， f e a t u r em a p ( 1 9 8 0 ) 控制、工业工程控训练和练习能把某一几何区域映 1 0 重庆大学硕十学位论文 2 神经网络基础知识 伯组织特征制、通信自适应射到另一区域 映射网络1 器、图象压缩等 h o p f l e l d 网络j o h nh o p f i e | d 求解t s p 问题，不能学习、权 由相同元件组成的单 (1982) 线性规划、货流问重需要事先 层网络，不具有学习 题、联想记忆和辩给定，连接对功能 识称 b o l t z m a na n dj h i n t o n 图象、声纳、雷达 训练时间长、使用噪声过程来取代 c a u c h y t s e j n o w s k i等模式识别 某些统计分代价函数的全局极小 m a c h i n e s a c l d e y 布情况下产值网络。利用噪声函 ( b o l t z m a n 和h a r o l dhsz l l 生噪声数寻找全局最优 c a u c h y 机)( 1 9 8 6 ) b i d i r e c t i o n a lb a r tk o s k o 内容寻址的联想存储密度低、由相同神经元组成的 a s s o c i a t i v e ( 1 9 8 8 ) 记忆资料数据必双向联想式单层网 m e m o r y须适应编码 络，具有学习功能， f 双向联想记忆最容易学的一种网络 自适应网络)之一，能把对象的片 面联系成完整的对象 2 6 本章小结 本章描述了神经网络基础知识，介绍了神经网络的生物学基础、神经元模型、 网络结构、学习规则以及几种常见的神经网络。 重庆大学硕士学位论文 3b p 神经网络模型 3b p 神经网络模型 3 。1b p 神经网络简介 3 1 1b p 神经网络结构 采用b p 算法的多层前馈神经网络是至今为止应用最广泛的神经网络，在多层 前馈网络的应用中，以单隐层网络的应用最为普遍。由万能定理可知p j ：如果隐层 节点个数是可以根据需要自由设置的，那么单隐层的网络可以以任意精度逼近任 何具有有限间断点的函数。所以由图3 1 所示的单隐层b p 网络最为普遍【s 】： 工埘 x 口n yp l 输入层隐层输出层 图3 1b p 网络结构 f i g3 1s t r u c t u r eo f b pn e t w o r k d m o 哪 上图所示的神经网络是带一个隐含层的三层前向网络，隐含层和输出层节点 都采用s i g l n o i d 激励函数。神经网络有个输入，置个隐层节点和个输出。输 入样本总数为p ，第p 个样本输入向量为z ，= x p i ，。，誓州) 7 ，期望输出 向量= ( ，0 ：，) 7 ，d ，为输出层第m 个节点的输出，y 一为隐层第k 个节点 的输出。& k 为隐节点k 到输出层节点m 的权值，瓦。为输入层第胛个节点到隐层 第七个节点的权值。 下面分析各层信号间的数学关系： 对于输出层，有 玉 ( f ) = ，( ( f ) ( f ) ) 1 2 重庆大学硕士学位论文 3 b p 神经网络模弛 对于隐层，有 ( f ) = ，( 吼( f ) ) 以上两式中，转移函数f ( x ) 均为单极性s i g m o i d 函数 馋) = 专 f ( x 1 具有连续、可导的特点，且有 ，( x ) = 厂( 工) 1 - f ( x ) 】 根据应用需要，也可以采用双极性s i g m o i d 函数 m ) = 等 l l 左二二二。 了 0 一 1 图3 2 单极性s i g m o i d 函数 f i g3 2u n i p o l a rs i g m o i df u n c t i o n | 。 i jl i 1 厂 么：- 一 o 1 图3 3 双极性s i g m o i d 函数 f i g3 3b i p o l a rs i g m o i df u n c t i o n 3 1 2b p 算法的思想和学习规则 b p 算法的基本思想是：学习过程由信号的正向传播与误差的反向传播两个 过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输 出层。若输出层的实际输出与期望输出不符，则转入误差的反向传播阶段。它主 要是通过梯度下降法来修改权值，使得总误差函数达到最小。 设网络共有三层，为第，层的神经元个数，其中，= 1 , 2 ，l 。输入的样本总 数为p 。第p 个样本输入向量为 群= 嗨，砀，) r ， 重庆大学硕士学位论文 3b p 神经网络模型 其期望输出向量为 啄= 略，呦，一呶，一y ， 实际输出向量为 z = ( 孝，瑶，一谬，一礤，哆2 惦，一；略，一；瞄j ， p = 1 ，2 ，p 。定义总误差函数如下 n t e = q ， ，- 1 其中e 为第歹个输出神经元的误差 易；i 1 厶p 。一。( l ) 2 ， 二p = l 第p 个样本的第z 层的第- ，个神经元输出为 曙= 嘲) = 爵i 万， 其中，( ) 为激励函数，一e 学= o o 纩 第k 步迭代后权值更新按以下规则进行： w k + l2 w k + a w k a w k = 一r l v e ( w k ) + c r a w k - 1 n ， v e = 芝码 卢i ( 3 1 ) ( 3 2 ) ( 3 3 ) 其中节，a 是小于1 0 的正常数，分别为学习因子和动量因子v 易的第i 分量为 孑= 彩带n ， 4 ， 其中为第p 个样本在第，层的第_ ，个神经元的的信号误差。对于单极s i g m o i d 函数作为激励函数，我们有 1 4 ( 3 5 ) 屯 水 勘 批 垂 歉 乜 啪 秽 ” 一f 鳄 重庆大学硕士学位论文 3b p 神经网络模型 3 1 3b p 算法的程序实现， b p 算法的编程步骤如下： ( 1 ) 初始化对权值矩阵矿( ”，w 但) ，w ( 赋随机数，将样本模式计数器p 和训练 次数计数器q 设置为1 ，误差昱设爱为0 ，学习率r 设为0 1 f , j 的一个数，网 络训练后达到的精度五0 。设为一个较小正数； ( 2 ) 输入训练样本对，计算各层输出； ( 3 ) 计算网络输出误差； ( 4 ) 根据公式( 3 5 ) 计算各层误差信号； ( 5 ) 根据公式( 3 3 ) 调整各层权值； ( 6 ) 检查是否对所有样本完成一次轮训。若p d 西，此时a w k i 方向向右。当 第露一1 步迭代完成时，f l j ( 3 3 ) 式更新权值得到吼，假设o k o w 。，其结果如图4 - 1 所示。 o i 。 k 勤爪 0 u 么。一钆“ a w i l 图4 1 第k 一1 步迭代完成时。神经元输出情况 f i g 4 1t h e c a s eo f o u t p u t o f n e t t r a l u n i ta f t e r t h e e p o c h k 一1 1 9 重庆大学硕士学位论文4b p 网络模犁中输出神经元过早饱和的机理研究 基于上面的假设，一猡e ( ) 和c r a w k 。是沿着互为相反的方向来修改权值，其 e p 一彬e ( ) 是沿着误差函数易减少的方向进行，即方向向左；a a w k 。是沿着使 实际输出趋向于1 0 的方向进行，即方向向右。假设动量项在修改权值方向上占主 导地位，则当第七步迭代完成时将得到q + l ，结果如图4 - 2 所示 嘭 叩e ( 叱) ? m 4 厶a 一 o kq w1 o z v “ ( 工) 用 图4 2 第k 步迭代完成时，神经元输出情况 f i g ，4 ，2t h ec a s eo f o u t p u to f n e u r a lu n i ta f t e rt h ee p o c h k o k + 。趋向于1 o 而离期望输出越来越远时磺变小，从而导致暴也变小( 如 果o ，f f - 1 没有弥补鳄的减小) 。因此，当第七+ l 步完成时得到吼+ 2 ，结果如图4 - 3 所示( 分析同上步) 。 略 l 口w t q v e ( w t + 1 ) 趴一 o k + ：o 乙 v m ( 工) o 图4 3 第k + l 步迭代完成时，神经元输出情况 f i g 4 3 t h e c a s e o f o u t p u t o f n e u r