libin毕业论文基于MATLAB神经网络仿真

1、装订线安徽工业大学管理科学与工程学院 基于MATLAB神经网络仿真共 45 页 第 PAGE 46 页摘 要随着人工神经网络的研研究和应用越来越越广泛，误差反向向传播算法（BP算算法）的提出，成成功地解决了求解解非线性连续函数数的多层前馈神经经网络权值调整问题，BP神经网络如今成为最广泛使用的网络，研究它它对探索非线性复复杂问题具有重要要意义，而且它具有广泛的应用用前景。以BP神经网络为例例，讨论了BP神经网络及几几种改进BP神经网络性能能的算法；通过BP学习算法的推导和分析得知BP网络是一一种多层前馈网络络，采用最小均方方差的学习方式，缺点是仅为有导师训练，训练时间长，易限于局部极小；运用M

2、ATLAB来实现各种BP神经网络的实现的设计与训练，比较不同BP神经网络的性能，验证改进BP网络的优势，得出如何根据对象选取神经网络的结论。关键词：人工神经网络、BP神神经网络、误差反反向传播算法、MATLAB、仿真R。AbstractWith the artificial neural network of research and application of more and more widely, the error back-propagation algorithm (BP algorithm) is proposed, successfully resolved the con

3、tinuous function for solving nonlinear multi-layer feed-forward neural network weights adjustment, BP network has become now the most widely used networks, Study to explore its complicated nonlinear problem has important significance, but also has broad application prospects. BP neural network is di

4、scussed and several improvements in the performance of BP neural network algorithm. BP learning algorithm through the derivation and analysis that the BP network is a multi-layer feedforward networks, the use of least-mean-variance approach to learning, there is only disadvantage is that the trainin

5、g instructors, training time, limited to local minimum easily. The use of MATLAB to achieve a variety of BP neural network to achieve the design and training, to compare the performance of BP neural network to verify the advantages of improving the BP network, how to draw the object selected in acco

6、rdance with the conclusions of neural networks.z。Key words: Artificial neural network, BP neural networks, error back-propagation algorithm, MATLAB, simulationS。目 录TOC o 1-3 h z u HYPERLINK l _Toc 1.绪论 PAGEREF _Toc h 5y。 HYPERLINK l _Toc 1.1 引言 PAGEREF _Toc h 5l。 HYPERLINK l _Toc 1.2 神经网络概述述 PAGEREF

7、 _Toc h 58。 HYPERLINK l _Toc 121 神经网络起源 PAGEREF _Toc h 5Y。 HYPERLINK l _Toc 122 神经网络的发展历历程 PAGEREF _Toc h 5t。 HYPERLINK l _Toc 123 神经网络国内发展展概况 PAGEREF _Toc h 6I。 HYPERLINK l _Toc 124 神经网络研究现状状 PAGEREF _Toc h 77。 HYPERLINK l _Toc 1.3研究目的、方法法和问题（BP神经网络） PAGEREF _Toc h 8n。 HYPERLINK l _Toc 131 研究目的 PAG

8、EREF _Toc h 8N。 HYPERLINK l _Toc 132 研究方法 PAGEREF _Toc h 8G。 HYPERLINK l _Toc 133 研究问题 PAGEREF _Toc h 8T。 HYPERLINK l _Toc 2.BP神经网络 PAGEREF _Toc h 10 x。 HYPERLINK l _Toc 2.1 BP神经网络络相关原理 PAGEREF _Toc h 10c。 HYPERLINK l _Toc 211 神经元非线性模型 PAGEREF _Toc h 10Y。 HYPERLINK l _Toc 212 有教师监督学习 PAGEREF _Toc h

9、10V。 HYPERLINK l _Toc 213 神经元数学模型 PAGEREF _Toc h 11g。 HYPERLINK l _Toc 214 Delta学习规规则 PAGEREF _Toc h 11Q。 HYPERLINK l _Toc 215 神经元激活函数 PAGEREF _Toc h 12b。 HYPERLINK l _Toc 216 BP神经网络收敛敛准则 PAGEREF _Toc h 121。 HYPERLINK l _Toc 2.2 BP神经网络络学习过程描述 PAGEREF _Toc h 132。 HYPERLINK l _Toc 221 BP神经网络计算算模型建立 PA

10、GEREF _Toc h 13u。 HYPERLINK l _Toc 222 BP神经网络学习习过程描述 PAGEREF _Toc h 14L。 HYPERLINK l _Toc 223 BP神经网络方框框图 PAGEREF _Toc h 14z。 HYPERLINK l _Toc 2.3 BP神经网络络学习方法 PAGEREF _Toc h 14W。 HYPERLINK l _Toc 231 BP神经网络信号号流程 PAGEREF _Toc h 143。 HYPERLINK l _Toc 232 误差反向传播计算算 PAGEREF _Toc h 15S。 HYPERLINK l _Toc 2

11、33 BP神经网络算法法描述 PAGEREF _Toc h 18T。 HYPERLINK l _Toc 2.4 影响因素分析析 PAGEREF _Toc h 191。 HYPERLINK l _Toc 241 权值初始值设置影影响分析 PAGEREF _Toc h 198。 HYPERLINK l _Toc 242 权值调整方法影响响分析 PAGEREF _Toc h 19o。 HYPERLINK l _Toc 243 激活函数选择影响响分析 PAGEREF _Toc h 20E。 HYPERLINK l _Toc 244 学习率选择影响响分析 PAGEREF _Toc h 20U。 HYPE

12、RLINK l _Toc 245 输入输出归一化影影响分析 PAGEREF _Toc h 21Q。 HYPERLINK l _Toc 246 其他影响因素分析析 PAGEREF _Toc h 22Z。 HYPERLINK l _Toc 2.5 BP学习算法法的改进 PAGEREF _Toc h 22L。 HYPERLINK l _Toc 251 BP学习算法的优优缺点 PAGEREF _Toc h 22p。 HYPERLINK l _Toc 252 增加动量项 PAGEREF _Toc h 23H。 HYPERLINK l _Toc 253 弹性BP学习算法法 PAGEREF _Toc h 2

13、3H。 HYPERLINK l _Toc 254 自适应学习速率法法 PAGEREF _Toc h 24X。 HYPERLINK l _Toc 255 共轭梯度法 PAGEREF _Toc h 25V。 HYPERLINK l _Toc 256 Levenberg-Marquardt算法 PAGEREF _Toc h 25V。 HYPERLINK l _Toc 3.BP神经网络仿真真 PAGEREF _Toc h 27J。 HYPERLINK l _Toc 3.1 仿真平台MATLAB PAGEREF _Toc h 27E。 HYPERLINK l _Toc 311 MATLAB简介介 PAG

14、EREF _Toc h 27L。 HYPERLINK l _Toc 312 仿真平台的构建和和策略 PAGEREF _Toc h 27T。 HYPERLINK l _Toc 3.2 仿真实验 PAGEREF _Toc h 288。 HYPERLINK l _Toc 321 BP神经网络MATLAB设计计 PAGEREF _Toc h 286。 HYPERLINK l _Toc 322 各种BP学习算法法MATLAB仿真真 PAGEREF _Toc h 29f。 HYPERLINK l _Toc 323 各种算法仿真结果果比较与分析 PAGEREF _Toc h 32p。 HYPERLINK l

15、 _Toc 324 调整初始权值和阈阈值的仿真 PAGEREF _Toc h 33A。 HYPERLINK l _Toc 325 其他影响因素仿真真 PAGEREF _Toc h 35c。 HYPERLINK l _Toc 4.BP神经网络应用用实例 PAGEREF _Toc h 37z。 HYPERLINK l _Toc 4.1 实例概述 PAGEREF _Toc h 37s。 HYPERLINK l _Toc 4.2 网络设计 PAGEREF _Toc h 37U。 HYPERLINK l _Toc 4.3 网络训练 PAGEREF _Toc h 38A。 HYPERLINK l _Toc

16、 4.4 网络测试 PAGEREF _Toc h 39q。 HYPERLINK l _Toc 4.5 实例总结 PAGEREF _Toc h 40h。 HYPERLINK l _Toc 5.总结与展望 PAGEREF _Toc h 41L。 HYPERLINK l _Toc 5.1 BP神经网络络研究总结 PAGEREF _Toc h 41V。 HYPERLINK l _Toc 5.2 神经网络研究究展望 PAGEREF _Toc h 42c。 HYPERLINK l _Toc 致谢 PAGEREF _Toc h 43F。 HYPERLINK l _Toc 参考文献 PAGEREF _Toc

17、h 44N。 HYPERLINK l _Toc 附录461.绪论1.1 引言随着计算机的问世与发发展，人们设法了了解人的大脑，进进而构造具有人类类智能的智能计算算机。在具有人脑脑逻辑推理能力延延伸的计算机战胜胜人类棋手的同时时引发人们对模拟拟人脑信息处理的的人工神经网络的的研究。E。人工神经网络（Artificial Neural Networks, ANN）（注：简称为神经网络），一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供

18、的一批相互对应的输入输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。（引自环球科学2007年第一期神经语言：老鼠胡须下的秘密）X。1.2 神经网络概述述121神经网络起起源早在1890年，美国国心理学家William James（1842-1910）出版版了Principles of Psychology专著，本书研究究了心理活动与大大脑神经生理活动动的关系,开创性性提出学习、联想想记忆的基本原理理。指出：“让我们假设所有有后继推理的基础础遵循这样的规则则：当两个基本的的脑细胞曾经一起起或相继被激活过过，其中一个受刺刺激激

19、活时会将刺刺激传播到另一个个”。他还认为在大大脑皮层上的任意意一点的刺激量是是其他所有发射点点进入该点刺激总总和。1943年年，心理学家W.S.McCulloch和和数理逻辑学家W.A.Pitts建立了神经网络和数学模型，称为M-P模型。他们通过M-P模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。F。122 神经网络的发展历程1943年，心理学家家W.S.McCulloch和和数理逻辑学家W.Pitts建建立了神经网络和和数学模型，称为为M-P模型；R。1949年，心理学家家Donald Olding Hebb出版了了Orga

20、nization of Behavior，在在该书他首先提出出了连接权训练算算法，即如今人们们称为的Hebb算算法；3。1958年，计算机科科学家Frank Rosenblatt，在一篇著名的文章中提出了一种具有三层网络特性的“感知器”（perceptron）神经网络； n。 1960年，电机工程程师Bernard Widrow和和Marcian Hoff发表了了Adaptive Switching Circuits文文章，不仅把人工工神经网络在计算算机上仿真，而且且用硬件电路实现现了它。因此Widrow-Hoff的学习习训练算法（也称称（误差大小）算法或或最小均方（LMS）算算法）也应运而生

21、生；k。1969年，人工智能能的创始人之一，MMinsky和S.Papert经过数年研究，仔细分析了以感知器为代表的神经网络系统的功能及局限后，出版了Perceptron一书，指出感知器不能解决高阶谓词问题；d。1969年，美国波士士顿大学自适应系系统中心的S.Grossberg教教授及其夫人G.A.Carpenter提提出了著名的自适适应共振理论（adaptive resonance theory）模型；6。1972年，芬兰的T.Kohonen教教授提出了自组织织映射（SOM）理理论，并称其神经经网络结构为“associative memory”；与此同时，美美国的神经生理学学家和心理学家J

22、.Anderson，提提出了一个类似的的神经网络“interactive memory”；v。1980年，日本东京京NHK广播科学学研究实验室的福福岛邦彦（Kunihiko Fukushima），发发表了Neocognitron，开开发了一些神经网网络结构和训练算算法，还有一系列列的改进的文章，新新认知机在于视觉觉模式识别机制的的模型；K。1982年，美国加州州理工学院的优秀秀物理学家John J.Hopfield博士发表一篇著名的文章，吸收前人的研究成果，把各种结构和算法概括综合起来建立起新颖而有力的Hopfield网络；k。1985年，G.E.Hinton和和T.J.Sejnowski借借

23、助统计物理学概概念和方法提出了了波耳兹曼模型，在在学习中采用统计计热力学模拟退火火技术，保证整个系统趋于于全局稳定点；Q。1986年进行认知微微观结构地研究，提提出了并行分布处处理的理论；T。1987年首届国际神神经网络学术会议议在美国加州圣地地亚哥召开，成立立了国际神经网络络学会（INNS）；i。1987年以来，神经经网络理论、应用用、实现和相关开开发工具发展迅速速，涉及神经生理理学、认知科学、心理学、数理科科学、信息科学、计算机科学、微微电子学、光学、生物电子学等多多学科交叉、综合合的前沿科学。应应用于各个领域，如如自动控制领域、处理组合优化问问题、模式识别、图像处理、机器人控制、医疗等。

24、可见人工工神经网络具有广广泛的研究和应用用前景；以下是1987年年后的一些发展历历程：f。1988年，Broomhead Lower提出出径向基函数网络络（Radial Basis Function，RBF），网络设计采用原理化方法，有坚实的数学基础；y。1992-1998年年，Vapnik提提出了支持向量机机（Support Vector Machine，SVM），在在模式分类问题上上能提供良好的泛泛化能力。F。123 神经网络国内发展展概况1980年，涂序言教教授等出版了生生物控制论一书书，“神经系统控制论论”一章系统地介绍绍了神经元和神经经网络的结构、功功能和模型，是我我国最早涉及神经经

25、网络的著作；因因此到80年代中中期，我国学术界界掀起了研究神经经网络的热潮；1988年年北京大学非线性性研究中心举办了了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989年召开开可全国非正式的的神经网络会议，于于1990年在北北京召开了中国神神经网络首届学术术大会，第二年在在南京召开了第二二届，并成立了中中国神经网络学会会；1992年国国际神经网络学会会和IEEE神经经网络委员会在北北京召开神经网络络的国际性会议；自此中国神经网网络研究在国家研研究

26、计划的支持和和学术及工程人员员的发展与应用下下取得一系列丰硕硕成果。D。124 神经网络研究现状状神经网络是可大规模并并行处理和分布式式信息存储，具有有良好的自学习、自适应、自组织织性，以及很强的的联想记忆和容错错功能，可以充分分逼近任意复杂的的非线性关系，可可有很强的信息综综合能力，能同时时处理定量和定性性信息，能很好的的协调多种输入信信息关系，适用于于处理复杂非线性性和不确定对象。l。目前的神经网络的研究究中主要有以下几几种类型：松耦合模型：符符号机制的专家系系统和联接机制的的神经网络通过一一个中间媒介如数数据文件进行通信信；紧耦合模型：其其通信数据是直接接的内部数据，具具有很高的效率；转

27、换模型：将专专家系统知识转换换成神经网络，或或把神经网络转换换成专家系统知识识，转换需要在两两种机制之间，确确定结构上的一致致性，目前主要问问题还没有一种能能够精确而完备的的实现二者转换；综合模型：将具具有符号机制的逻逻辑功能和具有联联接机制的自适应应和容错性结合为为一个整体，共享享数据结构和知识识表示；混沌理论：是系统统从有序突然变为为无序状态的一种种演化理论，是对对确定性系统中出出现的内在“随机机过程”形成的途途径、机制的研讨讨，从而与神经网网络融合，达到取取长补短的效果；模糊集理论：用用语言和概念代表表脑的宏观功能，按按照人为引入的隶隶属度，将模糊性性的语言信息进行行逻辑处理，与神神经网

28、络结合，取取长补短；遗传算法：模拟达达尔文生物进化论论的自然选择和遗遗传学机理的生物物进化过程的计算算模型，是一种通通过模拟自然进化化过程搜索最优解解的方法，从而与与神经网络融合，达达到取长补短的效效果；混合神经网络：把神经网络与混混沌理论、模糊集集理论和遗传算法法相互结合的网络络模型。j。人工神经网络学习问题题展望，目前主要要有以下三种方法法：基于搜索机制制的学习方法、基基于规划的学习方方法和构造性学习习方法。如今也有有其综合方法，各各有特点。其中基基于搜索的方法，若若不从根本上进行行改变，很难克服服其内在固有的缺缺点，如基于局部部最小的搜索算法法，其中BP算法法就有易限于局部部极小的固有缺

29、点点；规划方法因为为其中有“优化的步骤”，从理论上看其其所得网络性能要要比其他方法要好好，但如何确定核核函数形式和参数数问题一直是未能能很好解决的问题题，当数据规模极极大会引起计算量量过大问题；构造造性方法，因为进进行了局部化，计计算量要小，由于于未进行全局优化化，故性能不及规规划方法，不需要要确定映射关系就就没有了确定核函函数的困难问题；如果能够将三者者相互结合，将规规划方法中优化过过程合理地引入到到构造方法中，也也许即可克服规划划方法计算量大的的问题，核函数和和参数确定问题，也也可以克服构造性性方法未进行全局局优化的缺点；这这些将是值得研究究的问题。随着更更多数学方法的引引入，如模拟退火火

30、算法、商空间（即即线性空间）理论论、统计推断方法法与启发式搜索技技术及其结合产物物的引入，促进各种学习方法法的改进，将有力力的推进神经网络络的进一步发展。t。随着神经网络的广泛应应用，具有以下研研究趋势：增强对智能和机机器的关系问题的的认识，发展神经经计算与进化计算算的理论与应用，扩扩大神经网络结构构和神经元芯片的的作用，促进信息息科学与生命科学学的相互融合，进进行与其他智能方方法融合技术研究究。p。1.3研究目的、方法法和问题（BP神经网网络）131研究目的在人工神经网络发展历历史中，很长一段段时间里没有找到到隐含层的连接权值调调整问题的有效算算法。直到误差反反向传播算法（BP神经网络算法）

31、的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权值调整问题。目前，BP神经网络已成为广泛使用的网络，可用于语言综合、语言识别、自适应控制等。它是一种多层前馈网络，采用最小均方差的学习方式，缺点是仅为有导师训练，训练时间长，易限于局部极小。A。鉴于神经网络的广泛应应用，特别是BP神经网络的发展，对于神经网络（比如BP神经网络）的研究具有重要意义。研究的主要目的是：理解BP网络结构模型；学习误差反向传播算法和BP神经网络的学习算法；分析关键因素，得出BP网络的优缺点；综合各种因素并使用启发式方法对BP神经网络算法进行改进；应用数学软件MATLAB对BP神经网络标准算法和改进算法进行仿真编

32、程；利用仿真结果和图表得出各个算法适用条件；进而研究实际问题的BP神经网络构建和仿真。P。132研究方法通过参考研究学习神经经网络研究和工作者的著著作和文章，理解解神经网络，特别别是BP神经网络络的结构模型和理理论；利用现有的的数学理论知识和和方法，推导反向向传播算法计算；利用计算机程序序设计理论编写BP神经网络学习算法的步骤和流程；分析BP标准算法关键因素，利用现有数学相关方法（如启发式方法，MATLAB中几种典型的BP神经网络算法：traingdm，增加动量法；trainrp，弹性BP算法；traingda，traingdx，自适应学习速率法；traincgf，共轭梯度法；trainbfg

33、，拟牛顿法；trainlm，Levenberg-Marquardt算法）对BP神经网络算法改进和理论推导；利用优秀数学软件MATLAB进行BP网络学习算法的仿真编程，分别建立BP神经网络标准算法、改进算法的编程程序，利用MATLAB得出相关图表，分析其关键因素；应用实例对BP神经网络的应用和仿真进行验证；通过自己的理解和学习得出自己对神经网络（BP神经网络）的思考。W。133研究问题研究问题1：BP神经经网络的学习过程程，工作信号正向向传播，误差信号号反向传播。得到到如下图1-1示意模型：（多层层前馈型网络）Q。输入层隐含层输出层误 差 信 号图1.1 BP神经网络示意模型输 入 信 号s。研

34、究问题2：BP神经经网络的不足，训练时间间较长，有时完全全不能训练，失败败的可能性也较大大，易陷于局部极极小而得不到全局最优，隐含节点个数难难以确定，训练过过程有暂时遗忘的的现象即学习新样样本有遗忘旧样本本的趋势。s。研究问题3：BP神经经网络学习算法的的改进有（MATLAB神神经网络工具箱中中）：增加动量法(traingdm)、弹性BP算法（trainrp），自适应学习速率法(traingdx)、共轭梯度法 (traincgf)、拟牛顿法 (trainbfg)以及Levenberg-Marquardt算法（trainlm）等。注：在MATLAB R2007版本中traingdx为动量及自适应

35、lrBP的梯度递减训练函数。C。研究问题4：误差要求求和网络复杂程度度将影响BP各种种算法的选择；比比如拟牛顿法需要要Hessian矩矩阵，不适用于复复杂的大型网络，但但对于中型网络其其收敛效果仅次于于LM算法，且需需要的内存也相对对较小，但对于小小型网络LM算法法最好最快，仿真真效果要好；又如如当误差要求比较较高时，弹性BP算法和自适应应学习速率法需要要很长的训练时间间，在设定的训练练步骤范围内不能达到期望误差差。B。研究问题5：在实例的的网络模型的建立立和MATLAB仿真的过程中，发发现没有确定隐含含层神经元数目的的有效方法，隐含含层神经元的数目目直接影响分类精精度，神经元数目目过多或过少

36、都会会使网络性能下降降，一般只能由经经验设定，再经过过多次调试确定最最佳数目。其次网络的泛化化能力与训练能力力的矛盾，一般情情况下，训练能力力差时，预测能力力也差，并且一定定程度上随训练能能力地提高，泛化化能力也提高。但但这种趋势有一个个极限，当达到此此极限时，随训练练能力的提高，泛泛化能力反而下降降，即出现所谓“过拟合”现象。此时，网网络学习了过多的的样本细节，而不不能反映样本内含含的规律。 q。2.BP神经网络2.1 BP神经网络络相关原理211神经元非线性性模型f（ ）kwk1wk2wkI固定输入x0=+1x1x2阈值kk激活函数输出yk图2.1 神经元非线性模型加法器xIa。加法器，也

37、称线性组合合器，将求输入信信号突触权值被神经元的相相应突触加权和；Z。激活函数是用来限制神神经元的振幅，主主要有0,1或-1,+1；I。阈值的作用是根据其为为正或负，相应的的增加或减低激活活函数的网络输入入。r。注：这里的K为实例。模拟的是生物神经元的电位脉冲原理。环境教师学习系统实际响应描述环境状态向量期望模式输入模式+-误差信号ek图2.2 有教师学习方框图期望响应212 有教师监监督学习2。有教师学习采用的是纠纠错规则，在网络络的学习训练过程程给神经网络一个个期望模式和输入入模式，所期望的的模式就是教师信信号，因此可以将将输入模式所得的的结果与期望模式式的结果相比较，当当不相符时，可以以

38、根据相关规则进进行权值调整，比比如上述的Delta规规则，直到满足一一定误差范围内，这这将更接近期望模模式结果。由此可可见，在执行具体体任务之前必须经经过学习，直到“学会”为止。k。213 神经元数学学模型设在n时刻，神经元i到到神经元j的信息息传递，其输入信信息为xi(n),输出为为Oj(n)，则神经经元j的数学表达达式为5。(式2.1)其中 是神经元i到到j的突触连接权权值 是输入和输出间的突触时时延 是神经元j的阈值 是神经元激活函数如果,又=-1,=（）可得：。214 Delta学学习规则Delta学习规则，也也称连续感知器学学习规则，与离散散感知器学习规则则并行。其规则的的学习信号规

39、定为为：i。(式2.2)为了方便计算，定义神神经元j的期望误误差与实际输出之之间的计算误差为为b。(式2.3)按照误差的负梯度修正正权值，即：(式2.4)(式2.5)其中是学习率，01，在多层前馈馈网络中，权值可可以初始化为任意意值。W。由式2.5可以看出Delta规规则要求连续可导导的激活函数，如如Sigmoid函函数。K。综合式2.1至式2.5得：(式2.6)其中 式2.3中（包括和）为为n学习时刻的计计算误差，Delta学学习规则的学习信信号也为在n时刻刻。l。215 神经元激激活函数O+1+1-1+1+1-1OOO（a）阶跃阈值函数（b）符号阈值函数（c）S型对数函数（d）S型正切函数

40、图2.3 神经元激活函数图形m。在神经元的激活函数中中分为阈值激活函函数（包括阶跃型型和符号型），线线性激活函数（包包括纯线性型和分分段线性型，在图图中未标识），非非线性激活函数（主主要是S型函数，分分为S型对数函数数和S型正切函数数，这两种是BP神经经网络主要使用的的，即Sigmoid函函数及其改进），还有有一种概率型激活活函数（其神经元元状态分布与热力力学的Boltzmann分分布相似，故称这这种模型为神经网网络热力学模型）。K。216 BP神经经网络收敛准则在实际问题上，实际输输出往往很难达到到期望输出，因此此需要一个准则停停止权值的调整，这这就需要考虑关于于误差曲面的局部部或全局最小的

41、性性质。6。以下有两种收敛准则：Kramer & Sangiovanni-Vincentelli准准则:z。当梯度向量的欧几里德德范数达到一个充充分小的梯度阈值值时，认为反向传传播算法已经收敛敛。j。注：欧几里德（Euclidean）范数指得就是通常意义上的距离范数，k。比如Simon Haykin建建议准则：当每一个回合的均方差差的变化的绝对速速率足够小时，认认为反向传播算法法已经收敛。i。分析：第一个准则为了了达到期望值，学学习时间可能会很很长，而第二个准准则则有可能过早早的终止学习。然然而都需要计算一一个梯度或变化率率。a。然而根据网络对输入数数据集合参数化的的学习过程，我们们可以通过网

42、络的的泛化能力即预测测能力判断网络的的收敛，当泛化能能力达到了比较强强的一个标准时，可可以认为学习过程程的停止，即已经经收敛。o。关于泛化方法（如结构构设计方法、主动动学习、在样本随随机输入中添加随随机噪声、表决网网、基于先验知识识、最优停止法等等）内容请参考相相关文献。P。2.2 BP神经网络络学习过程描述输入层隐含层输出层误 差 信 号图2.4 BP神经网络计算模型输 入 信 号x1O层x22xIy1y2yOQ层P 层I层12I123P123Q12Owqowpq221 BP神经经网络计算模型建建立g。注：Wpq是隐含层P中p（输输出）神经元到隐隐含层Q中q（输输入）神经元的连连接权值。0。

43、神经元输入用，激励励输出用，激励函数用Sigmoid，Ii表示I层的第i个神经元输入,在这里即xi；u。训练样本集X=x1,x2,xIT，训练实例K样样本集Xk=xk1,xk2,xkIT；N。实际输出Yk=yk1,yk2,ykOT,期望输出dk=dk1,dk2,dkOT；p。假设n为迭代次数，即即训练步长，权值值和实际输出是n的的函数。222 BP神经经网络学习过程描描述工作信号正向传播。输输入信号从输入层层经隐含层传向输输出层，在输出端端产生输出信号，在在信号的向前传递递过程中网络的权权值是固定不变的的，没一层神经元元的状态只影响下下一层的神经元的的状态。如果在输输出曾不能得到期期望的输出则

44、会转转入误差反向传播播；i。误差信号反向传播。网网络误差信号即网网络的实际输出与与期望输出之间的的差值，该信号由由输出端逐层向前前传播。在误差信信号的反向传播过过程中，网络的权权值由误差反馈进进行调节，即权值值修正，经过不断断的修正直到允许许的误差范围。Z。223 BP神经网络方框框图一层或多层隐藏神经元输出神经元KYk(n)dk(n)ek(n)输入向量Xk(n)图2.5 BP神经网络方框图该图仅给出了输出层的的一个神经元K，焦焦点集中在该神经经元周围活动：a。2.3 BP神经网络络学习方法231 BP神经网络信号号流程dj(n)y0=+1 阈值0ej(n)j(n)yi(n)f()yj(n)-

45、+n+1图2.6（a）BP神经网络信号流图神经元j是输出节点(从yi(n)开始到yj(n)是神经元j)U。图2.6（b）BP神经网络信号流图y0=+1 阈值0y0=+1 阈值0yi(n)j(n)yj(n)f()yk(n)k(n)f()dk(n)ek(n)n+1-+神经元j是隐含层节点点(从yj(n)开始到yk(n)是神经元k)l。以单个神经元输出为例例。232 误差反向传播计算算根据图2.6（a）可可以初步写出下面面的式子：(式2.7)(式2.8)根据图2.6（b）可可以初步写出下面面的式子：(式2.9)(式2.10)其中i=1，2，,I；j=1,2,J；k=1,2,K；n为学习步长。w。在图

46、2.6（a）中，神神经元j在迭代n时时，即训练第n个个例子时，输出误误差信号定义如下下：（此时j为输输出节点）z。(式2.11)定义神经元j的误差瞬瞬时值为 因此，整个误差瞬时值值(式2.12)即为输出层的所有神经经元的误差瞬时值值之和。注：此定义式这是个均均方差式，求得实实际输出和期望输输出的误差值，二二分之一是为了方方便计算。j。根据Delta学习规规则，由式2.6可可得出(式2.13)计算：(式2.14)根据式2.7至式2.12可可得下式结果，再再由下面的式子可可以得出式2.14的的计算结果：F。 (式2.15)如果令（该为负向局向向梯度）取激励函数为：（sigmoid函函数，或称逻辑函

47、函数）(式2.16)令a=1，对该激励函函数并代入求导：因此(式2.17)在图2.6（b）中，隐隐含层I和J，输输出层为k：(式2.18)由式2.9至式2.17和和上述推导过程可可得：(式2.19)(式2.20)又根据反向传播定义可可知：(式2.21)因为式2.9和式2.18代入式2.21可得：(式2.22)将式2.21代入式2.20可可得局向梯度为：根据在图a中替换下标标j可以得出k的的局向梯度：因此，注：(注意换j与k下下标)前面计算有：如此反向向前逐层传播播计算。233 BP神经网络算法法描述 以上的反向传播算法计计算过程是BP算算法的基础算法，下下面是其算法描述述：1。初始化输入样本计

48、算各层输出及输出误差计算各层误差信号调整各层权值mME结束n=n+1,m=m+1E=0m=1图2.7 BP基本算法流程图开始初始化，设置样本计数数器m和训练（迭迭代）次数计数器器n,其最大值分分别为(M,N)；并将权值矩阵阵设立随机数，误误差E置为0，允允许误差值为，学习率00常数，通通常a=1.7159.b=2/3。因此，f(1)=1,f(-1)=-1,f(0)=ab=1.71592/3=1.1424,斜率接近单位1，在x=1时二阶导数最大。在误差反向传播计算中所用的是S型对数函数，同理可以使用S型正切函数，并对其求导推导。F。S型对数函数不是奇函函数，工作范围是是0，1。而双极性S型型正切

49、函数除了本本身符合连续可微微的条件外，具有有双极性输出，它它常常被选用为要要求输入是1范围的信号，关于于它们的选择主要要从函数自身的工工作范围及其导数数值的大小范围以以及结构简单和运运算速度快等思想想考虑。q。由此可见，研究BP神神经网络激活函数数是今后研究的一一个重要课题。244 学习率选择影响分析首先，学习率是随时间间改变的，为了方方便，在反向传播播算法计算过程中中采用的是不变的的学习率。下面是是理想学习率示意意图和一些规则：U。迭代次数nE(n)收敛速率 图2.8 理想学习率示意图 根据反向传播计算式得得知，学习率越大权值的变化化就越大，则BP算算法的学习收w。敛速度就越快，过大则则引起

50、网络的振荡荡，导致网络的不不稳定以及性能低低下，当超过某一一极值容易引起算算法不稳定。相反反学习率小可以避免网络络的振荡，但导致学习习收敛速度的下降降。经过实践证明明来说，输出单元元的局向梯度比输入端大大，为此输出单元元的应小些；有较多多输入端的神经元元的要比有较少的输输入端的神经元的的小些；对于一个给给定的神经元，其其学习率应与神经经元的突触连接的的平方根成反比。M。在BP改进算法中引入入了动量法解决的学习过程变化化问题，增加网络络的稳定性，加快快学习收敛速度，如如MATLAB中中使用动量及自适适应lrBP的梯梯度递减训练函数数。此外有很多研究究人员采用遗传算算法和免疫算法BP神神经网络的学

51、习率率进行优化设计并并简历数学模型，下下面是一个简单的的优化的学习率变变化公式：0。其中n为迭代次数，A和和根据工程应用的的复杂性和结构优优化的模糊性，对对不同的系统和要要求取不同的范围围，一般情况下，1A50，0.00010.001。（参考文献10）d。245 输入输出出归一化影响分析析在输入样本训练网络时，如如果所有输入样本本的输入信号都为为正值或负值，则则与第一隐含层的的神经元权值只能能同时增加或减小小，从而导致学习习速度很慢。因此此需要对输入信号号进行归一化处理理，使得所有样本本的输入信号均值值接近零或者其标标准方差比较小。2。归一化的问题旨在是归归纳统一样本的统统计分布性，改善善其分

52、布规律，具具体是消除均值，去去相关性以及均方方差均衡。归一化化在0,1之间是统计的概概率分布，归一化化在-1,+1之间是统计的坐坐标分布。网络的的各个输入数据常常常具有不同的物物理意义和不同的的量纲，为此需要要使网络训练一开开始就给各训练输输入向量以同等的的身份地位。BP神神经网络的神经元元一般采用sigmoid激激活函数，归一化化可以防止输入信信号数据绝对值过过大进入饱和区。另另外，期望输出数数据不进行归一化化会导致数值大的的分量绝对误差大大，数值小的绝对对误差小，网络训训练时只针对输出出的总误差调整权权值，因此在总误误差中所占份额少少的输出分量相对对误差较大。这些些都将影响学习的的速度。L

53、。处理的方法有，利用合合理的变换等式将将输入输出的数据据变换为0,1或-1,+1（其选择主要看看激活函数的选择择）之间的数据；当输入输出向量量中某个分量的取取值过于密集时，由由此可以将数据的的点拉开一定距离离，适当变换分布布，改善分布规律律。使用主分量分分析法使训练样本本的输入向量互不不相关，去相关后的输入入变量应调整其长长度使它们的方差差近似相等，因此此可以使网络中不不同权值以大约相相等的速度进行学学习。R。246 其他影响响因素分析关于能够改善BP神经经网络性能和学习习收敛速度的影响响因素还有很多，比比如输入样本信息息内容的选择问题题、允许误差的选择问题，从提提示中学习的问题题以及改进误差

54、函函数等。J。在输入样本信息选择问问题上，为能在对对权空间进行更多多的搜索，需要以以下两个原则选择择输入样本，使用用训练误差最大的的样本，使用的样样本要与以前使用用的有根本区别。此此外，在一个迭代代过程给网络的训训练样本分布是变变形的，如果含有有例外点或错误标标记的训练样本将将会损坏输入空间间更大区域的泛化化能力，降低网络络的性能。C。允许误差的选择也会会影响学习的收敛敛速度和学习精度度，我们一般采取取一开始将允许误误差取大些，然后后逐渐减少的做法法，这样是对网络络训练的宽容，也也是因为网络的训训练往往很难达到到期望的值，也是是为了加快学习速速度，也要参考具具体问题所要求的的精度。W。提示学习

55、是利用现有的的关于函数的先验验知识（如函数的的不变性、对成性性以及其他特性）来来提高函数的逼近近能力，这就需要要从学习样本中提提取有关输入输出出函数的信息，推断断出能够逼近输入入输出函数的函数数，在学习中嵌入入这样的提示，使使用统计分布的方方法建立虚拟样本本，也增加了网络络的泛化能力，加加快了学习速度。o。改进误差函数，标准的的误差函数采用的的是（这也是为了了方便计算）随着学习次数的增加， 越来越小，使函数逼近速度减慢，这样对高度非线性样本的逼近精度得不到保证，为此用绝对和相对逼近精度来描述次误差函数，即7。其中和是常量系数。在样本学习初期，以绝绝对形式的误差函函数来指导权值的的修正；学习后期

56、期，以相对形式函函数误差为主：则则随着学习次数的的增加而减少，则随学习次数的增增加而增加。有的的学者提出采用熵熵类准则函数或分分类启发准则（参参见参考文献11）。P。2.5 BP学习算法法的改进251 BP学习习算法的优缺点BP学习算法优点：BP学习算法具有数学学理论依据可靠，推推导过程严谨，通通用性好，解决了了求解非线性连续续函数的多层前馈馈神经网络权值调整问题，具有实现任何复复杂非线性映射的的功能，特别适合合求解内部机制的的复杂问题。它具具有自学习、自组组织、自适应性和和很强的信息综合合能力，能够同时时处理定量和定性性信息，协调多种种输入的关系并进进行推广概括，实实行并行处理，适适用于处理

57、复杂非非线性和不确定的的对象。8。BP学习算法缺点：基于梯度下降法及目标标函数复杂，导致致训练次数多，训练练时间较长，收敛敛缓慢；基于局部部搜索的优化方法法，导致有时完全不能能训练，失败的可可能性也较大，易易陷于局部极小而而得不到全局最优优；网络结构的选选择尚无统一完整整的理论指导，隐隐含节点个数难以以确定，而网络的结构直接接影响网络的逼近近能力及推广性质质；训练过程有暂时时遗忘的现象即学学习新样本有遗忘忘旧样本的趋势；学习复杂性问题题，即网络容量的的可能性与可行性性的关系问题，难难以解决应用问题题的实例规模和网网络规模的矛盾问问题；还有诸如新新加入训练样本的的要求及对已学习习成功网络的影响响

58、，网络泛化能力力和训练能力的极极限问题等。w。鉴于BP学习算法的优优缺点，增强BP神神经网络的性能和和应用，目前主要要有如下几种改进进方法。此外还有有一些诸如增加遗遗忘因子、误差曲曲面陡度因子的方方法，以及将多种种方法和相关数学学原理相结合的方方法（具体请参考相关文献）。z。252 增加动量量项在前面提到学习率的变变化会影响网络的的性能，为此在权权值调整公式中增增加一个动量项，达达到微调权值修正量防止振荡的效果。这样样通过动量法不仅仅考虑了误差在梯梯度上的作用，而而且考虑了误差曲曲面上变化的方向向。m。其中是动量因子，一一般有（0，1）动动量项反应了以前前的调整经验，对对下一时刻的调整整起到一

59、定阻尼作作用。因此可以减减小振荡的趋势，促使使权值的调节向着着误差曲面的底部部的平均方向变化化，降低了网络对误误差曲面在局部细细节的敏感性，在在一定程度上缓解解局部极小问题，但但是难以避免收敛敛缓慢问题。U。253 弹性BP学学习算法BP学习算法常用sigmoid函函数，即其特点是可以把无限的的输入映射到有限限的输出，如果函函数的输入很大或或很小的时候，函函数的斜率接近于于零，这样采用梯梯度下降法使用sigmoid函函数的网络就带来来一个问题：梯度度幅度的不利影响响，即尽管权值和和阚值离其最佳值值相差甚远，但此此时梯度的幅度非非常小，导致权值值和阈值的修正量量也很小，使得训练时间变得很很长。所

60、以在权值值修正的时候仅仅仅用偏导的符号，而而其幅值不影响权权值的修正，即权权值的修正取决于于与幅值无关的修修正值。当连续两两次迭代的梯度方方向相同时，可将将权值和阈值的修修正值乘以一个增增量因子。使其修正值增加加；当连续两次迭迭代的梯度方向相相反时，可将权值和阈值值的修正值乘以一一个减量因子，使使其修正值减小；当梯度为零时，权权值和阈值的修正正值保持不变；当当权值的修正发生生振荡时，其修正正值将会减小。如如果权值在相同的的梯度上连续被修修正，则其幅度必必将增加，从而克克服了梯度幅度的的不利影响，即c。（当连续两次迭代的梯度度方向相同时）（当连续两次迭代的梯度度方向相反时）（当局向梯度g(n)为