libin毕业论文基于MATLAB神经网络仿真.doc

1 / 44 摘摘 要要 随着人工神经网络的研究和应用越来越广泛，误差反向传播算法（BP 算法）的 提出，成功地解决了求解非线性连续函数的多层前馈神经网络权值调整问题，BP 神 经网络如今成为最广泛使用的网络，研究它对探索非线性复杂问题具有重要意义， 而且它具有广泛的应用前景。以 BP 神经网络为例，讨论了 BP 神经网络及几种改进 BP 神经网络性能的算法；通过 BP 学习算法的推导和分析得知 BP 网络是一种多层前 馈网络，采用最小均方差的学习方式，缺点是仅为有导师训练，训练时间长，易限 于局部极小；运用 MATLAB 来实现各种 BP 神经网络的实现的设计与训练，比较不同 BP 神经网络的性能，验证改进 BP 网络的优势，得出如何根据对象选取神经网络的 结论。 关键词：关键词： 人工神经网络、BP 神经网络、误差反向传播算法、MATLAB、仿真 2 / 44 AbstractAbstract With the artificial neural network of research and application of more and more widely, the error back-propagation algorithm (BP algorithm) is proposed, successfully resolved the continuous function for solving nonlinear multi-layer feed-forward neural network weights adjustment, BP network has become now the most widely used networks, Study to explore its complicated nonlinear problem has important significance, but also has broad application prospects. BP neural network is discussed and several improvements in the performance of BP neural network algorithm. BP learning algorithm through the derivation and analysis that the BP network is a multi-layer feedforward networks, the use of least-mean- variance approach to learning, there is only disadvantage is that the training instructors, training time, limited to local minimum easily. The use of MATLAB to achieve a variety of BP neural network to achieve the design and training, to compare the performance of BP neural network to verify the advantages of improving the BP network, how to draw the object selected in accordance with the conclusions of neural networks. KeyKey words:words: Artificial neural network, BP neural networks, error back-propagation algorithm, MATLAB, simulation 3 / 44 目目 录录 1.绪论.5 1.1 引言 .5 1.2 神经网络概述 .5 121 神经网络起源 .5 122 神经网络的发展历程 .5 123 神经网络国内发展概况 .6 124 神经网络研究现状 .7 1.3 研究目的、方法和问题（BP 神经网络）.8 131 研究目的 .8 132 研究方法 .8 133 研究问题 .8 2.BP 神经网络 .10 2.1 BP 神经网络相关原理.10 211 神经元非线性模型 .10 212 有教师监督学习 .10 213 神经元数学模型 .11 214 Delta 学习规则.11 215 神经元激活函数 .12 216 BP 神经网络收敛准则.12 2.2 BP 神经网络学习过程描述.13 221 BP 神经网络计算模型建立.13 222 BP 神经网络学习过程描述.14 223 BP 神经网络方框图.14 2.3 BP 神经网络学习方法.14 231 BP 神经网络信号流程.14 232 误差反向传播计算 .15 233 BP 神经网络算法描述.18 2.4 影响因素分析 .19 241 权值初始值设置影响分析 .19 242 权值调整方法影响分析 .19 243 激活函数选择影响分析 .20 244 学习率 选择影响分析 .20 245 输入输出归一化影响分析 .21 246 其他影响因素分析 .22 2.5 BP 学习算法的改进.22 251 BP 学习算法的优缺点.22 252 增加动量项 .23 253 弹性 BP 学习算法 .23 254 自适应学习速率法 .24 255 共轭梯度法 .25 256 Levenberg-Marquardt 算法.25 4 / 44 3.BP 神经网络仿真 .27 3.1 仿真平台 MATLAB.27 311 MATLAB 简介.27 312 仿真平台的构建和策略 .27 3.2 仿真实验 .28 321 BP 神经网络 MATLAB 设计.28 322 各种 BP 学习算法 MATLAB 仿真 .29 323 各种算法仿真结果比较与分析 .32 324 调整初始权值和阈值的仿真 .33 325 其他影响因素仿真 .35 4.BP 神经网络应用实例 .37 4.1 实例概述 .37 4.2 网络设计 .37 4.3 网络训练 .38 4.4 网络测试 .39 4.5 实例总结 .40 5.总结与展望.41 5.1 BP 神经网络研究总结.41 5.2 神经网络研究展望 .42 致谢.43 参考文献.44 附录.46 5 / 44 1.1.绪论绪论 1.11.1 引言引言 随着计算机的问世与发展， 人们设法了解人的大脑，进而构造具有人类智能 的智能计算机。在具有人脑逻辑推理能力延伸的 计算机战胜人类棋手 的同时引 发人们对模拟人脑信息处理的人工神经网络的研究。 人工神经网络（ Artificial Neural Networks, ANN） （注：简称为神经网 络） ，一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模 型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系， 从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过 预先提供的一批相互对应的输入输出数据，分析掌握两者之间潜在的规律，最 终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为 “训练” 。 （引自环球科学2007 年第一期神经语言：老鼠胡须下的秘密 ） 1.21.2 神经网络概述神经网络概述 1 12 21 1 神经网络起源神经网络起源 早在 1890 年，美国心理学家 William James（1842-1910）出版了Principles of Psychology专著，本书研究了心理活动与大脑神经生理活动的关系,开创性提 出学习、联想记忆的基本原理。指出：“让我们假设所有后继推理的基础遵循这样 的规则：当两个基本的脑细胞曾经一起或相继被激活过，其中一个受刺激激活时会 将刺激传播到另一个” 。他还认为在大脑皮层上的任意一点的刺激量是其他所有发射 点进入该点刺激总和。1943 年，心理学家 W.S.McCulloch 和数理逻辑学家 W.A.Pitts 建立了神经网络和数学模型，称为 M-P 模型。他们通过 M-P 模型提出了 神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从 而开创了人工神经网络研究的时代。 1 12 22 2 神经网络的发展神经网络的发展历程历程 1943 年，心理学家 W.S.McCulloch 和数理逻辑学家 W.Pitts 建立了神经网络和数 学模型，称为 M-P 模型； 1949 年，心理学家 Donald Olding Hebb 出版了Organization of Behavior ， 在该书他首先提出了连接权训练算法，即如今人们称为的 Hebb 算法； 1958 年，计算机科学家 Frank Rosenblatt，在一篇著名的文章中提出了一种具有 三层网络特性的“感知器” （perceptron）神经网络； 1960 年，电机工程师 Bernard Widrow 和 Marcian Hoff 发表了Adaptive Switching Circuits文章，不仅把人工神经网络在计算机上仿真，而且用硬件电 6 / 44 路实现了它。因此 Widrow-Hoff 的学习训练算法（也称 （误差大小）算法或最小 均方（LMS）算法）也应运而生； 1969 年，人工智能的创始人之一，MMinsky 和 S.Papert 经过数年研究，仔细分 析了以感知器为代表的神经网络系统的功能及局限后，出版了Perceptron一书， 指出感知器不能解决高阶谓词问题； 1969 年，美国波士顿大学自适应系统中心的 S.Grossberg 教授及其夫人 G.A.Carpenter 提出了著名的自适应共振理论（adaptive resonance theory）模型； 1972 年，芬兰的 T.Kohonen 教授提出了自组织映射（SOM）理论，并称其神经网 络结构为“associative memory” ；与此同时，美国的神经生理学家和心理学家 J.Anderson，提出了一个类似的神经网络“interactive memory” ； 1980 年，日本东京 NHK 广播科学研究实验室的福岛邦彦（Kunihiko Fukushima） ， 发表了Neocognitron ，开发了一些神经网络结构和训练算法，还有一系列的改进 的文章，新认知机在于视觉模式识别机制的模型； 1982 年，美国加州理工学院的优秀物理学家 John J.Hopfield 博士发表一篇著名 的文章，吸收前人的研究成果，把各种结构和算法概括综合起来建立起新颖而有力 的 Hopfield 网络； 1985 年，G.E.Hinton 和 T.J.Sejnowski 借助统计物理学概念和方法提出了波耳兹 曼模型，在学习中采用统计热力学模拟退火技术，保证整个系统趋于全局稳定点； 1986 年进行认知微观结构地研究，提出了并行分布处理的理论； 1987 年首届国际神经网络学术会议在美国加州圣地亚哥召开，成立了国际神经网 络学会（INNS） ； 1987 年以来，神经网络理论、应用、实现和相关开发工具发展迅速，涉及神经生 理学、认知科学、心理学、数理科学、信息科学、计算机科学、微电子学、光学、 生物电子学等多学科交叉、综合的前沿科学。应用于各个领域，如自动控制领域、 处理组合优化问题、模式识别、图像处理、机器人控制、医疗等。可见人工神经网 络具有广泛的研究和应用前景；以下是 1987 年后的一些发展历程： 1988 年，Broomhead Lower 提出径向基函数网络（Radial Basis Function，RBF） ， 网络设计采用原理化方法，有坚实的数学基础； 1992-1998 年，Vapnik 提出了支持向量机（Support Vector Machine，SVM） ，在 模式分类问题上能提供良好的泛化能力。 1 12 23 3 神经网络国内发展概况神经网络国内发展概况 1980 年，涂序言教授等出版了生物控制论一书， “神经系统控制论”一章系 统地介绍了神经元和神经网络的结构、功能和模型，是我国最早涉及神经网络的著 作；因此到 80 年代中期，我国学术界掀起了研究神经网络的热潮；1988 年北京大 学非线性研究中心举办了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach；1989 年召开可全国非正式的神 经网络会议，于 1990 年在北京召开了中国神经网络首届学术大会，第二年在南京召 7 / 44 开了第二届，并成立了中国神经网络学会；1992 年国际神经网络学会和 IEEE 神经 网络委员会在北京召开神经网络的国际性会议；自此中国神经网络研究在国家研究 计划的支持和学术及工程人员的发展与应用下取得一系列丰硕成果。 1 12 24 4 神经网络研究现状神经网络研究现状 神经网络是可大规模并行处理和分布式信息存储，具有良好的自学习、自适应、 自组织性，以及很强的联想记忆和容错功能，可以充分逼近任意复杂的非线性关系， 可有很强的信息综合能力，能同时处理定量和定性信息，能很好的协调多种输入信 息关系，适用于处理复杂非线性和不确定对象。 目前的神经网络的研究中主要有以下几种类型：松耦合模型：符号机制的专 家系统和联接机制的神经网络通过一个中间媒介如数据文件进行通信；紧耦合模 型：其通信数据是直接的内部数据，具有很高的效率；转换模型：将专家系统知 识转换成神经网络，或把神经网络转换成专家系统知识，转换需要在两种机制之间， 确定结构上的一致性，目前主要问题还没有一种能够精确而完备的实现二者转换； 综合模型：将具有符号机制的逻辑功能和具有联接机制的自适应和容错性结合为 一个整体，共享数据结构和知识表示；混沌理论：是系统从有序突然变为无序状 态的一种演化理论，是对确定性系统中出现的内在“随机过程”形成的途径、机制 的研讨，从而与神经网络融合，达到取长补短的效果；模糊集理论：用语言和概 念代表脑的宏观功能，按照人为引入的隶属度，将模糊性的语言信息进行逻辑处理， 与神经网络结合，取长补短；遗传算法：模拟达尔文生物进化论的自然选择和遗 传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的 方法，从而与神经网络融合，达到取长补短的效果；混合神经网络：把神经网络 与混沌理论、模糊集理论和遗传算法相互结合的网络模型。 人工神经网络学习问题展望，目前主要有以下三种方法：基于搜索机制的学习 方法、基于规划的学习方法和构造性学习方法。如今也有其综合方法，各有特点。 其中基于搜索的方法，若不从根本上进行改变，很难克服其内在固有的缺点，如基 于局部最小的搜索算法，其中 BP 算法就有易限于局部极小的固有缺点；规划方法因 为其中有“优化的步骤” ，从理论上看其所得网络性能要比其他方法要好，但如何确 定核函数形式和参数问题一直是未能很好解决的问题，当数据规模极大会引起计算 量过大问题；构造性方法，因为进行了局部化，计算量要小，由于未进行全局优化， 故性能不及规划方法，不需要确定映射关系就没有了确定核函数的困难问题；如果 能够将三者相互结合，将规划方法中优化过程合理地引入到构造方法中，也许即可 克服规划方法计算量大的问题，核函数和参数确定问题，也可以克服构造性方法未 进行全局优化的缺点；这些将是值得研究的问题。随着更多数学方法的引入，如模 拟退火算法、商空间（即线性空间）理论、统计推断方法与启发式搜索技术及其结 合产物的引入，促进各种学习方法的改进，将有力的推进神经网络的进一步发展。 随着神经网络的广泛应用，具有以下研究趋势：增强对智能和机器的关系问题 的认识，发展神经计算与进化计算的理论与应用，扩大神经网络结构和神经元芯片 的作用，促进信息科学与生命科学的相互融合，进行与其他智能方法融合技术研究。 8 / 44 1.31.3 研究目的、方法和问题（研究目的、方法和问题（BPBP 神经网络）神经网络） 1 13 31 1 研究目的研究目的 在人工神经网络发展历史中，很长一段时间里没有找到隐含层的连接权值调整 问题的有效算法。直到误差反向传播算法（BP 神经网络算法）的提出，成功地解决 了求解非线性连续函数的多层前馈神经网络权值调整问题。目前，BP 神经网络已成 为广泛使用的网络，可用于语言综合、语言识别、自适应控制等。它是一种多层前 馈网络，采用最小均方差的学习方式，缺点是仅为有导师训练，训练时间长，易限 于局部极小。 鉴于神经网络的广泛应用，特别是 BP 神经网络的发展，对于神经网络（比如 BP 神经网络）的研究具有重要意义。研究的主要目的是：理解 BP 网络结构模型；学习 误差反向传播算法和 BP 神经网络的学习算法；分析关键因素，得出 BP 网络的优缺 点；综合各种因素并使用启发式方法对 BP 神经网络算法进行改进；应用数学软件 MATLAB 对 BP 神经网络标准算法和改进算法进行仿真编程；利用仿真结果和图表得 出各个算法适用条件；进而研究实际问题的 BP 神经网络构建和仿真。 1 13 32 2 研究方法研究方法 通过参考研究学习神经网络研究和工作者的著作和文章，理解神经网络，特别 是 BP 神经网络的结构模型和理论；利用现有的数学理论知识和方法，推导反向传播 算法计算；利用计算机程序设计理论编写 BP 神经网络学习算法的步骤和流程；分析 BP 标准算法关键因素，利用现有数学相关方法（如启发式方法，MATLAB 中几种典型 的 BP 神经网络算法：traingdm，增加动量法；trainrp，弹性 BP 算法； traingda，traingdx，自适应学习速率法；traincgf，共轭梯度法；trainbfg，拟 牛顿法；trainlm，Levenberg-Marquardt 算法）对 BP 神经网络算法改进和理论推 导；利用优秀数学软件 MATLAB 进行 BP 网络学习算法的仿真编程，分别建立 BP 神经 网络标准算法、改进算法的编程程序，利用 MATLAB 得出相关图表，分析其关键因素； 应用实例对 BP 神经网络的应用和仿真进行验证；通过自己的理解和学习得出自己对 神经网络（BP 神经网络）的思考。 1 13 33 3 研究研究问题问题 研究问题 1：BP 神经网络的学习过程，工作信号正向传播，误差信号反向传播。 得到如下图 1-1 示意模型：（多层前馈型网络） 9 / 44 输入层 隐含层 输出层 误 差 信 号 图 1.1 BP 神经网络示意模型 输 入 信 号 研究问题 2：BP 神经网络的不足，训练时间较长，有时完全不能训练，失败的 可能性也较大，易陷于局部极小而得不到全局最优，隐含节点个数难以确定，训练 过程有暂时遗忘的现象即学习新样本有遗忘旧样本的趋势。 研究问题 3：BP 神经网络学习算法的改进有（MATLAB 神经网络工具箱中）：增 加动量法(traingdm)、弹性 BP 算法（trainrp） ，自适应学习速率法(traingdx)、共 轭梯度法 (traincgf)、拟牛顿法 (trainbfg)以及 Levenberg-Marquardt 算法 （trainlm）等。注：在 MATLAB R2007 版本中 traingdx 为动量及自适应 lrBP 的梯 度递减训练函数。 研究问题4：误差要求和网络复杂程度将影响BP各种算法的选择；比如拟牛顿法 需要Hessian矩阵，不适用于复杂的大型网络，但对于中型网络其收敛效果仅次于LM 算法，且需要的内存也相对较小，但对于小型网络LM算法最好最快，仿真效果要好； 又如当误差要求比较高时，弹性BP算法和自适应学习速率法需要很长的训练时间， 在设定的训练步骤范围内不能达到期望误差。 研究问题 5：在实例的网络模型的建立和 MATLAB 仿真的过程中，发现没有确定 隐含层神经元数目的有效方法，隐含层神经元的数目直接影响分类精度，神经元数 目过多或过少都会使网络性能下降，一般只能由经验设定，再经过多次调试确定最 佳数目。其次网络的泛化能力与训练能力的矛盾，一般情况下，训练能力差时，预 测能力也差，并且一定程度上随训练能力地提高，泛化能力也提高。但这种趋势有 一个极限，当达到此极限时，随训练能力的提高，泛化能力反而下降，即出现所谓 “过拟合”现象。此时，网络学习了过多的样本细节，而不能反映样本内含的规律。 10 / 44 2.BP2.BP 神经网络神经网络 2.12.1 BPBP 神经网络相关原理神经网络相关原理 2 21 11 1 神经元非线性模型神经元非线性模型 f（ ） k wk1 wk2 wkI 固定输入 x0=+1 x1 x2 阈值 k k 激活函数 输出yk 图 2.1 神经元非线性模型 加法器 xI 加法器，也称线性组合器，将求输入信号突触权值被神经元的相应突触加权和； 激活函数是用来限制神经元的振幅，主要有0,1或-1,+1； 阈值的作用是根据其为正或负，相应的增加或减低激活函数的网络输入。 注：这里的 K 为实例。模拟的是生物神经元的电位脉冲原理。 2 21 12 2 有教师监督学习有教师监督学习 环境 教师 学习系统实际