电气094-200909338-董开春 论文终版

兰州交通大学毕业设计（论文）摘 要人工神经网络是一种模拟大脑信息处理算法的非线性系统，具有强大的分布式信息存储、并行处理和自适应学习能力等特点。而BP网络又是神经网络理论中很经典的部分，具有结构简单、技术成熟等优点，已被广泛应用于模式识别、智能控制等领域。但BP神经网络存在其固有的缺陷：收敛速度慢、易陷入局部极小、网络结构难以确定等。本文研究的目的是对BP网络的两个主要缺陷进行改进，即加快收敛速度和跳出局部极小找到全局最优。基于此，本文首先对BP网络模型和算法进行研究，对其所采用的BP算法进行详细的推导，定性分析该算法的局限性，并给出算法的软件实现。然后针对网络的性能缺陷提出了两种有效的改进算法：附加动量法和自适应学习率法，对两种新算法作了详细介绍，并给出算法实现步骤。最后，论文以数值计算软件MATLAB为工具，将两种改进算法和标准BP算法作了性能对比研究，从迭代次数、收敛时间等多个方面进行比较，体现了新算法的有效性。 仿真结果表明，本文研究的改进BP算法具有收敛速度快、寻优能力和泛化能力强等，具有良好的应用性和实用性。关键词：BP网络；附加动量；自适应学习率AbstractArtificial neural network is a nonlinear system which simulates cerebrum information processing algorithm. Its characteristic of distributing information storage, parallel processing and adaptively learning ability is powerful. BP network contains the most essence part of neural network theory. Owing to simple structure and technical mature, it has been widely applied in pattern recognition, intelligent control and other areas. But BP neural network has inherent defects, it concludes slow convergence of rate, easy to fall into local minimum, difficult to confirm network construction and so on. The goal of this thesis is to improve the main defects of BP. Namely, to accelerate convergence of rate and jump out of the local minimum to find the global optimum. On this basis, Firstly, expound back-propagation networks systematically in this thesis. The standard BP algorithm is derived in detail and its shortcomings are analyzed qualitatively and explain the soft-ware operation. Secondly, put forward two effective algorithms: additional momentum and self-adaptive learning rate. And detailed introduction of two new algorithms, gave the algorithm steps. Lastly, With MATLAB to testify the self-adaptive learning rate and additional momentum are better than standard BP algorithm.The simulation results show that the improved algorithms have quick convergence rate, strong optimization and generalization ability, and good application and utility.Key Words: BP network, Additional momentum, Self-adaptive learning rate目 录摘 要IAbstractII目 录III1 绪论11.1 课题研究的背景与意义11.2 课题研究现状11.3 本文的研究内容与目标12 人工神经网络32.1 生物神经元模型32.2 人工神经元模型32.3 神经网络的分类53 BP神经网络概述63.1 BP网络的定义、特点及应用63.2 BP神经网络算法推导73.2.1 BP网络数学模型的建立73.2.2 BP神经网络算法推导83.3 BP算法的软件实现113.3.1 BP网络的信号流向分析113.3.2 BP网络算法的程序实现123.3.3 BP网络算法的仿真模型133.4 BP算法的性能分析153.4.1 BP网络的主要能力153.4.2 BP网络的主要缺陷164 BP神经网络的改进174.1 BP算法的局限性分析174.2 附加动量法对标准BP算法的改进184.2.1 附加动量算法184.2.2 附加动量算法的仿真184.3 自适应学习率法对标准BP算法的改进204.3.1 自适应学习率算法204.3.2 自适应学习率算法的仿真214.4 三种改进算法的对比分析22结论24致谢25参考文献26- IV -兰州交通大学毕业设计（论文）1 绪论1.1 课题研究的背景与意义人工神经网络是近些年发展起来的一门新兴学科，它主要是是对人脑或自然神经网络的一些基本特性的抽象和模拟。作为人类智能研究的重要组成部分之一，它已成为神经科学、脑科学、心理学、认知科学、计算机科学和数理科学等领域的研究人员所共同关注的焦点。BP(Back Propagation,反向传播)网络在神经网络中的应用是最广泛的。由于它具有良好的非线性逼近能力和结构简单、技术成熟的优点，已经在模式识别、智能控制、分类、预测等方面的应用中取得了显著的成效。但是人们在使用过程中发现BP网络存在收敛速度慢、易陷入局部极小等缺陷，这些缺陷影响了BP网络的进一步发展。因此，研究BP神经网络算法，设计更好的改进算法，特别是研究它与其他智能算法的结合，不管在学术上还是在应用上都是具有重要意义的。1.2 课题研究现状BP神经网络是一种误差反向传递的多层映射神经网络，不仅在神经网络模型中具有代表意义，而且也是当前应用最广泛的神经网络模型之一。正是BP网络存在其固有缺陷的原因，才使许多专家学者对其性能的改善颇感兴趣，对BP网络做了卓有成效的研究。现阶段，对BP网络的研究大致分为应用型和理论型两类。其中应用型是对其已有的理论再加以应用，并将其运用到不同的领域。目前BP网络的主要应用领域有：模式识别、图像处理、信息处理、智能控制、故障检测、企业管理、市场分析等。理论型是对标准BP网络的缺陷进行研究，对网络性能进行改进，使BP网络的理论体系趋于完善。对BP网络的理论型改进研究，主要包括以下三个趋势：(1) 对网络的训练算法加以修改；(2) 对新的激活函数进行研究，以及单一激活函数到组合函数的研究；(3) 对网络结构由定结构到变结构调整。1.3 本文的研究内容与目标本文的主要研究目的是针对标准BP算法存在的收敛速度慢、易陷入局部极小等缺点，研究几种能加快学习速度、跳出局部极小、找到全局最优的算法。本文主要研究的内容是从附加动量法和自适应学习率法进行改进，研究出效果较优的算法。主要的研究工作如下：(1) 主要阐述课题研究的背景与意义、神经网络的研究现状以及本论文研究的目的和内容。概括描述有关人工神经网络的基本理论，介绍神经网络的生物学基础、人工神经元模型以及神经网络的分类。(2) 主要对标准BP算法的工作原理、推导过程及性能进行研究，并对其缺陷的本质原因进行分析，找出其数学关系，并给出算法的程序实现步骤。(3) 针对标准BP算法收敛速度慢、易陷入局部极小的缺点。首先通过加入动量项系数，以减小学习过程的振荡趋势，从而在网络可能陷入局部极小值的情况下滑过这些极小值。然后研究学习速率在不同情况下进行自我调整，以加快收敛时间、减少训练次数。(4) 将本文研究的改进算法与标准BP算法分别从迭代次数、收敛时间、训练误差等多个方面进行对比分析，从而验证本文研究的改进算法的有效性。2 人工神经网络2.1 生物神经元模型人脑是一个复杂、完善和有效的信息处理系统，是生物进化的最高产物。人的大脑大约有个神经元组成，正是这些神经元的高度互连的集合帮助你完成日常生活中像阅读、呼吸、运动和思考等活动。通过神经元及其连接的可塑性，使得大脑具有学习记忆和认知等各种功能。每个神经元都由一个细胞体，一个连接其他神经元的轴突和一些向外伸出的其它较短分支树突组成。轴突的功能是将本神经元的输出信号（兴奋）传递给别的神经元。其末端的许多神经末梢使得兴奋可以同时送给多个神经元。树突的功能是接受来自其它神经元的兴奋。神经元细胞体将接受到的这些信号累加起来，其中一些输入信息倾向于激活该细胞，另一些信息则倾向于抑制其激发，当细胞体中累加的激发信息超过某一阀值时该细胞就被激活，此时轴突向其他神经细胞发出相应的信息。神经元的树突与另外的神经元的神经末梢相连的部分称为突触1。其结构大致描述如图2.1所示。图2.1 生物神经元的基本原理图2.2 人工神经元模型人工神经元是对生物神经细胞结构和功能的某种抽象、简化和模拟，并用数学语言加以描述而形成的。目前人工神经网络的研究仅仅是对神经元的简化模拟，它不是人脑神经系统的真实写照。神经网络是由许多相互连接的处理单元组成，这些处理单元通常线性排列成组，称为层。每一个处理单元有许多输入量，而对每一个输入量都相应有一个相关联的权重。处理单元将输入量经过加权求和，并通过传递函数的作用得到输出量，再传给下一层的神经元。人们通常用图形来表示网络系统的输入到输出的转化关系，现阶段人们研究的神经元模型已经有很多，其中一个典型的是具n维输入的神经元模型2。可以用图2.2来加以描述。图2.2 神经元模型由图2.2可见，一个典型的神经元模型主要由以下五部分构成。(1) 网络输入是神经元的个输入。可以用维列矢量来表示：(2) 网络权值和阈值为神经元权值，表示输入与神经元间的连接强度。为神经元阈值，可以为一个输入恒为l的神经元权值。用维行矢量来表示：其中，阈值为的标量。(3) 求和单元求和单元完成对输入信号的加权求和，即：这是神经元对输入信号处理的第一个过程。(4) 传递函数在图2.2中，f 表示神经元的传递函数，它主要是对求和单元的计算结果进行函数运算，得到神经元的输出，这是神经元对输入信号处理的第二个过程。(5) 输出输入信号经神经元加权求和传递函数作用后，得到最终的输出为：2.3 神经网络的分类神经网络主要分为网络结构和学习方式两大类。按网络结构分为：前馈网络和反馈网络。前馈网络是信息单向传递的分层结构网络，各神经元接受前一级输入，并输出到下一级，无反馈。输入、输出节点称为可见层，其他中间层称为隐层。反馈网络是任何神经元之间均可互相连接的网络，网络中每个节点都具有信息处理功能，而且每个节点既可以从外界接受输入，同时又可以向外界输出。神经网络的学习也称为训练。按学习方式分为：有导师学习和无导师学习。有导师学习也称为有监督学习，在这种学习方式下，要对一组给定的输入提供应有的输出结果。学习过程的目的在于减小网络应有的输出与实际输出之间的误差，这是靠不断调整权重来实现的。无导师学习也称为无监督学习。在学习过程中，只提供输入数据而无相应的输出数据，能使网络能对属于同一类的模式进行自动分类。3 BP神经网络概述3.1 BP网络的定义、特点及应用BP网络是一种按误差反向传播的多层前馈网络，是目前应用最为广泛的神经网络模型之一。它能学习和存贮大量的输入输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。BP网络由输入层、隐层和输出层构成，每层由许多并行运算的简单神经元组成，网络的层与层之间的神经元采用全互连方式，同层神经元之间无相互连接。BP网络具有明显的特点：(1) 分布式的信息存储方式神经网络中一个信息不是存储在一个地方，而是按内容分布在整个网络上，它是以各个处理器本身的状态和它们之间的连接形式存储信息的。网络上某一个地方不是只存储一个外部信息，而是存储了多个信息的部分内容。整个网络对多个信息进行加工后才会存储到网络各处，因此，它是一种分布式存储方式。(2) 大规模并行处理BP网络信息的存储与处理是相辅相成，互相联系的。信息的存储主要体现在神经元互连的分布上，它是以大规模的并行分布式处理为主，比串行离散符号处理的现代数字计算机要优越。(3) 自学习和自适应性BP网络各层的联接权值大都具有一定的可塑性，权值的确定可以通过训练和学习，所以呈现出很强的对环境的自适应能力和对外界事物自主学习的能力。(4) 较强的鲁棒性和容错性BP网络分布式的信息存储方式，使其具有较强的容错性和联想记忆功能。所以当某一部分的信息丢失或损坏时，网络能够恢复出原来完整的信息，系统仍能够运行3。1986年由Rumelhart和McCelland领导的科学家小组在Parallel Distributed Processing一书中，对具有非线性连续转移函数的多层前馈网络的误差反向传播算法进行了详尽分析，实现了Minsky关于多层网络的设想。也正如前所述，人工神经网络具有广泛的应用领域；而据统计，在所有的神经网络应用中，BP网络所占比例在80以上。BP网络因其良好的非线性逼近能力、泛化能力以及使用的易适性而更是受到众多行业的青睐。BP网络采用的反向传播算法是当前在前馈型神经网络中研究得最为成熟且应用最广的一种有导师学习算法。目前，随着人工神经网络研究工作的不断深入，BP网络的理论基础也日趋牢固。BP网络在非线性优化、模式识别、图象处理、自动控制、智能控制等方面的应用也取得了显著成效。可以说，BP网络的应用已深入到经济、化工、工控、军事等众多领域，并且从其应用的优势及趋势可以预言其应用前景将更加光明。在这样一个信息及经济高度发达的时期，我们研究BP网络为其进一步的发展及应用做出一定的贡献是极具理论价值和实用价值的。3.2 BP神经网络算法推导3.2.1 BP网络数学模型的建立BP网络中以单隐层的网络应用最为普遍，BP网络与感知器的主要差别在于层次一般比单层感知器多，即一个输入层、一个输出层和一个隐层。隐层由多层神经元层组成，网络的层与层之间的神经元采用全连接方式，同一层的神经元之间无连接。对于网络拓扑结构的设计，关键在于隐含层数和隐含层节点数的确定。理论证明，只有当学习不连续函数时，BP网络才需要两个隐层，除此之外具有单隐层的BP网络可以实现任意的连续函数的映射2。因此在设计网络过程中，优先一个隐层，在增加隐层的节点数时仍不能改变网络性能时，我们才考虑两个隐层。本文就用单隐层的BP网络，包括输入层、隐含层和输出层。三层BP网络的结构示意图如图3.1所示。图3.1 BP网络的结构示意图模型的数学表达如下，设：输入向量：隐层输出向量：输出层输出向量：期望输出向量：输入层到隐层之间的权值矩阵：隐层到输出层之间的权值矩阵：对于输出层： k =1,2,l k =1,2,l (3.1)对于隐层： j =1,2,m j =1,2,m (3.2)单极性Sigmoid函数: (3.3)双极性Sigmoid函数： 3.2.2 BP神经网络算法推导输出误差定义： (3.4)将以上误差定义式展开至隐层： (3.5)进一步展开至输入层： (3.6)由式3.5和式3.6知，网络输入误差是各层权值、的函数，因此调整权值可改变误差。显然，调整权值的原则是使误差不断地减小，因此应使权值的调整量与误差的梯度下降成正比，即： j=0, 1, 2 , m; k =1,2,l (3.7) i=0, 1, 2 , n; j =1,2,m (3.8)其中，负号表示梯度下降，常数表示比例系数。对于输出层，式3.7可写为： (3.9)对隐层，式3.8可写为： (3.10)对输出层和隐层各定义一个误差信号，令： 综合应用式3.1和式3.7，可将式3.9的权值调整式改写为： (3.11)综合应用式3.2和式3.8，可将式3.10的权值调整式改写为： (3.12)可以看出，只要计算出式3.11和式3.12中的误差信号和，权值调整量的计算推导即可完成。下面继续推导如何求误差信号和：对于输出层，可展开为： (3.13)对于隐层，可展开为： (3.14)下面求网络误差对各层输出的偏导。对于输出层，利用式3.4可得：对于隐层，利用式3.5可得：将以上结果代入式3.13和式3.14，并应用式3.3得到： (3.15) (3.16)至此两个误差信号的推导已完成。将式3.15和式3.16代回到式3.11和式3.12，得到三层前馈网的BP学习算法权值调整计算公式为：可见，在BP网络学习算法中，各层的权值调整公式在形式上都是一样的，都是由3个因素决定：学习率；本层输出的误差信号；本层的输入信号(或)。其中输出层的误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差。而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的3。3.3 BP算法的软件实现3.3.1 BP网络的信号流向分析BP网络的特点是信号的前向计算和误差的反向传播，图3.2清楚地表达了算法的信号流向特点。图3.2 标准BP算法的信号流向特点由图3.2中可以看出，BP网络的运算分两个过程：前向过程和反向过程。前向过程是输入信号从输入层进入后，通过隐层各节点的权向量得到该层的输出信号；该信号向前输入到输出层，通过其各节点权向量得到该层输出。反向过程是在输出层期望输出与实际输出相比较得到误差信号，由此可计算出输出层权值的调整量。误差信号通过隐层各节点的向量反传至隐层各节点，得到隐层的误差信号，由此可计算出隐层权值的调整量。3.3.2 BP网络算法的程序实现前面推导出的算法是标准的BP网络算法。下面给出MATLAB编程实现标准BP算法的步骤：(1) 初始化对权值矩阵、赋随机数，并将样本模式计数器p和训练次数计数器q都置为1，误差置0，学习率设为01内的小数，网络训练达到的精度设为一个正的小数。(2) 输入训练样本对，计算各层输出用当前样本、为向量数组、赋值，计算和中各分量。(3) 计算网络输出误差设共有P对训练样本，网络对于不同的样本具有不同的误差，可将全部样本输出误差的平方进行累加再开方，作为总输出误差，也可用所有误差中的最大者代表网络的总输出误差，实际中多采用均方根误差作为网络的总误差。(4) 计算各层误差信号计算和。(5) 调整各层权值计算、中各分量。(6) 检查是否对所有样本完成一次轮训若pP，计数器p、q增1，返回步骤(2)，否则转步骤(7)。(7) 检查网络总误差是否达到精度要求当用作为网络的总误差时，若满足，训练结束，否则置0，p置1，返回步骤(2)。这里的算法设计采取了批训练模式，也就是说当所有样本输入之后，计算总误差，然后根据总误差计算各层误差信号后再调整各层权值。这种方式按减小期望输出与实际输出的总误差原则，可以保证总误差向减小方向变化，加快了网络的收敛。而单训练模式，即每输入一个样本，都要计算各层误差信号。调整各层权值，这种方法没考虑全局的原则，会使训练次数增加，收敛速度慢。标准BP算法流程图如图3.3所示。图3.3 标准BP算法流程图3.3.3 BP网络算法的仿真模型假设构建一个三层神经网络，也就是单隐层神经网络，第一层是输入层，输入矢量为P；第二层（隐层）有四个神经元，传递函数是tansig( )；第三层（输出层）是单个神经元，训练函数选取traind( )。设P为输入矢量；T为目标矢量。P =-1 -1 0 2 2; 0 5 1 0 5T =-1 -1 0 1 1应用minmax函数求输出样本的范围，然后构造一个BP网络，其程序如图3.4所示。图3.4 标准BP神经网络算法的程序截图接下来进行网络训练过程，如图3.5所示。图3.5 标准BP神经网络算法的训练过程经过856次循环，训练成功，因为newff( )函数的随机性，所以基本上每一次的训练结果都是不同的4。利用sim( )函数对训练后的网络进行验证：A =-1.0435 -0.9476 -0.0030 0.9845 0.9901下面给出训练函数的仿真结果，如图3.6所示。 图3.6 标准BP神经网络算法的仿真结果截图网络输出值与期望值很接近，证明训练后的BP网络是可行的。3.4 BP算法的性能分析3.4.1 BP网络的主要能力BP神经网络之所以被广泛的应用，是因为BP网络有以下几个方面的能力5。(1) 非线性映射能力不需要事先了解映射关系的数学方程，只要有足够的样本进行训练，就能够完成非线性映射。实际问题中如果对某输入/输出系统已经积累了大量数据，却不知内部所蕴涵的规律，无法用数学进行描述。像这一类问题，用BP网络具有绝对的优势。(2) 泛化能力BP网络训练后，将所提取的样本对中的非线性映射关系存储在权值矩阵中，在训练阶段，当向网络输入一个新数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为BP的泛化能力。(3) 容错能力允许输入样本中带有较大的误差或者是个别错误。因为权值矩阵的调整过程是从大量的样本对中提取统计特性的过程，反映正确规律的知识来自全部的样本，个别样本中的误差不能影响对权矩阵的调整。(4) 自学习和自适应能力BP神经网络在训练时，能够通过学习自动提取输入、输出数据间的“合理规则”，并自适应的将学习内容记忆与网络的权值中。3.4.2 BP网络的主要缺陷BP网络的理论依据坚实，推导过程严谨，物理概念清楚。正是有这些优点，不少学者都对其进行了研究并运用该网络解决了不少应用问题。但是，随着应用范围的逐步扩大，BP神经网络也暴露出越来越多的缺点和不足，主要包括以下几个方面5：(1) 易形成局部极小而得不到全局最优；(2) 训练次数多,使得学习效率低，收敛速度慢；(3) 隐节点的选取缺乏理论指导；(4) 训练时学习新样本有遗忘旧样本的趋势。正是因为BP网络自身的缺陷使得其在应用过程中存在一些棘手的问题，从而极大地影响了BP网络的进一步发展和应用。本文将在下一章详细分析这些缺点，并对其进行改进算法的研究。4 BP神经网络的改进4.1 BP算法的局限性分析(1) 存在平坦区域误差曲面上有些区域比较平坦，在这些区域中,误差的梯度变化很小，即使权值的调整量很大，误差仍然下降缓慢。造成这种情况的原因与各节点的净输入过大有关6。以输出层为例，由式3.10知：误差梯度越小，表明越接近0。由可知，接近0有三种情况3： ：误差对应某个谷点； 0：误差E可以是任意值，但梯度很小； 1：在误差曲面上出现平坦区。BP算法严格按梯度法，进入平坦区，很大，但误差梯度小，使的权值调整力度小，训练缓慢进行，需要增加迭代次数。(2) 存在多个极小点二维权空间的误差曲面像一片连绵起伏的山脉，其低凹部分就是误差函数的极小点。高维权空间的误差曲面“山势”会更加复杂，会有更多的极小点。多数极小点都是局部极小，且全局极小往往也不唯一，但其特点都是误差梯度为零，如图4.1。图4.1 BP网络局部极小值分布图这一特点使以误差梯度为权值调整依据的BP算法无法辨别极小点的性质，因而训练经常陷入某个局部极小点而不能自拔，平坦区、多个极小点是BP固有缺点7。由于每一步都取局部最小才会导致训练次数增多、算法难以收敛。4.2 附加动量法对标准BP算法的改进4.2.1 附加动量算法针对BP算法收敛速度慢的缺点，本文进行附加动量的梯度下降法的思想，即在反向传播基础上，在每一个权值的变化上加上一项正比于前一次权值变化量的值，并根据反向传播法产生新的权值变化。修正权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响。在调整权值时加入动量项的权值调整公式为： (4.1)其中，为动量系数。加入的动量项相当于阻尼项，以减小学习过程的振荡趋势，在网络可能陷入局部极小值的情况下，利用该算法可能滑过这些极小值。对于动量项的作用，可以从纯数学的角度作一简单分析。首先将式4.1改写为误差形式的表达式如下： (4.2)当顺序加入样本时，上式可写成以t为变量的时间序列，t由0到n。因此式4.2可以是的一阶差分方程，对求解，可得：当本次的与前一次同符号时 ，其加权求和值增大，使较大，从而在稳定调解释增加了的调节速度；当与前次符号相反时，说明有一定振荡，此时指数加权和结果使减小，起到了稳定作用。4.2.2 附加动量算法的仿真为了研究对比的一致性，依旧采用在标准BP算法中搭建的样本模型。即：P =-1 -1 0 2 2; 0 5 1 0 5T =-1 -1 0 1 1应用minmax函数求输出样本的范围，然后构造一个BP网络，其程序如图4.2所示。图4.2 附加动量法BP神经网络算法的程序截图接下来进行网络训练过程，如图4.3所示。图4.3 附加动量法BP神经网络算法的训练过程经过74次循环，训练成功，因为newff( )函数的随机性，所以基本上每一次的训练结果都是不同的。利用sim( )函数对训练后的网络进行验证： A =-0.9829 -1.0371 -0.0366 1.0386 1.0193下面给出训练函数的仿真结果，如图4.4所示。图4.4 附加动量法BP神经网络算法的仿真结果截图网络输出值与期望值很接近，证明训练后的BP网络是可行的。4.3 自适应学习率法对标准BP算法的改进4.3.1 自适应学习率算法由于学习率这个参数很难选取，所以在应用中很难有统一的规范。选取学习率的时候如果太小，学习速度就会缓慢；选取的学习率如果太大，权值调整的时候就会变化很大，就会使网络振荡发散8。自适应学习率法是指在网络学习的过程中，学习速率根据不同的情况进行自我调整。检查权值的修正值是否真正降低了误差函数，若是，则说明所选取的学习速率值小了，可以对其增加一个量；若不是，则产生了过调，那么就应该减小学习速率的值。下面给出自适应学习速率的调整公式：其中，lr为学习速率。这次的学习速率是个变量，在附加动量法中的学习速率是常数。自适应学习速率lr的公式调整如下：其中，为均方差。学习速率在开始时候的选取可以是个较大的范围，因为学习速率是变化的，可以在训练过程中进行调整。4.3.2 自适应学习率算法的仿真应用minmax函数求输出样本的范围，然后构造如标准BP网络算法的样本模型，其程序如图4.5所示。图4.5 自适应学习率法BP神经网络算法的程序截图接下来进行网络训练过程，如图4.6所示。图4.6 自适应学习率法BP神经网络算法的训练过程经过38次循环，训练成功，因为newff( )函数的随机性，所以基本上每一次的训练结果都是不同的。利用sim( )函数对训练后的网络进行验证：A =-1.0155 -1.0003 0.0302 1.0326 0.9493下面给出训练函数的仿真结果，如图4.7所示。图4.7 自适应学习率法BP神经网络算法的仿真结果截图网络输出值与期望值很接近，证明训练后的BP网络是可行的。4.4 三种改进算法的对比分析为了能够更清楚的描述两种改进算法较传统BP算法的优越性，对着三种算法从不同的方面进行对比。下面分别从迭代次数、收敛时间和训练误差三方面进行对比。图3.6、图4.4和图4.7的仿真结果对比分析如表4.1所示。表4.1 三种算法仿真结果的对比对比项目标准算法附加动量法自适应学习率法迭代次数8567438收敛时间0:00:050:00:000:00:00训练误差0.0009970.0009750.000929由表4.1可以看出，附加动量法和自适应学习率法的迭代次数都要远少于标准算法，收敛时间