BP算法的改进及其应用.docVIP

BP算法的改进及其应用内容摘要随着人工神经网络的发展，其用途日益广泛，应用领域也在不断扩展，已在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等各个领域中有着成功的案例。在众多神经网络中，又以BP（Back Propagation）网络的应用最为广泛，它所采用的BP算法已成为目前应用最为广泛的神经网络学习算法，绝大部分的神经网络模型都是采用BP算法或它的变化形式。这样的算法具有很好的非线性映射能力、泛化能力、容错能力，已在各个领域中取得了广泛的应用。但是人们在使用过程中却发现，这种算法存在这样或那样的局限，比如收敛速度慢、容易陷入局部最小值以及忘记旧样本的趋势，这些局域性严重影响了BP算法的应用。本文主要针对BP算法的缺点，从梯度下降法和BP算法融合的角度进行改进，设计出效果较优的算法。主要研究工作如下：第一、多层前馈模型的综述。第二、BP算法的推导过程及其改进。第三、实例仿真。关键字：BP算法，神经网络，前馈模型.ABSTRACTWith the development of artificial neural networks, it is applied widely in more fields, such as artificial intelligence, intelligent control, computer science, information processing, robotics, pattern recognition. BP (back propagation) neural network is one of the most widely applied neural networks. BP algorithm has become the most widely applied neural network algorithms, it and its deformations are used in most neural network models. These algorithms which have good nonlinear mapping ability, generalization ability and fault algorithm have wide applications in various engineering fields. However, the standard BP algorithm or its improved algorithms are based on steepest descent algorithm, thus there are some shortcomings, such as slow convergence, easy to fall into local minimum and forget the old samples. These shortcomings seriously affect the application of BP network.In this thesis, the shortcomings of BP algorithm is studied, from the perspective of combining gradient algorithm with BP algorithm, the optimum algorithms are designed. The main points of research are as follows:First of all, Summary of multilayer feed-forward modelSecondly, Derivation of BP algorithm and its improvementThirdly, The simulationKeywords: BP algorithm; neutral networks; feed-forward model; 目录1 引言42 基于BP算法的多层前馈模型42.1数学模型42.2各层计算53 BP学习算法63.1 网络误差与权值调整63.2 算法推导64 基于BP的多层前馈网的主要能力、局限性及改进84.1 主要能力84.2 局限性及改进85.仿真实例86.附录107.参考文献.111 引言 神经网络（Neural Networks，简称NN）是由大量的、简单的处理单元（简称为神经元）广泛的相互连接而成的复杂网络系统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。1986年Rumelhart和McCelland等人提出并行分布处理（PDP）的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。2 基于BP算法的多层前馈模型2.1数学模型其网络结构如图1所示图1 BP网络结构模型的数学表达如下：输入向量： 隐层输出向量： 输出层输出向量： 期望输出向量：输入层到隐层之间的权值矩阵：隐层到输出层之间的权值矩阵：2.2各层计算对于输出层： （1-1） （1-2）对于隐层： （1-3） （1-4）其中，为单极性Sigmoid函数或双极性Sigmoid函数3 BP学习算法3.1 网络误差与权值调整输出误差E定义： （1-5）将以上误差定义式展开至隐层： （1-6）进一步展开至输入层： （1-7） （1-8） （1-9）式中负号表示梯度下降，常数(0,1)表示比例系数。在全部推导过程中，对输出层有 对隐层有 3.2 算法推导对于输出层式（1-8），可以写成： （1-10）对于隐层式（1-9），可以写成： （1-11）对输出层和隐层各定义一个误差信号，令 （1-12） （1-13）综合利用上式可得权值调整为： （1-14） （1-15）可以看出，只要计算出式(1-14)、式（1-15）中的误差信号和，权值调整量的计算推导即可完成。下面继续推导如何求误差信号和 。对于输出层，可展开为：（1-16）对于隐层，可展开为： （1-17）对式（1-5）求各阶偏导数可得： （1-18）对于隐层有： （1-19）故可得： （1-20）将上式代入（1-16），并利用单极性Sigmoid函数可得： （1-21） （1-22） 将式（1-21）、（1-22）代入式（1-14）、（1-15）可得三层前馈网的BP学习算法权值调整的计算公式为： （1-23） （1-24）4 基于BP的多层前馈网的主要能力、局限性及改进4.1 主要能力（1）非线性映射能力多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。（2）泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为多层前馈网的泛化能力。（3）容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。4.2 局限性及改进BP算法的主要缺点是：收敛速度慢、局部极值、难以确定隐层和隐层节点的个数。在实际应用中，BP算法很难胜任，因此出现了很多改进算法。BP算法的改进主要有两种途径：一种是采用启发式学习算法，另一种是采用更有效的优化算法。启发式学习算法，就是对表现函数梯度加以分析，从而改进算法，其中包括：有动量的梯度下降法（traingdm）、有自适应Ir的梯度下降法（traingda）、有动量和自适应Ir的梯度下降法（traingdx）、和能复位的BP训练法（trainrp）等。本文主要通过BP网络训练和有动量的梯度下降法、有自适应Ir的梯度下降法（traingda）以及弹性梯度下降法的比较，得出采用有动量的梯度下降法、有自适应Ir的梯度下降法（traingda）以及弹性梯度下降法提高了学习速率并增加了算法的可靠性。5.仿真实例假设样本数据如下：p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;应用minmax函数求输入样本的范围，然后构造一个BP网络，仿真结果如下：应用动量的梯度下降法进行BP网络训练(traingdm)，其仿真如下：应用有自适应Ir的梯度下降法（traingda）进行训练，仿真结果如下：应用弹性梯度下降法进行训练，仿真结果如下：6.附录 附录一：p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p),3,1,tansig,purelin,traingd);net.trainParam.show=50;net.trainParam.Ir=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;net,tr=train(net,p,t);a=sim(net,p);附录二：p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p),3,1,tansig,purelin,traingdm);net.trainParam.show=50;net.trainParam.Ir=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=300;net.trainParam.goal=1e-5;net,tr=train(net,p,t);a=sim(net,p);附录三：p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p),3,1,tansig,purelin,traingda);net.trainParam.show=50;net.trainParam.Ir=0.05;net.trainParam.Ir_inc=1.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;net,tr=train(net,p,t);a=sim(net,p);附录四：p=-1 -1 2 2;0 5 0 5;t=-1 -1 1 1;net=newff(minmax(p),3