BP神经网络学习率参数改进方法

1、长春师范学院学报（自然科学版）Journalof ChangchurNormalUniversty（ Natural Science）BP神经网络学习率参数改进方法陈思(哈尔滨理工大学自动化学院，黑龙江哈尔滨150080）摘 要针对动态BP神经网络学习率优化方法收 敛速度慢而且对误差曲面变化不敏感等不利因素， 本文提出了一种改进的BP神经网络学习率的优化算法，该策略使网络对误差曲面变化敏感且收敛速 度快。关键词BP神经网络；学习率中图分类号TP183文献标识码A文章编号1008- 178X(2010)01- 0026- 03近几年人工神经网络在模式识别、信号处理、图像处理等领域都有着重要的应用

2、.其中Rumelhart1等提出的误差反向传播算法是训练前馈神经网络强有力的工具但是传统的训练方法易使网络陷入局部极小点，而且收敛速度慢也是其主要缺点之一，2因此对田算法的改进是一个重要的研究课题.在前人研究成果的基础上，笔者提出了一种学习率的优化设计方法，并通过实验验证了该方法的有效性 1 BP神经网络BP网络3是一种多层前馈神经网络，它采用BP算法实现输入空间到输出空间的非线性映射，具有结构简单、可操作性强等优点，目前已被广泛应用 BP神经网络模型一般由三层构成(图1),对于输入信号先传播到隐层节点，再把隐层节点的信息传播到输出节点输入层I有n个节点，隐层J有h个节点，输出层K有m个节点；

3、W表示输入层的第i个节点和隐层 的第j个节点之间的连接权值，Wkj表示隐层的第j个节点和输出层的第k个节点之间的连接权值;d1, d2,dm为期望输出；e1, e2, em为实际和期望输出值的误差.BP算法的基本思想是：学习过程由模式正传播和误差逆传播两个过程组成正向传播时，信号作用于输入层，经隐层处理后，传向输出层若输出层没能得到期望值，则转入误差反向传播阶段，将输出误差通 过隐层向输入层逐层返回，从而获得各层的误差信号，作为修改权值的依据权值不断修改的过程，也就是 网络的学习过程，即对网络的连接权 W/i和W进行调整，使该网络实现给定的输入输出映射关系 此过程一 直进行到网络输出的误差满足

4、可接受的程度或达到预定的学习次数为止2网络收敛速度的改进方法BP算法是基于误差-修正学习的，学习率的大小对收敛速度和训练结果影响很大如果学习率太小，学习速度太慢；如果学习率太大，可能导致振荡或发散为实现快速而有效的学习收敛过程 ，文献4提 出了BP网络学习率的优化模型，其学习率的变化公式为：- n=Ae .(1)其中n为迭代次数，A和 的取值根据实际情况选择，一般情况下，1 A 50, 0 00010 001.虽收稿日期2009- 11- 17作者简介陈思（1977-）,女,吉林长春人，哈尔滨理工大学自动化学院硕士研究生从事模式识别研究.du 呼输入层T隠层J输.出层K咲差反传图1 BP神经网

5、络拓扑结构&k但也存在着问题 一般情况下，当网然此算法与传统BP算法相比使用了可变的学习速率加快了网络收敛 络误差处于下降状态时，该算法难以适应这一情况，而且收敛速度也比较慢3改进的BP网络学习率的优化模型在BP网络学习率的优化模型中，采用学习率渐小法，即让其随着学习次数的增加而递减该模型可转(k)= e(k- 1).(2)其中0 00010 001.从公式可以看出网络训练过程中学习率始终按一定的比例系数减小但在实际应用中，如果网络误差在权值更新后减小了此时再减小学习速率则权值修改的速度比较慢，会影响网络收敛速度，这说明该算法难以适应这一情况这时，如果增大学习率使网络能够以较大幅度修改

6、权值网络1.05 ( k- 1),E( k) < E( k-1);(k)=«e (k- 1),E( k)>E( k-1);le (k- 1),E( k)=E( k-1).其中0 00010 001,此算法认为如果网络误差处于下降状态训练效果就会更好一些改进后BP网络学习率的优化模型为习率可以按一定比例增大(3)尤其下降趋势明显时，则说明此时的学换为:4仿真实验及结果分析利用Matlab神经网络工具箱，以输入样本-1- 122; 0 505,输出样本-1- 111为例，用BP网络学习率的优化模型以及改进的 BP网络学习率的优化模型分别作了仿真试验，采用的神经网络有3个输入节

7、点和 1个输出节点，共两层.以相同的性能指数均方误差的目标值(training goal = 0 00001)比较两个算法的不同之处.在实验中，训练最大步数取 300步，对于这个测试问题，为了加速收 敛，合适的初始学习率选取 0 1, 选为0 001,仿真结果如图2、图3所示,图中直线所示为目标值，曲线 所示为训练过程曲线.从仿真结果图2和图3,我们能很明显看出在相同参数设置、相同的性能指数均方误差的目标值下，改进算法比没改进算法收敛的过程更为平滑，收敛速度更快，这说明了改进算法能更好地达到学习目的.5结语学习率是影响网络训练速度和性能的一个重要参数.本文针对动态 BP神经网络学习率优化方法的

8、缺陷，提出了一种改进的 BP网络学习率的优化算法.分别对这两种算法进行仿真比较，结果表明改进算法比原算法收敛速度更快，能达到较好的学习目的.27if：.a Academic Jounal Etectramc Publishing House. All rights reserved. httn：lci.n<图2 BP学习率优化模型收敛过程图3改进BP学习率优化模型收敛过程参考文献1 RumelhartD E,WolliansR J. Learninginternalrepresenta-tion by error- propagatiorJ. Paral- lei Distributel

9、ProcessingCambridge, MAMIT press,1986(1):318- 362.2 杨东侯，年晓红，杨胜跃.两种改进的BP神经网络学习算法J.长沙大学 学报,2004,18(4) : 54- 57.3 史忠植.智能科学M.北京：清华大学出版社,2006.4 刘幺和，陈睿，彭伟，等.一种BP神经网络学习率的优化设计J.湖北工业大学学报，2007,22(3):1- 3.Learning Rate Parameter Improve Methods for BP Neutral NetworkCHEN Si(Institute of Automation,Harbin Unive

10、rsity of ScienceandTechnologyHarbin 150080, China)Abstract: In view of the low con verge ncerste an dthe poorse nsitivity to the varied on of the errorcurvedsurfaceof dy nanic BP neural networks learning rate optimization,this paper proposedan improvementalgorithm of the BP neural networks learnin grate. The algo