BP网络的改进算法简介

1、人工神经网络(Artificial Neural Network ,ANN) ,自从20 世纪50 年代Rosenblatt首次将单层感知器应用于模式分类学习以来,已经有了几十年的研究历史. 但是由于Minsky 和Papert 指出单层系统的局限性,并表达了对多层系统的悲观看法,在20 世纪70 年代对ANN 的研究兴趣减弱. 直至80 年代中期Rumelhart 等重新阐述了反传训练方法,使得在ANN领域的理论和应用研究开始在世界范围内重新兴起.ANN 是一种按照人脑的组织和活动原理而构造的一种数据驱动型非线性映射模型,它具有并行处理、自适应自组织、联想记忆、容错鲁棒以及逼近任意非线性等特

2、性,在预测评估、模式识别、信号处理、组合优化及知识工程等领域具有广泛的应用. 近年来,已有多种ANN 模型被提出并得以深入研究. 其中,80 %90 %的人工神经网络模型是采用前馈反向传播网络(Back Propagation Net Work 简称BP 网络) 或它的改进形式,它是前向网络的核心部分,体现了网络最精华的部分.标准的BP 网络是根据Widrow - Hoff 规则,采用梯度下降算法,在非线性多层网络中,反向传播计算梯度. 但BP 网络存在自身的限制与不足,如需要较长的训练时间、会收敛于局部极小值等,使得BP 算法在实际应用中不是处处能胜任.因此近十几年来,许多研究人员对其做了深

3、入的研究,提出了许多改进的算法,如使用动量项的加快离线训练速度的方法、归一化权值更新技术方法、快速传播算法、-方法、扩展卡尔曼滤波法、二阶优化以及最优滤波法等.BP网络的改进算法大体上分为两类,一类是采用启发式技术,如附加动量法、自适应学习速率法、RPROP 方法；另一类是采用数字优化技术,如共轭梯度法、拟牛顿法、Levenberg - Marquardt 方法. 附加动量法使BP 神经网络在修正其权重和阈值时,不仅考虑误差在梯度上的作用,而且考虑在误差曲面上变化趋势的影响,它允许忽略网络上的微小变化特性. 该方法是在反向传播法的基础上,在每一个权重和阈值的变化上加上一项正比于前次权重和阈值变

4、化量的值,并根据反向传播法来产生新的权重和阈值的变化,带有附加动量因子的权重和阈值(X) 调节公式为:（1）其中k 为训练次数, mc 为动量因子,一般取0. 95 左右, lr 为学习速率,是常数, E 为误差函数.这种方法所加入的动量项实质上相当于阻尼项,它减小了学习过程的振荡趋势, 从而改善了收敛性,找到更优的解. 但是这种方法的缺点也是明显的,参数的选取只能通过实验来确定, 而且它的学习速度还不能满足实时的工作需要. 2自适应学习速率法自适应调整学习速率有利于缩短学习时间. 标准B P算法收敛速度慢的重要原因是学习速率选择不当. 学习速率选得太小,收敛太慢;学习速率选取得太大,则有可能

5、修正过头,导致发散. 因此出现了自适应调整的改进算法,其权重和阈值(X)见公式（2）（3）其中, lr 为学习速率,是变量,而公式(1) 中lr 是常数.通常调节学习速率lr 的准则是:检查权重的修正值是否真正降低了误差函数, 如果确实如此, 则说明所选取的学习速率值小了,可以对其增加一个量;若不是这样,而产生了过调,那么就应减小学习速率的值.3弹性BP(Resilient Back propagation ,RPROP) 方法一般来说,BP 网络的隐含层激活函数采用S形的(Sigmoid) 函数. Sigmoid 函数用于将神经元的输入范围( - , + ) 映射到(0 ,1) ,当输入变量

6、很时,Sigmoid 函数的斜率将接近于0. 这可能导致在利用Sigmoid 函数训练BP 网络中梯度下降的问题,由于即使梯度有很小的变化,也会引起权重和阈值的微小变化,使权重和阈值远离最乐观的值.有鉴于此,1993 年德国Martin Riedmiller 和Heinrich Braun 在他们的论文中提出有弹性的BP(Resilient Backpropagation) 方法.这种方法的原理是打算消除偏导数的大小有害的影响权步,因此,唯有导数的符号被认为表示权更新的方向,而导数的大小对权更新没有影响. 权改变的大小仅仅由权专门的“更新t 时刻.对每个权重和阈值的更新值得到修改,权更新本身遵

7、循一个很简单的规则:如果导数是正(增加误差) ,这个权重和阈值由它的更新值降低,如果导数是负,更新值提高:见公式（5）RPROP 的基本原理是权重和阈值更新值的直接修改,它和以学习速率为基础的算法相反(正如梯度下降一样) . RPROP 引入Resilient (有弹性的)更新值的概念直接地修改权步的大小. 因此, 修改结果不会被不可预见的梯度性能变模糊. 由于学习规律的清楚和简单, 和最初的反传算法比较, 在计算上仅有少量的耗费. 除了快速外, RPROP 的主要优点之一在于对许多问题一点也不需要参数的选择以得到最优或者至少接近最优收敛时间. 4共轭梯度法当使用共轭梯度向量来确定共轭方向时,

8、称此算法为共轭梯度法. 1990 J .Leonard 和M. A.Kramer将共轭梯度法和行搜索策略结合在一起. 在共轭梯度法中,沿着共轭方向进行行搜索,收敛速度将比一般的梯度下降法要快得多. 在一般的训练算法中,是利用学习速率决定权重和阈值更新的步长,而在多数共轭梯度算法中权值步长各自反复地调整,沿着共轭梯度用行搜索来决定权值步长以减少在行中的完成功能. 共轭梯度法可以不必计算或存储二阶导数信息就具有二阶方法的功能,它与拟牛顿法相比,它的计算代价很低,因此在较大规模问题中十分有用.这里只介绍四种共轭梯度算法:Fletcher - Reeves、Polak - Ribiere 、Pwell - Beale以及Scaled Conjugate Gradient (SCG) 算法.4.1 Fletcher - Reeves 共轭梯度法所有的共轭梯度算法的搜索方向P0 是从最陡下降方向g0 (梯度的负方向) 开始搜索:见公式（6）然后利用