3.6-标准BP算法的局限性与改进

神经网络理论及应用：BP算法局限性与改进主讲人：吴静珠

北京工商大学计算机与人工智能学院1、误差曲面与BP算法的局限性2、标准BP算法的改进2026/10/11BTBU-CIE2BP算法的局限性与改进2026/10/11BTBU-CIE3误差曲面与BP算法的局限性误差E的可调整参数个数2026/10/11BTBU-CIE4误差曲面与BP算法的局限性二维权空间误差曲面2026/10/11BTBU-CIE5误差曲面与BP算法的局限性二维权空间误差曲面曲面分布特点1：存在平坦区域平坦－－误差的梯度变化小－－接近于零误差梯度小，使得权重调整量小，导致训练缓慢！！6误差曲面与BP算法的局限性曲面分布特点1：存在平坦区域平坦－－误差的梯度变化小－－接近于零

2026/10/11BTBU-CIE

节点净输入过大导致输出趋向于0或12026/10/11BTBU-CIE7误差曲面与BP算法的局限性二维权空间误差曲面曲面分布特点2：存在多个极小点单权值误差曲线多个极小点的误差梯度为零多数极小点都是局部极小，即使是全局极小往往也不是唯一的。陷入局部极小点可能导致训练无法收敛与给定误差！！2026/10/11BTBU-CIE8误差曲面与BP算法的局限性曲面分布特点2：存在多个极小点误差曲面的平坦区会使训练次数大大增加，从而影响收敛速度。误差曲面的多个极小点会使训练陷入局部极小，从而使训练无法收敛于给定误差。基于误差梯度下降的权值调整原则是BP算法固有缺陷的根源！！1、误差曲面与BP算法的局限性2、标准BP算法的改进2026/10/11BTBU-CIE9BP算法的局限性与改进2026/10/11BTBU-CIE10标准BP算法改进：增加动量项原因：标准BP算法只按t时刻误差梯度下降方向调整，而没有考虑t时刻以前的梯度方向，从而常使训练过程发生振荡，收敛缓慢。方法：作用：动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。Matlab函数：traingdmα为动量系数，一般有α∈(0，1)2026/10/11BTBU-CIE11标准BP算法改进：自适应调节学习率原因：平坦区域内，学习率η太小会使训练次数增加；在误差变化剧烈的区域，学习率η太使训练出现振荡，反而使迭代次数增加。方法：自适应改变学习率，使其根据环境变化增大或减小设一初始学习率η，若经过一批次权值调整后使总误差↑，则本次调整无效，且

(t+1)=β(t)(β<1)；若经过一批次权值调整后使总误差↓，则本次调整有效，且

(t+1)=θ(t)(θ>1)。Matlab函数：traingda2026/10/1112标准BP算法改进：引入陡度因子原因：权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。基本思想：在进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区。方法：在原转移函数中引入一个陡度因子λBTBU-CIE当ΔE接近零而d-o仍较大时，可判断已进入平坦区，此时令λ>1；当退出平坦区后，再令λ=1。2026/10/11BTBU-CIE13BP算法的局限性与改进：小结标准BP算法的固有缺陷易形成局部极小而得不到全局最优训练次数多，学习效率低，收敛速度慢隐节点选取缺乏理论指导训练学习新样本有遗忘旧样本趋势标准BP算法的改进增加动量项自适应调节学习率引入陡度