神经网络优化方法bp算法缺陷专家讲座

3.1BP网络学习算法改进标准BP算法误差空间是N维空间中一个形状极为复杂曲面，该曲面上每个点“高度”对应于一个误差值，每个点坐标向量对应着N个权值单权值双权值神经网络优化方法bp算法缺陷专家讲座第1页3.1BP网络学习算法改进BP网络学习算法存在问题存在平坦区域影响--------误差下降迟缓，影响收敛速度。原因--------误差对权值梯度改变小－－靠近于零由各节点净输入过大而引发。分析：激活函数为Sigmod函数神经网络优化方法bp算法缺陷专家讲座第2页3.1BP网络学习算法改进存在平坦区域原因分析权值修正量：输出导数：神经网络优化方法bp算法缺陷专家讲座第3页3.1BP网络学习算法改进存在平坦区域原因分析：第一个可能是充分靠近第二种可能是充分靠近0么三种可能是充分靠近1造成平坦区原因：

各节点净输入过大对应着误差某个谷点

对应着误差平坦区神经网络优化方法bp算法缺陷专家讲座第4页3.1BP网络学习算法改进存在多个极小点影响------易陷入局部最小点

原因：以误差梯度下降为权值调整标准，误差曲面上可能存在多个梯度为0点，多数极小点都是局部极小，即使是全局极小往往也不是唯一，使之无法区分极小点性质造成结果：使得训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。神经网络优化方法bp算法缺陷专家讲座第5页3.1BP网络学习算法改进

BP算法缺点小结⑴易形成局部极小而得不到全局最优；⑵训练次数多使得学习效率低，收敛速度慢；⑶隐节点选取缺乏理论指导；⑷训练时学习新样本有遗忘旧样本趋势。针对上述问题，国内外已提出不少有效改进算法，下面将介绍其中几个较惯用方法。神经网络优化方法bp算法缺陷专家讲座第6页3.1.1消除样本输入次序影响改进算法

在线学习方式时，网络受后面输入样本影响较大，严重时，会影响用户要求训练精度。为了消除这种样本次序对结果影响，能够采取批处理学习方式，即使用一批学习样本产生总误差来调整权值，用公式表示以下：处理了因样本输入次序引发精度问题和训练抖动问题。不过，该算法收敛速度相对来说还是比较慢。神经网络优化方法bp算法缺陷专家讲座第7页3.1.1消除样本输入次序影响改进算法算法流程图网络初始化计算输出层权值调值计算隐含层权值调值计算全局误差是结束判断是否结束？否更新权值神经网络优化方法bp算法缺陷专家讲座第8页3.1.2附加动量改进算法在反向传输法基础上在每一个权值（或阈值）改变上加上一项正比于上一次权值（或阈值）改变量值，并依据反向传输法来产生新权值（或阈值）改变带有附加动量因子权值调整公式为:能够预防出现即最终一次权值改变量为0，有利于使网络从误差曲面局部极小值中跳出。但对于大多数实际应用问题，该法训练速度依然很慢。MATLAB中工具函数traingdm()即对应于附加动量法。神经网络优化方法bp算法缺陷专家讲座第9页3.1.3采取自适应调整参数改进算法采取自适应调整参数改进算法基本构想是学习率应依据误差改变而自适应调整，以使权系数调整向误差减小方向改变，其迭代过程可表示为：在很小情况下，采取自适应调整参数改进算法依然存在权值修正量很小问题，致使学习率降低。MATLAB中工具函数traingda()即对应于自适应调整参数法。神经网络优化方法bp算法缺陷专家讲座第10页3.1.4使用弹性方法改进算法BP网络通常采取Sigmoid隐含层。当输入函数很大时，斜率靠近于零，这将造成算法中梯度幅值很小，可能使网络权值修正过程几乎停顿下来。弹性方法只取偏导数符号，而不考虑偏导数幅值。其权值修正迭代过程可表示为：在弹性BP算法中，当训练发生振荡时，权值改变量将减小；当在几次迭代过程中权值均朝一个方向改变时，权值改变量将增大。所以，使用弹性方法改进算法，其收敛速度要比前几个方法快得多神经网络优化方法bp算法缺陷专家讲座第11页3.1.5使用拟牛顿法改进算法梯度法缺点是搜索过程收敛速度较慢，牛顿法在搜索方向上比梯度法有改进，它不但利用了准则函数在搜索点梯度，而且还利用了它二次导数，就是说利用了搜索点所能提供更多信息，使搜索方向能更加好地指向最优点。它迭代方程为：收敛速度比一阶梯度快，但计算又较复杂，比较经典有BFGS拟牛顿法和一步正切拟牛顿法。MATLAB中工具函数trainbfg()、trainoss()即对应拟牛顿法中BFGS拟牛顿法和一步正切拟牛顿法。

神经网络优化方法bp算法缺陷专家讲座第12页3.1.6基于共轭梯度法改进算法梯度下降法收敛速度较慢，而拟牛顿法计算又较复杂，共轭梯度法则力图防止二者缺点。共轭梯度法也是一个改进搜索方向方法，它是把前一点梯度乘以适当系数，加到该点梯度上，得到新搜索方向。其迭代方程为：神经网络优化方法bp算法缺陷专家讲座第13页3.1.6基于共轭梯度法改进算法共轭梯度法比大多数常规梯度下降法收敛快，而且只需增加极少存放量和计算量。对于权值很多网络，采取共轭梯度法不失为一个很好选择。MATLAB中工具函数traincgb()、traincgf()、traincgp()即对应于共轭梯度法。神经网络优化方法bp算法缺陷专家讲座第14页3.1.7基于Levenberg-Marquardt法改进算法梯度下降法在最初几步下降较快，但伴随靠近最优值，因为梯度趋于零，致使误差函数下降迟缓，而牛顿法则可在最优值附近产生一个理想搜索方向。Levenberg-Marquardt法实际上是梯度下降法和牛顿法结合，它优点在于网络权值数目较少时收敛非常快速。应用Levenberg-Marquardt优化算法比传统BP及其它改进算法（如共轭梯度法，附加动量法、自适应调整法及拟牛顿法等）迭代次数少，收敛速度快，准确度高。MATLAB中工具函数trainlm()即对应Levenberg-Marquardt法改进算法。神经网络优化方法bp算法缺陷专家讲座第15页BP神经网络优化算法对比示例神经网络优化方法bp算法缺陷专家讲座第16页课后练习：BP神经网络优化算法对比建立一个BP网络，使用各种优化算法对应学习函数对神经网络进行训练，实现对函数迫近，并计算出各种学习方法训练网络时所使用时间神经网络优化方法bp算法缺陷专家讲座第17页小结BP网络学习算法存在问题BP网络学习算法更正算法消除样本输入次序影响改进算法

附