神经网络BP网络

1、会计学1神经网络神经网络BP网络网络2022-7-822022-7-83感知机自适应线性元件2022-7-84感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件2022-7-85感知机自适应线性元件Adline简介网络结构网络学习网络训练2022-7-862.1 BP网络简介2.2 网络模型2.3 学习规则2.4 图形解释2.5 网络训练2022-7-87反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法它是一

2、种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射2022-7-882022-7-89一个具有r个输入和一个隐含层的神经网络模型结构 2022-7-8102022-7-8112022-7-8122022-7-8132022-7-8142022-7-8152022-7-8162022-7-8172022-7-8182022-7-8192022-7-8202022-7-8212022-7-8222022-7-8232022-7-8242022-7-8252022-7-8262022-7-8272022-7-8282022-7-82

3、92022-7-8302022-7-8312022-7-8322022-7-8332022-7-8342022-7-8352022-7-8362022-7-8372022-7-838加快训练速度避免陷入局部极小值2022-7-839利用附加动量的作用则有可能滑过局部极小值修正网络权值时，不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，其作用如同一个低通滤波器，它允许网络忽略网络上微小变化特性该方法是在反向传播法的基础上在每一个权值的变化上加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化2022-7-840带有附加动量因子的权值调节公式其中k为训练次数，mc为

4、动量因子，一般取095左右附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。当动量因子取值为零时，权值变化仅根据梯度下降法产生当动量因子取值为1时，新的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉了 促使权值的调节向着误差曲面底部的平均方向变化，当网络权值进入误差曲面底部的平坦区时，i将变得很小，于是，wij(k+1)wij (k)，从而防止了wij=0的出现，有助于使网络从误差曲面的局部极小值中跳出 2022-7-841在MATLAB工具箱中，带有动量因子的权值修正法是用函数learnbpm.m来实现的trainbpm.m可以训练一层直至三层的带

5、有附加动量因子的反向传播网络下面是对单层网络使用函数trainbpm.m的情形：W，B，epochs，errorstrainbpm(W，B，F，P，T，TP)2022-7-842当ak趋向1时，E趋向一个常数，即处于E的平坦区， f(n)0，可能造成完全训练的麻痹现象当一个网络的误差曲面存在着平坦区时，可以选用别的误差函数f(tk, ak)来代替(tk-ak)2的形式，只要其函数在ak=tk时能达到最小值2022-7-843包穆(Baum)等人于1988年提出一种误差函数为不会产生不能完全训练的麻痹现象2022-7-844与常规的误差函数的情况ij=f(n)(tk-ak)相比较，其中的f(n)

6、项消失了当n增大，进入激活函数的平坦区，使f(n)0时，不会产生不能完全训练的麻痹现象但由于失去了f(n)对w的控制作用，过大的w又有可能导致网络过调或振荡 1989年，范尔曼(S.Fahlman)提出一种折中的方案，即取kf(n)+0.1(tk-ak)一方面恢复了f(n)的某些影响另一方面当|n|变大时，仍能保持k有一定的大小，从而避免了麻痹现象的发生 2022-7-845通常调节学习速率的准则是，检查权值的修正值是否真正降低了误差函数，如果确实如此，则说明所选取的学习速率值小了，可以对其增加一个量；否则可认为产生过调，应该减小学习速率的值一种自适应学习速率的调整公式2022-7-8462022-7-8472022-7-8482022-7-8492022-7-8502022-7-8512022-7-8522022-7-853感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件2022-7-854感知机自适应线性元件Adline简介网络结构网络学习网络训练2022-7-8552.1 BP网络简介2.2 网络模型2.3 学习规则2.4 图形解释2.5 网络训练2022-7-8562022-7-8572022-7-8582022-7-859当ak趋向1时，