BP算法的基本原理

1、BP算法的基本原理典型的BP网络分为三层（图4.4），即输入层、隐含层和输出层。其算法主要由以下四部分组成，即模式顺传播误差逆传播记忆训练学习收敛。1模式顺传播设样本输入向量A（aa），输出向量Y（yy）k1nk1q中间单元的输入向量S（s，,s）,输出向量B（b，,b）k1pk1p输出层的输入向量L（l，,l）,输出向量C（c,.,c）k1qk1q其中，k1,2,.,m,为样本数。aPqacqLwiiW12epYqe2Spe1Bp、V12iibkf(Sk)jjj1,2,.,p输入层到中间层的权.i1,2,.,n,j1,2,.,pij中间层到输出层的权v,j1,2,.,p,t1,2,.,qjt

2、中间层阈值,j1,2,.,p输出层阈值,t1,2,.,qjt中间层输入：Skwa，输出:输出层输入：Lkpvb,输出：jjtjtjCkf(L)tt11eLtt1,2,.,qjijiji2误差的逆传播根据输出层产生的误差，经中间层向输入层传播，在这个过程中，按照梯度下降原则对各层的权值和阈值进行误差校正。(1)输出层计算：权值调整量计算：第k模式(样本)下，网络的输出误差的均方值为,Eq(ykCk)2/2kttt因为，刍ykCk)k，二二二f)bC(1C)bCtttvLvtjttjtjttjt所以，邑邑Ck«(1C)bvCvtttjjttjt上式即为权值变化对均方值误差的影响程度，按梯

3、度下降原则应使权值调整量.与二的jtjt负值成比例变化，即(生)C(1C)bdkbjtvtttjtjjt其中，(0,1)，t1,2,.,q，j1,2,.,p。阈值调整量计算：因为，皂邑三kf)()c(1C)()dkCLtttttttttt所以，按照梯度下降原则，可得到输出层各单元的阈值调整量为：(聖)dkttt(2)中间层到输入层计算：权值调整量计算：ijttttjij (kC(1C)v)b(1b)atttjtjjit (dkv)b(1b)atjtjjit eaji按照梯度下降原则，可得到连接权值的调整量为：w（生）eaijwjiij阈值调整量计算：jt1ttjjj (C(1C)v)b(1b)

4、()tttjtjjt (B/kv)b(1b)()tjtjjtej按照梯度下降原则，可得到输出层各单元的阈值调整量为：(皂)ejjj以上的推导是标准误差逆传播算法，即各连接权的调整量是分别与各个学习模式对的误差Ek成比例变化的。而相对于全局误差EE的连接权调整，是在所有m个学习模式全kkkt部提供给网络后统一进行的，这种算法是累积误差逆传播算法。一般来讲，当样本较少时，累积误差传递算法要比标准误差传递算法速度快一点。3记忆训练给出一组样板反复进行学习，调整权值和阈值的大小以使输出值满足一定的精度要求。4学习收敛经过多次训练以后，网络的全局误差趋向于最小值。由于BP算法采用了按误差函数梯度下降的方

5、向进行收敛，因此，可能使迭代陷入局部极小点，BP网络收敛依赖于样本的初始位置，适当改变隐层单元个数，或给每个权值加上一个很小的随机数，都可使收敛过程避免局部极小点。二.BP网络的解析步骤标准误差逆传播算法按照以下步骤进行计算：(1) 初始化给权值和阈值武予(-1,1)之间的随机值。ijjtjt(2) 随机取一对样本对网络进行训练3)计算中间层的输入/出输入：Swa，输出：bf(S)1jijijijj1e巴4)计算输出层的输入/出输入：Lpvb，输出：Cf(L)1jjtjttt1e叫5)计算输出层的一般误差dk(ykC)C(1C)ttttt6) 计算中间层的一般误差e(dkv)(1b)jtjtjjt7) 修改输出层的权值和阈值v(NI)v(N)dkbjtjttj(N1)(N)(dk)jtjtt8) 修正隐层的权值和阈值w(N1)w(N)eaijijji(ni)(n)(e)jj