BP网络学习资料

1、综述BP ( Back Propagation )神经网络是一种 按误差逆传播算法训练 的多层前馈网络。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数 学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的 误差平方和最小。BP神经网络模型拓扑结构包括输入层(in put)、隐层(hidden layer)和输出层(output layer)。在人工神经网络发展历史中， 很长一段时间里 没有找到隐层的连接权值调整问题 的有效算法。 直到 误差反向传播算法(BP算法)的提出，成功地解决了求解非线性连续函数的多层前馈神经网络权

2、重调整问题。当实际输出与期望输出不符时，进入误差的反向传播阶段。 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： 出现历史：一、简单神经网络 最简单的神经网络结构，也即 MP 模型的结构： 单层感知器简单，但它只能分析线性问题。二、多层感知器 所谓多层感知器，就是在输入层和输出层之间加入隐层，以形成能够将样本正确分类的凸域。 随着隐层层数的增多，凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上， Kolmogorov 理论指出：双隐层感知器就足以解决任何复杂的分类问题。多层感知器确实是非常理想的分类器， 但问题也随之而来： 隐层的权值训练问题 -对于各隐层的节

3、点来说，它们并不存在期望输出，所以也无法通过感知器的学习规则来训练多层感知器。三、BP神经网络的诞生David E.Rumelhart 以及 James L.McCelland 研究小组发表的并行分布式处理。对具有非线性连续变换函数的多层感知器的误差反向传播 （Error Back Propagation） 算法进行了详尽的分析。Error Back Propagation算法的简称就是 BP算法，以BP算法实现的多层感知器网络就是BP网络。所以，BP网络本质上并不是一个新的网络，而是使用BP学习算法的多层感知器网络。四、原理多层感知器在 如何获取隐层的权值 的问题上遇到了瓶颈。既然我们无法直

4、接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？BP算法就是采用这样的思想设计出来的算法，它的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与 期望的输出 （教师信号 ）不符 ,则转入误差的反向传播阶段。反向传播时，将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元从而获得各层单元的误差信号 ,此误差信号即作为修正各单元权值的依据。BP网络的1）网络拓扑结构；2）传递函数；3）学习算法BP网络的拓扑结构BP网络实际上就是多层感知器，因此

5、它的拓扑结构和多层感知器的拓扑结构相同。由于单隐 层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。三层感知器的拓扑结构： BP 网络的传递函数BP网络采用的传递函数是非线性变换函数一一 Sigmoid函数（又称S函数）。其特点是函数本身及 其导数都是连续的，因而在处理上十分方便。S函数有单极性 S型函数和双极性 S型函数两种，单极性S型函数定义如下：f(x)=1心+e?x)其函数曲线如图： 双极性S型函数定义如下:f(x)=(1?e?W(1+e?x)其图像为BP网络的学习算法BP网络的学习算法就是 BP算法，又叫S算法(在ANN的学习过程中我们会发现不少具有多个名 称的术语)，

6、以三层感知器为例，当网络输出与期望输出不等时，存在输出误差E，定义如下将以上误差定义式展开至隐层，有进一步展开至输入层，有由上式可以看出，网络输入误差是各层权值3j K、U的函数，因此调整权值可改变误差E。显然,调整权值的原则是使误差不断减小，因此应使权值与误差的梯度下降成正比，即dE二一可3 =丹3承9E0门2；Any =_叶2 =对于一般多层感知器，设共有h个隐层，按前向顺序各隐层节点数分别记为m1,m2,mh，各隐层输出分别记为 y1,y2,yh，各层权值矩阵分别记为W1,W2,Wh,Wh+1 ,则各层权值调整公式为 输出层 第h隐层 按以上规律逐层类推，则第一隐层权值调整公式容易看出，BP学习算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，即:学习率n本层输出的误差信号S本层输入信号 Y (或X)其中输入层误差信号与网络的期望输出与实际输出之差有关， 直接反应了输出误差， 而各隐层的误 差信号与前面各层的误差信号有关，是从输出层开始逐层反传过来的。可以看出BP算法属于3学习规则类，这类算法常被称为误差的梯度下降算法。3学习规则可以看成是Widrow-Hoff(LMS)学习规则的一般化(genera