BP网络学习资料

1、bp网络学习资料综述：bp（back propagation ）神经网络是一种 按误差逆传播算法训练 的多层前馈网络。bp网络能学习和存贮大量的输入- 输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值， 使网络的误差平方和最小。bp 神 经 网 络 模 型 拓 扑 结 构 包 括 输 入 层（ input）、 隐 层 (hiddenlayer)和 输 出 层(output layer)。在人工神经网络发展历史中， 很长一段时间里 没有找到隐层的连接权值调整问题 的有效算法。直到误差反向传播算法 （bp算法）的提出，

2、成功地解决了求解非线性连续函数的多层前馈神经网络权重调整问题。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数：出现历史：一、简单神经网络最简单的神经网络结构，也即mp模型的结构：单层感知器简单，但它只能分析线性问题。二、多层感知器所谓多层感知器， 就是在输入层和输出层之间加入隐层，以形成能够将样本正确分类的凸域。随着隐层层数的增多， 凸域将可以形成任意的形状，因此可以解决任何复杂的分类问题。实际上， kolmogorov 理论指出：双隐层感知器就足以解决任何复杂的分类问题。多层感知器确实是非常理想的分类器， 但问题也随之而来：

3、 隐层的权值训练问题 - 对于各隐层的节点来说，它们并不存在期望输出， 所以也无法通过感知器的学习规则来训练多层感知器。三、 bp神经网络的诞生david e.rumelhart以及 james l.mccelland研究小组发表的并行分布式处理。对具有非线性连续变换函数的多层感知器的误差反向传播 (error back propagation) 算法进行了详尽的分析。error back propagation算法的简称就是bp算法，以 bp算法实现的多层感知器网络就是 bp 网络。所以，bp网络本质上并不是一个新的网络，而是使用 bp学习算法的多层感知器网络。四、原理多层感知器在 如何获取

4、隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？bp 算法就是采用这样的思想设计出来的算法，它的基本思想是 , 学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时, 输入样本从输入层传入 , 经各隐层逐层处理后 , 传向输出层。若输出层的实际输出与期望的输出 ( 教师信号 ) 不符 , 则转入误差的反向传播阶段。反向传播时，将输出以某种形式通过隐层向输入层逐层反传 , 并将误差分摊给各层的所有单元 , 从而获得各层单元的误差信号 , 此误差信号即作为修正各单元权值的依据。bp 网络的 1) 网络拓扑

5、结构； 2) 传递函数； 3)学习算法bp网络的拓扑结构bp 网络实际上就是多层感知器，因此它的拓扑结构和多层感知器的拓扑结构相同。由于单隐层（三层）感知器已经能够解决简单的非线性问题，因此应用最为普遍。 三层感知器的拓扑结构： bp 网络的传递函数bp 网络采用的传递函数是非线性变换函数sigmoid 函数（又称s 函数）。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。 s 函数有单极性 s 型函数和双极性s 型函数两种，单极性 s 型函数定义如下：f(x)=1/(1+e- x)其函数曲线如图：双极性 s 型函数定义如下：f(x)=(1- e- x)/(1+e - x )其图像为

6、bp网络的学习算法bp 网络的学习算法就是 bp 算法，又叫 算法（在 ann的学习过程中我们会发现不少具有多个名称的术语）， 以三层感知器为例， 当网络输出与期望输出不等时，存在输出误差 e ，定义如下将以上误差定义式展开至隐层，有进一步展开至输入层，有由上式可以看出，网 入 差是各 j 、ij 的函数，因此 整 可改 差 e 。 显然， 整 的原 是使 差不断减小， 因此 使 权 值 与 误 差 的 梯 度 下 降 成 正 比 ， 即 于一般多 感知器， 共有 h 个 ，按前向 序各 点数分 m1,m2, ,mh，各 出分 y1,y2, ,yh ，各 矩 分 w1,w2,wh,wh+1， 各 整公式 出 第 h隐层按以上规律逐层类推， 则第一隐层权值调整公式容易看出，bp学习算法中，各层权值调整公式形式上都是一样的，均由 3 个因素决定，即：学习率 本层输出的误差信号本层输入信号 y （或 x）其中输入层误差信号与网络的期望输出与实际输出之差有关，直接反应了输出误差， 而各隐层的误差信号与前面各层的误差信号有关， 是从输出层开始逐层反传过来的。可以看出 bp算法属于学习规则类，这类算法常被称为误差的梯度下降算法。学习规则可以看成 是 widrow-hoff(lms) 学 习 规 则 的 一 般 化(