人工神经网络 第3章 多层前向网络及BP学习算法幻灯片

1、合,Artificial Neural Network 人工神经网络,协 同 形 成 结 构,竞 争 促 进 发 展,合,第3章 多层前向网络及BP学习算法,3.1多层感知器 3.2 BP学习算法 3.3 径向基网络 3.4 仿真实例,合,3.1多层感知器,单层感知器只能解决线性可分的分类问题，要增强网络的分类能力唯一的方法是采用多层网络，即在输入与输出层之间加上隐含层，从而构成多层感知器（Multilayer Perceptrons，MLP）。这种由输入层、隐含层（一层或者多层）和输出层构成的神经网络称为多层前向神经网络。,合,多层感知器,多层前向神经网络输入层中的每个源节点的激励模式（输入

2、向量）单元组成了应用于第二层（如第一隐层）中神经元（计算节点）的输入信号，第二层输出信号成为第三层的输入，其余层类似。网络每一层的神经元只含有作为它们输入前一层的输出信号，网络输出层（终止层）神经元的输出信号组成了对网络中输入层（起始层）源节点产生的激励模式的全部响应。即信号从输入层输入，经隐层传给输出层，由输出层得到输出信号。,合,多层感知器,合,多层感知器,多层感知器同单层感知器相比具有四个明显的特点： （1）除了输入输出层，多层感知器含有一层或多层隐单元，隐单元从输入模式中提取更多有用的信息，使网络可以完成更复杂的任务。 （2）多层感知器中每个神经元的激励函数是可微的Sigmoid函数，

3、如：,合,多层感知器,（3）多层感知器的多个突触使得网络更具连通性，连接域的变化或连接权值的变化都会引起连通性的变化。 （4）多层感知器具有独特的学习算法，该学习算法就是著名的BP算法，所以多层感知器也常常被称之为BP网络。 多层感知器所具有的这些特点，使得它具有强大的计算能力。多层感知器是目前应用最为广泛的一种神经网络。,合,3.2 BP学习算法,反向传播算法(Back-Propagation algorithm, BP) BP学习过程： （1）工作信号正向传播：输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，

4、每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。,合,BP学习算法,（2）误差信号反向传播：网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层向后传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。,合,合,合,神经元的输入用u表示，激励输出用v表示，u, v的上标表示层，下标表示层中的某个神经元，如 表示I层（即第1隐层）的第i个神经元的输入。设所有的神经元的激励函数均用Sigmoid函数。设训练样本集为X=X1,X2,Xk，,XN，对

5、应任一训练样本: Xk= xk1,xk2, kMT，（k=1,2,N）的实际输出为: Yk= yk1, yk2,ykPT，期望输出为dk= dk1,dk2, dkPT。设n为迭代次数，权值和实际输出是n的函数。,合,工作信号的正向传播过程：,合,输出层第p个神经元的误差信号为：,定义神经元p的误差能量为： 则输出层所有神经元的误差能量总和为：,合,误差信号的反向传播过程：,（1）隐层J与输出层P之间的权值修正量,因为：,合,设局部梯度：,当激励函数为S型函数时有：,合,可求得：,合,（2）隐层I与隐层J之间的权值修正量：,设局部梯度为：,合,合,（3）与隐层I和隐层J之间的权值修正量推导方法相

6、同，输入层M上任一节点与隐层I上任一节点之间权值的修正量为：,其中：,合,BP学习算法步骤,第一步：设置变量和参量 第二步：初始化，赋给WMI (0), WIJ (0), WJP (0),各一个较小的随机非零值 第三步：随机输入样本Xk ，n=0。 第四步：对输入样本Xk ，前向计算BP网络每层神经元的输入信号u和输出信号v 第五步：由期望输出dk和上一步求得的实际输出 Yk (n)计算误差E(n)，判断其是否满足要求，若满足转至第八步；不满足转至第六步。,合,BP学习算法步骤（续）,第六步：判断n+1是否大于最大迭代次数，若大于转至第八步，若不大于，对输入样本Xk ，反向计算每层神经元的局部

7、梯度 第七步：计算权值修正量，修正权值；n=n+1，转至第四步 第八步：判断是否学完所有的训练样本，是则结束，否则转至第三步。,合,BP学习，需要注意几点：, BP学习时权值的初始值是很重要的。初始值过大，过小都会影响学习速度，因此权值的初始值应选为均匀分布的小数经验值，大概为（2.4/F，2.4/F）之间（也有人建议在 之间），其中F为所连单元的输入端个数。另外，为避免每一步权值的调整方向是同向的（即权值同时增加或同时减少），应将初始权值设为随机数。,合, 神经元的激励函数是Sigmoid函数，如果Sigmoid函数的渐进值为+和，则期望输出只能趋于+和，而不能达到+和。为避免学习算法不收敛

8、，提高学习速度，应设期望输出为相应的小数，如逻辑函数其渐进值为1和0，此时应设相应的期望输出为0.99和0.01等小数，而不应设为1和0。,合, 用BP算法训练网络时有两种方式，一种是顺序方式，即每输入一个训练样本修改一次权值；以上给出的BP算法步骤就是按顺序方式训练网络的。另一种是批处理方式，即待组成一个训练周期的全部样本都一次输入网络后，以总的平均误差能量Eav为学习目标函数修正权值的训练方式。 ekp为网络输入第k个训练样本时输出神经元p的误差，N为训练样本的个数。,合, BP学习中，学习步长的选择比较重要。值大权值的变化就大，则BP学习的收敛速度就快，但是值过大会引起振荡即网络不稳定；

9、小可以避免网络不稳定，但是收敛速度就慢了。要解决这一矛盾最简单的方法是加入“动量项” 。 要计算多层感知器的局部梯度，需要知道神经元的激励函数的导数。,合, 在BP算法第五步需要判断误差E(n)是否满足要求，这里的要求是：对顺序方式，误差小于我们设定的值，即|E(n)|； 对批处理方式，每个训练周期的平均误差Eav其变化量在0.1%到1%之间，我们就认为误差满足要求了。 在分类问题中，我们会碰到属于同一类的训练样本有几组，在第一步设置变量时，一般使同一类的训练样本其期望输出相同。,合,BP学习算法的改进,在实际应用中BP算法存在两个重要问题：收敛速度慢，目标函数存在局部极小点。 改善BP算法的

10、一些主要的措施： （1） 加入动量项,合,本次修正量wij (n)是一系列加权指数序列的和。当动量常数满足 ，序列收敛，当 上式不含动量项。 当本次的 与前一次同符号时，其加权求和值增大，使wij (n)较大，从而在稳定调节时加快了w的调节速度。 当 与前次符号相反时，指数加权求和结果使wij (n)减小了，起到了稳定作用。,合,(2) 尽可能使用顺序方式训练网络。顺序方式训练网络要比批处理方式更快，特别是在训练样本集很大，而且具有重复样本时，顺序方式的这一优点更为突出。值得一提的是，使用顺序方式训练网络以解决模式分类问题时，要求每一周期的训练样本其输入顺序是随机的，这样做是为了尽可能使连续输

11、入的样本不属于同一类。,合,(3) 选用反对称函数作激励函数。当激励函数为反对称函数（即f (u) = f (u)）时，BP算法的学习速度要快些。最常用的反对称函数是双曲正切函数： 一般取，,合,合,(4) 规一化输入信号。当所有训练样本的输入信号都为正值时，与第一隐层神经元相连的权值只能同时增加或同时减小，从而导致学习速度很慢。为避免出现这种情况，加快网络的学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近零或与其标准方差相比非常小。,合,合,(5) 充分利用先验信息。样本训练网络的目的为了获得未知的输入输出函数，学习就是找出样本中含有的有关的信息，从而推断出逼近的函数。在

12、学习过程中可以利用的先验知识例如方差、对称性等有关的信息，从而加快学习速度、改善逼近效果。 (6) 调整学习步长使网络中各神经元的学习速度相差不多。一般说来输出单元的局部梯度比输入端的大，可使前者的步长小些。还有，有较多输入端的神经元其比有较少输入端的神经元其小些。,合,3.3 径向基网络,1985年，Powell提出了多变量插值的径向基函数（Radial-Basis Function, RBF）方法。1988年，Broomhead和Lowe首先将RBF应用于神经网络设计，构成了径向基函数神经网络，即RBF神经网络。 结构上看，RBF神经网络属于多层前向神经网络。它是一种三层前向网络，输入层由

13、信号源节点组成；第二层为隐含层，隐单元的个数由所描述的问题而定，隐单元的变换函数是对中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用做出响应。,合,径向基网络,RBF神经网络的基本思想是：用径向基函数（RBF）作为隐单元的“基”，构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，通过对隐单元输出的加权求和得到输出。 RBF神经网络结构简单、训练简洁而且学习收敛速度快，能够逼近任意非线性函数。因此RBF网络有较为广泛的应用。如时间序列分析，模式识别，非线性控制和图像处理等。,合,3.3.1 RBF神经网络模型,RBF网络是单隐层的前向网络，它

14、由三层构成：第一层是输入层，第二层是隐含层，第三层是输出层。根据隐单元的个数，RBF网络有两种模型：正规化网络（Regularization Network）和广义网络（Generalized Network）。 （1）正规化网络 正规化网络的隐单元就是训练样本，所以正规化网络其隠单元的个数与训练样本的个数相同。,合,合,当网络输入训练样本Xk时，网络第j个输出神经元的实际输出为： 一般“基函数”选为格林函数记为： 当格林函数G(Xk , Xi)为高斯函数时：,合,（2）广义网络,正规化网络的训练样本Xi与“基函数” (Xk , Xi)是一一对应的，当N很大时，网络的实现复杂，且在求解网络的权

15、值时容易产生病态问题（ill conditioning）。解决这一问题的方法是减少隐层神经元的个数。,合,隐层个数小于训练样本数,合,当网络输入训练样本Xk时，网络第j个输出神经元的实际输出为：,当“基函数”为高斯函数时：,合,3.3.2 RBF网络的学习算法,RBF网络要学习的参数有三个：中心、方差和权值。根据径向基函数中心选取方法的不同，RBF网络有多种学习方法，其中最常用的四种学习方法有：随机选取中心法，自组织选取中心法，有监督选取中心法和正交最小二乘法。 自组织选取中心法由两个阶段构成： 自组织学习阶段，即学习隐层基函数的中心与方差的阶段。 有监督学习阶段，即学习输出层权值的阶段。,合

16、,（1）学习中心,自组织学习过程要用到聚类算法，常用的聚类算法是K均值聚类算法。假设聚类中心有I个（I的值由先验知识决定），设ti (n)（i=1,2,I）是第n次迭代时基函数的中心，K均值聚类算法具体步骤如下： 第一步：初始化聚类中心，即根据经验从训练样本集中随机选取I个不同的样本作为初始中心ti (0) （i=1,2,I）。,合,第二步：随机输入训练样本Xk。 第三步：寻找训练样本Xk离哪个中心最近，即找到 i (Xk)使其满足 第四步：调整基函数的中心。 第五步：n=n+1转到第二步，直到学完所有的训练样本且中心的分布不再变化。,合,（2）确定方差,当RBF选用高斯函数，即： 方差为：

17、I为隐单元的个数，dmax为所选取中心之间的最大距离。,合,（3）学习权值,权值的学习可以用LMS方法，也可以直接用伪逆的方法求解，即： 式中D=d1, dk, dNT是期望响应，G+是矩阵G的伪逆,合,需注意几点：, K均值聚类算法的终止条件是网络学完所有的训练样本且中心的分布不再变化。在实际应用中只要前后两次中心的变化小于预先设定的值即|ti (n+1)-ti (n)|（i=1,2,I），就认为中心的分布不再变化了。 “基函数” (X , Xi) 除了选用高斯函数外也可使用多二次函数和逆多二次函数等中心点径向对称的函数。,合, 我们在介绍自组织选取中心法时设所有的基函数其方差都是相同的，实

18、际上每个基函数都有自己的方差，需要在训练过程中根据自身的情况确定。 K均值聚类算法实际上是自组织映射竞争学习过程的特例。它的缺点是过分依赖于初始中心的选择，容易陷入局部最优值。为克服此问题，Chen于1995年提出了一种改进的K均值聚类算法，这种算法使聚类不依赖初始中心的位置，最终可以收敛于最优解或次优解。,合,3.3.3 RBF网络与多层感知器的比较,RBF网络与多层感知器都是非线性多层前向网络，它们都是通用逼近器。对于任一个多层感知器，总存在一个RBF网络可以代替它，反之亦然。但是，这两个网络也存在着很多不同点： RBF网络只有一个隐层，而多层感知器的隐层可以是一层也可以是多层的。 多层感知器的隐层和输出层其神经元模型是一样的。而RBF网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。,合, R