BP神经网络与RBF神经网络课件

1、BP神经网络与RBF神经网络隐含层和输出层的激活函数采用对数-S型激活函数(1)BP网络BP网络的前馈计算隐含层的第i个神经元在样本p作用下的输入为：隐含层的第i个神经元的输出为：输出层第k个神经元的总输入为：输出层的第k个神经元的实际输出为：BP网络权系数的调整规则对于每一样本p的输入模式对的二次型误差函数为：BP学习算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。学习过程按使误差函数Jp减小最快的方向调整加权系数直到获得满意的加权系数为止。因此，权系数应按Jp函数梯度变化的反方向调整，使网络逐渐收敛。输出层的神经元权系数修改公式：隐含层的神经元权系数修改公式：BP网

2、络学习算法的计算步骤初始化：置所有的加权系数为最小的随机数；提供训练集：给出输入向量p和期望的输出向量t。计算实际输出；计算期望值与实际输出的误差；调整输出层的加权系数；调整隐含层的加权系数；返回步骤（3），直到误差满足要求为止。 初始化 加输入和期望输出计算隐层和输出层的输出迭代次数加1调节输出层和隐层的连接权值 改变训练样板训练样终止？迭代终止？BP算法的基本流程NoNoyy(2) RBF神经网络 径向基函数(RBF-Radial Basis Function)神经网络是由J.Moody和C.Darken在80年代末提出的一种神经网络,它是具有单隐层的三层前馈网络。由于它模拟了人脑中局部调

3、整、相互覆盖接收域（或称感受野-Receptive Field）的神经网络结构，因此，RBF网络是一种局部逼近网络，它能够以任意精度逼近任意连续函数，特别适合于解决分类问题。 2 RBF网络结构 RBF网络的结构与多层前向网络类似，它是一种三层前向网络。第一层即输入层由信号源节点组成；第二层为隐含层，隐单元数视所描述的问题的需要而定，隐单元的变换函数是RBF，它是对称中心径向对称且衰减的非线性函数；第三层为输出层，它对输入模式的作用做出响应。由于输入到输出的映射是非线性的，而隐含层空间到输出空间的映射是线性的，从而可以大大加快学习速度并避免局部极小问题。图1 RBF网络结构3 RBF网络特点前

4、向网络；RBF网络的作用函数为高斯函数，是局部的，BP网络的作用函数为S函数，是全局的；如何确定RBF网络隐层节点的中心及基宽度参数是一个困难的问题；RBF网络具有唯一最佳逼近的特性，且无局部极小。 4 RBF网络的逼近 采用RBF网络逼近一对象的结构如图2所示。图2 RBF神经网络逼近 在RBF网络结构中， 为网络的输入向量。设RBF网络的径向基向量:其中hj为高斯基函数：式中， 表示欧式范数网络的第j个结点的中心矢量为： 其中，i=1,2,n；j=1,2,m。 设网络的基宽向量为： 为节点的基宽度参数，且为大于零的数。网络的权向量为：k时刻网络的输出为： 设理想输出为y(k)，则性能指标函

5、数为： 5 RBF网络的学习算法 RBF神经网络学习算法需要求解的参数有3个：基函数的中心、隐含层到输出层权值以及节点基宽参数。根据径向基函数中心选取方法不同，RBF网络有多种学习方法，如梯度下降法、随机选取中心法、自组织选区中心法、有监督选区中心法和正交最小二乘法等。BP网络与RBF网络应用2.1 BPNN和RBFNN的函数逼近仿真以函数 为例进行逼近，函数图象为：2.1 BPNN和RBFNN的函数逼近仿真（1）采样。 采样点为0:0.1:5，即从0开始每隔0.1采样一直至5，把其作为输入样本.然后计算其相对应的函数值，把其作为目标样本。（2）分别建立BPNN和RBFNN，并用上一步骤所成的

6、训练样本进行反复地训练并调整网络结构，直到满足要求。2.1 BPNN和RBFNN的函数逼近仿真BP网络训练图网络训练图从图中可看出，RBF网络比BP网络快102 -104倍，且能达到更好的精度。 2.1 BPNN和RBFNN的函数逼近仿真（3）在样本数据中产生训练样本，并分别用BP网络和RBF网络进行训练。结果如下：两种网络对训练样本的逼近能力比较图从图中可以看出两种网络的逼近精度都非常高，几乎达到了完全逼近。但是RBF网络比BP网络精度更高。2.1 BPNN和RBFNN的函数逼近仿真（4）产生测试样本，并分别用两种网络对测试样本进行仿真并进行比较，从而得出两种网络的推广能力。从图中可以看出R

7、BF网络对测试样本的逼近能力要明显的高于BP网络。2.1 BPNN和RBFNN的函数逼近仿真（5） 同（1）的采样频率再产生一组新的样本，用两种网络对新样本进行仿真并进行比较，即可得出它们对待逼近函数的整体逼近能力的差别。从图中可以看出，RBF网络在整体逼近上也明显优于BP网络。 2.1 BPNN和RBFNN的函数逼近仿真（6）对原函数以0:0.1:5采样并加以标准差为0.3的高斯噪声产生的点作为训练样本，并分别用两种网络进行仿真，即可得出二者抗噪声干扰能力的差别。从图中可以看出RBF网络比BP网络抗噪声干扰能力更强。2.1 BPNN和RBFNN的函数逼近仿真结论 通过分析可以看出，RBFNN

8、具有很好的函数逼近能力，并且收敛速度快，抗干扰能力较强;它还具有唯一最佳逼近点的优点. 由于RBFNN输出与网络的连接权值是线性关系，这使估计方法简化，避免学习中反复迭代过程，RBFNN收敛速度比改进的BPNN快很多，并且RBFNN比BPNN的稳定性更好。总而言之，RBFNN具有结构简单、训练速度快、稳定性好、诊断精度高等优点。 RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比

9、较。RBF神经网络与BP神经网络的比较（1） 从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了。2） 从训

10、练算法上看。 BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；更为重要的是，一个新的BP神经网络能否经过训练达到收敛还与训练样本的容量、选择的算法及事先确定的网络结构（输入节点、隐层节点、输出节点及输出节点的传递函数）、期望误差和训练步数有很大的关系。RBF神经网络的训练算法在前面已做了论述，目前，很多RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。（3） 从网络资源的

11、利用上看。 RBF神经网络原理、结构和学习算法的特殊性决定了其隐层单元的分配可以根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐层单元分配的基础上，输入与输出之间的映射关系，通过调整隐层单元和输出单元之间的权值来实现，这样，不同的任务之间的影响就比较小，网络的资源就可以得到充分的利用。这一点和BP神经网络完全不同，BP神经网络权值和阈值的确定由每个任务（输出节点）均方差的总和直接决定，这样，训练的网络只能是不同任务的折中，对于某个任务来说，就无法达到最佳的效果。而RBF神经网络则可以使每个任务之间的影响降到较低的水平，从而每个任务都能达到较好的效果，这种并行的多任务系统会使RBF神经网络的应用越来越广泛。总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习