第6章径向基函数网络

1、第6章径向基函数网络6.1 径向基函数 用函数来描述一个实际对象，需要一个函数空间函数空间。最熟悉的是多项式函数空间，一个简单函数x和他自身的乘积xn做线性组合得到。如: f(x)=ax+bx2+cx3+dx4 三角多项式函数空间，也是eix和他自身的乘积einx做线性组合得到。 高维的数值分析问题，选择何种函数空间和基底?希望能有一个简单的函数希望能有一个简单的函数(.)经过一些简单的运算就能得到函数空间的经过一些简单的运算就能得到函数空间的基基。国际上处理多元函数问题的基：（1）楔型基函数（2）径向基函数）径向基函数RBF（Radial basis function） (|x-c|)径向基

2、函数指某种沿径向对称的标量函数，通常定义为空间中任一点径向基函数指某种沿径向对称的标量函数，通常定义为空间中任一点X到某一中心到某一中心 ci之间欧氏距离的单调函数。之间欧氏距离的单调函数。设有设有P个输入样本个输入样本Xp，在输出空间相应目标为，在输出空间相应目标为dp。需要找到一个非线性映射函数需要找到一个非线性映射函数F(x)，使得：，使得： F(Xp) dp选择选择P个基函数，每个基函数对应一个训练数据，各基函数的形式为：个基函数，每个基函数对应一个训练数据，各基函数的形式为： (|X- Xp |)，p=1,2,.,PXp是函数的中心。是函数的中心。 以输入空间的点以输入空间的点X与中

3、心与中心Xp的距离为自变量。故的距离为自变量。故称为径向基函数。称为径向基函数。定义定义F(X)为基函数的线性组合为基函数的线性组合令 ip=(|X-Xp|)。上述方程组可改写为用表示ip的PP矩阵; Wd若可逆，可解出 W=-1d最常用的径向基函数是高斯核函数高斯核函数，形式为其中c i为核函数中心核函数中心， i为核函数的宽度参数宽度参数，控制基函数的径向作用范围，即方差(扩展常数扩展常数)。例例 用径向基函数映射一个用径向基函数映射一个函数函数p = -3:.1:3;a = radbas(p);plot(p,a)a2 = radbas(p-1.5);a3 = radbas(p+2);a4

4、 = a + a2*1 + a3*0.5;plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-)aa2a3a46.2 径向基函数网络（RBF） 是在借鉴生物局部调节和交叠接受区域知识的基础上提出的一种采用局部接受域来执行函数映射采用局部接受域来执行函数映射的人工神经网络的人工神经网络，具有最优逼近和全局逼近的特性。 网络的学习等价于在多维空间中寻找训练数据在多维空间中寻找训练数据的最佳拟合平面的最佳拟合平面，隐层的每一个神经元的传递函数都每一个神经元的传递函数都构成拟合平面的一个基函数构成拟合平面的一个基函数，故称为 径向基函数网络。 RBF网络是一种局部逼近网络，对输入空间

5、的某一网络是一种局部逼近网络，对输入空间的某一个局部区域，只存在少数神经元用于决定网络的输出。个局部区域，只存在少数神经元用于决定网络的输出。 网络由一个隐含层和一个线性输出层组成。隐含层网络由一个隐含层和一个线性输出层组成。隐含层最常用的是高斯径向基函数，而输出层采用线性激活函最常用的是高斯径向基函数，而输出层采用线性激活函数数。 RBF 网络的权值训练是一层一层进行的，对径向径向基层基层的权值训练采用无导师训练无导师训练，在输出层输出层的权值设计采用误差纠正算法，为有导师训练导师训练。 与BP网络相比，RBF必BP网络规模大，但学习速规模大，但学习速度快，函数逼近、模式识别和分类能力都优于

6、度快，函数逼近、模式识别和分类能力都优于BP网网络。络。 RBF神经元模型神经元模型 R维输入的神经元模型如图。维输入的神经元模型如图。|dist|模块表示求取输模块表示求取输入矢量和权值矢量的距离。传递函数为高斯函数入矢量和权值矢量的距离。传递函数为高斯函数（radbas）,函数的输入函数的输入n为为p和和w的距离乘以阈值的距离乘以阈值b。高斯函数表达式为：高斯函数表达式为： 中心和宽度是径向基函数的两个重要参中心和宽度是径向基函数的两个重要参数。神经元的权值矢量数。神经元的权值矢量w确定基函数的中心，确定基函数的中心，当输入当输入p和和w重合时，径向基函数神经元输重合时，径向基函数神经元输

7、出达到最大值，出达到最大值，p与与w的距离越远，输出越的距离越远，输出越小。神经元的阈值小。神经元的阈值b决定了径向基函数的宽决定了径向基函数的宽度。度。a = radbas( dist(W,P).*b) RBF网络结构网络结构 在RBF 中，输入层到隐含层的基函数输出是一种非线性映射，而输出则是线性的。这样，RBF 网络可以看成是首先将网络可以看成是首先将原始的非线性可分的特征空间，变换到另一线性可分的空间原始的非线性可分的特征空间，变换到另一线性可分的空间（通常是高维空间），通过合理选择这一变换使在新空间中原（通常是高维空间），通过合理选择这一变换使在新空间中原问题线性可分问题线性可分，然

8、后用一个线性单元来解决问题，从而很容易的达到从非线性输入空间向输出空间映射从非线性输入空间向输出空间映射的目的。 注意：由于RBF 网络的权值算法是单层进行的，它的工作原理采用的是聚类功能，由训练得到输入数据的聚类中心输入数据的聚类中心，通过值来调节基函数的宽度。虽然网络结构看上去是全连结的，实际网络是局部工作的，即对输入的一组数据，网络只有一个神经即对输入的一组数据，网络只有一个神经元被激活元被激活，其他神经元被激活的程度可忽略。所以RBF网络是一个局部逼近网络，训练速度比BP 网络快23 个数量级。 6.3 RBF6.3 RBF网络学习方法网络学习方法 RBF 网络有3 组可调参数组可调参

9、数：隐含层基函数中心隐含层基函数中心、方差方差和隐隐含层单元到输出单元的权值含层单元到输出单元的权值。 这些参数的确定主要有两种形式： 一种是根据经验或聚类方法选择中心及方差根据经验或聚类方法选择中心及方差，当选定中心和方差后，由于输出是线性单元，它的权值可以用迭代的最小二乘权值可以用迭代的最小二乘法法直接计算出来。 另一种是通过训练样本用误差纠正算法进行监督学习，逐是通过训练样本用误差纠正算法进行监督学习，逐步修正以上步修正以上3 个参数个参数，即计算总的输出误差对各参数的梯度，再用梯度下降法修正待学习的参数。 一种采用模糊模糊K 均值聚类算法均值聚类算法确定各基函数的中心中心及相应的方方差

10、差，用局部梯度下降法局部梯度下降法修正网络权值网络权值的算法如下：1、 利用模糊K 均值聚类算法确定 c i 随机选择随机选择h 个样本值作为个样本值作为 ci （i=1，2， ）的初值，其他样本按该样本与中心 ci的欧氏距离远近归入某一类，从而形成h 个子类ai ，i=1,2, h ；重新计算各子类中心重新计算各子类中心c i的值的值，其中 xk ai ， si为子集ai的样本数；同时计算每个样本属于每个中心的隶属度 确定确定 c i是否在容许的误差范围内是否在容许的误差范围内，若是则结束，不是则根据样本的隶属度调整子类个数，转到继续。2 、确定基函数宽度、确定基函数宽度(方差方差)其中，

11、ai是以 ci为中心的样本子集。基函数中心和宽度参数确定后，隐含层执行的是一种固定不变的非线性变换非线性变换，第i 个隐节点输出定义为3、 调节隐层单元到输出单元间的连接权调节隐层单元到输出单元间的连接权网络的目标函数为也就是总的平均误差总的平均误差函数。其中， y (xk) 是相对于输入 x k 的实际输出， y (xk) 是相对于输入 xk 的期望输出，N为训练样本集中的总样本数。对于RBF 神经网络，参数的确定应能使网络在最小二乘意义下逼近所对应的映射关系，也就是使E 达到最小；因此，这里利用梯度下降法梯度下降法修正网络隐含层到输出层的权值，使目标函数达到最小。根据上面两式最终可以确定权

12、值的每步调整量（其中，为学习率，取值为0 到1 间的小数）。权值的修正公式为最后整个网络的输出定义为：其中， 为输出层节点的阈值。整个RBF 网络分类器的学习算法：1) 初始化：对权值 (0)赋到之间的随机数，隐层神经元数m，初始误差E 置0，最大误差设为一正的小数，学习率为到之间的小数。2) 采用模糊K 均值聚类算法确定基函数的中心 ci(0)及方差i (0) ，i=1，2，m 。3) 按上述梯度下降法调整网络权值 (0)直到误差E ，结束。6.4 RBF 网络MATLAB设计1、RBF的精确设计 newrbe用来精确设计RBF网络。精确是指该函数生产的网络对于训练样本数据达到了0误差。 n

13、et=newrbe(P,T,SPREAD)P,T输入矢量、目标矢量。SPREAD扩展常数，缺省为1.相当于。 隐层神经元个数与P中输入矢量个数相等（正规化网络），隐层神经元阈值取。 显然，当输入矢量个数过多时，生产的网络过于庞大，实时性变差。实际更有效的设计是用newrb讲义 函数。如：P = 1 2 3;T = 2.0 4.1 5.9;net = newrbe(P,T);P = 1.5;Y = sim(net,P)2、RBF的有效设计的有效设计 newrb讲义讲义用迭代方法设计用迭代方法设计RBF网络。每迭代网络。每迭代一次就增加一个神经元，直到平方和误差下降到目标一次就增加一个神经元，直到

14、平方和误差下降到目标误差以下或神经元个数达到最大值时停止。调用形式：误差以下或神经元个数达到最大值时停止。调用形式： net=newrb(P,T,GOAL,SPREAD,MN,DF)GOAL目标误差。目标误差。NM最大神经元个数；最大神经元个数；DF迭代过程显示频率。迭代过程显示频率。例6.1 径向基函数进行线性组合例6.2 利用RBF实现函数逼近例6.3 利用RBF实现函数逼近，但扩展常数太小（过拟合）例6.4 利用RBF实现函数逼近，但扩展常数太大（不能完全拟合）6.5 广义RBF网络（GRNN）1、Cover定理：将复杂的模式分类问题非线性地投射到高维空间，将比投射到低维空间更可能是线性

15、可分的。 在RBF网络中，将输入空间的模式点非线性地映射到一个高维空间的方法是方法是，设置一个隐层，令（X）是隐节点的激活函数，并令隐节点个数隐节点个数M大于输入节大于输入节点个数点个数N，形成一个高维（隐）空间。 若若M足够大，则在隐空间输入是线性可分的。足够大，则在隐空间输入是线性可分的。2、广义RBF网络 正规化RBF网络的隐节点个数和输入样本数相等隐节点个数和输入样本数相等，但样本很大时，网络庞大，计算量惊人网络庞大，计算量惊人。解决思路：解决思路：减少隐节点个数。使 NMP N 为样本维数、P为样本个数。从而得到广义RBF网络。 广义RBF网络的基本思想基本思想：用径向基函数做为隐单

16、用径向基函数做为隐单元的元的“基基”，构成隐含层空间。隐含层对输入向量进，构成隐含层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得行变换，将低维空间的模式变换到高维空间内，使得低维空间内的线性不可分问题在高维空间内线性可分。低维空间内的线性不可分问题在高维空间内线性可分。GRNN特点：特点：1、M不等于不等于N，常远远小于N；2、径向基函数的中心不再限制在数据点上径向基函数的中心不再限制在数据点上，由训练算法确定；3、扩展常数不再统一，由训练算法确定；4、输出函数的线性中包括阈值参数，以补偿样本平均值与目标平均值间的差别。5、GRNN多用于函数逼近问题。 NEWGRNN(P,T,SPREAD)建立一个2层网络。第一层具有RADBAS神经元， |DIST|为求输入矢量和权值矢量的距离；输出层为特殊线性层，输入为规格化内积。nprod为计算隐层输出矢量a1和输出权矩阵W的规格化内积（W2a1/sum(a1)）例6.5 GRNN函数逼近讲义隐层、输出层神经元个数，等于输入样本个数Q规格化内积 n2=LW21 a1/sum(a1)6.6 概率神经网络（PNN）特点：1、网络隐层神经元个数（网络隐层神经元个数（Q）等于输入矢量样本个数）等于输入矢量样本个数；输出层神经元个数等于训练样本数