第3章神经网络3-径向基函数网络(n

1、第三章 径向基函数网络443.1 径向基函数（Redial Basis Function，RBF）443.2 径向基函数参数的选取463.2.1 基函数中心的选取463.2.2 权系数的确定473.3 高斯条函数48第三章 径向基函数网络径向基函数网络利用具有局部隆起的所谓径向基函数来做逼近或分类问题。它可以看作是一种前馈前面均用“前传”网络，所处理的信息在工作过程中逐层向前流动。虽然它也可以像BP网络那样利用训练样本作有教师学习，但是其更典型更常用的学习方法则与BP网络有所不同，综合利用了有教师学习和无教师学习两种方法。对于某些问题，径向基函数网络可能比BP网络精度更高。3.1 径向基函数（

2、Redial Basis Function，RBF）Powell 1985提出了多变量插值的径向基函数方法。稍后Broomhead 1988成功地将径向基函数用于模式识别。径向基函数可以写成 (3.1.1)其中表示模式向量；是基函数中心；是权系数；是选定的非线性基函数。(3.1.1)可以看作是一个神经网络，输入层有个单元，输入模式向量由此进入网络。隐层有个单元，第个单元的输入为，输出为。输出层1个单元，输出为 。假设给定了一组训练样本。当只取有限个值（例如，取0，1或1）时，可以认为是分类问题；而当可取任意实数时，视为逼近问题。网络学习（或训练）的任务就是利用训练样本来确定输入层到隐层的权向量

3、和隐层到输出层的权系数，使得 (3.1.2)为此，当时，可以简单地令 (3.1.3)这时(3.1.2)成为关于的线性方程组，其系数矩阵通常可逆，因此有唯一解(参见MC)。在实践中更多的情况是。这时， (3.1.2)一般无解, 只能求近似解。我们将在下一节详细讨论这种情况。常用的非线性基函数有以下几种：新增加的内容1) 高斯基函数原来为：高斯基函数 确定了后，可以选取如下的高斯基函数来构造径向基函数： (3.1.4a)式中 (3.1.4b) (3.1.4c)这里参数是第个高斯基函数的“宽度”或“平坦程度”。越大，则以为中心的等高线越稀疏，越平坦，对其它的影响也就越大。的一种选法是 (3.1.5)

4、即类所含的样本点与中心的平均距离越大, 则应该越平坦。2) 薄板样条函数 (3.1.6)3) 多二次函数 (3.1.7)4) 逆多二次函数 (3.1.8)一般认为，非线性函数的具体形式对网络性能的影响不大。RBF网络与第一章讨论的多层前馈网络（MLP）一样，能以任意精度逼近相当广泛的非线形映射（例如参见CLLX）。由(3.1.1)可以看出，每一个基函数 都可以（以为例）由平面上一族同心圆来表示，每一个同心圆上的点具有相同的函数值。而整个RBF网络不外乎是由族同心圆互相影响而形成的族等高线来表示。因此，RBF网络对如原来为：例如图3.1所示图3.1所示的分类问题特别有效（）。图3.1 适合于RB

5、F网络的分类问题3.2 径向基函数参数的选取3.2.1 基函数中心的选取原来为：基函数中心的选取 假设RBF网络中隐单元的个数（即基函数的个数）已经确定，则决定网络性能的关键就是个基函数中心的选取。一种广泛应用的无教师学习算法是如下的k均值聚类算法I：该算法与第七章中的C-均值聚类算法重复 给定训练样本。 将聚类中心初始化。(例如可选为。) 将按距离远近向聚类，分成P组，即令 (3.2.1)若。 计算样本均值，作为新的聚类中心（是类中样本的个数）： , (3.2.2) 若新旧相差很小，则停止。否则转。K-均值聚类算法是循环地选取聚类中心与聚类集合的一个迭代过程。（暂时）选定各中心后，在步骤中按

6、距离远近将向聚类得到应该是十分自然的。而确定后，对新的中心与中各个的“总的距离”（即各个距离的平方和） (3.2.3)取极小，便得到确定新的公式(3.2.2)。这是一种竞争分类过程。在步骤中竞争类资格获胜的各个将对新的聚类中心做出贡献。 下面我们给出另外一种K-均值聚类算法II: 将聚类中心初始化。 随机选取样本向量。 将按距离远近向聚类，即令 (3.2.4)若。 调整样本中心(是选定的学习速率)： (3.2.5) 若新旧相差很小，则停止。否则转。K-均值聚类算法I和II分别是离线和在线学习算法。下面我们来考虑隐单元个数的确定。与第一章中BP网络的隐层单元个数的确定类似，其原则应该是在满足精度

7、要求的前提下，越小越好。这不但减小网络成本，而且使逼近函数减少不必要的震荡。 像确定BP网络的隐单元个数一样，我们可以从大的单元数出发，逐步减小，直到精度要求不再满足为止。也可以从较小的出发，逐步增加单元数，直到满足精度要求。3.2.2 权系数的确定确定权系数时，通常要利用训练样本的理想输出作有教师学习。一个简单办法是在确定之后, 求如下误差函数关于的极小： (3.2.6)这时，可以用最小二乘法或其它优化方法，例如梯度下降法。为了减小推广误差, 我们可以进一步要求逼近函数不要震荡得太厉害，或者说曲面不要弯曲得太厉害。注意到曲面的弯曲程度可以由曲率来描述，而曲率主要与二阶导数的大小有关。为此,

8、定义训练样本集上的平均曲率为(用表示对变量的二阶导数) (3.2.7)现在, 我们的任务成为：求使得下列函数取极小 (3.2.8)这里是一个适当的折衷参数, 需针对具体问题选定。 下面我们来推导(3.2.8)的解。假设基函数二次可微,并且下列极限存在： (3.2.9)容易算得 (3.2.10)其中表示的第个分量。对(3.2.10)再求导数得 关于求和便得 (3.2.11)注意由罗必塔法则和(3.2.9) 因此(3.2.11)可以拓广定义到。记 , (3.2.12)，(3.2.13)于是(3.2.8)可以写成矩阵形式 (3.2.14)令,得 因此 (3.2.15)注2.1 当样本数很大时, 为了

9、减少计算量, 可以在(3.2.7)中只对少量“重要”的样本求和。注2.2 也可以用最速下降法求误差函数的极小，来统一地确定等参数 (参见下节中(3.3.3原来为：3.3)。 这时，径向基函数网络与BP网络就很相像了。3.3 高斯条函数典型的径向基函数（RBF）只对输入空间的一个很小的局部区域作出有效响应（当较大时，接近于零）。与此对照，Sigmoid函数的响应域则是无穷大。因此，RBF对刻画函数的局部性质较为有效，而不适合于对函数的大范围逼近。例如，两个Sigmoid函数（例如图3.2 (a)中和）就可以很好地逼近一个局部隆起函数（图3.2 (b)中r(x)）。而显然需要无穷多个RBF，才能很

10、好地逼近一个Sigmoid型函数。(a)(b)图3.2 用Sigmoid型函数逼近局部隆起函数为了综合RBF和Sigmoid函数的优点，人们构造了所谓高斯条函数，将(3.1.4)中的改为 (3.3.1)其中是待定权系数，是第个中心，是第个中心基函数的沿第个坐标轴的“宽度”。作为比较，我们可以将（3.1.4c）中的高斯函数写成 (3.3.2)因此，在高斯条函数(3.3.1)中，只要输入的向量与中心的任一坐标接近，则网络做出有效响应；而在高斯函数(3.3.2)中，只有当与的每一个坐标都接近时，网络才做出有效响应。在(3.3.1)中，还可以加上一个阈值（常数项）来进一步改善性能(参见习题3.3)。以

11、地形图为例, 高斯函数适合于描述凸起的山包或凹下的坑, 而高斯条函数还可以描述狭长的山谷或山脊。高斯条函数有更多的可调节参数，可以用梯度下降法来优化选择。对给定的误差函数E（例如 ），权、中心和宽度的梯度反方向分别为 (3.3.3) 其中为优化网络结构，除了在第二章原来为：2中谈到的逐步增加隐单元个数的办法，也可以先采用较多的隐单元，然后在不影响精度的情况下，对网络进行修剪。对于(3.3.1)所定义的高斯条函数网络来说，可以有以下办法： 1) 变为零； 2) 去掉； 3) 收缩为零。作为对比原来为：对此, 利用Sigmoid函数的BP网络修剪只能利用1)条。标准的高斯函数网络(3.1.4)若像2)或3)那样去掉 或收缩为零，则第个隐单元完全失效。而高斯条基函数网络则可以只