第3章 径向基函数网络

2023/1/14第1页第三章径向基函数神经网络

（RBF——Radial-BasedFunctionNetworks）

§3.1

概述

用BP算法解决异或问题BP算法很容易收敛到局部最优，而我们无法判断得到的结果是局部最优还是全局最优，因为我们根本没有全局信息。2023/1/14第2页RBF网络的基本思想在分类之前，先将输入特征空间进行非线性映射，使得有待分类的两类样本的分布变成线性可分问题，然后用最简单的线性功能函数的神经元进行分类。例：图示“异或”分布的两类样本，其分类函数相对复杂；采用影射：在新特征空间，原来的问题变成了线性可分问题。于是，学习算法为：第一层：实现非线性影射；第二层：线性分类。§3.2Cover模式分类理论Acomplexpattern-classificationproblemcastinhigh-dimensionalspacenonlinearlyismorelikelytobelinearlyseparablethaninalow-dimensionalspace.复杂模式分类问题非线性地表示在高维空间比表示在低维空间更易线性分类。2023/1/14第3页§3.3插值问题

给定N

个不同的输入点（矢量）：寻找一个函数

满足条件：

其中：例1：多项式插值(曲线拟合)插值函数不唯一；多项式阶数与点数相关：

阶数+1=点数将给定点的值代入模型，得到一个关于待定系数a、b、c、d、e的方程组：给定5个点，用4次多项式进行插值。以及每个点所对应的输出(标量)

：x0

为中心位置，s决定“胖瘦”2023/1/14第4页例2.Gaussian函数插值(程序：CH3PolyGaussFit)一维Gaussian函数：给定5个点，用中心分别在这些点上且s

=1

的5个Gaussian函数拟合：得到：将各个点代入有：s

取值不同

，拟合的结果也不同。例如，为5个Gaussian函数分别取不同的s

值：2.5、1.25、3.2、1.5、0.52023/1/14第5页Gauss函数曲面插值插值函数：当X是2维矢量时，插值函数是Gauss曲面径向基函数，Xi是其中心位置。拟合函数：样本数据：将给定的样本点代入：为中心在

Xi

的径向基函数在

Xj

点的取值。取：以及：可以得到：拟合函数为径向基函数的线性组合，径向基函数的项数与样本个数相同：2007-10-31第6页其中：

插值运算对应于一个两层的径向基网络多项式型：反多项式型：Gauss型：其中：其中：其中：常用径向基函数：2023/1/14第7页§3.4有监督学习作为不适定超曲面重构问题

假设一系统，输入x

输出y，无误差、无干扰理想情况下的关系为二次函数；

实测时输入X=[1,3,5,7,9]，理想值如图示。

因存在噪声和误差，实测如图所示。用足够高阶的模型，有可能将含噪的样本无误差地拟合起来，但得到的结果与真值的差距却未必减小。并且，阶数越高误差越小、但模型的泛化性能却越差。过拟合问题(Overfitting/Overdetermined):模型的阶数大于系统的实际阶数。问题：如何得知实际系统的阶数？如何判断过拟合或拟合不足？

由线性回归得到输入输出关系的估计：

由4阶多项式拟合得到输入输出关系的估计。2023/1/14第8页重构问题的适定性给定稀疏点集的函数（高维映射）重构问题：未知系统f，其输入

的有界响应为

，重构的意思就是通过输入输出样本找到映射关系

。满足以下准则的重构问题是“适定的”：(1).存在性(Existence)：

对于每个输入矢量

都存在一个输出与之对应；(3).连续性(Continuity，即，稳定性：Stability)：

任给

存在使当

时。其中运算符

表示该空间中点与点之间的距离。(2).唯一性(Uniqueness)：

任意输入，当且仅当X1=X2时有f(X1)=f(X2)；阶跃函数不满足联系性。2023/1/14第9页正问题与反问题(InverseProblem)正问题：例如，给定一个RLC谐振电路及其元件参数，我们可以建立一个描述该电路输入输出之间映射关系的微分方程，即求解一个“正问题”。反问题：对于一个系统，如果所能得到的全部资料就是实际采集得到的输入、输出样本集，从由这些样本数据建立能够表达系统输入输出之间映射关系的数学模型，被称为“反问题(

Inverseproblem

)

”，也称为“系统重构问题”。反问题通常是不适定的：第一、存在性准则可能得不到满足，即某些输入矢量没有确定的输出对应；第二、实测样本所提供的信息不足以唯一地确定重构模型，唯一性准则得不到满足；第三、由于存在噪声干扰，相近的输入可能对应于差距很大的输出，于是，连续性准则得不到满足。求解反问题的学习算法必须附加先验（专业或经验的）知识等附加条件。因为，任何数学手段都不能补救信息缺失(Alackofinformationcannotberemediedbyanymathematicaltrickery——Lanczos,1964)。

2023/1/14第10页§3.5Tikhonov正则化理论

系统输入：理想输出：拟合函数：

标准差项：显然，只用Es(F)

作为目标函数进行优化，可以得到误差Es(F)

最小甚至Es(F)=0

的拟合函数F(X)

，但无法避免过拟合问题。为此，Tikhonov提出了“正则项”:

正则项：式中：D是线性微分算子

Ec(F)

减小即拟合函数F(X)

的梯度减小，意味着在满足误差最小的同时还要求拟合结果足够“平坦”，因此，正则项也称为“平滑项”。2023/1/14第11页E(F)

所在空间是一个函数空间，该空间自变量的每个取值（矢量）代表一个函数。假设所有这些函数都是平方可积的，并且，类似数量空间中定义矢量的模一样，用函数的平方积分表示它们的“大小”，称为该空间中矢量的“范数”，即：称这个空间为“赋范空间”。正则化问题：寻找使目标函数：达到最小的函数

F(X)。自变量是函数

F(X)，因此，函数

E(F)

是一个泛函。l用于在平滑性和误差之间权衡，大的

l得到的拟合函数更加平滑但拟合误差大；而小的

l拟合误差小但拟合函数不够平滑。(3-10)2023/1/14第12页Frechet微分定义

式中：是X

的一个任意给定的函数。假设E(F)

在

F(X)

点取极小值，则对于任意h(X)，有dE(F,h)

=

0。即：(3-11)(3-12)由上式右边第一项得到：(3-13)重写(3-10)式：利用d(X-Xi)函数的筛选特性，将两个函数在某点

Xi

的乘积表示成内积形式：2023/1/14第13页(3-10)式第一项的Frechet微分(3-13)可写成：两函数的内积定义为：式中

是中心位于Xi

的d

函数。(3-10)式E(F,h)中第二项的Frechet微分：(3-15)(3-14)给定一个微分算子

D

，存在一个伴随算子

使得对于任意两个具有足够阶可微的函数u

和v

满足Green恒等式：2023/1/14第14页Euler-Lagrange方程

伴随算子定义：则有：(3-17)于是(3-10)式的Frechet微分为：(3-18)利用Green恒等式，对(3-15)式中第二项令：2023/1/14第15页而由Frechet微分的定义知：所以，必须有：即：(3-19)此即Tikhonov函数E(F,h)

存在极值Fl(X)

的必要条件。如果(3-10)式所定义的正则化问题：有解的必要条件是：

Tikhonov函数E(F,h)

存在极值的必要条件(Euler-Lagrange方程

)2023/1/14第16页(3-19)式是一个偏微分方程，欲解之，需做一些积分变换方面的数学准备。对于一个固定的x

，G(X,x)是X的函数且满足边界条件；在X=x

之外的所有点，G(X,x)关于X的所有导数都连续，导数的阶数取决于微分算子L的形式。

G(X,x)作为X的函数，除在X=x

点之外，处处满足微分方程：(3-20)如此定义的函数G(X,x)称为微分算子L

的Green函数。而X=x

是函数G(X,x)的奇异点：LG(X,x)=d

(X–

x

)(3-21)即，Green函数具有重要性质：例如：对于一阶微分，u(t-t0)是一个Green函数：3.Green函数

给定微分算子L，定义一个函数G(X,x)满足以下条件：2023/1/14第17页Green函数应用示例：令j

(X)

是的连续或分段连续函数，则是微分方程的解：(3-22)(3-23)证明：对(3-22)

式运用微分算子L

由于L

是关于

X

的算子，所以

Lj(x)=0，再将(3-21)：LG(X,x)=d(X-x)代入上式，并利用d

函数的偶特性和筛选性。(3-24)证毕.例如：一阶常微方程

，将一阶微分看作微分算子，前面已得知是算子L

的一个Green函数，于是，该常微方程的解为：因此，如果能够找到了一个微分算子L的Green函数，那么，(3-22)式就是该微分算子构成的形如(3-23)式的所有微分方程解的通式。

交换积分与求和的次序；

[di-Fl(Xi)]中没有变量x

；利用d

函数的筛选特性。2023/1/14第18页已经得到Tikhonov函数的Euler-Lagrange方程（偏微分方程）：(3-19)上式的解就是(3-11)

式正则问题的解，重写(3-11)

式：定义微分算子：以及函数：

(3-25)(3-26)将(3-19)改写为：则，其解为：(3-27)4.求解正则化问题2023/1/14第19页最后：Tikhonov正则化问题：解的形式为：(3-27)解的几何意义是：给定数据样本反求系统函数，其最佳重构函数Fl(X)是N

个中心分别位于数据样本X1,X2,…,XN

处的Green函数的加权求和，其权值分别为：其中：l

称为正则参数,l

越大拟合误差越大但拟合函数Fl(X)的平坦性增强,反之，l

越小拟合误差越小但函数Fl(X)的平坦性减弱。l

用于在拟合误差与平坦性之间进行权衡。理想输出与计算输出之差2023/1/14第20页令：(3-28)将正则化重构过程用一个网络表示，则wi

为权值，该网络实现的计算为：(3-29)输入一个给定的学习样本Xj

，得到：(3-30)Fl(Xj)是重构模型在

Xj点的计算值。即，N

个分别位于X1、X2、…、XN

的G(Xj,Xi)

在Xj

处的加权和。逐一输入全部

N

个样本，写成矢量形式：(3-31)正则化网络5.确定展开式的系数(正则化网络权值的确定)学习样本所对应的输出矢量：(3-32)再将中心位于

X1,X2,…,XN

的

N

个径向基函数

G(X,X1),G(X,X2),…，G(X,XN),分别在N个学习样本X1,X2,…,XN

处的取值写成矩阵形式，即，Green矩阵：(3-33)将所有权值写成权值矢量：注意到(3-28)上式可以写成(3-34)(3-35)从(3-34)

和(3-35)中消去Fl

得到：(3-36)注意到算子

是“自伴随的(Self–adjoint)”，与该算子关联的Green函数G(X,x)具有对称性，即：G(X1,X2)=G(X2,X1)，于是，Green矩阵也是对称矩阵，即：G=GT。可以选择算子

L

使

(G+lI)非奇异。于是得到(3-38)此即正则重构问题的学习算法，剩下的问题是如何选择Green函数G。重构函数关于输入X1,X2,…，XN

的N

个计算值为：中心位于X2的Green函数分别在X1、X2、…、XN处的值第21页2023/1/142023/1/14第22页

用于拟合未知函数的正则化网络所实现的运算：

正则化网络的权值学习算法为：

正则重构问题学习算法归纳：

其中G(Xj,Xi)

是中心位于Xi

的Green函数在样本Xj

处的取值；

X1,X2,…,XN

是给定的N输入样本矢量，d=[d1,

d2,

…,

dN]T

是与N个学习样本相对应的实测输出。

其中，G为Green函数矩阵：2023/1/14第23页正则化重构问题的解可以写成：可以证明，当算子D具有“移不变性(

Translationallyinvariant

)”和“回转不变性(Rotationallyinvariant

)”时，Green函数为径向基函数：G(X,X1)=G(||X-X1||)(3-40)作为拟合函数，具有以上性质是必要的，因此，我们可以取(3-40)径向基函数作为Green函数。于是，(3-41)以上得到的正则化重构问题的解，是中心分别在输入样本处的一系列径向基函数G(||X–Xi||)

的线性组合，径向基函数的个数与样本数量相同。但这个重构函数与本章(3-4)所表示的拟合函数有着本质上的区别，前者是拟合误差与平滑性权衡的结果，而后者是误差为0的拟合结果。可以证明，曲线拟合是正则化重构问题在l=0

时的特例。2023/1/14第24页多变量Gaussian函数应用最为广泛的Green函数是多变量Gaussian函数：(3-42)其中Xi

是其中心所在，s

决定了钟型的宽度。该函数所对应的自伴随算子为(Poggio

和Girosi，1990)：(3-43)其中而是m0

维的微分算子，并且(3-45)可以看到，L

包含了无穷阶微分，是通常微分算子的线性组合，故而称为“伪微分算子”。

2023/1/14

Gauss函数是最常用的Green函数，该函数所对应的自伴随微分算子包含无穷阶微分，因此，可以控制拟合函数的平坦性。单变量Gauss函数：用于曲线拟合。样本形式：拟合曲线(待求的系统模型)：

系数的确定方法：

m中心位于x2

的Green函数分别在x1、x2、…、xN

处的值第25页2023/1/14第26页曲线拟合实例给定一维输入/输出样本：(1).用(3-33)式计算(12x12)

维Green矩阵fork=1:length(X) x0=X(k); forn=1:length(X) x1=X(n); G(n,k)=exp(-(x1-x0).^2/(2*s^2)); endend(2).用(3-38)式计算W:W=[-0.90304,1.9742,3.3065,2.3684,1.2824,1.6151,1.9849,1.2454,0.56755,1.0588,0.59034,2.4743]T

W=[-1.7724,3.0144,4.1495,3.8488,-0.2731,3.4744,0.99487,2.1451,-0.37586,3.0171,-1.4118,4.2776]T

l=0.1

时得到：l=0.3

时得到：(3).构造正则拟合函数：Green矩阵：2023/1/14第27页两个变量的Gauss函数：图中：X=[x1,x2]，X0=[-2,4

]X-X0=[(x1-2),(x2-4)

]||X-X0||2=(x1-2)2+(x2-4)2

所以只是二元函数的另一种写法而已。

给定数据的形式：给定的输入数据：

分别以每个输入数据作为中心，求Gauss函数在各个输入数据处的值：

forn=1:length(X)form=1:length(X)G(n,m)=exp(-norm(X(:,n)-X(:,m))^2);end

endW=inv(G-l*diag(ones(length(X),1)))*D';曲面拟合实例D=[1.0,-3.5,1.3,3.5,1.5]]当l=0.20时解得：

W=[0.7661,-8.1933,3.6933,6.9300,1.8222]]当

l=0.05时解得：

W=[0.7674,-6.0812,2.6178,5.2918,1.5471]]第28页2023/1/14Matlab：W=

(inv(G-L.*diag(ones(1,100)))d，其中，d

=

[1,1,…,1,-1,-1,…,-1]’;

两类分类作为曲面拟合问题给定两类二维样本的采样点(100点)如图所示。第一类样本（红）的类别取值为+1；第二类样本（绿）的类别取值为-1。

1、计算(100x100)维Green矩阵

forn=1:100 form=1:100 u=norm(X(n,:)-X(m,:))*2/(2*s^2); G(m,n)=exp(-u); endend2、计算(100×1)维W

3、构造包含100个径向基函数的分类函数F(X)；4、对整个平面以0.25为间隔，逐行、逐点代入分类函数F(X)，当F(Xi)>0时在该点画“*”，否则，不操作。第29页2023/1/14l=0.1l=0.3

CH33dGaussFit：高斯曲面拟合； CH3CC：正则网分类； CH3Classify：不同lamda的分类效果。2006-10-12第30页重构模型：其中：一、方法归纳§3-6正则网络给定样本：待定参数：当径向基函数：为Gauss函数时：样本X为多维矢量：2006-10-12第31页二、正则网络(RegularizationNetwork)

网络首层神经元数量与样本数量相同。网络模型：

取Gaussian函数作为Green函数，第i

个神经元的运算为：(1).全局近似器(Universalapproximator)，可以拟合任意曲线；(2).最佳拟合；(3).全局最优，不存在局部最优问题；特点：(4).神经元个数与样本数量N

相同，计算复杂度与N3

成正比。

给定N

个学习样本后，由求得权值，即完成了学习。2006-10-12第32页三、径向基函数网络(RadialBasedFunctionNetworks)解给出了正则化问题的一般形式，任何Green函数都可以作为构成正则化网络。当取

时称为“径向基函数网络”，Gauss函数是最常用的径向基函数。得到Gauss径向基函数网络的另一形式：如果令最后一个Gauss函数的s

=∞

，即：

径向基函数网络相应的Green矩阵为：2006-10-12第33页§3-7径向基函数网络

解决减少径向基函数Ｇ(X,

Xi)数量：——

Galerkin方法。(3-52)假设拟合函数的形式为：其中：,为径向基函数，N

为样本数量。为待定的径向基函数中心，为权值。(3-53)为了找到合理的权值再次运用(3-10)所示正则化方程：与前面不同的是，现在我们已经知道了F*的形式，再次建立正则方程的目的，是在正则条件下寻找最佳的权矢量W

的解法。第34页令：(重写3-53)正则方程(RegularizationEquation)：(3-53)于是，(3-53)式第一项：其中：则：第35页(3-53)式第二项有：再令：利用(3-16)式Euler-Lagrange方程：其中：这里，函数：

是微分算子

的Green函数：于是，得到正则方程(3-53)第二项：2006-10-12(3-55)令：则以上结论可写成：正则方程(3-53)成为：由于函数F*形式已定，所以E只是权值W的函数：于是，(3-53)式正则化问题简化为一个无约束函数优化问题：得到：(3-56)式中：拟合函数：径向基函数个数少于样本数2006-10-12第37页一、随机选择径向基函数中心(Gaussian径向基函数)2、从N

个学习样本中随机地抽取

M

个做为径向基函数的中心：3、计算两两中心之间距离，取其最大者构造Gaussian函数：(3-57)(3-58)具体Gaussian函数为：1、依据有关问题的先验知识，人为确定神经元数量