5.1-正则化径向基函数神经网络

廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：正则化径向基函数神经网络基础径向基函数神经网络背景2026/10/11BTBU-CIE21985Powell提出了多变量插值的径向基函数(RadicalBasisFunction，RBF)方法1988Moody和Darken提出了一种神经网络结构，即RBF神经网络径向基函数神经网络背景2026/10/11BTBU-CIE3变换

空间1不易解决问题(如线性不可分)

空间2易解决问题(如线性可分)

特点：径向基函数(RBF)神经网络是另一种常用的前馈网络。从函数逼近的角度看，RBF网络是局部逼近网络，具有学习速度快的优点。径向基函数神经网络背景2026/10/11BTBU-CIE4图片来源：/images/search?view=detailV2&id=75A9C70D8C138AB292D659D156C51F227E76C093&thid=OIP.qaWnnN0d7ldMR-icswfqyAHaFj&mediaurl=https%3A%2F%2F%2Fiwz3s0wxrkqump3nzyyr-signature-7f7e9932c1ac6134e9030bbdd4cfa1c5606f58d572ef5d7da58609957cc1fc67-poli-160617131027%2F95%2Fneural-networks-radial-bases-functions-rbf-10-638.jpg%3Fcb%3D1467150069&exph=479&expw=638&q=rbf+neural+network&selectedindex=419&ajaxhist=0&vt=0&eim=0,1,2,6径向基函数神经网络背景2026/10/11BTBU-CIE5理解RBF网络的工作原理可从2种不同的观点出发：①当用RBF网络解决非线性映射问题时，则用函数逼近与内插的观点来解释，对于其中存在的不适定(illposed)问题，可用正则化理论来解决；②当用RBF网络解决复杂的模式分类任务时，用模式可分性观点来理解比较方便，其潜在合理性基于Cover关于模式可分的定理。RBF神经网络：正则化RBF神经网络、广义RBF神经网络正则化RBF神经网络内容2026/10/11BTBU-CIE61、基于RBF技术的逼近与内插2、完全内插存在的问题及正则化的提出3、正则化RBF网络结构4、正则化RBF网络原理5、正则化RBF网络特点基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE7设有P组样本点：，p=1,2,…,P

插值的目的是寻找一个非线性映射函数,使其满足下述插值条件:，p=1,2,…,P

设X是N维向量，d是1维向量。RBF函数逼近与内插基本思想：非线性映射函数可以用N维输入空间到1维输出空间的RBF网络来表示。

基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE8选择P个径向基函数其中是基函数的中心RBF网络RBF函数逼近与内插基本思想：对RBF网络的输入层、输出层描述如下:基于RBF技术的函数逼近与内插2026/10/119实现X1到d1的映射，将样本点X1代入F(X):RBF网络BTBU-CIERBF函数逼近与内插基本思想：基于RBF技术的函数逼近与内插2026/10/1110RBF网络BTBU-CIE若可逆RBF函数逼近与内插基本思想：基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE11

Micchelli定理：对于一大类函数，如果X1,X2,…,Xp各不相同，则P×P阶插值矩阵是可逆的。大量径向基函数满足Micchelli定理。径向基函数通常采用Gauss(高斯)函数：其中，σ称为该基函数的扩展常数或宽度RBF函数逼近与内插基本思想：2026/10/11BTBU-CIE12完全内插存在的问题及正则化的提出存在的问题：(1)由于插值曲面必须通过所有训练数据点，当训练数据中存在噪声时，神经网络将拟合出一个错误的插值曲面，从而使其泛化能力下降。(2)由于径向基函数的数量与训练样本数量相等，当训练样本数远远大于物理过程中固有的自由度时，问题就称为超定的，插值矩阵求逆时可能导致不稳定。原因：由有限数据点恢复其内部蕴含的规律是一个反问题，而且往往是不适定的（可能是“解不存在”或“解不唯一”或“解不连续”）。解决方案：

使用人们对解的先验知识作为约束，可以得到很多不适定问题的解答。这就是正则化的主要思想和方法。它可以将一个不适定问题转变为一个适定问题。2026/10/11BTBU-CIE13完全内插存在的问题及正则化的提出正则化的基本思想：通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入-输出映射函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应着相似的输出。正则化的基本方法：

是指在标准误差项基础上增加了一个控制逼近函数光滑程度的项，称为正则化项，该正则化项体现了逼近函数的“几何”特性，即D是线性微分算子用RBF网络解决插值问题时，基于上述正则化理论的RBF网络称为正则化RBF网络。当微分值较小时，曲线相对光滑。例如，图中过度拟合噪声的红色曲线的微分值较大，若通过正则项约束增加对曲线的平滑特性控制则可以减少对噪声的过拟合程度。2026/10/11BTBU-CIE14N维输入空间到l

维输出空间的映射

正则化RBF网络的结构对各层的数学描述如下:

φj(X)，(j=1,2,…,P)，为隐节点的激活函数，称为“基函数”，一般选用Gauss函数.W为输出权矩阵，其中wjk,(j=1,2,…,P,k=1,2,…,l)输出层神经元采用线性激活函数RBF网络ijk2026/10/11BTBU-CIE15N维输入空间到l

维输出空间的映射

RBF网络ijk正则化RBF网络的原理:W为输出权矩阵若可逆正则化RBF网络的原理2026/10/11BTBU-CIE16RBF网络ijk正则化RBF网络结构的特点:正则化RBF网络的特点（1）隐节点数样本点的个数（2）隐节点径向基函数的参数第j个基函数的数据中心是：径向基函数通常采用Gauss(高斯)函数：其中，σ称为该基函数的扩展常数或宽度其中，是任意两样本间的最大距离。2026/10/11BTBU-CIE17小结1、基于RBF技术的逼近与内插（插值的观点来