5.2-广义径向基函数神经网络

廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：广义径向基函数神经网络基础广义径向基函数神经网络内容2026/10/11BTBU-CIE2正则化RBF网络优势及存在的问题模式可分观点与广义RBF网络正则化RBF和广义RBF的区别正则化RBF网络优势及存在的问题2026/10/11BTBU-CIE3例1建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，其中x从0变化到5，

变化幅度为0.1。试作出隐节点个数分别是5、10、15、20时径向基网络的逼近误差曲线。说明：1、输入X从0变化到5，

变化幅度为0.1，因此共有51个样本点。2、网络输入、输出节点分别是1。3、隐节点的径向基函数采用高斯函数，隐节点的扩展常数是0.5。4、隐层节点分别是5、10、15、20时显示网络的逼近误差曲线。正则化RBF网络优势及存在的问题2026/10/11BTBU-CIE4例1建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，其中x从0变化到5，

变化幅度为0.1。试作出隐节点个数分别是5、10、15、20时径向基网络的逼近误差曲线。隐层节点分别是5、10、15、20时显示网络的逼近误差曲线MSE=0.0181338MSE=0.000773599MSE=3.60984e-05MSE=7.36243e-07正则化RBF网络的优势及存在的问题2026/10/11BTBU-CIE5序号优势说明1通用逼近器只有要足够的隐节点，它可以以任意精度逼近紧集上的任意多元连续函数。2具有最佳逼近特性任给一个未知的非线性函数f，总可以找到一组权值使得正则化网络实现非线性函数的映射。3正则化网络得到的解是最佳的体现在同时满足对样本的逼近误差和逼近曲线平滑性正则化RBF网络的优势正则化RBF网络的优势及存在的问题2026/10/11BTBU-CIE6由于正则化网络的训练样本与隐层节点“基函数”是一一对应的。当样本数P很大时，实现网络的计算量将大得惊人，此外P很大则权值矩阵也很大，求解网络的权值时容易产生病态问题(illconditioning)。问题：模式可分观点与广义RBF网络2026/10/11BTBU-CIE7模式的可分性：N维输入样本空间的样本模式是线性可分线性方程描述的超平面Cover定理可以定性地表述为：将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可分的。模式可分观点与广义RBF网络2026/10/11BTBU-CIE8

将原来N维空间的P个模式点映射到新的M空间(M>N)相应点上，如果在该M维φ空间存在M维向量W，使得

则由线性方程WTφ(X)=0确定了M维φ空间中的一个分界超平面，这个超平面使得映射到M维φ空间中的P个点在φ空间是线性可分的。而在N维X空间，方程WTφ(X)=0描述的是X空间的一个超曲面。

RBF网络模式可分性的Cover定理模式可分观点与广义RBF网络2026/10/11BTBU-CIE9Cover定理关于模式可分性思想的要点是“非线性映射”和“高维空间”。事实上，对于不太复杂的非线性模式分类问题，有时仅使用非线性映射就可以使模式在变换后的同维空间变得线性可分。例子：RBF网络解决问题-异或问题2026/10/11BTBU-CIE10x1x2y110000101011线性不可分问题RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络x1110x2样本输入与输出关系2026/10/11BTBU-CIE11x1x21110.1353000.13531100.36780.3678010.36780.3678x1x2y110000101011RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络样本输入与输出关系样本与隐层节点输出关系x1∑输入径向基神经元x2y输出w1w2

2026/10/11BTBU-CIE12RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络(a)输入空间的4个模式点(b)映射到隐空间后的模式点分布XOR问题的4个模式在输入空间和隐空间的分布x1x21110.1353000.13531100.36780.3678010.36780.3678x1x2y110000101011样本输入与输出关系样本与隐层节点输出关系2026/10/11BTBU-CIE13

为解决正则化网络在样本数量大的时候，其隐层节点数量庞大的问题，可减少隐节点个数M，即N<M<P,N为样本维数，P为样本个数，从而得到广义RBF网络。

广义RBF网络的基本思想是：

用径向基函数作为隐单元的“基”，构成隐含层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。模式可分观点与广义RBF网络2026/10/11BTBU-CIE14图

广义RBF网络模式可分观点与广义RBF网络广义RBF网络的结构：2026/10/11BTBU-CIE15序号条目正则化网络广义网络1径向基函数的个数与样本的个数N相等小于样本的个数N2径向基函数的中心在数据点上由训练算法确定3各径向基函数的扩展常数统一不再统一4输出函数的线性中的阈值参数不包含包含正则化RBF网络与广义RBF网络的区别正则化RBF和广义RBF的区别小结2026/10/11BTBU-CIE16正则化RBF网络优势及存在的问题模式可分