神经网络理论及应用实践 课件 廉小亲 第5-8章 径向基函数神经网络-循环神经网络

神经网络理论及应用：正则化径向基函数神经网络基础径向基函数神经网络背景2026/10/11BTBU-CIE21985Powell提出了多变量插值的径向基函数(RadicalBasisFunction，RBF)方法1988Moody和Darken提出了一种神经网络结构，即RBF神经网络径向基函数神经网络背景2026/10/11BTBU-CIE3变换

空间1不易解决问题(如线性不可分)

空间2易解决问题(如线性可分)

特点：径向基函数(RBF)神经网络是另一种常用的前馈网络。从函数逼近的角度看，RBF网络是局部逼近网络，具有学习速度快的优点。径向基函数神经网络背景2026/10/11BTBU-CIE4图片来源：/images/search?view=detailV2&id=75A9C70D8C138AB292D659D156C51F227E76C093&thid=OIP.qaWnnN0d7ldMR-icswfqyAHaFj&mediaurl=https%3A%2F%2F%2Fiwz3s0wxrkqump3nzyyr-signature-7f7e9932c1ac6134e9030bbdd4cfa1c5606f58d572ef5d7da58609957cc1fc67-poli-160617131027%2F95%2Fneural-networks-radial-bases-functions-rbf-10-638.jpg%3Fcb%3D1467150069&exph=479&expw=638&q=rbf+neural+network&selectedindex=419&ajaxhist=0&vt=0&eim=0,1,2,6径向基函数神经网络背景2026/10/11BTBU-CIE5理解RBF网络的工作原理可从2种不同的观点出发：①当用RBF网络解决非线性映射问题时，则用函数逼近与内插的观点来解释，对于其中存在的不适定(illposed)问题，可用正则化理论来解决；②当用RBF网络解决复杂的模式分类任务时，用模式可分性观点来理解比较方便，其潜在合理性基于Cover关于模式可分的定理。RBF神经网络：正则化RBF神经网络、广义RBF神经网络正则化RBF神经网络内容2026/10/11BTBU-CIE61、基于RBF技术的逼近与内插2、完全内插存在的问题及正则化的提出3、正则化RBF网络结构4、正则化RBF网络原理5、正则化RBF网络特点基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE7设有P组样本点：，p=1,2,…,P

插值的目的是寻找一个非线性映射函数,使其满足下述插值条件:，p=1,2,…,P

设X是N维向量，d是1维向量。RBF函数逼近与内插基本思想：非线性映射函数可以用N维输入空间到1维输出空间的RBF网络来表示。

基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE8选择P个径向基函数其中是基函数的中心RBF网络RBF函数逼近与内插基本思想：对RBF网络的输入层、输出层描述如下:基于RBF技术的函数逼近与内插2026/10/119实现X1到d1的映射，将样本点X1代入F(X):RBF网络BTBU-CIERBF函数逼近与内插基本思想：基于RBF技术的函数逼近与内插2026/10/1110RBF网络BTBU-CIE若可逆RBF函数逼近与内插基本思想：基于RBF技术的函数逼近与内插2026/10/11BTBU-CIE11

Micchelli定理：对于一大类函数，如果X1,X2,…,Xp各不相同，则P×P阶插值矩阵是可逆的。大量径向基函数满足Micchelli定理。径向基函数通常采用Gauss(高斯)函数：其中，σ称为该基函数的扩展常数或宽度RBF函数逼近与内插基本思想：2026/10/11BTBU-CIE12完全内插存在的问题及正则化的提出存在的问题：(1)由于插值曲面必须通过所有训练数据点，当训练数据中存在噪声时，神经网络将拟合出一个错误的插值曲面，从而使其泛化能力下降。(2)由于径向基函数的数量与训练样本数量相等，当训练样本数远远大于物理过程中固有的自由度时，问题就称为超定的，插值矩阵求逆时可能导致不稳定。原因：由有限数据点恢复其内部蕴含的规律是一个反问题，而且往往是不适定的（可能是“解不存在”或“解不唯一”或“解不连续”）。解决方案：

使用人们对解的先验知识作为约束，可以得到很多不适定问题的解答。这就是正则化的主要思想和方法。它可以将一个不适定问题转变为一个适定问题。2026/10/11BTBU-CIE13完全内插存在的问题及正则化的提出正则化的基本思想：通过加入一个含有解的先验知识的约束来控制映射函数的光滑性，若输入-输出映射函数是光滑的，则重建问题的解是连续的，意味着相似的输入对应着相似的输出。正则化的基本方法：

是指在标准误差项基础上增加了一个控制逼近函数光滑程度的项，称为正则化项，该正则化项体现了逼近函数的“几何”特性，即D是线性微分算子用RBF网络解决插值问题时，基于上述正则化理论的RBF网络称为正则化RBF网络。当微分值较小时，曲线相对光滑。例如，图中过度拟合噪声的红色曲线的微分值较大，若通过正则项约束增加对曲线的平滑特性控制则可以减少对噪声的过拟合程度。2026/10/11BTBU-CIE14N维输入空间到l

维输出空间的映射

正则化RBF网络的结构对各层的数学描述如下:

φj(X)，(j=1,2,…,P)，为隐节点的激活函数，称为“基函数”，一般选用Gauss函数.W为输出权矩阵，其中wjk,(j=1,2,…,P,k=1,2,…,l)输出层神经元采用线性激活函数RBF网络ijk2026/10/11BTBU-CIE15N维输入空间到l

维输出空间的映射

RBF网络ijk正则化RBF网络的原理:W为输出权矩阵若可逆正则化RBF网络的原理2026/10/11BTBU-CIE16RBF网络ijk正则化RBF网络结构的特点:正则化RBF网络的特点（1）隐节点数样本点的个数（2）隐节点径向基函数的参数第j个基函数的数据中心是：径向基函数通常采用Gauss(高斯)函数：其中，σ称为该基函数的扩展常数或宽度其中，是任意两样本间的最大距离。2026/10/11BTBU-CIE17小结1、基于RBF技术的逼近与内插（插值的观点来理解RBF网络）2、完全内插存在的问题及正则化的提出3、正则化RBF网络结构4、正则化RBF网络原理5、正则化RBF网络特点致谢

本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE18廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：广义径向基函数神经网络基础广义径向基函数神经网络内容2026/10/11BTBU-CIE20正则化RBF网络优势及存在的问题模式可分观点与广义RBF网络正则化RBF和广义RBF的区别正则化RBF网络优势及存在的问题2026/10/11BTBU-CIE21例1建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，其中x从0变化到5，

变化幅度为0.1。试作出隐节点个数分别是5、10、15、20时径向基网络的逼近误差曲线。说明：1、输入X从0变化到5，

变化幅度为0.1，因此共有51个样本点。2、网络输入、输出节点分别是1。3、隐节点的径向基函数采用高斯函数，隐节点的扩展常数是0.5。4、隐层节点分别是5、10、15、20时显示网络的逼近误差曲线。正则化RBF网络优势及存在的问题2026/10/11BTBU-CIE22例1建立一个径向基神经网络，对非线性函数y=sqrt(x)进行逼近，其中x从0变化到5，

变化幅度为0.1。试作出隐节点个数分别是5、10、15、20时径向基网络的逼近误差曲线。隐层节点分别是5、10、15、20时显示网络的逼近误差曲线MSE=0.0181338MSE=0.000773599MSE=3.60984e-05MSE=7.36243e-07正则化RBF网络的优势及存在的问题2026/10/11BTBU-CIE23序号优势说明1通用逼近器只有要足够的隐节点，它可以以任意精度逼近紧集上的任意多元连续函数。2具有最佳逼近特性任给一个未知的非线性函数f，总可以找到一组权值使得正则化网络实现非线性函数的映射。3正则化网络得到的解是最佳的体现在同时满足对样本的逼近误差和逼近曲线平滑性正则化RBF网络的优势正则化RBF网络的优势及存在的问题2026/10/11BTBU-CIE24由于正则化网络的训练样本与隐层节点“基函数”是一一对应的。当样本数P很大时，实现网络的计算量将大得惊人，此外P很大则权值矩阵也很大，求解网络的权值时容易产生病态问题(illconditioning)。问题：模式可分观点与广义RBF网络2026/10/11BTBU-CIE25模式的可分性：N维输入样本空间的样本模式是线性可分线性方程描述的超平面Cover定理可以定性地表述为：将复杂的模式分类问题非线性地投射到高维空间将比投射到低维空间更可能是线性可分的。模式可分观点与广义RBF网络2026/10/11BTBU-CIE26

将原来N维空间的P个模式点映射到新的M空间(M>N)相应点上，如果在该M维φ空间存在M维向量W，使得

则由线性方程WTφ(X)=0确定了M维φ空间中的一个分界超平面，这个超平面使得映射到M维φ空间中的P个点在φ空间是线性可分的。而在N维X空间，方程WTφ(X)=0描述的是X空间的一个超曲面。

RBF网络模式可分性的Cover定理模式可分观点与广义RBF网络2026/10/11BTBU-CIE27Cover定理关于模式可分性思想的要点是“非线性映射”和“高维空间”。事实上，对于不太复杂的非线性模式分类问题，有时仅使用非线性映射就可以使模式在变换后的同维空间变得线性可分。例子：RBF网络解决问题-异或问题2026/10/11BTBU-CIE28x1x2y110000101011线性不可分问题RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络x1110x2样本输入与输出关系2026/10/11BTBU-CIE29x1x21110.1353000.13531100.36780.3678010.36780.3678x1x2y110000101011RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络样本输入与输出关系样本与隐层节点输出关系x1∑输入径向基神经元x2y输出w1w2

2026/10/11BTBU-CIE30RBF网络解决问题-异或问题:

模式可分观点与广义RBF网络(a)输入空间的4个模式点(b)映射到隐空间后的模式点分布XOR问题的4个模式在输入空间和隐空间的分布x1x21110.1353000.13531100.36780.3678010.36780.3678x1x2y110000101011样本输入与输出关系样本与隐层节点输出关系2026/10/11BTBU-CIE31

为解决正则化网络在样本数量大的时候，其隐层节点数量庞大的问题，可减少隐节点个数M，即N<M<P,N为样本维数，P为样本个数，从而得到广义RBF网络。

广义RBF网络的基本思想是：

用径向基函数作为隐单元的“基”，构成隐含层空间。隐含层对输入向量进行变换，将低维空间的模式变换到高维空间内，使得在低维空间内的线性不可分问题在高维空间内线性可分。模式可分观点与广义RBF网络2026/10/11BTBU-CIE32图

广义RBF网络模式可分观点与广义RBF网络广义RBF网络的结构：2026/10/11BTBU-CIE33序号条目正则化网络广义网络1径向基函数的个数与样本的个数N相等小于样本的个数N2径向基函数的中心在数据点上由训练算法确定3各径向基函数的扩展常数统一不再统一4输出函数的线性中的阈值参数不包含包含正则化RBF网络与广义RBF网络的区别正则化RBF和广义RBF的区别小结2026/10/11BTBU-CIE34正则化RBF网络优势及存在的问题模式可分观点与广义RBF网络（模式可分观点理解广义RBF网络）正则化RBF和广义RBF的区别

（网络结构及参数方面）致谢

本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE35廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：径向基函数神经网络学习算法径向基函数神经网络学习算法2026/10/11BTBU-CIE37RBF网络结构设计RBF网络参数设计RBF网络与多层感知器的比较RBF网络学习算法的MATLAB实现RBF网络结构设计2026/10/11BTBU-CIE38RBF网络结构设计主要解决如何确定网络隐节点数的问题。序号参数正则化RBF网络广义RBF网络1输入节点数输入样本维数N输入样本维数N2隐节点数与样本个数P相等大于输入样本的维数N,小于样本个数P3输出节点数分类问题由类别数决定；拟合问题由输出样本的维数决定分类问题由类别数决定；拟合问题由输出样本的维数决定RBF网络结构设计2026/10/11BTBU-CIE39

隐节点数即样本数，基函数的数据中心即为样本本身。

参数设计只需考虑扩展常数和输出节点的权值。正则化RBF网络

如何确定网络隐节点数，如何确定各径向基函数的数据

中心及扩展常数，以及如何修正输出权值。广义RBF网络结构参数设计一般需考虑包括3种参数：

各基函数的数据中心和扩展常数，以及输出节点的权值。RBF网络参数设计RBF网络参数设计2026/10/11BTBU-CIE40RBF网络数据中心的两种取值方法：

第一类方法：数据中心从样本输入中选取。选出的数据中心应具有代表性，另外将所有径向基函数的扩展常数设为第二类方法：数据中心的自组织选择。常采用各种动态聚类算法对数据中心进行自组织选择。上式中，dmax为所有数据中心两两之间的最大距离。RBF网络参数设计2026/10/11BTBU-CIE41数据中心的K-均值聚类算法：

(1)初始化。选择M个互不相同向量作为初始聚类中心：

(2)计算各样本点与聚类中心点的距离。(3)相似匹配。令代表竞争获胜隐节点的下标，当时，被归为第

类，从而将全部样本划分为M个子集：RBF网络参数设计2026/10/11BTBU-CIE42数据中心的K-均值聚类算法：(4)更新各类的聚类中心。Uj(k)为第j个聚类域，

Nj为第j个聚类域中样本数，则(5)令k=k+1，转到第⑵步。重复上述过程，直到时停止训练；

(6)确定各聚类中心对应径向基函数的扩展常数。.

为第j个聚类中心与其它聚类中心的最小距离。

2026/10/11BTBU-CIE43序号属性RBF网络多层感知器1隐层数1层可以是1层，也可以是多层2隐层和输出层其神经元模型不一样，作用不同一样3隐层、输出层激活函数隐层是非线性的、输出层是线性的解决模式分类问题时，它的隐层和输出层通常选为非线性的。解决非线性回归问题时，通常选择线性输出层。4隐单元激励函数或基函数的输入量是输入向量和中心的欧氏距离输入单元和连接权值间的内积5逼近特性隐节点激活函数是高斯函数，局部逼近激活函数则采用Sigmoid函数或硬限幅函数，全局逼近RBF网络与多层感知器的比较RBF网络与多层感知器的比较2026/10/11BTBU-CIE44序号函数名功能1newrbe()新建一个严格的径向基神经网络2newrb()新建一个径向基神经网络3newgrnn()新建一个广义回归径向基神经网络4newpnn()新建一个概率径向基神经网络RBF网络的MATLAB函数及功能RBF网络学习算法的MATLAB实现2026/10/11BTBU-CIE45RBF网络学习算法的MATLAB实现newrbe()功能

建立一个严格的径向基神经网络，严格是指径向基神经网络的

神经元的个数与输入样本的个数相等。格式

net=newrb(P，T，SPREAD)说明

P为输入向量

T为目标向量

SPREAD为径向基函数的分布密度，默认为12026/10/11BTBU-CIE46RBF网络学习算法的MATLAB实现newrb(

)功能

建立一个广义径向基神经网络格式

net=newrb(P，T，GOAL，SPREAD，MN，DF)说明

P为输入向量

T为目标向量

SPREAD为径向基函数的分布密度，默认为1

GOAL为圴方误差，默认为0

MN为隐层神经元的最大数目

DF为两次显示之间所添加的神经元数目2026/10/11BTBU-CIE47小结RBF网络结构设计（网络隐节点数的问题）RBF网络参数设计（正则化和广义RBF网络）RBF网络与多层感知器的比较（网络结构、逼近特性等）RBF网络学习算法的MATLAB实现（正则化和广义RBF网络）致谢

本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE48廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：基于MATLAB的

RBF网络应用实例——数据拟合基于MATLAB的RBF网络应用实例—数据拟合2026/10/11BTBU-CIE50（1）数据准备21个输入输出对，需要建立RBF网络对其进行拟合。数据点（X，T）如下：X=-1:.1:1;T=[-.9602-.5770-.0729.3771.6405.6600.4609....1336-.2013-.4344-.5000-.3930-.1647.0988....3072.3960.3449.1816-.0312-.2189-.3201];figure(1)plot(X,T,'+');title('TrainingVectors');xlabel('InputVectorP');ylabel('TargetVectorT');holdon;问题描述：假设有21个输入输出对，需要建立RBF网络对其进行拟合。网络设计过程如下：训练数据分布2026/10/11BTBU-CIE51（3）径向基函数选择3个隐层节点的径向基函数a1、a2、a3都选择高斯函数，径向基函数a1的数据中心为0。x=-3:.1:3;a1=radbas(x);figure(2)plot(x,a1)title('RadialBasisTransferFunction');xlabel('Inputx');ylabel('Outputa1');基于MATLAB的RBF网络应用实例—数据拟合（2）RBF网络结构设计输入节点是1、输出节点是1，隐层节点假定为3。径向基函数a12026/10/11BTBU-CIE52（4）径向基函数加权求和

下面观察多个径向基函数a1,a2,a3加权求和成a4的效果，可以看出，如果选择合适径向基函数宽度以及加权系数等，可以形成新的曲线以拟合样本数据。a2=radbas(x-1.5);a3=radbas(x+2);a4=a1+a2*1+a3*0.5;plot(x,a1,'b-',x,a2,'b--',x,a3,'b--',x,a4,'m-')title('WeightedSumofRadialBasisTransferFunctions');xlabel('Inputx');ylabel('Outputa4');legend('a1','a2','a3','a4')基于MATLAB的RBF网络应用实例—数据拟合径向基函数加权求和的效果2026/10/11BTBU-CIE53

RBF网络实现的另一种方法-利用MATLAB的newrb函数

下面对同一问题对比不同径向基函数宽度对曲线拟合的影响。忽略（2）和（3），将以下程序放在（1）程序处，可以得到拟合结果。eg=0.02;sc1=0.01;net=newrb(X,T,eg,sc1);Y1=net(X);sc2=100;net=newrb(X,T,eg,sc2);Y2=net(X);sc3=1;net=newrb(X,T,eg,sc3);Y3=net(X);plot(X,Y1,'r-',X,Y2,'k--',X,Y3,'b-.’);legend('sample','sc=0.1','sc=100','sc=1’)holdoff;基于MATLAB的RBF网络应用实例—数据拟合2026/10/11BTBU-CIE54本节介绍了利用MATLAB进行RBF网络设计，实现数据拟合的案例。有助于大家对RBF网络理论的理解小结致谢

本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE55廉小亲

北京工商大学计算机与人工智能学院

神经网络理论及应用：基于MATLAB的

RBF网络应用实例——鸢尾花分类RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE57

本实验数据来自UCI.网站上的Iris数据集，下载网址：/ml/datasets/Iris

1、数据集来源问题描述：根据鸢尾花花萼长度、宽度，花瓣长度、宽度数据，采用RBF网络对鸢尾花进行分类。RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE58Iris以鸢尾花的特征作为数据来源，数据集包含150个数据集，分为3类（setosa,versicolor,virginica），每类50个数据，每个数据包含4个属性（花瓣长度、花瓣宽度、花萼长度、花萼宽度）。以每一类前30个数据作为训练样本，后20个样本作为测试样本，利用RBF网络对样本进行估计，并和实际结果作比较。2、数据集准备RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE593、RBF网络结构网络输入为4个属性：花瓣长度、花瓣宽度、花萼长度、花萼宽度网络输出为3类：Setosa、Versicolor、Virginica网络结构为：输入节点为4，隐层节点为90，

输出节点为3。RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE604、程序%读取数据[property_1,property_2,property_3,property_4,class]=textread('iris_data.txt','%f%f%f%f%s',150,'delimiter',',');%训练数据property1=[property_1(1:30,:);property_1(51:80,:);property_1(101:130,:)];property2=[property_2(1:30,:);property_2(51:80,:);property_2(101:130,:)];property3=[property_3(1:30,:);property_3(51:80,:);property_3(101:130,:)];property4=[property_4(1:30,:);property_4(51:80,:);property_4(101:130,:)];class1=[class(1:30,:);class(51:80,:);class(101:130,:)];%测试数据property5=[property_1(31:50,:);property_1(81:100,:);property_1(131:150,:)];property6=[property_2(31:50,:);property_2(81:100,:);property_2(131:150,:)];property7=[property_3(31:50,:);property_3(81:100,:);property_3(131:150,:)];property8=[property_4(31:50,:);property_4(81:100,:);property_4(131:150,:)];class2=[class(31:50,:);class(81:100,:);class(131:150,:)];RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE61%把三类训练数据用单位行向量表示fori=1:length(class1)

switchclass1{i};

case

'Setosa'

Class(i,:)=[100];

case

'Versicolor'Class(i,:)=[010];

otherwise

'Virginica';Class(i,:)=[001];

endend%把三类测试数据用单位行向量表示fori=1:length(class2)

switchclass2{i};

case

'Setosa'

textClass(i,:)=[100];

case

'Versicolor'textClass(i,:)=[010];

otherwise

'Virginica';textClass(i,:)=[001];

endendRBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE62%构造训练样本输入矩阵P、输出矩阵Tfori=1:length(Class)P(i,:)=[property1(i,:),property2(i,:),property3(i,:),property4(i,:)];T(i,:)=Class(i,:);endP=P';T=T';Class=Class';%构造测试样本输入矩阵textPfori=1:length(property5*3)textP(i,:)=[property5(i,:),property6(i,:),property7(i,:),property8(i,:)];endtextP=textP';RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE63%RBF网络的建立和训练net=newrbe(P,Class);%RBF网络的测试Rbfoutput=sim(net,textP)%计算识别率[s1,s2]=size(Rbfoutput);count=0;fori=1:s2[m,index]=max(Rbfoutput(:,i));[l,std]=max(textClass(:,i));

if(index==std)count=count+1;

endendsprintf(‘识别率是%3.3f%%',100*count/s2)RBF网络实现鸢尾花数据集分类2026/10/11BTBU-CIE645、RBF网络分类结果类别测试样本数识别成第1类的样本数识别成第2类的样本数识别成第3类的样本数正确识别率1（Setosa）202000100%2（Versicolor）20019195%3（Virginica）20031785%从RBF分类结果来看，在对每一类的后20个样本数据的分类识别中，Setosa集全部分类正确；Versicolor集有一个样本被错误分类，Virginica集有三个样本被错误分类，可见本程序对Virginica集的分类稍微差一些。小结2026/10/11BTBU-CIE65

本节介绍了利用MATLAB进行RBF网络设计，实现数据分类的案例，有助于大家对RBF网络理论的理解。致谢

本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE66

神经网络理论及应用：支持向量机基本原理支持向量机基本原理2026/10/11BTBU-CIE68单层感知器支持向量机分类面不唯一泛化能力较差最优分类面泛化能力强支持向量机基本原理2026/10/11BTBU-CIE691.线性支持向量机2.非线性支持向量机线性支持向量机2026/10/11BTBU-CIE70

（2）线性支持向量机2026/10/11BTBU-CIE71

线性支持向量机2026/10/11BTBU-CIE72

（6）线性支持向量机2026/10/11BTBU-CIE73

线性支持向量机2026/10/11BTBU-CIE74

线性支持向量机2026/10/11BTBU-CIE75

线性支持向量机2026/10/11BTBU-CIE76

非线性支持向量机2026/10/11BTBU-CIE77非线性支持向量机：当样本非线性可分时，支持向量机通过内积核将输入向量映射到一个高维特征空间，使样本在高维特征空间中线性可分，因此可以在高维特征空间构建最优超平面进行分类二维空间下非线性可分三维空间下线性可分映射内积核非线性支持向量机2026/10/11BTBU-CIE78

非线性支持向量机2026/10/11BTBU-CIE79

非线性支持向量机2026/10/11BTBU-CIE80

非线性支持向量机2026/10/11BTBU-CIE81

非线性支持向量机2026/10/11BTBU-CIE82支持向量机神经网络：基于支持向量机的最优分类判别函数，可以将其等价于右图所示的神经网络。该网络是一个3层的前馈神经网络，其中隐层节点对应于输入样本与一个支持向量的内积核函数，输出节点对应于隐层输出的线性组合，最后通过符号函数输出样本类别小结2026/10/11BTBU-CIE831.线性支持向量机：样本在原始空间线性可分2.非线性支持向量机：样本在原始空间非线性可分致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE84高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：支持向量机应用案例支持向量机应用案例2026/10/11BTBU-CIE861.最优分类超平面的数学求解2.支持向量机的多分类问题最优分类超平面的数学求解2026/10/11BTBU-CIE87案例一：已知一个如图所示的训练数据集，其正样本是x1=(3,3)T，x2=(3,4)T，负样本是x3=(1,1)T，试求最大间隔分离超平面。2026/10/11BTBU-CIE88最优分类超平面的数学求解

最优分类超平面的数学求解2026/10/11BTBU-CIE89

最优分类超平面的数学求解2026/10/11BTBU-CIE90

支持向量机的多分类问题2026/10/11BTBU-CIE91案例二：针对Iris数据集，建立SVM模型对鸢尾花进行分类Iris数据集：又称为鸢尾花数据集，包含150个样本，分为3个种类，分别为山鸢尾、杂色鸢尾、维吉尼亚鸢尾，每类50个样本，每个样本具有4个属性，分别为花萼长度、花萼宽度、花瓣长度、花瓣宽度，可通过这4个属性对鸢尾花进行分类样本编号花萼长度(cm)花萼宽度(cm)花瓣长度(cm)花瓣宽度(cm)种类15.13.51.40.2山鸢尾27.03.24.71.4杂色鸢尾36.33.36.02.5维吉尼亚鸢尾支持向量机的多分类问题2026/10/11BTBU-CIE92数据预处理构建训练SVM模型评价SVM模型支持向量机的多分类问题2026/10/11BTBU-CIE93数据预处理：数据的归一化处理（0~1）数据集的划分：80%为训练集，20%为测试集，由于数据集较小，还应保证3类样本在训练集和测试集中均匀分布生成样本集：假定单个样本为[X，Y]，X为模型输入，大小为[1,4]，即表示鸢尾花的4个属性；Y为模型输出，大小为[1,3]，即表示鸢尾花的3个种类，其中[1,0,0]表示山鸢尾、[0,1,0]表示杂色鸢尾、[0,0,1]表示维吉尼亚鸢尾支持向量机的多分类问题2026/10/11BTBU-CIE94构建和训练SVM模型：本案例是一个三分类的问题，由SVM的基本原理可知，其本质上是一个二分类器，但SVM是如何解决多分类问题的呢SVM实现多分类主要有两种方法，分别为“一对多法”和“一对一法”支持向量机的多分类问题2026/10/11BTBU-CIE95搭建和训练SVM模型：一对多法：训练时依次把某个类别的样本归为一类，其他剩余的样本归为另一类，这样k个类别的样本就需要构造出k个SVM，分类时将未知样本分类为具有最大分类函数值的那类[-0.412.341.07]B支持向量机的多分类问题2026/10/11BTBU-CIE96搭建和训练SVM模型：一对一法：在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别[-1.01-1.000.63]

BCBB支持向量机的多分类问题2026/10/11BTBU-CIE97搭建和训练SVM模型：本案例是一个三分类的问题，以上两种方法均需要训练3个分类器，在此情况下选择“一对一法”能够减小训练集，从而提高分类器的训练速度一对多法一对一法优点只需训练k个分类器，个数较少，分类速度相对较快每个分类器的训练只是将两个类别作为训练集，训练速度快；当有新的类别加进来时，只需要重新训练与增加类别相关的分类器缺点每个分类器的训练都是将全部类别作为训练集，训练速度慢；负类样本的数量要远远大于正类样本的数量，导致样本不对称；当有新的类别加进来时，需要对所有分类器重新训练需要训练k(k-1)/2个分类器，个数较多，分类速度相对较慢支持向量机的多分类问题2026/10/11BTBU-CIE98评价SVM模型：核函数训练集分类准确率测试集分类准确率多项式98.33%96.67%Gauss98.33%96.67%Sigmoid34.17%30.00%基于不同核函数SVM模型的分类性能小结2026/10/11BTBU-CIE991.最优分类超平面的数学求解：凸二次规划2.支持向量机的多分类问题：一对多法、一对一法致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE10001卷积神经网络基础2026/10/11BTBU-CIE102本节提要传统人工神网络在图像处理上的问题描述卷积神经网络的特点与基本架构2026/10/11103前景回顾：传统神经网络前端输入层：一个单向量的数据表示中间隐含层：一系列神经元组成，将前层输出转换至另一向量空间

神经元全连接、各连接独立不共享末端输出层：在图像分类任务表达为各类别的分数2026/10/11104问题:当神经网络遇见图像数据？飞机汽车小鸟猫鹿狗狐狸马轮船卡车图像数据示例CIFAR-10Dataset6000032x32colorimagesin10classes6000imagesperclass50000trainingimages/10000testimages.

Meet2026/10/11105问题:当神经网络遇见图像数据？总共有多少连接？多少待训练参数？这些多重连接是否有冗余？是否可被共享?如何降低神经网络模型的参数？使模型变“小”？一个全连接人工神经网络模型：输入层隐藏层×3输出层2026/10/11106问题:当神经网络遇见图像数据？传统人工神经网络面对图像数据的表现：面对32×32×3的输入图像数据，单个全连接神经元有3072个权重待训练。若输入图像维度增加或神经元数目增加，则待训练参数呈高数量级快速上升。引起训练负担+过拟合风险不适用于图像数据的处理！2026/10/11107传统神经网络vs卷积神经网络采用三维的形式（width×height×depth）神经元局部区域连接（局部感知），非全局连接神经元共享参数，非完全独立输出端的维度可相应地匹配输入的任务卷积神经元特点：卷积神经网络传统神经网络2026/10/11108传统神经网络vs卷积神经网络嘴部探测器detectorCanrepresentasmallregionwithfewerparameters卷积神经元特点之一：局部感知在图像理解任务中，一些重要模式的尺寸往往小于整个图像，采用对图像局部进行神经元映射2026/10/11109传统神经网络vs卷积神经网络左上部嘴探测器

detector中间部位嘴探测器不同空间位置的同类特征可共享同样的感知神经元卷积神经元特点之二：参数共享2026/10/11110卷积神经网络的基本架构由三种类型的功能层组成：卷积层（convolutionallayer）、池化层（poolinglayer）、全连接层（fully-connectedlayer）2026/10/11111卷积神经网络的基本功能层输入层—卷积层—激活函数—池化层—全连接层—输出层输入层：匹配原始图像的维度[32×32×5];卷积层：面向局部图像的神经元映射;激励层：神经元级的非线性激活映射;池化层：在二维空间维度（长、宽）上进行下采样;全连接层：映射至类别的分数，维度可适应类别数目。2026/10/11112卷积神经网络的基本功能层全局分析：卷积神经网络将输入原始像素经由多功能层映射为最终的类别分数。可训参数：卷积层和全连接层（含）；激活层和池化层（不含）超参数：卷积/全连接/池化（含）；激活层（不含）2026/10/11113卷积神经网络的基本功能层卷积神经网络基本架构运行总览：2026/10/11114卷积神经网络的基本功能层卷积神经网络基本架构运行总览：小结1、卷积神经网络的引入：图像数据2、卷积神经网络对比传统神经网络的特点3、卷积神经网络的基本架构2026/10/11BTBU-CIE115致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE116

卷积神经网络：卷积层主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE118本节提要卷积层功能概述卷积映射与传统人工神经元的类比分析卷积层基本CNN滤波器（卷积核）输入图像3通道输入图像输出结果滑动的卷积核2026/10/11120卷积层卷积核：待训练的滤波器（filters），各滤波器维度在空间上适应输入图像数据。滤波器（卷积核）输入图像3通道120卷积：卷积核与局部图像区域的点乘运算e.g.5×5×3维度的点乘+1偏置62828卷积操作：以滑动的方式在图像的空间维度上进行，计算滤波器和图像邻域的点乘之和。输出结果：三维的空间矩阵，包含多个激活映射图（map），每个图是卷积层在图像各位置的响应。2026/10/11121卷积操作每个不同的滤波器均可卷积出一个激活映射图2个5×5×3的滤波器卷积出2个激活映射图2026/10/11122卷积操作假设采用6个5×5的滤波器，输出6个单独的激活映射图累积所有的激活映射图，即为维度28×28×6的新图像6个5×5的滤波器2026/10/11123卷积操作卷积计算后跟随非线性激活函数，增强映射能力非线性激活2026/10/11124卷积计算的神经元类比分析每个输出的三维立体神经元均为局部输入图像的转换映射各三维立体神经元与输入层的局部区域发生连接各三维立体神经元之间共享滤波器参数2026/10/11125卷积计算的神经元类比分析卷积计算的感受野当处理高维度输入数据时，采用局部连接的方式。该种局部连接的空间维度是CNN的一个超参数——感受野（ReceptiveField），实质为滤波器的尺寸Note：感受野只是在长与宽的维度上，深度上保持和输入数据相通。ForExample:输入为[32323]维度的图像，感受野维度为5×5，则卷积层的各神经元的权重为5×5×3，共75个可训练参数+1个偏置参数。2026/10/11126卷积计算的神经元类比分析卷积计算的权值共享科学假设：一个滤波器在空间某个位置的滤波结果，在其他位置应同样适用图像意义:检测图像中的水平边缘所使用的滤波器应在图像各位置都使用图.同一水平边缘滤波器（探测器）在图像上多个局部区域的作用结果2026/10/11127卷积计算的神经元类比分析卷积计算的权值共享作用:控制卷积神经网络的待训练参数的数量，减小训练负担，减小模型过拟合风险。共享方式:在同一深度切片depthslice内共享滤波器的参数。深度内涵：正因为权值共享，各深度切片才以卷积核在输入图像数据上滑动（卷积）的计算形式进行。2026/10/11128卷积操作的几种类型扩张卷积（DilatedConvolution）一般卷积（GeneralConvolution）反卷积（TransposedConvolutions）2026/10/11129卷积操作Demo蓝色为输入层红色为卷积层绿色为输出层2026/10/11130多层卷积操作在图像识别上可视化2026/10/11BTBU-CIE131小结卷积层的功能卷积操作的过程卷积操作在神经元角度的类比分析致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE132

卷积神经网络：池化层与全连接层主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE134本节提要池化层功能详解全连接层功能详解全连接层与卷积层的联系与转换2026/10/11135池化层和全连接层

LeNet卷积神经网络池化层全连接层AlexNet卷积神经网络2026/10/11136池化层(Pooling)作用：连接在卷积层后，减少模型参数，减小训练负担，控制过拟合问题。操作：在各深度的特征映射图上独立进行，空间缩减分辨率，缩减方式为有多种：max，average，L2-norm等。2026/10/11137池化层(Pooling)超参数：空间覆盖度SpatialExtent、步长Stride输入：三维数据（W1，H1,D1）输出：三维数据（W2，H2，D2）W2=(W1-F)/S+1H2=(H1-F)/S+1D2=D1空间窗口尺寸F=2，步长S=22026/10/11138全连接层（Fully-connected）该层各神经元与前层所有神经元均相连接一个权重向量w和同维度输入数据的点乘结果2026/10/11139全连接层和卷积层的转换主要区别：卷积层：局部连接/共享参数全连接层：整体连接/参数独立共同点：点乘计算，功能形式相同含全连接层全卷积层1×12026/10/11140全连接层和卷积层的转换1×1含全连接层全卷积层可通过滑动的形式在一次正向传播中计算输出参数量没有改变计算方式没有改变将全连接层的权重矩阵改变为卷积层滤波器2026/10/11141全连接层和卷积层的转换转换的优势:面对更大尺寸的输入图像数据时全连接层需要将输入图像在网络中前向传播N次全卷积网络仅需一次前向传播，提升了效率2026/10/11142全连接层和卷积层的转换全卷积神经网络（FCN）适应任何尺寸的输入图像数据可用于更精细的像素级的图像识别任务（图像分割）2026/10/11143功能层在案例中的解析LeNet：早期卷积神经网络模型,用于字符识别：卷积神经网络基本架构使用三个层作为一个系列：卷积，池化，非线性激活卷积层提取空间特征（CONV）池化层进行空间下采样（POOL）多个全链接层作为最后的分类器(FC)LeNet提供了利用卷积层堆叠进行特征提取的框架，奠定了深度卷积神经网络的重要基础。2026/10/11144功能层在案例中的解析LeNet中的卷积层可视化解析可训练参数：（5*5+1）*6（每个滤波器5*5=25个unit参数和一个bias参数，共6个滤波器）连接数：（5*5+1）*6*28*28=122304个连接超参数：输入图片：32*32卷积核大小：5*5卷积核种类：6输出featuremap大小：（32-5+1）=28*28神经元数量：28*28*62026/10/11145功能层在案例中的解析输入：28*28；采样区域：2*2；采样种类：6采样方式：4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid函数输出FeatureMap大小：14*14（28/2）神经元数量：14*14*6可训练参数：2*6（加和的权重+偏置）连接数：（2*2+1）*6*14*14可视化解析LeNet中的池化层2026/10/11146功能层在案例中的解析LeNet中的全连接层输入：C5层120维向量计算方式：计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数可训练参数:84×(120+1)=10164可视化解析2026/10/11BTBU-CIE147小结池化层和全连接层操作全连接层和卷积层的转换各功能层的案例分析致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE148

卷积神经网络的应用之视觉目标检测主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE150本节提要目标检测应用概述目标检测的应用案例Region-CNN2026/10/11151卷积神经网络的应用背景概述计算机视觉领域的任务2026/10/11152卷积神经网络的应用背景概述端到端的应用特点End-to-End输入端：图像或视频输出端：识别结果神经网络映射2026/10/11153CNN在视觉目标检测的应用目标检测的任务解析：car:

1.000dog:

0.997person:

0.992person:

0.979horse:

0.993定位

Where?识别

What?2026/10/11154CNN在视觉目标检测的应用目标检测任务的发展背景:

PASCALVOC挑战赛(2005年—2012年)http://host.robots.ox.ac.uk/pascal/VOC/2026/10/11155目标检测评价指标Evaluationmetrics物体检测:定位出物体的boundingbox+识别出boundingbox里的物体是车辆;boundingbox的定位精度指标——重叠面积IOU;矩形框A、B的IOU计算公式为：IOU=(A∩B)/(A∪B)如果算法百分百跟人工标注的数据完全匹配，则IOU=12026/10/11156Region-CNN总体框架：总个过程分为三个程序：a、找出候选框；b、候选框的标注；c、利用CNN提取特征向量并分类Step1:输入一张图片，先定位出2000个物体候选框；Step2:根据重叠区域对候选框属于正负样本的属性进行定义；Step3:采用CNN提取每个候选框中图片的特征向量，特征向量的维度为4096维；采用分类器或概率映射对各个候选框中的物体进行分类识别。[1]Ross

Girshick,

Jeff

Ronahue,

etc.Richfeaturehierarchies

for

AccurateObjectDetectionandSegmentation，CVPR,20142026/10/11157Region-CNNStep1:候选框搜索阶段通过searchforobjectrecognition算法搜索出2000个候选框；搜出的候选框是矩形的，且大小各不相同。然而CNN对输入图片的大小有固定要求，需对候选框尺寸进行统一缩放；假设下一阶段CNN所需要的输入图片大小是个正方形图片227*227。2026/10/11158Region-CNNStep1:候选框搜索阶段通过searchforobjectrecognition算法搜索出2000个候选框；搜出的候选框是矩形的，且大小各不相同。然而CNN对输入图片的大小有固定要求，需对候选框尺寸进行统一缩放；假设下一阶段CNN所需要的输入图片大小是个正方形图片227*227。2026/10/11159Region-CNNStep2:候选框的标注意义：用缩放后的2000个候选框图片训练CNN前，需确定哪些图片是正样本，哪些是负样本。问题：人工标注的数据图片中只标注了正确的boundingbox，搜索出来的2000个矩形框不可能会出现一个与人工标注完全匹配的候选框。怎么办？

IOU2026/10/11160Region-CNN正样本：用selective

search挑选出的候选框与物体的人工标注矩形框的重叠区域IoU大于0.5，把这个候选框标注成物体类别；负样本：IOU小于0.5，把它当做背景类别。Step2:候选框的标注2026/10/11161Region-CNNStep3:CNN特征提取与分类网络有监督预训练阶段参数初始化部分（fine-tuning）：物体检测的一个难点在于，物体标签训练数据少，如果要直接采用随机初始化CNN参数的方法，目前的训练数据量是远远不够的。怎么办？？？Fine-tuning2026/10/11162Region-CNNStep3:CNN特征提取与分类重要概念：Fine-tuning假设要检测的物体类别有N类，需要把上面预训练阶段的CNN模型的最后一层给替换掉，替换成N+1个输出的神经元(加1，表示还有一个背景)被替换的一层直接采用参数随机初始化的方法，其它网络层的参数不变；接着开始继续SGD训练。SGD学习率选择0.001，在每次训练的时候，我们batch

size大小选择128，其中32个正样本、96个负样本2026/10/11163Region-CNNStep3:特征分类，确定目标类型分类方法：-概率映射函数-结合其他单独的分类器，例如SVM等2026/10/11BTBU-CIE164小结CNN的应用背景概述视觉目标检测应用案例Region-CNN致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE165

卷积神经网络的性能分析

之网络退化问题主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE167本节概要深度神经网络的网络退化问题描述解决网络退化问题——ResNet2026/10/11168神经网络的深度DeepLearningGetsWayDeeper*-----KaimingHe(何恺明)@FAIR,

CA*K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InCVPR,2016.

网络深度的作用和意义在何处？为了提取更强的特征，可否直接增加网络层数？2026/10/11169神经网络的深度网络深度的作用？CNN能够提取low-level/mid-level/high-level的特征；网络的层数越多，意味着能够提取到不同level的特征越丰富；越深的网络提取的特征越抽象，越具有语义信息。为了提取更强的特征，为什么不能简单地增加网络层数？网络退化问题高层低层中层2026/10/11170网络退化问题随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的(过拟合时训练集准确率很高)注：上图及后续多图引用自K.He,X.Zhang,S.Ren,andJ.Sun.Deepresiduallearningforimagerecognition.InCVPR,2016.

2026/10/11171深度残差网络(ResNet)---解决网络退化什么是残差？映射：y

=

残差映射F(x)+恒等映射x残差学习模块Shortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射残差学习模块的作用：若网络已达最优，继续加深网络，residualmapping被学习为0，仅剩identitymapping。这样理论上网络一直处于最优状态，网络的性能不会随深度增加而降低。2026/10/11172深度残差网络(ResNet)---解决网络退化冗余层

恒等映射

浅层网络目标：学习恒等映射函数y=xShortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射2026/10/11173深度残差网络(ResNet)---解决网络退化问题:直接拟合潜在的恒等映射函数y=x较困难，这是深层网络难以训练的原因。解决方案：如果把网络设计为y=F(x)+x,可以转换为学习一个残差函数F(x)=y-x.只要F(x)=0，就构成了一个恒等映射y=x.拟合残差为0较拟合恒等映射更加容易。Shortcut---“抄近道”XIdentity恒等映射F(x)Residual残差映射2026/10/11174深度残差网络(ResNet)---解决网络退化残差模块的种类整个残差模块结构称为一个“buildingblock”右图又称为”bottleneckdesign”降低维数，减少计算量常规Residual：用于浅层网络中(ResNet34)Bottleneckdesign:用于深层网络中(ResNet50/101/152)2026/10/11175深度残差网络(ResNet)---解决网络退化Bottleneckdesign降参作用分析第一个1x1的卷积把256维channel降到64维，在最后通过1x1卷积恢复;Bottleneckdesign参数数目：1x1x256x64+3x3x64x64+1x1x64x256=69632;不使用bottleneck即为两个3x3x256的卷积，参数数目:3x3x256x256x2=1179648，差16.94倍Bottleneckdesign:用于深层网络中(ResNet50/101/152)常规Residual：用于浅层网络中(ResNet34)256-d2562562026/10/11176深度残差网络(ResNet)---解决网络退化映射的维度相加问题：F(x)和x按照channel维度相加，若维度不同，如何相加？

两种情况：“实线”连接“虚线”连接实线Connection部分(“第一个粉色矩形和第三个粉色矩形”)都是执行3x3x64的卷积，他们的channel个数一致采用计算方式：y=F(x)