神经网络理论及应用实践 课件 第6章支持向量机

神经网络理论及应用：支持向量机基本原理支持向量机基本原理2026/10/11BTBU-CIE2单层感知器支持向量机分类面不唯一泛化能力较差最优分类面泛化能力强支持向量机基本原理2026/10/11BTBU-CIE31.线性支持向量机2.非线性支持向量机线性支持向量机2026/10/11BTBU-CIE4

（2）线性支持向量机2026/10/11BTBU-CIE5

线性支持向量机2026/10/11BTBU-CIE6

（6）线性支持向量机2026/10/11BTBU-CIE7

线性支持向量机2026/10/11BTBU-CIE8

线性支持向量机2026/10/11BTBU-CIE9

线性支持向量机2026/10/11BTBU-CIE10

非线性支持向量机2026/10/11BTBU-CIE11非线性支持向量机：当样本非线性可分时，支持向量机通过内积核将输入向量映射到一个高维特征空间，使样本在高维特征空间中线性可分，因此可以在高维特征空间构建最优超平面进行分类二维空间下非线性可分三维空间下线性可分映射内积核非线性支持向量机2026/10/11BTBU-CIE12

非线性支持向量机2026/10/11BTBU-CIE13

非线性支持向量机2026/10/11BTBU-CIE14

非线性支持向量机2026/10/11BTBU-CIE15

非线性支持向量机2026/10/11BTBU-CIE16支持向量机神经网络：基于支持向量机的最优分类判别函数，可以将其等价于右图所示的神经网络。该网络是一个3层的前馈神经网络，其中隐层节点对应于输入样本与一个支持向量的内积核函数，输出节点对应于隐层输出的线性组合，最后通过符号函数输出样本类别小结2026/10/11BTBU-CIE171.线性支持向量机：样本在原始空间线性可分2.非线性支持向量机：样本在原始空间非线性可分致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE18高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：支持向量机应用案例支持向量机应用案例2026/10/11BTBU-CIE201.最优分类超平面的数学求解2.支持向量机的多分类问题最优分类超平面的数学求解2026/10/11BTBU-CIE21案例一：已知一个如图所示的训练数据集，其正样本是x1=(3,3)T，x2=(3,4)T，负样本是x3=(1,1)T，试求最大间隔分离超平面。2026/10/11BTBU-CIE22最优分类超平面的数学求解

最优分类超平面的数学求解2026/10/11BTBU-CIE23

最优分类超平面的数学求解2026/10/11BTBU-CIE24

支持向量机的多分类问题2026/10/11BTBU-CIE25案例二：针对Iris数据集，建立SVM模型对鸢尾花进行分类Iris数据集：又称为鸢尾花数据集，包含150个样本，分为3个种类，分别为山鸢尾、杂色鸢尾、维吉尼亚鸢尾，每类50个样本，每个样本具有4个属性，分别为花萼长度、花萼宽度、花瓣长度、花瓣宽度，可通过这4个属性对鸢尾花进行分类样本编号花萼长度(cm)花萼宽度(cm)花瓣长度(cm)花瓣宽度(cm)种类15.13.51.40.2山鸢尾27.03.24.71.4杂色鸢尾36.33.36.02.5维吉尼亚鸢尾支持向量机的多分类问题2026/10/11BTBU-CIE26数据预处理构建训练SVM模型评价SVM模型支持向量机的多分类问题2026/10/11BTBU-CIE27数据预处理：数据的归一化处理（0~1）数据集的划分：80%为训练集，20%为测试集，由于数据集较小，还应保证3类样本在训练集和测试集中均匀分布生成样本集：假定单个样本为[X，Y]，X为模型输入，大小为[1,4]，即表示鸢尾花的4个属性；Y为模型输出，大小为[1,3]，即表示鸢尾花的3个种类，其中[1,0,0]表示山鸢尾、[0,1,0]表示杂色鸢尾、[0,0,1]表示维吉尼亚鸢尾支持向量机的多分类问题2026/10/11BTBU-CIE28构建和训练SVM模型：本案例是一个三分类的问题，由SVM的基本原理可知，其本质上是一个二分类器，但SVM是如何解决多分类问题的呢SVM实现多分类主要有两种方法，分别为“一对多法”和“一对一法”支持向量机的多分类问题2026/10/11BTBU-CIE29搭建和训练SVM模型：一对多法：训练时依次把某个类别的样本归为一类，其他剩余的样本归为另一类，这样k个类别的样本就需要构造出k个SVM，分类时将未知样本分类为具有最大分类函数值的那类[-0.412.341.07]B支持向量机的多分类问题2026/10/11BTBU-CIE30搭建和训练SVM模型：一对一法：在任意两类样本之间设计一个SVM，因此k个类别的样本就需要设计k(k-1)/2个SVM，当对一个未知样本进行分类时，最后得票最多的类别即为该未知样本的类别[-1.01-1.000.63]

BCBB支持向量机的多分类问题2026/10/11BTBU-CIE31搭建和训练SVM模型：本案例是一个三分类的问题，以上两种方法均需要训练3个分类器，在此情况下选择“一对一法”能够减小训练集，从而提高分类器的训练速度一对多法一对一法优点只需训练k个分类器，个数较少，分类速度相对较快每个分类器的训练只是将两个类别作为训练集，训练速度快；当有新的类别加进来时，只需要重新训练与增加类别相关的分类器缺点每个分类器的训练都是将全部类别作为训练集，训练速度慢；负类样本的数量要远远大于正类样本的数量，导致样本不对称；当有新的类别加进来时，需要对所有分类器重新训练需要训练k(k-1)/2个分类器，个数较多，分类速度相对较慢支持向量机的多分类问题2026/10/11BTBU-CIE32评价SVM模型：核函数训练集分类准确率测试集分类准确率多项式98.33%96.67%Gauss98.33%96.67%Sigmoid34.17%30.00%基于不同核函数SVM模型的分类