支持向量机实验模型研究与设计课件

支持向量机实验模型研究与设计班级：计算机科学与技术7班姓名：苏涵沐指导老师：钟清流支持向量机实验模型研究与设计班级：计算机科学与技术7班1SVM的描述SVM（SupportVectorMachine）是一种基于统计学习理论的模式识别方法，它是由Boser，Guyon，Vapnik在COLT-92上首次提出，从此迅速的发展起来，现在已经在许多领域（生物信息学，文本和手写识别等）都取得了成功的应用。COLT(ComputationalLearningTheory)SVM的描述SVM（SupportVectorMachi2SVM的目标和解决方法目标：找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。解决方法：构造一个在约束条件下的优化问题，具体的说是一个受限二次规划问题(constrainedquadraticprograming)，求解该问题，得到分类器。SVM的目标和解决方法目标：找到一个超平面，使得它能够尽可能3线性分类已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)求解根据，求得w,b，得到最优分类面wx-b=0线性分类已知：n个观测样本，(x1,y1),(x2,y2)4线性最优分类面在线性可分的情况下的最优分类超平面，分类间隔（Margine）最大线性最优分类面在线性可分的情况下的最优分类超平面，分类间隔（5非线性分类非线性可分的数据样本在高维空间有可能转化为线性可分。在训练问题中，涉及到训练样本的数据计算只有两个样本向量点积的形式使用函数 ,将所有样本点映射到高维空间，则新的样本集为设函数非线性分类非线性可分的数据样本在高维空间有可能转化为线性可分6非线性分类已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)求解最优非线性分类面为非线性分类已知：n个观测样本，(x1,y1),(x2,y27核函数线性内核

多项式内核径向基函数内核核函数线性内核8训练算法序列最小优化（SMO）算法：它优点在于，优化问题只是两个拉格朗日乘子，它用分析的方法就可以解出，从而避免了复杂的数值解法

。

训练算法序列最小优化（SMO）算法：它优点在9课题的总体实现本课题基于Matlab开发平台，研究实现了三种训练算法：序列最小优化（SMO）算法。并使用线性内核、多项式内核、径向基函数内核三种核函数，实现了一个基于SVM的机器学习模型。课题的总体实现本课题基于Matlab开发平10SVM模型的功能用户可以从SMO训练算法和三种核函数中选择恰当的训练算法和核函数，正确地将两类数据集进行分类，绘制决策面，将分类结果可视化，并从支持向量的个数、分类间隔的大小和分类出错率三个方面来分析分类结果。模型中使用的数据集可以是装载已有的数据，也可以手动创建。SVM模型的功能用户可以从SMO训练算法和三种核函数中选择恰11设计创新本课题设计的创新部分在于实现了手动创建数据集模块，用户可以通过点击鼠标创建需要的两类数据集，模型可以对创建的两类数据集进行分类。设计创新本课题设计的创新部分在于实现了手动创建数据集模块，用12模型的设计与实现首先，通过Matlab图形用户界面开发环境GUIDE，开发SVM.fig和SVM.m文件，把模型的各个功能模块与主界面上的按钮和菜单链接起来，从而实现模型整体的功能。其次，在Matlab编辑/调试器界面下编写、存储和运行相应的应用程序，即M文件，实现各个功能模块。模型的设计与实现首先，通过Matlab图形用户界面开发环境G13主要函数框架

setpath.mmarker_type.mppatterns.mmarker_color.mSVM.mpsvm.mc2s.mcheck2ddata.mppatterns()c2s.mdemo_svm.msmo.msvmclass.mkernelproj.mcreatedata.msvm_train()clrchild()setaxis()主要函数框架setpath.m14运行结果主界面

运行结果主界面15

支持向量机模型界面

支持向量机模型界面16

创建数据模块

创建数据模块17

线性分类结果

线性分类结果18

非线性分类结果

非线性分类结果19对今后的展望1、在现有的基础上，将研究内容扩展到对多类数据集进行分类的多类问题。2、在本课题实现的支持矢量机机器学习模型中，从支持矢量的数目、分类间隔、出错率等几个方面对分类器的性能进行了比较分析。在此基础上，可以更规范地从预测准确度、计算复杂度、模式的简洁度三个方面对分类方法的好坏进行分析。3、本课题能对实际手动创建的数据及已有的数据进行分类，在更深入研究后，可以应用到实际的系统中。对今后的展望1、在现有的基础上，将研究内容扩展到对多类数据集20

谢谢大家！

21支持向量机实验模型研究与设计班级：计算机科学与技术7班姓名：苏涵沐指导老师：钟清流支持向量机实验模型研究与设计班级：计算机科学与技术7班22SVM的描述SVM（SupportVectorMachine）是一种基于统计学习理论的模式识别方法，它是由Boser，Guyon，Vapnik在COLT-92上首次提出，从此迅速的发展起来，现在已经在许多领域（生物信息学，文本和手写识别等）都取得了成功的应用。COLT(ComputationalLearningTheory)SVM的描述SVM（SupportVectorMachi23SVM的目标和解决方法目标：找到一个超平面，使得它能够尽可能多的将两类数据点正确的分开，同时使分开的两类数据点距离分类面最远。解决方法：构造一个在约束条件下的优化问题，具体的说是一个受限二次规划问题(constrainedquadraticprograming)，求解该问题，得到分类器。SVM的目标和解决方法目标：找到一个超平面，使得它能够尽可能24线性分类已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)求解根据，求得w,b，得到最优分类面wx-b=0线性分类已知：n个观测样本，(x1,y1),(x2,y2)25线性最优分类面在线性可分的情况下的最优分类超平面，分类间隔（Margine）最大线性最优分类面在线性可分的情况下的最优分类超平面，分类间隔（26非线性分类非线性可分的数据样本在高维空间有可能转化为线性可分。在训练问题中，涉及到训练样本的数据计算只有两个样本向量点积的形式使用函数 ,将所有样本点映射到高维空间，则新的样本集为设函数非线性分类非线性可分的数据样本在高维空间有可能转化为线性可分27非线性分类已知：n个观测样本，(x1,y1),(x2,y2)……(xn,yn)求解最优非线性分类面为非线性分类已知：n个观测样本，(x1,y1),(x2,y228核函数线性内核

多项式内核径向基函数内核核函数线性内核29训练算法序列最小优化（SMO）算法：它优点在于，优化问题只是两个拉格朗日乘子，它用分析的方法就可以解出，从而避免了复杂的数值解法

。

训练算法序列最小优化（SMO）算法：它优点在30课题的总体实现本课题基于Matlab开发平台，研究实现了三种训练算法：序列最小优化（SMO）算法。并使用线性内核、多项式内核、径向基函数内核三种核函数，实现了一个基于SVM的机器学习模型。课题的总体实现本课题基于Matlab开发平31SVM模型的功能用户可以从SMO训练算法和三种核函数中选择恰当的训练算法和核函数，正确地将两类数据集进行分类，绘制决策面，将分类结果可视化，并从支持向量的个数、分类间隔的大小和分类出错率三个方面来分析分类结果。模型中使用的数据集可以是装载已有的数据，也可以手动创建。SVM模型的功能用户可以从SMO训练算法和三种核函数中选择恰32设计创新本课题设计的创新部分在于实现了手动创建数据集模块，用户可以通过点击鼠标创建需要的两类数据集，模型可以对创建的两类数据集进行分类。设计创新本课题设计的创新部分在于实现了手动创建数据集模块，用33模型的设计与实现首先，通过Matlab图形用户界面开发环境GUIDE，开发SVM.fig和SVM.m文件，把模型的各个功能模块与主界面上的按钮和菜单链接起来，从而实现模型整体的功能。其次，在Matlab编辑/调试器界面下编写、存储和运行相应的应用程序，即M文件，实现各个功能模块。模型的设计与实现首先，通过Matlab图形用户界面开发环境G34主要函数框架

setpath.mmarker_type.mppatterns.mmarker_color.mSVM.mpsvm.mc2s.mcheck2ddata.mppatterns()c2s.mdemo_svm.msmo.msvmclass.mkernelproj.mcreatedata.msvm_train()clrchild()setaxis()主要函数框架setpath.m35运行结果主界面

运行结果主界面36

支持向量机模型界面

支持向量机模型界面37

创建数据模块

创建数据模块38

线性分类结果

线性分类结果39

非线性分类结果