《支持向量机技术》PPT课件

1、第二讲 支持向量机技术,二分类问题 支持向量机的模型 支持向量机的特色 支持向量机的求解 支持向量机的变形,二分类问题,二分类问题：根据给定的训练集， 其中 要求寻找 上的决策函数 以便能用决策函数 “较好地”推断任一模式相对应的 值。,支持向量机模型,线性可分情形 线性近似可分情形 线性不可分情形 小结,线性可分情形：最大间隔原理,近似线性可分情形,C代表了经验风险与置信风险的折中,线性不可分情形（1）,线性不可分情形（2）,模型（3）的求解，必须知道非线性映射的具体形式，但实际工作上，给出的具体形式是非常困难的！,线性不可分情形（3）对偶模型,对偶模型,原问题的解与对偶问题的解之间的关系：

2、,分类决策函数：,这里K(xi,xj)=(xi),(xj)是样本xi,xj在特征空间中的内积，称为输入空间X上的核函数。,支持向量机的建模小结,统一归结到C-SVC模型：,当C=, K(xi,xj)=(xi,xj)时对应线性可分情形；当0C, K(xi,xj)=(xi,xj)时对应近似线性可分情形。,支持向量机的特色,用间隔定量地定义了置信风险：间隔越大，置信风险越小，间隔越小，置信风险越大 用参数C实现了经验风险与置信风险的折中 最优分类超平面只由少数支持向量决定，问题具有稀疏性 模型为凸二次规划模型，没有陷入局部最优解的问题，任何局部最优解都是全局最优解 通过使用核方法，具备了强大的非线性

3、处理能力,支持向量,支持向量：界内支持向量：界上支持向量：,注：问题具有稀疏性是指决策时可以不管非支持向量的样本，而仅用到少数支持向量样本。注意训练时还是用到了所有的样本。,支持向量机模型的求解,任何求解凸二次规划问题的算法； 大规模问题时：序贯最小最优化算法(Sequential Minimal Optimization,SMO),SMO算法,C-SVC模型当Lagrange乘子只有2个时，可以求得它的解析解。 每次选择两个训练点，求出它的解析解；训练点的选择标准是使得目标函数值下降得尽可能的多。 迭代的停止准则为所有训练点满足KKT条件。,二个Lagrange乘子变量的C-SVC,KKT条

4、件,支持向量机的变形,基于平分最近点原理的模型 L2-SVC -支持向量机（-SVC）,平分最近点原理,基于平分最近点原理的模型,特点： 与C-SVC基本上是等价的； 给出了比C-SVC更为直观的几何意义； 给出了比C-SVC更好的样本线性可分性描述； D的选取不如C方便,L2-SVC,模型（8）的对偶模型为：,-SVC,-SVC的模型 -SVC的性质,-SVC模型（1）,w给定时,越大，间隔就越大，但是间隔内的支持向量也越多，即经验风险 也越大，所以当w给定时，我们也可以设置一个参数代表经验风险与置信风险的折中，或者更准确地说，这个参数可以控制间隔内的支持向量的个数,-SVC模型（2）,对偶模型,对偶模型,-SVC性质,间隔错误样本点 参数v的意义 -SVC与C-SVC的关系 -SVC与平分最近点原理的关系,间隔错误样本点：,参数v的意义,若 ，则V是间隔错误样本的个数占总样本个数比率的一个上界，同时也是支持向量的个数占总样本个数比率的一个下界，即,C-SVC与-SVC的关系(1),C-SVC与-SVC的关系(2),的图像,-SVC与平分最近点原理的关系(1),V=2的v-svc模型,的对偶模型为：,与平分最近点原理的模型完全一样,-SVC与平分最近点原理的关系(2),V-SVC通过变量变换： 得到一个仅比例发生变化的模型，而它的对偶模型（称为