支持向量机SVM06753

1、支持向量机SVM主要内容主要内容 1.SVM简介 2.SVM相关概念解释 3.SVM原理 3.1线性可分 3.2线性不可分支持向量机简介支持向量机简介 支持向量机(Support Vector Machine)是Vapnik等人在1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力 。SVM相关概念解释 VC维维：对于一个指示函数（即只有0和1两

2、种取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目。圈代表0；点代表1；SVM相关概念解释 经验风险：使用分类器在样本数据上的分类的结果与真实结果（因为样本是已经标注过的数据，是准确的数据）之间的差值。 根据统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。而基于经验风险最小化准则的学习方法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，因此其推广能力较差。 缺点：缺点： 1.经验风险主要反映的是样本数据与真实结果的差距，而样本数据在实际项目中只是总体的一小部分；

3、 2.过度地强调经验风险最小化容易造成过学习问题。SVM相关概念解释过学习问题推广能力:将学习机器(即预测函数,或称学习函数、学习模型)对未来输出进行正确预测的能力。underfittingGood fitoverfitting选择了一个足够复杂的分类函数，能够精确的记住每一个样本，但对样本之外的数据可能一律分类错误。SVM相关概念解释 结构风险最小化即SRM准则:统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。 一是经验风险经验风险，代表了分类器在给定样本上

4、的误差； 二是置信风险置信风险，代表了我们在多大程度上可以信任分类器在未知样本上分类的结果。 置信风险与两个量有关，一是样本数量样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，此时置信风险越小；二是分类函数的分类函数的VCVC维维( (分类函数的复杂度) )，显然VC维越大，推广能力越差，置信风险会变大.SVM相关概念解释SVM原理数据线性可分 2个类的问题 设两类问题训练样本集为(X1,y1), (X2,y2),(Xn,yn),其中XiRn, yi=1,-1, i=1,n，这里线性可分就是指，存在着超平面（Hyper-plane）直线f(x) = wX+ b，使得训练样本中的一

5、类输入和另一类输入分别位于该超平面的两侧.这种线性分类函数在一维空间里就是一个点，在二维空间里就是一条直线，三维空间里就是一个平面，可以如此想象下去，如果不关注空间的维数，这种线性函数还有一个统一的名称超平面（Hyper Plane）！最优超平面就是分割的间隙越大越好，把两个类别的点分得越开越好。具有最大边缘超平面如何求最优超平面 分离超平面可以记作： W X + b = 0 其中，W是权重向量，即W =w1， w2 ，.， wn ，n是属性数，b是标量，通常称做偏倚。 训练组是二维的，如X =（ x1， x2），其中 x1， x2 分别是X的属性A、B的值。我们将b看作附加的权重w0 ，则将

6、分离超平面改写成 b + w1 x1 + w2 x2 = 0 这样，位于分离超平面下方的点满足 b + w1 x1 + w2 x2 0 调整权重使得定义边缘侧面的超平面记为 H1 ：b+ w1 x1 + w2 x2 1 ， 对于所有yi = +1 H2 ：b+ w1 x1 + w2 x2 -1 ， 对于所有yi = -1两个边界平面的距离:m=2/|w|如何求最优超平面211( )()22()1,1,.,iiwww wyw xbil 求解最优超平面问题可以表示成约束优化问题 Minimize Subject to 定义Lagrange函数liiiibwxywbwL1221) 1)(),(现在，

7、原问题转化为下面这样一个优化问题求解w和b，使得对于所有的样本(xi,yi)，能有m=2/|w|最大，其中满足当yi=1时，wTxi+b1，当yi=-1时，wTxi+b-1,所以有： yi (wTxi+b) 1如何求最优超平面0Lw0Lb1Niiiiwy x10Niiiy 分别对w和b求偏导，并令其为0，可得 这实际上是寻找极值条件下L函数满足的等式约束1Niiiiwy x10Niiiy11( ),2NNNiijijijiijWy yx x 将得到的约束条件 带入原L函数，得到: 该式称为L函数的对偶式，由对偶理论可知，最小化L式等于最大化以L式的约束的拉格朗日乘子为变量的上式x1 =(0,

8、0), y1 = +1x2 =(1, 0), y2 = +1x3 =(2, 0), y3 = -1x4 =(0, 2), y4 = -111( ),2NNNiijijijiijWy yx x调用Matlab中的二次规划程序，求得1, 2, 3, 4的值，进而求得w和b的值。123412013 / 41 / 41120312002144231113,02224()3220wbgxxx SVM原理数据非线性可分 对于无法直接构造分类超平面的样本集，我们需要采取某种方法使其能够被某个“平面”划分 基本思想是通过选择非线性映射(x)将x映射到高维特征空间Z，在Z中构造最优分类超平面设训练集 ，其中假定可以用 平面上的二次曲线来分划： ( ,),1,iiTx yil 12( , ) ,1, 1Tiiiixxxy12( , )xx22212132412516 2 2 2 0wwxwxwxxwxwxb现考虑把2维空间 映射到6维空间的变换12( )Txxx,上式可将2维空间上二次曲线映射为6维空间上的一个超平面：112233445566 2 2 2 0wXwXwXwXwXwXb 可见，只要利用变换，把 x 所在的2维空间的两类输入点映射到 x 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划