支持向量机(svm)

1、支持向量机，支持向量机名称：xxx date :2016-1-9，目录，统计学习理论广义边界结构风险最小支持向量机基础，统计学习理论和支持向量机方法都是基于VC维理论和结构风险最小原理的统计学习理论。风险投资维度是统计学习理论的核心概念。模式识别方法中VC维的直观定义是：对于一个指标函数集，如果函数集中有H个样本可以按照2到H次幂的所有可能形式被函数分开，那么就说函数集可以分散H个样本，函数集的VC维是它可以分散的最大样本数。如果任意数量的数据样本可以被函数分散，那么函数集的VC维数是无限的。统计学习理论反映了函数集的学习能力。VC维度越大，学习机就越复杂。目前，对于任意函数集的VC维计算还没

2、有统一的理论，只有一些特殊函数集的VC维是已知的。例如，线性分类器和线性实函数在N维空间中的VC维是N 1。我们认为2D线性分类器的VC维是3，而不是4。也就是说，2D线性分类器可以分解集合大小为3的样本集，但是不能分解具有4个样本的集合。一般化边界，即经验风险和实际风险之间的关系，是一般化边界。经验风险和实际风险至少以概率1-满足以下关系，其中h是函数集的VC维，l是样本数。风险：和实际解之间的误差称为风险，即误差的累积称为风险经验风险：即训练误差、样本数据中的结果与实际结果之间的差异以及泛化的极限。注意：传统的机器学习方法以经验风险最小化为目标，导致许多分类函数在样本中100%正确，但在实

3、际分类中却不正确，泛化能力差。上述结论从理论上表明学习机的实际风险由两部分组成：一是经验风险(训练失误)；第二，信心风险。它可以简单地表示为：R(w)Remp(w) (L/h)和置信度风险：我们对数据样本结果的置信度与样本L的数量和VC H的另一个维度有关.表达式如下：(1/h)=广义界，表明学习机器的风险投资维数和置信区间会导致实际风险和经验风险之间可能存在较大差异。这就是为什么会有学习的现象。机器学习过程不仅要使经验风险最小化，而且要使风险向量维数尽可能小，以缩小置信区间，从而获得较小的实际风险，即对未来样本有较好的泛化能力。在此基础上，统计学习理论提出了解决这一问题的新策略，即首先将函数

4、集f(x，a)分解成一系列函数子集：S1 S2 S3 4。使每个子集按照VC维的大小排列，即h1=h2=h3=h4。这样，同一子集中的置信范围是相同的；在每个子集中寻找最小的经验风险和置信区间，并得到实际风险的最小值，称为结构风险最小化，即结构风险最小化准则。如下图所示，结构风险最小，统计学习的目标已经从经验风险最小化转变为经验风险和信心风险之和最小化，即结构风险最小。支持向量机(SVM)是在线性可分的情况下从最优分类面发展而来的，其基本思想可以用二维的例子来说明。分类超平面：(w.x) b=0决策函数：区间：几何区间：最大区间问题：当区间固定为1时，求最小w，这是支持向量机的基础。从上图中，

5、我们可以很容易地看到，优化的目标是最大化几何区间，并且注意到几何区间与w成反比，所以我们只需要找到最小的w，也就是说，对于这个目标函数，它可以被一个等价的目标函数所代替：支持向量机基础。为了对所有样本进行正确分类并具有分类区间，需要满足以下约束条件为了找到函数的最小值，W、B和I分别被微分并使之等于0，所以有：支持向量机基础。为了找到函数的最小值，将W、B分别进行微分，使之等于0，所以有：可以将上述寻找最优曲面的问题转化为对偶问题：支持向量机基础，支持向量机基础，这是一个具有唯一存在性的二次函数优化问题。如果a*是最优解，则有：其中样本不为零，即支持向量。是分类阈值，可以通过约束条件来确定。解

6、决上述问题后得到的最优分类函数是：支持向量机基础，引入核函数进行线性不可分性，低维不可分性问题，高维不可分性，支持向量机基础，一个简单的例子，二维平面上的分类曲线是椭圆(线性不可分性)，支持向量机基础，二维到三维的映射：三维空间中的线性可分分类面：支持向量机得到的决策函数是支持向量机的基础， 并且由支持向量机在高维空间中获得的决策函数可以重写如下：因此，获得了一般情况：对于线性可分的样本，进行低维到高维的映射以使它们在高维空间中线性可分，并且通过在高维空间中使用最大间隔准则获得决策函数。 由于核函数的巧妙选择，决策函数中的内积只需要用核来代替。优点：由于核函数的特点，只需要计算低维空间的内积，而不需要计算高维空间的内积，