支持向量机SVM

1、支持向量机，jyzw_zw 2010-7-13，主要内容，1 .支持向量机的理论基础统计学习理论，2 .支持向量机的基本思想，3 .支持向量机有问题和研究展望，1 .支持向量机的理论基础s :输出与指定的输入x相对应的y的训练器LM :学习机器，从给定的函数集中选择与训练器最接近的函数。 机器学习的目的是通过有限的观测数据(xi，yi )估计输入和输出的函数关系，具有一定预测推进能力的传统机器学习理论基础统计学缺点：统计学研究是样本数变为无限大时的渐近理论问题：样本有限(小样本) 统计学习理论建立于最适合小样本统计估计和预测学习的理论V.Vapnik六，七十年代，在九十年代建立了支持向量机(S

2、VM )、统计学习理论(SLT )的问题是根据n个独立的同分布的观测样本，在一组函数f(x，w)中三种机器学习(1)模式识别问题： y= 0，1 (2)回归估计问题(函数近似):y输出是实数(3)密度估计问题，样本有限，所以使用经验风险代替期待风险的经验风险最小化(ERM )标准，经验风险最小化吗？ 问题是，实际上，训练误差小并不一定能得到好的预测效果。 在一些情况下，训练误差小时，推进能力下降，即现实风险增加，这是因为，如果存在过学习问题、推进性的边界、信赖范围、l :样本数h:VC维、VC维，则通过函数集中的函数，可以将h个样本分成所有的形式VC维是不适用于能分散的最大样本数VC维的计算方

3、法。 特别是n维实空间线性函数VC维是N 1，结构风险最小化(SRM )原则在函数集中折中经验风险和置信范围，取实际风险的最小。 支持向量机(SVM )是这个思想的具体表现！ 二、支持向量机的基本思想，支持向量机的基本思想，最大间隔低的VC维的高推进能力核函数，解决了低维线性的不可分割问题，线性问题，最佳分类超平面，分类超平面：决定函数：间隔：几何间隔：最大间隔问题：间隔固定为1时，求最小最优化问题：问题解决： (Lagrange乘法)对偶问题：元问题最佳解：决定函数：支持向量：只与最接近超平面的采样点相关联(H1和H2面上的点等)这些输入向量称为支持向量，线性不可分情况核函数的导入， 低维不

4、可分问题高维并不一定是不可分的简单例子，二维平面中的分类曲线是椭圆(线性不可分)，二维到三维的映射：三维空间中的线性可分类面：利用支持向量机求决定函数，的内积计算：被称为核函数的高维空间中的内积计算在高维空间中支持向量机而得到的决定函数可以改写如下：对线性不可分割的样本进行从低维到高维的映射，在高维空间中被线性划分，在高维空间中采用最大间隔的基准得到决定函数，为了巧妙地选择核函数，用决定函数将内积优点：内核函数的特性只计算低维空间的内积，不需要计算高维空间的内积，所以计算量与样本维无关，只与样本数有关。常用核函数：多项式核：放射状核： Sigmoid核： Mercer核：满足Mercer条件的

5、对称函数，所有核函数都满足Mercer条件，支持向量机的优势，坚实的理论基础将结构风险最小化，克服了传统方法的过度学习和局部最小问题， 采用具有强泛化能力的核函数法，在映射高维空间时不增加计算复杂性，克服维灾害，支持向量机中存在的问题和研究展望，SVM中存在的问题，样本数增多时，训练速度慢的SVM解决了两个分类问题改进多分类问题需要选择内核函数：没有统一的指导标准，没有研究展望，对大样本进行算法优化，加快训练速度的多分类问题：一对多，一对一，决策树支持向量机本身的改进，如、 数据集的偏差问题(unbalanced )，例如现有的最小二乘支持向量机，利用核思想，将线性算法的非线性核化支持向量机及其改进算法应用于其他领域，考虑核函数选择问题： (1)多个核加权的组合能否通过反馈机制或迭代方式动态选择权重值(2)能否根据mercer条件构建其他核函数，核函数的各种运算性质(3)Mercer