支持向量机及其在小样本分类和回归中的应用

1、支持向量机及其在小样本分类和回归中的应用 zuoshengJune 5, 2007 1主要内容SVM的理论基础SVM理论SVM算法优化SVM逼近效果模拟SVM算法改进2SVM的理论基础传统的统计模式识别方法只有在样本趋向无穷大时，其性能才有理论的保证。 Vladimir N.Vapnik等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，在90年代形成了统计学习理论。统计学习理论（STL）研究有限样本情况下的机器学习问题。SVM的理论基础正是统计学习理论。Vapnik 提出的支持向量机（Support Vector Machine, SVM）是一种基于结构风险最小化准则的学习方法，

2、其推广能力明显优于一些传统的学习方法。3SVM理论训练点：最优分类面：比如训练点如图所示：这样可以得到一个两个边界分类直线（分类面）和一个最优分类线（分类面）,两条边界直线的距离为 其中： 是输入指标向量， 是输出指标4最优化问题和判别面这样可以得到一个最大间隔思想：判别面：由 得到决策函数 如右图所示：5广义最优分类面为了能够有更好的分类效果，引入松弛变量 使约束条件为：优化问题：转换为二次优化问题： Lagrange方程：6广义最优面的求解修正目标为对偶函数为：对应KKT条件：确定最优解：决策函数：7支持向量由上式：求得的 中的每一个分量 与一个训练点对应，而分划超平面仅依赖与 不为零的训

3、练点 ，而与对应于 为零的训练点无关，我们称不为零的训练点的输入为支持向量（SV），而机的意思取之机器学习理论，指算法。以上的理论主要是讨论的线性可分的情况，下面本文介绍非线性可分的情况，其主要思想是核函数的应用。8非线性最优分类面我们用非线形变换 来代替 ，其中 为核函数。则有对偶问题转换为：9支持向量机在回归中的理论 函数逼近问题，即是存在一个未知函数 ： 要求函数 ,使得函数和函数之间的差距为： 由于函数 的未知，我们只能依靠采集得到的样本 来求取 惩罚函数采用的是 -不灵敏区域 ，定义为： 10因此用于函数逼近的支持向量机表示为：转化为二次规划问题，建立Lagrange方程：11通过上

4、式得到对偶优化问题： 通过求解可以得到通过求解发现在 -不灵敏区域外的点的对应 不为零，而区域内的点的对应 为零。12非线性的函数逼近同样用非线性变换 ，将输入空间映射成高维特征空间。引入核函数，变换后的最优二次规划变换为 ： 13SVM理论的的优势支持向量机是专门针对有限样本情况的，其目标是得到现有样本信息下的最优解而不仅仅是样本数趋于无穷大时的最优值。 由于SVM 的求解最后转化成凸二次规划问题的求解，因此SVM 的解是全局唯一的最优解.SVM把计算量集中到输入空间，避免了维数灾难. 14支持向量机的优化分类支持向量机的优化： 设参数 ，核矩阵表示为 ， 则二次规划为： 其中： ， ， 1

5、5支持向量机的优化回归支持向量机的优化 设参数 ，其中 ， 。 二次规划表示为： 其中： ， ，16实际效果模拟对于函数逼近的情况，本文分为两个情况，即在非噪声和噪声情况下的模拟效果，本文采用的核函数是高斯核函数。本文先模拟非噪声情况模拟： 设函数 ，采用的样本值为： ， 取 本文在 情况下模拟，本文以101，51个样本进行模拟。 下面是101样本点的模拟： 171851个样本点的模拟：19噪声情况下函数逼近模拟采用上一个函数条件，随机的加入噪声，即 对101个样本点的模拟效果如下：2051个样本点的模拟：21通过上面的访真效果模拟，可以观察到当样本数在较小或很小的时候，仍可以达到非常好的效果;证明了SVM具备了很好的小样本学习能力，同时也有很强的抗干扰能力,而也这些正是传统算法无法很好解决的。 22支持向量机的改进 SVM算法在很多的实际问题的应用中得到了验证，但是该算法在上存在一些问题，包括算法计算速度慢、算法复杂而难以实现以及检测阶段运算量大等等。现在人们对这个问题提出了很多的解决办法，其主要思想是循环迭代：将原问题分解成为若干子问题，按照某种