SVM_支持向量机基本原理及应用.ppt

支持向量机(supportvectormachine，SVM )、wangjminnov 18，2005、Outline、SVM的理论基础线性判别函数和判别面最优分类面支持向量机SVM的研究与应用、SVM的理论基础、传统统统计模式识别方法以及样本统计学习理论(STL )研究有限样本时的机器学习问题。 SVM的理论基础是统计学习理论。 现有的统计模式识别方法强调了在进行机器学习时，使经验风险最小化。 最小化单纯的经验风险会产生“过度学习问题”，推进能力低下。 推进能力是指：学习机器(即预测函数或学习函数、学习模型)并正确地预测将来的输出的能力。 过学习问题“过学习问题”:在某些情况下，训练误差过小反而会导致推进能力下降。 举例来说，对于一组训练样本(x，y )，x分布于实数范围内，且y取介于 0，1 之间的值。 不管这些样本用什么模型制作，我们总是可以适配y=sin(w*x )，训练误差为0.SVM，根据统计学习理论，学习设备的实际风险包括经验风险值和可靠范围值两部分。 基于经验风险最小化标准的学习方法只强调训练样本的经验风险最小误差，不最小化信任范围值，因此普及能力差。 Vapnik提出的支持向量机(SupportVectorMachine，SVM )以训练误差为优化问题的约束条件，以信任范围值最小化为优化目标，即SVM是基于结构风险最小化标准的学习方法，其推动能力明显优于传统学习方法。 形成时期为1992年至1995年。 由于SVM的求解最后成为二次规划问题的求解，SVM的解是整体唯一的最优解SVM，在解决小样本、非线性和高维模式识别问题方面显示了许多独特的优势， 能够应用于函数拟合等其他机器学习问题的Joachims主张最近使用SVM在Reuters-21578进行文本分类的其他方法比现在发表的方法好，Outline、SVM的理论基础线性判别函数和判别面最佳分类面支持向量机SVM的研究和应用， 如果对于线性判别函数和判别面、一个线性判别函数(discriminantfunction )是由x的各分量的线性组合构成的函数的两个情况：的两个问题的决定规则是g(x)0，则x属于C1，如果是g(x)0，则判定为x属于C1的x点位于超平面的负侧确定x属于c-1，而g(x)0可确定x属于c-2，并且如果g(x)=0，则x可被任意划分为某个类或拒绝确定。 此外，广义线性确定函数、广义线性确定函数、设计线性分类器、例如Fisher线性确定方法，解决了主要将d维空间中的样本投影到直线上以形成一维空间，即将该维压缩成一维。 然而，良好分布在d维空间中的样本投影至一维空间之后，可能不能被混合和分割。 然而，通常，可以找到某个方向，并且样本的投影在该方向上的直线上可能最远离。 目的是降低维度，在低维度空间分割，大纲、SVM的理论基础线性判别函数和判别面最佳分类面支持向量机SVM的研究和应用，最佳分类面、SVM是从分为线性时的最佳分类面发展而来的，基本思想可以用图2的二维情况来说明。 在该图中，四边形点和圆形点表示两种采样，其中，h表示分类线，H1和H2分别是越过最靠近分类线的采样并且与分类线平行的直线，这些点之间的距离被称为分类间隔(margin )。 所谓最佳分类线，不仅要求分类线正确分为2种(训练错误率为0 )，而且要求分类间隔最大化并扩展到高维空间，最佳分类线成为最佳分类面。最佳分类面，如何求出最佳分类面，最佳分类面、Outline、SVM的理论基础线性判别函数和判别面最佳分类面支持向量机SVM的研究与应用，支持向量机，上节得到的最佳分类函数， 该公式仅包括分类对象样本与训练样本中的支持向量的内积运算，为了解决特征空间中的最佳线性分类问题，只需知道该空间中的内积运算即可。 对于非线性问题，可以通过非线性变换将其变换为某个高维空间中的线性问题，并在变换空间中求出最佳的分类面。 由于该变换可能很复杂，因此这种想法一般来说难以实现，支持核函数的选择，非线性映射是SVM方法的理论基础， SVM利用内核函数代替向高维空间的非线性映射.特征空间划分的最佳超平面是SVM的目标，最大化分类界限的思想是SVM方法的核心支持向量是SVM的训练结果，在SVM分类决策中起作用的是支持向量。 SVM是一种具有坚实理论基础的新样本学习方法。 概率测度和数学法则等几乎没有关系，所以和以往的统计方法不同。 本质上，避免了从归纳到演绎的传统过程，实现了从训练样本到预报样本的高效“传导推理”(transductiveinference )，大大简化了通常的分类和回归等问题。 SVM方法的特征，SVM的最终决定函数只由少数的支持向量决定。 计算复杂性取决于支撑向量的数目，而非样本空间的维度。 这在某种意义上回避了“维灾”。 少数支持向量决定最终结果，注定这不仅有助于抓住重要样本，而且能够去除大量冗馀样本，算法简单，而且具有更好的“鲁棒性”。 这种“鲁棒”特性主要出现在：中，添加和删除非支持向量样本对模型没有影响支持向量样本集具有一定鲁棒性一些成功的应用SVM方法对核的选择不敏感。 Outline、SVM的理论基础线性判别函数和判别面最优分类面支持向量机SVM的研究与应用、SVM的应用、近年来SVM方法已经在图像识别、信号处理和基因图像识别等方面取得了成功，显示了其优势。 SVM通过内核函数实现高维空间的非线性映射，因此本质上适于解决非线性分类、回归、密度函数估计等问题。 支持向量方法也为样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新的工具。 支持向量机的研究，支持向量机的研究主要集中于SVM本身性质的研究和支持向量机的应用研究的深度和广度。 利用SVM训练算法的传统标准二次型优化技术解决对偶问题，是SVM训练算法慢和受训练样本集合规模约束的主要原因。 目前提出了许多解决方法和改进算法，主要在如何处理大样本集训练问题、提高训练算法收敛速度等方面有所改进。 主要分别讨论了分解方法、修正最优化问题法、增量学习法、几何学方法等。 当SVM分类算法、SVM分类算法训练了SVM分类器之后，可以利用得到的支持向量来构建决策分类平面。 对于大规模的样本集合问题，如果通过SVM训练得到的支持向量数多的话，进行分类决定时的计算成本就是需要考虑的问题。 解决方案：重复集(reduced set ) SVM方法采用减少集代替支持向量集，减少集的向量不是支