支持向量基-课件

基于支持向量机的模式识别 一 核函数的简介二 算例研究三 支持向量机的优点四 SVM的缺点 核函数的简介 在SVM中低维空间向量集通常难于划分 解决的方法是将它们映射到高维空间 但这个办法带来的困难就是计算复杂度的增加 而核函数正好巧妙地解决了这个问题 也就是说 只要选用适当的核函数 就可以得到高维空间的分类函数 在SVM理论中 采用不同的核函数将导致不同的SVM算法 将低维的输入空间数据通过非线性映射函数映射到高维属性空间 将分类问题转化到属性空间进行 可以证明 如果选用适当的映射函数 输入空间线性不可分问题在属性空间将转化为线性可分问题 核函数映射输入空间特征空间 这种非线性映射函数被称之为核函数 KernelFunction 从理论上讲 满足Mercer条件的对称函数 都可以作为核函数 目前使用较多的核函数有4种 1 线性函数 2 多项式核函数 3 多层感知器核函数 4 RBF核函数 具体应用SVM的步骤为 选择适当的核函数 求解优化方程 获得支持向量及相应的Lagrange算子 写出最优分界面方程 算例研究 对于线性可分情况 设已知两类样本 和解 经学习得到最优分类曲线 有式子可以得出如下图形 图1线性可分时的最优分类曲线从图1中看出 分类线不仅准确地将两类样本分开 还保证了间隔最大 对于线性不可分情况 设已知两类样本 和从样本点的分布看 选择二阶多项式核函数较为合理 此时 分类函数为 任选一支持向量 由 由得 经计算 本算例的最优分类曲线为 其图形如下图2所示 图2线性不可分时的最优分类曲线图3BP网络实现的分类曲线与BP神经网络 网络结构2 4 1 实现的分类面 图3 相比较 SVM所构造的分类面更简单且具有合理性 并不受权值初值和网络结构的影响 因而具有更好的稳定性 支持向量机方法的优点 支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的 根据有限的样本信息在模型的复杂性 即对特定训练样本的学习精度 Accuracy 和学习能力 即无错误地识别任意样本的能力 之间寻求最佳折衷 以期获得最好的推广能力 GeneralizatinAbility 支持向量机方法的几个主要优点有 SVM的缺点 SVM在分类 函数模拟等领域中的作用越来越明显 统计学习理论虽然已经提出多年 但从他发展到完善也就是几年时间 还有很多缺欠 因而在此基础上发展的SVM必然存在很多问题 主要有以下三点 支持向量机的研究现已成为机器学习领域中的研究热点 然而 由于该方向的研究时间较短 还存在一些问题 诸如核函数的映射空间 优化规模等 从目前的情况看 可行的研究方向包括针对某一具体对象的应用 如 故障诊断 说话人识别等 先验知识的引入 前面介绍的SVM设计中 基本上没有考虑研究对象的特点 这显然是一种资源上的浪费 噪声信号的处理 由SVM实现的 分类面仅由支持向量决定 因此 造成对支持向量的过分依赖 如果某一些支持向量为噪声 其分类效果将急剧下降 样本的初选 由于矩阵元素的个数与样本的数量的平方成正比 因此过多的样