支持向量机及应用简介.ppt

支持向量机及应用简介 李承军水电仿真中心07 4 23 机器学习的基本问题和方法 从给定的函数集 中选择出能够最好地逼近系统响应的函数 有指导机器学习的目的是根据给定的训练样本 求出对某系统输入输出之间依赖关系的估计 使它能够对未知输入作出尽可能准确的预测 可以一般地表示为 变量y与x存在一定的未知依赖关系 即遵循某一未知的联合概率F x y x和y之间的确定性关系可以看作是其特例 有指导机器学习问题就是根据N个独立同分布观测样本在一组函数 f x w 中求一个最优的函数f x w0 对依赖关系进行估计 使期望风险最小 支持向量机 SVM 支持向量机 SurpportVectorMachines 简称SVM 是统计学习理论中最年轻的内容 也是最实用的部分 其核心内容是在1995年左右 由Vapnik和Chervonenkis提出的 目前仍处在不断发展阶段 支持向量分类 Classification 线性分类器 分类面 点x0到平面 b 0的距离为 最优分类面 最大间隔 margin 分类面方程为支撑面之间的距离叫做分类间隔 线性可分的最优分类模型 作广义Lagrange乘子函数 由KKT条件 有 非支持向量的系数为0 b 也由支持向量求得 事实上 将代入目标函数 由对偶理论知 系数可由如下二次规划问题解得给定x的分类结果特点 稳定性 鲁棒性 稀疏性等 最大间距 由于对则 线性不可分 软间隔 线性不可分的情况 引入松弛变量 不可分的解方程 subjectto 作Lagrange函数 最优性条件 由KKT条件 若若 max 系数的解方程 C不同带来的影响 支持向量回归 Regression 回归问题 线性回归 给定训练集 xi yi 找个线性函数f x wTx b 来拟合数据最小二乘法 LeastSquare 其中为回归误差 记 则目标函数可写为解为 最小二乘解的不足 数值稳定性问题 增加新数据对解都有影响 为使模型尽量简单需进行假设检验 脊回归 RidgeRegression 数值稳定性较好 还可写为 敏感损失回归 敏感损失函数 InsensitiveLoss 损失函数比较 模型 线性 损失 作Lagrange乘子函数 KKT条件 代入模型得系数满足的二次规划变量代换 回归方程 用二次 损失函数时 模型为 KKT条件 代入模型得系数满足的二次规划变量代换 回归方程 非线性SVM与核 Kernel 函数 非线性变换 基本思想 选择非线性映射 X 将x映射到高维特征空间Z 在Z中构造最优超平面 对分类问题系数可由二次规划对回归问题求系数 回归方程 这种变换可能比较复杂 因此这种思路在一般情况下不易实现 但是注意到 在上面的对偶问题中 不论是寻优函数还是分类函数都只涉及训练样本之间的内积运算 这样 在高维空间实际上只需进行内积运算 而这种内积运算是可以用原空间中的函数实现的 我们甚至没有必要知道变换的形式 我们看到 通过把原问题转化为对偶问题 计算的复杂度不再取决于空间维数 而是取决于样本数 尤其是样本中的支持向量数 这些特征使有效地对付高维问题成为可能 定义核函数 对分类问题系数可由二次规划对回归问题求系数 回归方程 核函数矩阵K 核的要求 Mercer stheorem 任何半正定的对称函数都可以作为一个核 即对任意的 常用的核函数