支持向量机算法以及Libsvm工具箱介绍

1、支持向量机算法以及Libsvm工具箱介绍,汇报人：ctj,y=a.x+b,Support vector machine,图1,SVM原理介绍,SVM优化算法,SVM常用工具箱,Libsvm函数,参数优化,一元回归方程,Y=w.X+b,长度为,间隔=w.w,Y=w.X+b,Support vector machine,图2,SVM原理介绍,SVM优化算法,SVM常用工具箱,Libsvm函数,参数优化,Support vector machine,SVM原理介绍,SVM优化算法,SVM常用工具箱,Libsvm函数,参数优化,样本数据集为线性时，f(x)可以表示为： 求解以下二次优化问题，得到向量w

2、 允许误差存在，引入松弛变量 , ，得到以下问题 其中C为对估计误差大于 的样本数据的惩罚因子。,SVM原理介绍,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,引入Lagrange函数： 其中 ,为Lagrange乘子，满足： 由此得到该问题的KKT条件。,SVM原理介绍,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,KKT条件:,SVM原理介绍,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,由KKT条件将Lagrange函数转换成对偶规划问题: 通过求解该对偶问题求解 (1) (2) 由KKT条件的 ，然后求出b 所以最终表达式变成,SVM原理

3、介绍,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,非线性回归函数估计决策函数：,多项式核函数：,径项基核函数：,Sogmiod核函数：,SVM优化算法,Libsvm工具箱,Libsvm函数,参数优化,SVM原理介绍,LIBSVM,LIBSVM是台湾大学林智仁(Lin Chih-Jen)副教授等开发设计的一个简单、易于使用和快速有效的SVM模式识别与回归的软件包，他不但提供了编译好的可在Windows系列系统的执行文件，还提供了源代码，方便改进、修改以及在其它操作系统上应用；该软件对SVM所涉及的参数调节相对比较少，提供了很多的默认参数，利用这些默认参数可以解决很多问题；并提供

4、了交互检验(Cross Validation)的功能。该软件包可在.tw/cjlin/免费获得。该软件可以解决C-SVM、-SVM、-SVR和-SVR等问题，包括基于一对一算法的多类模式识别问题。,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,SVM原理介绍,Svmtrain（）函数,Svmtrain函数用于训练支持向量机模型，选择相关参数和训练样本就能够输出一个结构体model，model中包含模型表达式中全部参数。 model=svmtrain(Ytrain,Xtrain, -s 3 -t 1 -h 0 d 1 -c 0.1 p

5、2);,Svmpredict函数用于预测，将模型和预测样本输入就能够输出预测数据，以及预测精度。 T, accuracy, prob_estimates = svmpredict(Ytest,Xtest,model);,Svmpredict（）函数,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,SVM原理介绍,Model主要参数介绍,model = Parameters: 5x1 double nr_class: 2 totalSV: 328 rho: -3.2425 Label: ProbA: ProbB: nSV: sv_coef: 328x1 double SVs: 32

6、8x2 double,模型参数,支持向量,支持向量数目,支持向量系数,-b,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,SVM原理介绍,二折法,将原始数据集DataSet均分为两份：一份作为训练集，即trainingSet，一份作为测试集，即testingSet，然后用训练集去做训练，用测试集去验证；之后再将训练集作为测试集，测试集作为训练集进行迭代一次，将两次所得的误差经行处理作为总体数据的预测误差。（注：这里强调一点，就是数据集一定要均分为两份，理由是：作为训练集，数据量一定要不小于测试集，所以在迭代的过程中，使得数据不出现错误情况，必须均分。）,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,SVM原理介绍,K折法,将原始数据集DataSet均分为N份：K份作为训练集，即testingSet，其余N-K作为测试集，即trainingSet，然后用训练集去做训练，用测试集去验证；之后再分别将训练集作为测试集，测试集作为训练集进行迭代一次，将K次所得的误差经行处理作为总体数据的预测误差。,SVM优化算法,SVM工具箱介绍,Libsvm函数,参数优化,SVM原理介绍,留一法,将原始数据集Data