实验四 支持向量机

1、实验四：支持向量机班级姓名学号指导老师一、实验目的了解基有关支持向量机的基本原理能够使用支持向量机的代码解决分类与回归问题了解图像分类的基本原理二、实验的硬件、软件平台硬件：计算机软件：操作系统win10应用软件：Java三、实验原理LIBSVM使用方法简介LibSVM是以源代码和可执行文件两种方式给出的。如果是Windows系列操作 系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类 系统，必须自己编译。LIBSVM 在给出源代码的同时还提供了 Windows操作系统下的可执行文件， 包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机模型对 数据

2、集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放 操作的 svmscale.exe。 它们都可以直接在DOS环境中使用。如果下载的包中只 有C+的源代码，则也可以自己在VC等软件上编译生成可执行文件。LIBSVM 使用的一般步骤是：按照LIBSVM软件包所要求的格式准备数据集；对数据进行简单的缩放操作；考虑选用RBF核函数；采用交叉验证选择最佳参数C与g ；采用最佳参数C与g对整个训练集进行训练获取支持向量机模型；利用获取的模型进行测试与预测。LIBSVM使用的数据格式1)训练数据和检验数据文件格式如下： : : .其中 是训练数据集的目标值，对于分类，它是标识某

3、类的整 数(支持多个类)；对于回归，是任意实数。 是以1开始的整数，可以 是不连续的；为实数，也就是我们常说的自变量。检验数据文件中的 label 只用于计算准确度或误差，如果它是未知的，只需用一个数填写这一栏， 也可以空着不填。在程序包中，还包括有一个训练数据实例：heart_scale,方便参考数据文件格 式以及练习使用软件。可以编写小程序，将自己常用的数据格式转换成这种格式2）Svmtrain 和 Svmpredict 的用法LIBSVM软件提供的各种功能都是DOS命令执行方式。我们主要 用到两个程序，svmtrain（训练建模）和svmpredict（使用已有的模型进行预测）， 下面分

4、别对这两个程序的使用方法、各参数的意义以及设置方法做一个简单介 绍：（1）Svmtrain 的用法：svmtrain options training_set_file model_fi leOptions：可用的选项即表示的涵义如下-s svm类型：SVM设置类型（默认0）0 - C-SVC-v-SVC-一类 SVM-e -SVR-v-SVR-t 核函数类型：核函数设置类型（默认2）0-线性：uv- 多项式：（r*uv + coef0）degree-RBF 函数：exp（-r|u-v2）- sigmoid: tanh（r*uv + coef0）-d degree:核函数中的degree设置（

5、默认3）-g 函数设置（默认1/ k）?r（gama）:核函数中的-r coef0：核函数中的coef0设置（默认0）-c cost：设置 C-SVC, -SVR 的参数（默认 1）?-SVR 和-SVR的参数（默认0.5）?-SVC, 类SVM和?-n nu：设置-SVR?-p e：设置的值（默认0.1）?中损失函数-m cachesize：设置cache内存大小，以MB为单位（默认40）-e :设置允许的终止判据（默认0.001）?-h shrinking:是否使用启发式，0或1（默认1）-wi C（C-SVC中的C）（默认1）?weight:设置第几类的参数C为weight-v n: n

6、-fold交互检验模式其中-g选项中的k是指输入数据中的属性数option -v 随机地将数据剖 分为n部分并计算交互检验准确度和均方根误差。以上这些参数设置可以按照 SVM的类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM 类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确， 参数将采用默认值。training_set_file是要进行训练的数据集；model_file 是训练结束后产生的模型文件，文件中包括支持向量样本数、支持向量样本以及 lagrange系数等必须的参数；该参数如果不设置将采用默认的文件名，也可以 设置成自己惯用的文件名。（2） Sv

7、mpredict 的用法：svmpredict test_file model_file output_filemodel_file是由svmtrain产生的模型文件；test_file是要进行预测的数据文件；Output_file是svmpredict的输出文件。svm-predict没有其它的选项。四、实验内容及步骤支持向量机算法训练分类器：训练数据集：见文档“分类数据集.doc”，前15 0个数据作为训练数据， 其他数据作为测试数据，数据中“+1”-1 ”分别表示正负样本。使用代码中的C-SVC算法和默认参数来训练“分类数据集.doc ”中所有的 数据（包括训练数据和测试数据），统计分类

8、查准率。提林-C: MJs：ei*s jflld.ininiti*a.toi*Be!akt:aplibsiuiri2 _ SOSjuindous. exe 1 - txt 2x optimization finished, fliter = 1B2 nu = B-431029 ubj 180.977288, rha 0-424462nSU = 132, nBSH = 1U?Tntal nU = 132C： XUseis：XjAdniniEtiatorIiesktQplitisuii-3.20,Mjindowsuin-predict .exe 1 -txt 2 3 ficcuiacy = Sfc

9、 _fi.fcfi.7z C224Z270 fclasssif icationi在2的基础上使用k-折交叉验证思想来训练分类器并统计分类查准率。ss泠学慧r阡- 口0: s er s Ml dn in ist pat r XDe s kt o pXl ibs u n-3 .2 0 win do us s vm-t r a in. e xe -u IB 1 .txt 2 M- pt In Iz At ion f Lrnlshed Utter = 133mi = 0.457663bj 023259, rhD - 0-3SO9?iSU = 125, nUSU = IMkllotal nU = 125

10、 *optinizcition f imished, #iter = 172nu = 0.438224bj = -?1.326460, rho = 0.419186nSU = 120. nBSU = 92lotal nSU - 120M-mptinizat on F inished= 1C9nu = 6.449487bj = -54.364450, rho = 0.47E975nU = 124. nBGU = 96Fetal nSU = 124M-aptnisa.tdh imiBhccl ititei 132nu =虬 4M548ahj = -86_fifcHS09, pIid = 0.24S

11、152nSU = 115, nDSU 91lotal nSU = 115Cross Ualidation ficcuracy = 81 -8519k使用2中的设置在训练数据的基础上学习分类器，将得到的分类器在测试数据上进行分类预测，统计查准率。在4上尝试不同的由直（“-c”参数）来调节分类器的性能并绘制查准率曲 线。C： Misers Ml dirnin istratopDest0plibsum-3.20ijindciws sum-train .exe -c U.S 1. txt 2 * optimisation f in ishcd, flitcr- - 131 nu = 0.492462

12、obj = -56.525401. rho = 0.23?152 nU = 144, nBU = 25 Total nSU = 144C MJsemistj*a.tm*J)esswntrain -bmc -c 1 S 1. txt 2 * optimization :finished, iiiter = 166 nu = 0.4G5G95 obj = -142.131501, Pho = 0.47-5903 nU = 126, nBSU = 97 Total nU = 12&。：MJseisMldiriin istratoiDesktDpMihsyn-3 - Z W win do us s u

13、n-t pa in exe -c 2 1 .txt 2 pt in is at ion f in ished it it e i = 221 nu = 0.388793hj = -1B1.110841, pho = U.433596 nSU = 123- nBSU = 90Fetal nU 1230: UsersMldiTiin istEatoiSHesktapMihsym3 .2 0 XAiin dD us s um-tra in exe -c 2.5 1. txt 2 M-uptlnizatiun finiEhed, ttitet = 239 nu = B.377815 obj = -21

14、8.307424, pho = 0,453258 nU = 120, nBSU = 84 Focal nSU = 126尝试不同的kernel函数（“-t”参数）来调节分类器的性能并绘制查准率 曲线，对每种kernel函数尝试调节其参数值并评估查准率。固土冬提示橱C Usei,fcs： fldninisti*at：oi%DesktopSlihsvin9 .20%AjirdowsBvmtrain . exe t 0 1 - txt 2ptimizat inn finished ttitev = i 010 nu 0.356371bj = -?2.473356, rlio = -1.050696

15、nCU = 101, nBGH = 88Total nSU = 101G s Wsers JldninistriiturDesktuplibsvm3 .20wirdQwssum-train - exe -t 1 1. txt 2 * optimi is at ion in ihed ttiter = 148 nu = 0.BO508S ohj = -131.800243. rho = -0.165688 nSU 177, nBSU - 151 Total nSU = 177C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Fa

16、ini. exe -t 2 1. txt 2 * optioisat ion Jf in ztmhed. #iter 1C2 nu = H.431029 ohj = -180-77288, Mw = 0_424462 nSU = 132, nESU = 107 Total nSU = 132C- MJsersfi(liiiln lstratopDesltoipxLibsuii-3.20Xwin(lciws sum-train .exe -t 3 l.txt Z * optimization finished, iliter = 157 nu = 0.436762bj = -110 099362

17、, plio = -G.333939 nU = 124, nBSU = litTutrtl n&U = 124支持向量机算法训练回归方程：（1）.回归数据集：见文档“回归数据集.doc”，总共506个数据，数据中 前13个属性作为输入，最后一个属性作为输出。:Usersflldninisti*atoi*Desktolibsvin3 .28windowssumr-predict Hexe 2,txt 2. txt .Rodel J lean squared epror = 9.681692 nuared correlation coefFicient = 3.283485 Cregrressio

18、nJ（2）.使用代码中的epsilon-SVR算法和默认参数来训练“回归数据集.doc” 中所有的数据，统计回归方程在每个数据点输出的误差并进行误差分析。C： MJsersAiiliTiln istraCorXDesktopMLbsiini-3 .2 3 wn do y s s win-tr a in. e xe s 3 2.txt 5*o pt in iz at ion f inished, ttiter = 90nu = fl_8S5S35ohj = -99.070542, iho = 0.381291nSU = 125, nBSU = 112（3）.在2上尝试不同的e psilon值（-

19、p ”参数）来调节e psilon-SVR算法 的性能。C sJldiriinistrfttiarDeskt(iplibsvm3 .20,ir3dowssum_train - exe _s 3 p 0.2 2 - txt 5* optPi izat ion in ihed ttiter = 92 nu = B.B64823 obj = -77.534421, rlio = 0.339066 nCU = 121, nEGU = 109C ： MJ s e 1s fldn in is tra to p XDe s kt o d1 ibs u m3 _ 2 0 Xwin do us s u m-t

20、ra in. e xe -s 3 -p 0.3 2 . txt 5K optimizatIon finished Ititer = 75 nu = Hh847488 obj = 66.246874, rho = 0.298788 nSU = lit, nESU = 10?C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Faini. exe 一s 3 -p 0.4 2 - txt 5 * opt io is at ion in Diied ttitep = 91 nu = 0.B3S03S bj = -55.164945, r

21、lio = 3.283221 nCU = 114, nBU = 104C： MJsersAiiliTilnistraCorXDesktopMLbsiini-3.20windoyssvrn-triain.exe s 3 -p 8-5 2.txt 5 *optinization finished, ttiter = 8G nu = 0.798757 obj = -44.995629, i4i口 = 0.228&3 uSU = 112, riBSU = 95五、思考题：阐述k-折交叉验证的思想，比较1.2和1.3的性能。答： k-折交叉验证(k-fold crossValidation)就是在机器学习中，将 数据集A分为训练集(tra