试验四支持向量机

1、实验四：支持向量机班级姓名学号指导老师.实验目的1 .了解基有关支持向量机的基本原理2 .能够使用支持向量机的代码解决分类与回归问题3 .了解图像分类的基本原理二、实验的硬件、软件平台硬件：计算机软件：操作系统win10应用软件：Java三、实验原理1. LIBSVM使用方法简介LibSVM是以源代码和可执行文件两种方式给出的。如果是Windows系列操作系统，可以直接使用软件包提供的程序，也可以进行修改编译；如果是Unix类系统，必须自己编译。LIBSVM在给出源代码的同时还提供了Windows操作系统下的可执行文件，包括：进行支持向量机训练的svmtrain.exe；根据已获得的支持向量机

2、模型对数据集进行预测的svmpredict.exe；以及对训练数据与测试数据进行简单缩放操作的svmscale.exe。它们都可以直接在DOS环境中使用。如果下载的包中只有C+勺源代码，则也可以自己在VC等软件上编译生成可执行文件。2. LIBSVM使用的一般步骤是：1) 按照LIBSVM软件包所要求的格式准备数据集；2) 对数据进行简单的缩放操作；3) 考虑选用RBF核函数；4) 采用交叉验证选择最佳参数C与g;5) 采用最佳参数C与g对整个训练集进行训练获取支持向量机模型；6) 利用获取的模型进行测试与预测。3. LIBSVM使用的数据格式1)训练数据和检验数据文件格式如下：<lab

3、el><index1>:<value1><index2>:<value2>.其中<label>是训练数据集的目标值，对于分类，它是标识某类的整数(支持多个类)；对于回归，是任意实数。<index>是以1开始的整数，可以是不连续的；<value>为实数，也就是我们常说的自变量。检验数据文件中的label只用于计算准确度或误差，如果它是未知的，只需用一个数填写这一栏，也可以空着不填。在程序包中，还包括有一个训练数据实例：heart_scale,方便参考数据文件格式以及练习使用软件。可以编写小程序，将自己。的数

4、据格式转换成这种格式2）Svmtrain和Svmpredict的用法L旧SVM软件提供的各种功能都是DO阶令执行方式。我们主要用到两个程序，svmtrain（训I练建模）和svmpredict（使用已有的模型进行预测），下面分别对这两个程序的使用方法、各参数的意义以及设置方法做一个简单介绍：（1）Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的选项即表示的涵义如下-ssvm类型：SV根置类型（默认0）0-C-SVC1-v-SVC2-一类SVM3-e-SVR4-v-SVR-t核函数类型：核函数设置类型（默认2

5、）0-线性：u'v1 -多项式：（r*u'v+coef0）Adegree2 -RBF函数：exp（-r|u-v|A2）3 -sigmoid:tanh（r*u'v+coef0）- ddegree：核函数中的degree设置（默认3）- g函数设置（默认1/k）?r（gama）:核函数中的- rcoef0：核函数中的coefO设置（默认0）?-ccost:设置C-SVC-SVR的参数（默认1）?-SVR和- SVR勺参数（默认0.5）?-SVC,一类SVMff口？-nnu:设置- SVR?-pe：设置的值（默认0.1）?中损失函数- mcachesize:设置cache内存

6、大小，以MB为单位（默认40）- e:设置允许的终止判据（默认0.001）?- hshrinking:是否使用启发式，0或1（默认1）- wiC（C-SVCt的C）（默认1）?weight：设置第几类的参数C为weight- vn:n-fold交互检验模式其中-g选项中的k是指输入数据中的属性数。option-v随机地将数据剖分为n部分并计算交互检验准确度和均方根误差。以上这些参数设置可以按照SVM勺类型和核函数所支持的参数进行任意组合，如果设置的参数在函数或SVM类型中没有也不会产生影响，程序不会接受该参数；如果应有的参数设置不正确，参数将采用默认值。training_set_file是要进

7、行训练的数据集；model_file是训练结束后产生的模型文件，文件中包括支持向量样本数、支持向量样采以及lagrange系数等必须的参数；该参数如果不设置将采用默认的文件名，也可以设置成自己惯用的文件名。（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain产生的模型文件；test_file是要进行预测的数据文件；Output_file是svmpredict的输出文件。svm-predict没有其它的选项。四、实验内容及步骤支持向量机算法训练分类器：1 .训练数据集：见文档“分类数据集.do

8、c”，前150个数据作为训练数据，其他数据作为测试数据，数据中“+1”“-1”分别表示正负样本。2 .使用代码中的C-SVCB法和默认参数来训练”分类数据集.doc”中所有的数据（包括训练数据和测试数据），统计分类查准率。m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersM

9、ldniinistratorXDesktopXlibsui3-20windows>svn-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的基础上使用k-折交叉验证思想来训练分类器并统计分类查准率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.36097

10、7SU-1双nBEU-IBUotalnSU=125ptimlaattanfinl3htd,ttitfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£

11、;U-91otalnSU=115CrvSsUalidationAccurcv81,8519>4 .使用2中的设置在训练数据的基础上学习分类器，将得到的分类器在测试数据上进行分类预测，统计查准率5 .在4上尝试不同的C值（“-c”参数）来调节分类器的性能并绘制查准率曲线。m晶令媪示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14，nBS

12、U-125otaln£U=144MsepssAdminL£tratDrxDesktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.，

13、的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot«ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uind

14、ous>sun)-trLain.exe-c2.51.txt2*aptinizationFinished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12灯，nBSU-84FotalnSU=1206 .尝试不同的kernel函数（“-t”参数）来调节分类器的性能并绘制查准率曲线，对每种kernel函数尝试调节其参数值并评估查准率。：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010

15、u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“lnSU=101：SUsepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptiniza

16、tionfinished,=162u-0.431029bj=-100.877288,rho=0.424462SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量机算法训练回归方程：(1) .回归

17、数据集：见文档”回归数据集.doc”，总共506个数据，数据中前13个属性作为输入，最后一个属性作为输出。：MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代码中的epsilon-SVR算法和默认参数来训练”回归数据集.doc中所有的数据，统计回

18、归方程在每个数据点输出的误差并进行误差分析。:：XJersHdministratorJ)eskltaibsvm-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上尝试不同的epsilon值(“-p”参数)来调节epsilon-SVR算法的性能。C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N p

19、timizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20wind

20、ows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislied,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考题：1 .阐述k-折交叉验证的思想，比较1.2和1.3的性能。答：k-折交叉验证(k-foldcrossValidation)就是在机器学习中，将数据集A分为训练集(trainingset)B和测试集(tests