机器学习SVM实验报告

1、实验报告实验名称：机器学习：线性支持向量机算法实现学 员：张麻子学 号： *个*个*培养类型：硕士年 级：专 业：所属学院：计算机学院指导教员： *职 称：副教授实验室：_实验日期：一、实验目的和要求实验目的：验证SVM (支持向量机)机器学习算法学习情况要求：自主完成。二、实验内容和原理支持向量机(Support Vector Machine, SVM)的基本模型是在特征空间上找到 最佳的分离超平面使得训练集上正负样本间隔最大。SVM是用来解决二分类问题的 有监督学习算法。通过引入了核方法之后SVM也可以用来解决非线性问题。但本次实验只针对线性二分类问题。SVM算法分割原则：最小间距最大化，

2、即找距离分割超平面最近的有效点距离 超平面距离和最大。对于线性问题：J.x I =()假设存在超平面可最优分割样本集为两类，则样本集到超平面距离为：& + 吐 aP =面需压求取：*? i、1 ：j)-顼由于该问题为对偶问题，可变换为：minllwll2H V|（：l 1、D）： I可用拉格朗日乘数法求解。但由于本实验中的数据集不可以完美的分为两类，即存在躁点。可引入正则化 参数C,用来调节模型的复杂度和训练误差。minl |w| |2 + c e i，l+ li； -. l - t 作出对应的拉格朗日乘式：J以=；忡+。史& TOC o 1-5 h z i= nn-2 把（乂 （亍加 + 片

3、）_ 1 + &） _ 七 &ii对应的KKT条件为：=EX】s冈n 5Xi S? = 0%十匹=c= % V 肉（必丁斯一E）= 1 &= & = 0 V & = 0= d； = 0% = - EL 口功=。 V = C e 3iVi % Gi Ex,十石）_ 1 _ &） = 04杭回& = 0故得出需求解的对偶问题:a ia yj(xlxj)-幻1/ t, Z a iYj 二 o, c m 吗 m o,本次实验使用python编译器，编写程序，数据集共有2 7 0个案例，挑选其中 70%作为训练数据，剩下30%作为测试数据。进行了两个实验，一个是取C值为1, 直接进行SVM训练；另外一个

4、是利用交叉验证方法，求取在前面情况下的最优C 值。三、实验器材实验环境：windows7操作系统+python编译器。四、实验数据(关键源码附后)实验数据：来自。机器学习数据库，以Heart Disease数据集为例。五、操作方法与实验步骤1、选取C=1，训练比例7：3，利用python库sklearn下的SVM ()函数进 行训练，后对测试集进行测试；2、选取训练比例7：3，C=, 1, 30)。利用交叉验证方法求出C值的最优 解。六、实验结果与分析实验一得出结果:C植：1训练集正瑚率：0. 8KW486F务测试集正确率：0. 82160493821605测试集预测结果：El. L 2. 2

5、. 1. 1. L 1. 1. L 1. 2. 2. 2. 2. 1. 1. 2. 2. 1. 2. 1. 2. 2.1. 1, 1. 1. 1. 2, 1. 1. 2, L 2. 2. 2. 2. 1. 1. 2. 1. 1. 2. 1. 1. 2. 1.2. 2. 2. 2. 1. 1. 2. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. 2. 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1. 2. 2.测试集真实结果.LE1. L 1. 2. 1. 1. 2. 1. 1. 1. 1. 1. 1. 2. 2. 1. 1. 2. 土 2. 2. 1.

6、2. 1,2. 1. 1. 1. 1. 2. 1. 1. 2. 1. 2. 2. 2. 2. 1. 2. 2. 1. 1. 2. 1. 2. 1. 1.2. 2. 2. 1. 1. 2. 1. 1. 1. 2. 1. 2. 1. 1. 1. 1. 1. 2. 1. 2. 1. 1. 1. 1.2. 1. 2. 1. 2. 1. 1.2.可见，训练集的正确率是0.，小于1,说明训练集存在躁点，需要选择性的排出，才能得到较好的训练效果，测试集正确率达到了，还须进一步提高。实验二得出结果：最优参数；(JCJ : 0. 06905862068965518, kernel: linearprecisio

7、nrecall fl-score support1. 00. ST0.850. 864S2. 00. 790.820. 8133avg / tot ail0. 840.840. 0481可见，在上述情况下，当。=时，可得到较好的训练效果。七、问题与建议（可选）本次实验只是对SVM在线性空间的应用，还有非线性问题，多分类问题等。通过研究了解到，对于非线性问题，需要加入核函数；对于多分类问题，需要重新调整模型八、附录（源代码）import numpy as npimport pandas as pdimport as pltimport matplotlib as mplfrom sklearn

8、import svmfrom import train_test_split, GridSearchCVfrom import classification_report def LoadData(path):data = (path, dtype=float, delimiter=) return datadef Once_SVM(data, c=, train_rate=:x, y =(data, (13,), axis=1)x_train, x_test, y_train, y_test = train_test_split(x, y, random_stat =0, train_siz

9、 =train_rate)clf = (C=c, kernel =linear, decision_function_shap =ovo)(x_train,()print (uC 值：，c)print (u训练集正确率：，(x_train, y_train) # 精度print (u测试集正确率：,(x_test, y_test)print(u测试集预测结果：)y_hat = (x_test)print(y_hat)print(u测试集真实结果：)printdef jjjnjammju(data,x, y = (data, (13,), axis=1)x_train, x_test, y_train, y_test = train_test_split(x, y, random_stat =0, train_siz =train_rate)tuned_parameters = f kernel, : linear, C: , 1, 30)#构造这个GridSearch的分类器,5-foldclf = GridSearchCV(), tuned_parameters, cv=5, scorir =accuracy)(x_train,()print(u最优参数：)printy_true, y_pred = y_