《机器学习Python实战》电子教案 11-1-项目8 支持向量机算法实战

武汉软件工程职业学院教案（理论教学首页）（第1页）教案（理实一体化课）武汉软件工程职业学院教案（附页）（第NUMPAGES4页）课程名称机器学习授课内容项目8波士顿房价分析—支持向量机 8.1项目知识准备 8.1.1支持向量机SVM的概念 8.1.2支持向量机SVM的核函数与参数选择授课安排授课时数2授课对象人工智能技术应用专业大二学生授课方法讲授、问题式教学法授课教具Python3.7及后续版本、Anaconda、Jupyter教学目标思政目标：要坚持价值性和知识性相统一，即在帮助学生掌握知识的同时，实现价值观引导；知识目标：理解支持向量机SVM的基本原理能力目标：掌握支持向量机SVM的核函数与参数选择教学重点支持向量机SVM基本概念教学难点支持向量机SVM的核函数【课前安排】（1）教师对学生们的疑问进行统一答疑。（2）回顾总结上节课内容，继续介绍本课时的内容。上机课介绍了随机森林实例，本节课介绍支持向量机SVM基本概念。【导入新课】小张是某高校计算机系的学生，他性格活泼开朗爱打篮球。同时，他也是寝室的寝室长，寝室里一共住着4位同学，其中2位同学性格也非常好，大家一起生活非常开心。小张的另一个室友小王，平时非常情绪化，时而乐观时而悲观，也不喜欢和其他同学交流，总让人捉摸不透。小张作为寝室长，很想帮助小王，对于这种情绪完全“线性不可分”的室友，他想到了SVM算法，也就是支持向量机，因为SVM算法可以解决线性不可分问题。（3）明确学习目标。支持向量机SVM的原理支持向量机SVM的核函数【讲授新课】教教师根据课件，介绍支持向量机SVM的原理。支持向量机（supportvectormachines,SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；SVM还包括核技巧，这使它成为实质上的非线性分类器。SVM的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。SVM的的学习算法就是求解凸二次规划的最优化算法。SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。对于线性可分的数据集来说，这样的超平面有无穷多个（即感知机），但是几何间隔最大的分离超平面却是唯一的。教师根据课件，介绍支持向量机SVM的核函数。对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个维特征空间中的线性分类问题，在高维特征空间中学习线性支持向量机。由于在线性支持向量机学习的对偶问题里，目标函数和分类决策函数都只涉及实例和实例之间的内积，所以不需要显式地指定非线性变换，而是用核函数替换当中的内积。核函数表示，通过一个非线性转换后的两个实例间的内积。SVC(C=1000,cache_size=200,class_weight=None,coef0=0.0,decision_function_shape='ovr',degree=3,gamma='auto_deprecated',kernel='linear',max_iter=-1,probability=False,random_state=None,shrinking=True,tol=0.001,verbose=False)参数C：SVC的惩罚参数。C越大，即对分错样本的惩罚程度越大，因此在训练样本中准确率越高，但是泛化能力降低，也就是对测试数据的分类准确率降低。相反，减小C的话，容许训练样本中有一些误分类错误样本，泛化能力强。对于训练样本带有噪声的情况，一般采用后者，把训练样本集中错误分类的样本作为噪声。kernel：核函数，默认是rbf，可以是‘linear’线性,‘poly’多项式,‘rbf’高斯,‘sigmoid’,‘precomputed’核矩阵。degree：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。gamma：‘rbf’,‘poly’和‘sigmoid’的核函数参数。默认是’auto’，代表其值为样本特征数的倒数，即1/n_features。coef0：核函数的常数项。对于‘poly’和‘sigmoid’有用。cache_size：核函数cache缓存大小，默认为200。class_weight：类别的权重，字典形式传递，给每个类别分别设置不同的惩罚参数C为weight*C。decision_function_shape：‘ovo’(OneVsOne),‘ovr’(OneVsRest)orNone，多分类时需要进行选择的两种不同策略。max_iter：最大迭代次数。-1为无限制。probability：是否采用概率估计，默认为False。shrinking：是否采用shrinkingheuristic收缩启发式方法，默认为truetol：停止训练的误差值大小，默认为1e-3verbose：是否允许冗余输出教师分别演示线性内核和高斯内核的分类图【课堂小结】回顾上课前的学习目标，对本节课知识点进行总结。主要介绍支持向量机SVM的原理和