机器学习算法与实践 课件 第六章 支持向量机

第6章

支持向量机SUPPORTVECTORMACHINE间隔最大化核方法支持向量回归章节概览6.1线性SVM间隔最大化原则支持向量概念拉格朗日乘子法对偶问题求解6.2非线性SVM核函数概念与选择高维特征空间映射Mercer定理实际应用场景6.3支持向量回归SVR基本原理ε不敏感损失函数材料科学应用示例性能评估与可视化支持向量机：分类与回归的强大工具6.1线性SVM的基本原理核心思想在特征空间中找到一个超平面，能够最大化不同类别数据之间的间隔

对于线性可分数据，SVM通过找到具有最大间隔的超平面来区分数据；对于线性不可分的情况，通过核方法将数据映射到高维空间关键概念1支持向量位于分类边界的数据点，决定超平面的最终位置2间隔最大化使支持向量到超平面的距离最大化，提升泛化能力3泛化能力通过最大化间隔提高分类器对新样本的适应性6.1.1SVM几何直观超平面方程w为法向量，决定超平面方向；b为偏置项，决定超平面位置支持向量位于分类边界上，决定超平面位置的关键数据点最大间隔

图6.1SVM中的超平面、支持向量和间隔示意图

函数间隔定义样本标签+1表示正类-1表示负类正确分类

样本点被正确分类错误分类样本点被错误分类关键特性函数间隔表示样本点到超平面的带符号距离，值的大小反映分类的确信度，符号反映分类的正确性

函数间隔：衡量样本点到超平面的距离与分类确信度几何间隔定义定义几何间隔是函数间隔除以w的范数

几何意义点到超平面的真正几何距离

可直观度量样本点到决策边界的实际距离关键优势几何间隔不受w的长度影响，对w和b进行缩放时保持不变，能够直接衡量点到超平面的几何距离几何间隔：真正的点到超平面距离，不受参数缩放影响

函数间隔与几何间隔新的函数间隔为当w和b同时乘以一个非零常数时，w的范数也会乘以这个常数。因此，在计算几何间隔时，这个缩放因子会在分子和分母上同时出现，最终被抵消，从而使几何间隔的值保持不变。例如：新的几何间隔为

分类约束条件分类约束条件

样本点位于超平面之上，距离至少为1

样本点位于超平面之下，距离至少为1几何意义所有数据点都位于支持向量之外，确保几何间隔的最小值为1。通过这个约束条件，SVM寻找能够正确分类所有样本且具有最大间隔的超平面

SVM优化目标两种等价的优化形式一直接最大化几何间隔直接寻找最大的几何间隔，确保所有样本正确分类二最小化权重范数等价优化形式，简化计算，与原目标完全一致等价性说明1几何间隔定义2最大化间隔3优化目标

6.1.2拉格朗日乘子法与对偶问题拉格朗日乘子法的定义拉格朗日乘子法是一种处理带约束优化问题的数学工具。它通过将约束引入目标函数，构造一个新的函数（称为拉格朗日函数），从而将约束优化问题转化为一个无约束优化问题。

拉格朗日乘子法将约束优化问题转化为无约束优化问题核心思想通过引入拉格朗日乘子，将约束条件嵌入目标函数，构造一个新函数将约束优化→无约束优化拉格朗日乘子

拉格朗日函数第一项：原始目标

第二项：约束条件

求解拉格朗日对偶问题1对w求偏导2对b求偏导

求解拉格朗日对偶问题约束条件①②关键发现

对偶问题求解

首先计算样本之间的内积：其次，将上述内积代入对偶问题中，对偶问题的展开式为

对偶问题求解

6.1.3线性SVM模型优化线性SVM的最终决策函数正类预测预测为类别+1负类预测预测为类别-1决策边界分类超平面核心机制①计算新样本与所有训练样本的内积②加权求和并加上偏置项b③根据符号判断类别归属④

决策函数

6.2非线性SVM与核方法从线性可分到非线性可分的突破线性SVM的局限无法处理非线性决策边界的数据低维空间中数据线性不可分模型性能受到严重限制核方法的解决方案将数据映射到高维特征空间高维空间中实现线性可分无需显式构造映射函数核函数的核心思想在低维空间计算高维空间的内积，避免显式映射的复杂性核技巧：通过核函数隐式映射到高维空间，使非线性问题转化为线性问题

6.2.1核函数的概念与选择核函数：低维计算，高维映射的桥梁计算高维空间中的内积，无需显式映射函数φ核心优势无需显式构造映射函数φ在低维空间完成高维计算避免维度灾难问题大幅降低计算复杂度必要条件

正定性：Gram矩阵正定满足Mercer定理对应某个高维空间内积核技巧的核心价值：隐式映射到高维空间，使非线性问题在计算上等同于线性问题

核函数定义常见的核函数线性核函数等效于原始线性SVM计算简单，效率最高适用于大规模数据集适用场景数据接近线性可分，需要快速训练多项式核函数d：多项式阶数控制复杂度c：常数项通常为0或1适用场景具有复杂边界的非线性分类问题

高斯径向基核函数(RBFKernel)σ（带宽参数）控制核函数的"宽度"强适应性对不同的复杂数据有较强的适应性广泛适用适用于大部分非线性分类问题参数调优需要调整σ参数以获得最佳性能参数影响σ较大：核函数更平滑，决策边界更简单σ较小：核函数更尖锐，决策边界更复杂实践建议通常使用网格搜索或交叉验证选择最优σ值核函数表达式参数说明

核函数选择标准如何选择合适的核函数数据分布特征线性可分→线性核非线性边界→RBF核复杂模式→多项式核模型复杂度RBF：通用性强多项式：可控制阶数避免过高阶数防过拟合计算效率线性核：效率最高适合大规模数据集RBF/多项式：计算复杂度高三种核函数综合对比核函数类型计算复杂度模型能力适用场景线性核低线性可分数据大规模数据集多项式核中非线性复杂边界特征交互明显RBF核高通用性强大部分非线性问题6.2.2高维特征空间与核方法的数学背景映射原理低维空间→高维特征空间非线性问题→线性问题复杂分类→简单超平面Mercer定理必要条件：①

②正定性：Gram矩阵半正定核方法的核心价值隐式映射无需显式构造φ(x)，直接计算核函数计算高效避免维度灾难，降低计算复杂度统一框架非线性问题转化为线性问题求解

核方法的数学背景二次规划问题的目标函数约束条件：

高维空间内积核方法的数学本质内积替换用核函数代替内积维度提升隐式映射到高维线性化复杂问题简单化

对偶问题目标函数约束条件：

决策函数

6.2.3非线性SVM的应用场景图像分类图像像素间存在复杂非线性关系RBF核函数有效处理非线性模式实现高精度图像识别与分类应用示例：人脸识别、物体检测、医学影像分析文本分类文本数据稀疏且高维核方法在高维空间捕捉复杂关系实现精确文本分类与情感分析应用示例：垃圾邮件过滤、新闻分类、情感识别基因数据分析基因表达数据存在复杂非线性模式核方法有效分类基因数据辅助疾病诊断和预测应用示例：癌症诊断、基因功能预测、药物反应分析金融预测金融市场数据具有复杂非线性特征核SVM有效处理复杂关系实现市场预测和风险评估应用示例：股票预测、信用评估、风险预警6.3支持向量回归支持向量回归的基本原理回归问题解决连续值预测问题，找到最优超平面使预测值与真实值误差最小松弛变量

惩罚系数参数C控制模型复杂度，平衡拟合精度与泛化能力第一项：正则化项控制模型复杂度，防止过拟合第二项：损失项

约束条件关键参数目标函数

w：权重向量决定超平面方向b：偏置项决定超平面位置C：惩罚系数控制模型复杂度

控制误差容忍度优化思想通过最小化权重范数控制模型复杂度，同时惩罚预测误差，在ε管道内允许一定误差，实现精度与泛化的平衡

6.3.2Epsilon不敏感损失函数损失函数定义

损失=0

损失曲线ε不敏感损失函数的特点对小于ε的误差不惩罚，使模型更鲁棒只惩罚超出ε管道的样本点平衡模型复杂度与拟合精度几何意义构建一个宽度为2ε的不敏感带，只有落在带外的样本点才会产生损失，使回归函数更平滑、鲁棒性更强

6.3.2SVR优化方法拉格朗日函数SMO算法1每次只优化两个拉格朗日乘子2避免全局优化，降低计算复杂度3迭代求解，逐步逼近最优解4高效且实用的数值优化方法SMO算法优势将复杂的优化问题分解为多个小的子问题，每次只优化两个变量，大幅降低计算复杂度，是SVR求解的核心算法计算高效避免复杂矩阵运算，适合大规模数据易于实现算法逻辑清晰，代码实现简单收敛稳定保证找到全局最优解

6.3.3应用示例：材料科学预测化合物形成能数据规模特征工程matminer库材料科学专用ElementProperty元素属性提取电负性原子半径价电子数统计特征Pipeline预处理流程数据读取→缺失值处理→方差筛选→特征标准化→PCA降维→SVR模型训练数据来源MaterialsProject开源数据库高通量DFT计算结果特征维度基于化学组成提取Max/Min/平均值统计预测目标formation_energy_per_atom化合物形成能数据预处理Pipeline预处理流程缺失值处理SimpleImputer中位数填补方差筛选VarianceThreshold去除低方差特征特征标准化StandardScaler均值0方差1降维PCA保留99%信息Pipeline代码实现pipeline=Pipeline([("imputer",SimpleImputer(strategy="median")),("var0",VarianceThreshold(threshold=0.0)),("var_small",VarianceThreshold(threshold=1e-4)),("scaler",StandardScaler()),("pca",PCA(n_components=0.99))])数据集划分X_train,X_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=42)训练集：80%测试集：20%预处理关键要点使用Pipeline封装所有预处理步骤，确保测试集与训练集使用相同的统计参数，避免数据泄露，random_state=42保证实验可重复性模型构建与训练SVR模型实例化与参数配置SVR模型实例化svr_reg=SVR(kernel='rbf',C=10,gamma='scale',epsilon=0.1)模型训练print("开始训练SVR模型...")svr_reg.fit(X_train,y_train)使用fit()方法训练模型核心超参数说明1kernel核函数类型RBF核：处理非线性关系2C正则化参数平衡训练误差与模型复杂度3gamma核系数控制单个样本的影响范围4epsilon不敏感参数定义误差容忍范围网格搜索优化遍历预设参数组合，使用交叉验证选择最优参数快速训练如无特殊需求，可直接使用默认参数快速训练模型评估指标均方误差MSE对异常值敏感，量纲与目标变量平方一致均方根误差RMSE量纲与目标变量一致，结果更直观易解读平均绝对误差MAE对异常值稳健，量纲与目标变量一致决定系数R²衡量模型对数据方差的解释能力，值越接近1越好评估指标选择建议综合使用多个指标：RMSE提供直观误差度量，MAE提供稳健误差估计，R²提供模型拟合优度。当数据存在异常值时，MAE更可靠；需要误差量纲一致时，使用RMSE或MAE

可视化结果SVR模型预测性能评估预测散点图性能指标决定系数R²≈0.69解释约69%的方差均方根误差≈0.66eV/atom预测效果数据点集中在对角线附近，模型预测准确测试集表现略优于训练集，未出现过拟合泛化能力训练集与测试集指标接近，泛化良好模型验证综合指标显示模型性能稳健图6.2SVR模型训练结果结果分析与讨论SVR模型性能评估与改进方向训练过程分析损失持续下降，收敛