机器学习算法与实践 课件 第5、6章 线性模型、支持向量机

第五章线性模型线性模型是机器学习中常用的一种建模方法，它基于线性关系对输入特征与输出目标之间的关系进行建模和预测。线性模型具有简单且易于解释的特征权重，使得我们可以理解每个特征对输出的贡献。而且，线性模型具有良好的可解释性，可以用于推断变量之间的关系和影响程度。15.1线性回归一元线性回归假设因变量和自变量之间存在线性关系，这个线性模型所构成的空间是一个超平面（hyperplane）。超平面是n维欧氏空间中余维度等于一的线性子空间，如平面中的直线、空间中的平面等，总比包含它的空间少一维。在一元线性回归中，一个维度是因变量，另一个维度是自变量，总共两维。因此，其超平面只有一维，就是一条线。25.1.1简单线性回归

简单线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

35.1.1简单线性回归

45.1.2多变量线性回归

直线回归研究的是一个因变量与一个自变量之间的回归问题。但是，在许多实际问题中，影响因变量的自变量往往不止一个，而是多个。

55.1.2多变量线性回归

65.1.2多变量线性回归

因此，线性回归模型为

75.1.3梯度下降法

梯度下降法(gradientdecent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。

当函数定义域和取值都在实数域中的时候，导数可以表示函数曲线上的切线斜率。除了切线的斜率，导数还表示函数在该点的变化率。在一元函数中，只有一个自变量变动，不存在偏导数。偏导数至少涉及到两个自变量，是多元函数沿不同坐标轴的变化率85.1.3梯度下降法

95.1.3梯度下降法

105.1.3梯度下降法

在具体使用梯度下降法的过程中，主要有以下三种：（1）批量梯度下降法

批量梯度下降法针对的是整个数据集，通过对所有的样本的计算来求解梯度的方向。（2）小批量梯度下降法

在批量梯度下降法的方式中每次迭代都要使用到所有的样本，对于数据量特别大的情况，如大规模的机器学习应用，每次迭代求解所有样本需要花费大量的计算成本。（3）随机梯度下降法

随机梯度下降法可以看成是小批量梯度下降法的一个特殊的情形，即在随机梯度下降法中每次仅根据一个样本对模型中的参数进行调整，即每个小批量梯度下降法中只有一个训练样本115.1.4多项式回归

多项式回归是研究一个因变量与一个或多个自变量间多项式关系的回归分析方法。当自变量只有一个时，称为一元多项式回归。

同理当自变量有多个时，则称为多元多项式回归

125.2逻辑回归

135.2逻辑回归Sigmoid函数有一个非常实用的性质。其导数式为：

Sigmoid函数在实数范围内连续可导，优化稳定。任意自变量经过Sigmoid函数映射后得到的结果可以看成是一个概率。Sigmoid函数值以0.5为中心，可以将大于0.5的数据映射为1类，小于0.5的数据映射为0类。145.2.1二分类逻辑回归逻辑回归的表达式

155.2.1二分类逻辑回归继上页，则有

写成对数形式就是交叉熵损失函数

165.2.2多分类逻辑回归

普通的逻辑回归只能针对二分类(BinaryClassification)问题，要想实现多个类别的分类，我们必须要改进逻辑回归，让其适应多分类问题。

第一种方式是直接根据每个类别，都建立一个二分类器，带有这个类别的样本标记为1，带有其他类别的样本标记为0。针对每一个测试样本，我们需要找到这k个分类函数输出值最大的那一个，即为测试样本的标记。

175.2.2多分类逻辑回归

第二种方式是修改逻辑回归的损失函数，让其适应多分类问题。这时损失函数不再笼统地只考虑二分类非1就0的损失，而是具体考虑每种样本标记的损失。这种方法被称为Softmax回归。

185.2.2多分类逻辑回归损失函数可以表示为

对其求导，可得

其更新参数为

195.3模型正则化

在训练数据不够多或者过度训练时，常常会导致过拟合（Overfitting）。正则化（Regularization）方法即是在此时向原始模型引入额外信息，以防止过拟合并提高模型泛化性能。

正则化一般具有以下形式205.3模型正则化

第1项的损失函数值较小的模型可能较复杂（有多个非零参数），这时第2项的模型复杂度会较大，正则化的作用是选择损失函数值与模型复杂度同时较小的模型。215.4本章小结

线性回归是一种用于建模和预测连续数值输出的线性模型，它假设输入特征与输出之间存在线性关系。多项式回归是线性回归的扩展，通过引入高阶项，能够拟合非线性关系的数据。逻辑回归则是一种应用于分类问题的线性模型，在二分类情况下，它利用logistic函数将线性预测转化为概率，常用于预测样本的类别。而softmax回归则是逻辑回归在多分类问题上的推广，通过对每个类别分别建立二分类逻辑回归模型，并使用softmax函数计算每个类别的概率，从而进行多分类预测。22第六章支持向量机支持向量机（SupportVectorMachine，SVM）是一种常用的监督学习算法，主要用于分类和回归任务。其基本思想是在特征空间中找到一个最优超平面，能够将不同类别的样本点尽可能地分开，并且使支持向量到超平面的距离最大化。在支持向量机（SVM）中，有几种常用的方法和变体，如：线性支持向量机（LinearSVM）、非线性支持向量机（NonlinearSVM）、多类别支持向量机（Multi-classSVM）及支持向量回归（SupportVectorRegression，SVR），用于解决不同类型的分类和回归问题。236.1算法概述线性支持向量机（LinearSVM）：基于线性可分的假设，在特征空间中寻找一个最优超平面，能够最大化不同类别的样本点之间的间隔。非线性支持向量机（NonlinearSVM）：适用于数据集在原始特征空间中无法线性分割的情况。它使用核函数（如多项式核、高斯核）将样本映射到高维特征空间，从而找到一个非线性的最优超平面。246.1算法概述多类别支持向量机（Multi-classSVM）：常见的方法是使用“一对一”（One-vs-One）策略，将每个类别与其他类别进行两两比较，构建多个二分类器。另一种方法是使用“一对其余”（One-vs-Rest）策略，将每个类别与其他所有类别组合成一个二分类器。支持向量回归（SupportVectorRegression，SVR）：其目标是找到一个最优超平面，使得样本点尽可能地落在超平面的附近区域内，并且最小化间隔内的误差。支持向量回归能够处理非线性回归问题，并具有一定的抗噪能力。256.2线性可分支持向量机及其对偶算法右图假设训练数据集是线性可分的，能将训练样本分开的划分超平面可能有很多，应该选取哪一个呢？

0图6-1

存在多个划分超平面

26

6.2线性可分支持向量机及其对偶算法

0

图6-2

支持向量与间隔27

6.2线性可分支持向量机及其对偶算法28

6.2线性可分支持向量机及其对偶算法29

6.2线性可分支持向量机及其对偶算法30

6.2线性可分支持向量机及其对偶算法31

6.2线性可分支持向量机及其对偶算法32

6.2线性可分支持向量机及其对偶算法

33

6.3线性支持向量机0图6-3样本近似线性可分

图6-4支持向量与间隔

34

6.3线性支持向量机

图6-4支持向量与间隔35

6.3线性支持向量机

36

6.3线性支持向量机

37

6.3线性支持向量机

386.3线性支持向量机

396.3线性支持向量机

406.4非线性支持向量机

101110

1

图6-5异或问题图6-6异或问题映射到三维空间

41

6.4非线性支持向量机

426.4非线性支持向量机

436.4非线性支持向量机

44

6.4非线性支持向量机

45

6.4非线性支持向量机

46

6.4非线性支持向量机

476.5.1线性支持向量机回归

0图6-7线性回归486.5.1线性支持向量机回归

图6-8支持向量机回归

0496.5.1线性支持向量机回归

图6-8支持向量机回归

0506.5.1线性支持向量机回归

图6-8支持向量机回归

0516.5.1线性支持向量机回归

526.5.1线性支持向量机回归

536.5.1线性支持向量机回归

546.5.1线性支持向量机回归

556.5.2非线性支持向量机回归

566.5.2非线性支持向量机回归

576