机器学习 课件 第3章回归模型

第3章：回归模型内容一元线性回归多元线性回归线性回归模型最小二乘法梯度下降法多项式回归正则化方法逻辑回归逻辑回归模型交叉熵损失

逻辑回归模型交叉熵损失

一元线性回归——线性回归模型线性回归模型：通过收入预测幸福感核心思想：构建一个智能助手（模型），根据输入（收入）

预测输出（幸福感）。构建线性回归模型，通过最小二乘法拟合最佳直线。数据基础：收集500名（年收入5-30万）人群的调查数据自变量(X):收入、因变量(Y):幸福感评分发现关系：数据呈现明显的正相关趋势：收入越高，幸福感越强。

一元线性回归4假设训练数据集

我们期望

设回归模型对任意输入样本的输出预测为：通过最小二乘法估计最优的参数

和

，使得的输出

观测值

与预测值

的偏差平方之和最小化，即：模型

一元线性回归5得到其中得到最佳拟合的线性回归模型：我们分别求偏导数

一元线性回归6

左图展示了慕尼黑租金指数，散点图显示了租金和面积之间近似线性的关系。

右边的散点图额外包含了一条回归线。以公寓的总租金为输出变量，居住面积为输入变量，利用一元回归模型

一元线性回归拟合上述数据，使用最小二乘法得到的参数为

和带入方程得到那么如果我们选择每平方米的租金而不是总租金作为输出变量，会怎么样呢？

一元线性回归8拟合效果不佳！那么每平方米租金与居住面积之间的关系是非线性的。如果用线性回归模型拟合这些数据(如左图），可以得到回归线为

一元线性回归9我们以

作为线性模型的输入变量，线性模型为：通过最小二乘法得到：拟合效果更好！Good!

多元线性回归对于多元线性回归模型，输入变量是多维变量。模型：设回归模型对任意x的输出的预测为：设

为增广向量，则：1.线性回归模型

多元线性回归11

多元线性回归122.最小二乘法设

为输入样本数据矩阵，为输出样本矩阵。

多元线性回归13想象在浓雾山峰中找山谷——只能感知脚下坡度，最佳策略是​​沿最陡的下坡方向走​​（梯度反方向），这就是梯度下降法的精髓！

3.梯度下降法基本步骤​​：1.随机初始化参数θ（相当于“随机选一个起点”）；2.计算当前参数下目标函数的梯度（即“当前位置的坡度”）；3.沿梯度反方向调整参数（“往下走一步”）；4.重复步骤2-3，直到梯度为0（到达山谷，损失最小）。

多元线性回归

多元线性回归15物理意义：梯度方向是函数​​最陡上升的方向​​，因此​​反方向就是最陡下降的方向​​迭代更新公式：“一步步”靠近最优解​直观理解：用当前梯度（坡度）乘以学习率（步长），沿反方向调整参数，逐步逼近最小值。

多项式回归16有一个简单函数

，生成一些非线性数据，如果尝试使用线性模型来拟合这些数据（左图）：如果尝试使用线性模型来拟合这些数据，模型的性能将会显著下降（右图）。

多项式回归​如果用不同次数的多项式模型对数据拟合：

多项式回归多项式回归模型的一般形式

多项式回归19高阶多项式回归​能紧密拟合训练数据，但易​​过拟合​​，而线性模型常​​欠拟合。交叉验证是一种有效的技术，用于估计模型的泛化能力。如果模型在训练数据上表现良好，但在交叉验证中的表现不佳，这通常表明模型过度拟合了。相反，如果模型在训练集和测试集上的表现都不好，那么它可能欠拟合。模型的可靠性会随着用于训练样本量的增加而提高。在回归建模的标准实践中，应该遵循层次原则，先从高阶模型开始拟合，然后逐步探索是否可以简化为低阶（更简单）的模型，同时保持模型的泛化能力。

正则化方法为了解决过拟合问题，我们可以采用正则化方法。在多项式回归中，正则化可以通过添加权重衰减来实现。权重衰减（也称为权重衰减或L2正则化）通过在损失函数中添加惩罚项，鼓励模型参数的值尽可能小，从而减少模型复杂度。常用的正则化模型包括Ridge回归和Lasso回归。Ridge回归使用L2正则化，其目标函数为：

正则化方法Ridge回归的求解过程与最小二乘法相似，可以Ridge回归的解析解可以表示为：

Lasso回归使用L1正则化，其目标函数：Lasso回归的目标函数是非凸的，这使得它的求解比Ridge回归更加复杂。Lasso模型通常使用近端梯度下降算法或次梯度算法来求解。Lasso回归倾向于产生稀疏的解，即某些参数的值为零。Ridge回归鼓励参数的值分布更均匀。正则化方法

逻辑回归23Sigmoid函数通常表示为

1.逻辑回归模型逻辑回归的核心思想是将线性回归的输出通过逻辑函数（如Sigmoid)映射到[0,1]之间。

逻辑回归24考虑单一输入观测值x，分类标签为y，其取值可以是1或0，要使sigmoid函数建模P(y=1∣x)的概率，我们只需确保P(y=1∣x)和P(y=0∣x)的总和为1。逻辑回归对观测值x的分类标签为1的概率的预测

为：其中

，于是

逻辑回归25因为其对称性得：sigmoid函数的反函数为得：所以，线性模型逼近的结果是两类概率的对数几率，因此对应的回归模型为对数几率回归。

逻辑回归26

逻辑回归对x的预测标签为:

逻辑回归27

总结Sigmoid函数的特性：1.概率表示：Sigmoid函数的输出范围自然地落在0到1之间，输入趋近正无穷时输出→1（强正信号），负无穷时→0（强负信号）2.连续可微性：Sigmoid函数是连续可微的。3.对称性：Sigmoid函数是对称的。

逻辑回归28

2.交叉熵损失

逻辑回归的交叉熵损失函数可以表示为：

逻辑回归29

通过逻辑函数计算得到：因此逻辑回归的交叉熵损失函数可以表示为：计算其关于

的偏导数

逻辑回归30

因为：所以：因此：

应用案例31

表中有一组学生的身高、体重和性别，身高、体重分别以英寸和磅为单位，性别男生和女生，输入变量X1和X2表示身高和体重Y，输出标签表示性别，男生（标签为1），女生（标签为0），请建立一个逻辑回归模型来预测学生的性别。1.简单的逻辑回归

应用案例32

根据公式采用梯度下降方法最小化交叉熵，得到的参数为决策边界为

身高体重性别分类回归图

33

2.多元线性回归引擎排量以升为单位，气缸数以个为单位，城区油耗、高速油耗、综合油耗以升每百公里为单