机器学习及其应用课件 第2章-模型估计与优化

2.1模型参数估计2.4模型正则化策略2.3模型优化概率方法2.2模型优化基本方法第二章模型估计与优化2.1模型参数估计ModelParameterEstimationCHAPTER022.1.1最小二乘估计2.1.2最大似然估计

核心定义(Definition)最小二乘估计（LSE）是一种数学优化技术，通过最小化误差的平方和来寻找数据的最佳函数匹配。其核心思想是让观测点与模型预测值之间的总偏差最小。历史渊源(History)该方法由勒让德（Legendre）和高斯（Gauss）在19世纪初独立提出，最初用于解决天文学中的行星轨道预测问题，是数学史上最伟大的发现之一。Adrien-MarieLegendreCarlFriedrichGauss2.1.1最小二乘估计核心目标寻找一条直线（或曲线），使得所有数据点到该直线的垂直距离的平方和最小。为什么是平方和？1.避免不可导点：2.惩罚大误差：放大离群点误差，使拟合结果更倾向于整体最优。

2.1.1最小二乘估计基本模型假设

2.1.1最小二乘估计

根据误差最小的基本思想，最优参数向量取值对应的整体误差最小

2.1.1最小二乘估计

2.1.最小二乘估计

2.1.1最小二乘估计

2.1.1最小二乘估计

2.1.1最小二乘估计定义(Definition)最大似然估计(MLE)是一种参数估计方法，其核心思想是“找到最有可能产生当前观测数据的参数值”。核心思想(CoreIdea)通过最大化似然函数来求解参数。似然函数描述了在给定参数下，观测到当前数据的概率。经典示例(Example)抛硬币10次得7次正面，MLE会选择使得“7正3反”这一结果出现概率最大的正面概率p值。2.1.2最大似然估计核心思想(MLE)找到最有可能产生当前观测数据的参数值，即让样本出现概率最大的参数。通俗理解从所有可能的参数中，“猜”出那个最像导致本次实验结果发生的参数。与LSE对比LSE追求“误差最小”，而MLE追求“概率最大”，出发点不同但常殊途同归。2.1.2最大似然估计最大似然估计(MLE)MLE的核心思想是找到最有可能产生当前观测数据的参数值，即最大化数据出现的概率。理论等价性当线性回归模型的误差项ε服从独立同分布的正态分布时，最小二乘估计(LSE)与最大似然估计(MLE)是完全等价的。理论意义这一结论为最小二乘法提供了坚实的概率理论基础，证明了其在概率意义上的最优性与合理性。2.1.2最大似然估计

2.1.2最大似然估计01.写出似然函数构建样本的联合概率密度函数，即似然函数。02.取对数变换将乘积转化为求和，简化计算，得到对数似然函数。03.对参数求导对关于待估参数求一阶导数，寻找极值点。04.令导数为零令一阶导数等于零，建立似然方程，这是求解的关键步骤。05.求解方程解似然方程，得到参数的最大似然估计值。06.验证最大值(可选)通过二阶导数小于零或其他方法验证该解为最大值点。2.1.2最大似然估计【例2.2】假设一个不透明盒里装有3颗围棋子，现用有放回抽样法随机抽取三次，每次拿一颗，得到白子2次黑子1次。试用最大似然估计法估计盒中白子个数。2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计

2.1.2最大似然估计2.2模型优化基本方法BasicMethodsforModelOptimization2.2.2牛顿迭代法2.2.3拟牛顿法2.2.1梯度下降法核心思想(CoreIdea)一种迭代优化算法。核心是沿着函数梯度的反方向（即函数值下降最快的方向）逐步迭代，以寻找函数的最小值点。通俗理解(Analogy)想象站在山顶，每一步都朝着当前最陡峭的下坡方向走一小步，最终就能到达山谷（最小值点）。关键参数(LearningRate)学习率η决定每一步“走多远”。太小收敛慢，太大可能越过最低点导致不收敛。示意图：梯度下降路径（从初始点沿最陡方向逼近最小值）2.2.1梯度下降法机器学习中一大类模型优化的目标是求目标函数最小值所对应的模型参数，可基于下山问题的思想设计优化算法。迭代方向：目标函数值下降最快的方向迭代步长：合适的长度2.2.1梯度下降法

2.2.1梯度下降法

发散，求解失败收敛速度慢

当步长取值过大时：当步长取值过小时：2.2.1梯度下降法

2.2.1梯度下降法逐步逼近最优解

2.2.1梯度下降法

2.2.1梯度下降法核心优势(Advantages)简单易实现算法逻辑清晰，数学推导直观，易于编程实现。适用范围广对目标函数形式要求低，可有效处理非凸优化问题。内存效率高支持SGD逐样本更新，在大规模数据场景下内存消耗极小。主要局限(Disadvantages)收敛速度慢尤其是在接近最小值点时，迭代步长变小，收敛极其缓慢。对学习率敏感学习率选择至关重要，需手动调参或依赖自适应策略。易陷入局部最优在非凸函数优化中，算法可能收敛到局部最小值而非全局最优解。2.2.1梯度下降法核心思想：二阶优化算法利用目标函数的一阶导数（梯度）和二阶导数（海森矩阵）信息，通过对目标函数进行二次函数近似，快速定位最小值点。通俗理解：地形曲率“先知”不同于梯度下降法的“盲人摸象”，牛顿法观察地形曲率，预测最小值位置并一步跨越。收敛速度通常显著快于梯度下降法。2.2.2牛顿迭代法

2.2.2牛顿迭代法优化问题需要求极值，基本的牛顿迭代法可求方程近似根，牛顿迭代法如何用于模型优化？函数极值点处导数为0，因此可使用牛顿迭代法求解目标函数导函数的根，从而实现模型优化。2.2.2牛顿迭代法

优化问题转化为求方程根问题2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法【例题2.6】试根据表2-11中数据建立一个预测广告投入和净利润之间关系的机器学习模型，并使用该模型预测广告投入为2.1万元时所对应的净利润，要求模型优化过程采用牛顿迭代法。2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法

2.2.2牛顿迭代法核心优势(Advantages)收敛速度极快在极小值点附近具有二阶收敛速度，显著优于梯度下降法的一阶收敛特性。自适应步长，无需调参步长由算法根据二阶信息自动确定，避免了手动调整学习率的繁琐过程。主要局限(Disadvantages)计算与存储成本高昂需计算海森矩阵并求逆，高维参数下内存与算力消耗巨大。对初始点位置敏感初始点远离极小值点时，算法可能不收敛甚至发散。函数需二阶可导算法依赖于二阶导数的存在，限制了其适用范围。2.2.2牛顿迭代法梯度下降法vs牛顿迭代法(对比总结)核心特性梯度下降法(GradientDescent)牛顿迭代法(Newton'sMethod)收敛速度慢（一阶收敛），依赖学习率快（二阶收敛），迭代步数少计算复杂度低（仅需计算一阶导数/梯度）高（需计算海森矩阵及其逆）学习率设置需要手动设置或自适应调整不需要，步长由二阶信息自动确定适用场景大规模问题、非凸问题、深度学习小规模问题、凸问题、对收敛速度要求高的场景初始点要求较低，不易发散较高，需靠近最小值点，否则可能不收敛总结：梯度下降法通用性强适合大规模数据；牛顿法收敛快但计算成本高，适合小规模高精度场景。牛顿迭代法缺陷：搜索方向难以确定，需要计算梯度、Hesse矩阵和其逆矩阵。拟牛顿法基本思想：使用近似矩阵来代替Hesse矩阵的逆矩阵。2.2.3拟牛顿法

2.2.3拟牛顿法

2.2.3拟牛顿法

2.2.3拟牛顿法2.3模型优化概率方法2.3.1随机梯度法2.3.2改进梯度法2.3.3最大期望法核心思想(SGD)每次迭代随机选取一个或一小批样本计算梯度。不再依赖全量数据，而是利用“噪声”估计来快速更新参数。优点：梯度计算更为快速，降低时间成本；

增加算法的随机性，从而赋予算法跳出局部最优解的能力。梯度下降法缺陷：每次迭代需根据所有训练样本确定参数更新方向，大样本情况下时间成本巨大；仅朝着目标函数值减小的方向更新参数，不具备跳出局部最优解的能力。2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法小批量随机梯度下降法：每次抽取训练集中部分样本参与训练，通过一小批样本估计目标函数梯度方向。算法基本思想：目前计算机多采用多核架构，具备并行计算能力，只使用单个样本会浪费计算力；样本数量与梯度估计的准确性相关。2.3.1随机梯度法

2.3.1随机梯度法

2.3.1随机梯度法由于使用梯度估计，随机梯度法更新过程存在一定随机性，并非每一次更新都会使得目标函数值下降，但整体呈下降趋势，并具备跳出局部最优的能力。随机梯度法参数更新示意图2.3.1随机梯度法核心优势(Advantages)计算效率高每次迭代仅计算单个样本，成本低，适合大规模数据集处理。内存消耗小无需一次性加载全部数据，降低了硬件内存压力，适合内存受限场景。有助于跳出局部最优梯度更新中的噪声特性，能帮助算法逃离局部最小值，寻找全局最优。主要局限(Disadvantages)收敛路径震荡由于梯度估计的随机性，收敛路径曲折，容易在最小值点附近震荡。对学习率更敏感需要仔细调整学习率参数，通常需要配合学习率衰减策略才能获得较好效果。梯度估计不准确基于单个样本的梯度方向可能存在偏差，不能很好地代表整个数据集的真实梯度。2.3.1随机梯度法01问题的提出为什么需要改进梯度法？

分析传统SGD的瓶颈所在02核心概念学习率与动量

优化算法的两大基石03算法详解从Adagrad到Adam的演进

深度解析优化原理04总结与对比四大算法横向比较

适用场景与性能分析2.3.2改进梯度法随机梯度法（SGD）的瓶颈与挑战图示：SGD在参数空间中的迭代路径，抖动与震荡是其显著特征，直接影响收敛效率。💡核心思想回顾：小批量SGD通过单次迭代仅计算少量样本梯度，大幅提升计算效率，是大规模数据训练的基石。收敛过程不稳定参数更新含随机噪音，损失函数曲线剧烈震荡，难以平滑收敛。学习率难以调优超参数敏感：过高导致模型不收敛，过低则训练速度极其缓慢。易陷入局部最优稳定的梯度方向缺乏探索性，容易困于较浅的局部极小值，无法触及全局最优。2.3.2改进梯度法SGD的三大核心痛点与挑战01收敛不稳定参数更新路径存在随机性，损失函数剧烈震荡，导致收敛过程不平滑，难以精准收敛到最优点。02学习率困境过高导致震荡无法收敛，过低则速度极慢。缺乏自适应能力，难以平衡探索与利用的关系。03局部最优陷阱在复杂的损失函数地形中，SGD容易被“小土坑”捕获，稳定的梯度更新方向使其难以跳出较浅的局部最小值。2.3.2改进梯度法核心概念一：学习率(LearningRate)什么是学习率？控制参数更新步伐大小的超参数（α），决定模型参数在梯度方向上的移动距离。学习率太高：步伐过大，易错过最优解，导致损失函数震荡不收敛。学习率太小：步伐过小，收敛平滑但速度极慢，需大量迭代步数。核心挑战：如何为所有参数选择一个合适的、动态变化的学习率策略。示意图：学习率过小时，损失函数收敛速度极慢，曲线下降平缓。💡核心洞察：步长决定收敛的速度与稳定性2.3.2改进梯度法核心概念二：动量(Momentum)直观理解：引入“惯性”机制参数更新不仅看当前梯度，更参考历史累积的梯度方向，像下山的球一样越滚越快。加速收敛(Acceleration)梯度方向一致时，动量不断累积，大幅提升更新速度。减少震荡(Smoothing)梯度频繁变向时，动量平滑波动，避免路径来回“摇摆”。跳出局部最优(EscapingMinima)凭借惯性冲过较浅的“山谷”，探索更优的参数空间。动量优化路径可视化图示为等高线图上的参数更新轨迹。动量法（通常蓝色路径）比标准SGD更平滑，收敛更快。💡核心总结：动量通过累积历史梯度赋予模型“冲量”，是深度学习优化器的关键加速技术。2.3.2改进梯度法Adagrad:自适应学习率的开端核心思想：历史梯度自适应基于参数历史梯度的平方和，为每个参数独立计算并动态调整学习率。工作机制：差异化更新•高频参数：梯度大→学习率小→步伐放缓•低频参数：梯度小→学习率大→快速更新优劣总结✔优点：极其适合稀疏数据（如文本特征）✘缺点：学习率单调递减，易导致训练早停（1）初始化所有参数β0为初始值，将累积

梯度平方和向量s0设置为零向量。（2）对于每次迭代t，计算梯度gt：

（3）更新累积梯度平方和向量st:

其中⨀表示逐元素相乘。（4）更新参数βt：

2.3.2改进梯度法RMSprop:解决学习率衰减问题核心思想：自适应学习率引入梯度平方的移动平均值，动态调整每个参数的学习率，避免学习率过早衰减。工作机制：指数移动平均不再累积所有历史梯度，而是计算指数衰减的移动平均，更关注近期梯度变化，遗忘遥远过去。算法优势：高效稳健学习率非单调递减，后期更新有效；对非平稳目标（如RNN）优化效果显著。RMSpop算法优化路径示意等高线图展示了算法在参数空间中平滑的收敛轨迹（1）计算梯度平方的移动平均值：其中g是目标函数F(βt)在迭代时刻t关于参数βt的梯度。γ是衰减系数，通常取值在0.9左右。∇F(βt)是第t次迭代的梯度。（2）更新参数：其中α是学习率。ε是一个常数，用于防止分母为0，通常取值为e-82.3.2改进梯度法Momentum：引入“惯性”加速收敛核心思想：引入惯性参数更新不仅依赖当前梯度，还叠加了历史梯度的累积效果。工作机制：速度累积梯度方向一致则加速前进；方向改变则平滑震荡，像滑行的冰球。核心优势：高效收敛显著减少路径震荡，帮助模型在高曲率区域快速跳出局部最优。（1）计算动量项：其中vt+1表示第t+1次迭代的动量项。γ是动量系数，通常取值在0.9左右。∇F(βt)是第t次迭代的目标函数F(βt)梯度。（2）更新参数：其中βt+1是第t+1次迭代的参数值，α是学习率。2.3.2改进梯度法Adam：深度学习优化器的集大成者核心思想：融合与校正结合RMSprop（自适应学习率）与Momentum（动量）的优势，并引入偏差校正机制，解决训练初期估计偏差问题。工作机制：三阶联动计算一阶矩估计(mₜ)与二阶矩估计(vₜ)，并对两者进行偏差校正，从而动态且稳定地调整每一步的学习率。核心优势：全能表现内存占用低且计算高效；对超参数选择不敏感，默认值表现优异；广泛适用于大规模数据和高维空间训练。2.3.2改进梯度法（1）更新步数steps：t=t+1（2）计算损失函数Fβ对参数β的梯度gt：（3）计算梯度的一阶矩mt：（4）计算梯度的二阶矩vt：（5）对一阶矩mt进行校正，由于mt初始值为0，会导致其在初始阶段被低估。计算公式为：（6）对二阶矩vt进行校正，由于vt初始值为0，会导致其在初始阶段被低估。计算公式为：（7）更新参数βt,当βt收敛时返回模型参数。计算公式为：核心定义与本质最大期望法(EM算法)是一种迭代式的参数估计方法。它通过巧妙的“两步迭代”机制，解决传统优化方法难以处理的问题。关键应用场景适用对象：包含隐变量(LatentVariable)的概率模型解决目标：最大似然估计(MLE)或最大后验估计(MAP)核心优势：当存在不可观测变量导致似然函数求解困难时，提供高效的近似解。2.3.3最大期望法传统最大似然估计(MLE)模型仅包含观测变量X目标：直接最大化logP(X|θ)求解方式：通常可通过求导等解析方法直接求解，过程直观。含隐变量的复杂模型引入未知隐变量Z，仅能观测X对数似然包含积分项：lnL(θ|X)=ln∫p(X,Z|θ)dZ难点：积分内的对数函数无法直接求导优化。核心问题与解决方案EM算法的核心目标：在隐变量存在导致似然函数无法直接优化的情况下，提供一种高效的迭代策略来估计模型参数θ。2.3.3最大期望法EM算法的核心步骤：E步(Expectation)核心目标计算Q函数，即完全数据对数似然的期望。具体操作计算隐变量后验分布：

P(Z|X,θ^(t))构造Q函数期望：

Q(θ|θ^(t))=E[logP(X,Z|θ)]算法作用通过“期望”将未知的隐变量Z进行“填充”，将不完整数据转化为可处理的“完整数据”。2.3.3最大期望法EM算法的核心步骤：M步(Maximization)核心目标最大化Q函数，以此得到新的参数估计值。这是EM算法中更新模型参数的关键环节。数学操作求解使Q函数最大的新参数θ^(t+1)：θ^(t+1)=argmax_θQ(θ|θ^(t))实际作用在E步得到的“完整数据”基础上，进行一次标准的最大似然估计。由于隐变量已被期望化处理，这一步通常是一个相对容易求解的优化问题。2.3.3最大期望法EM算法的迭代过程01.初始化参数选择合适的初始参数θ^(0)，作为迭代的起点。02.E步(期望步)计算Q函数：Q(θ|θ^(t))，即完全数据的对数似然函数的期望。03.M步(极大步)最大化Q函数以更新参数：θ^(t+1)=argmax_θQ(θ|θ^(t))。04.收敛判断重复E步和M步，直到参数变化小于阈值ε或似然函数值不再显著上升。05.输出结果算法收敛后，输出最终的参数估计值θ*。2.3.3最大期望法

2.3.3最大期望法

2.3.3最大期望法2.4模型正则化策略2.4.1范数惩罚2.4.2样本增强2.4.3GAN正则化的目的在于提升模型泛化能力样本少模型复杂，过拟合减小模型复杂度增加训练样本2.4.1范数惩罚正则化基本思路：降低模型容量或增加样本数量。范数惩罚正则化方法基本思想：降低模型容量

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚

2.4.1范数惩罚几何解释：正则化是在损失函数等值线（椭圆）上寻找与约束边界相切的点。L1正则化：约束边界为菱形，顶点易相切，导致部分参数为0，产生稀疏解。L2正则化：约束边界为圆形，切点通常不在坐标轴，参数被均匀缩小而非归零。正则化几何示意图L1菱形约束L2圆形约束虚线：损失函数等值线实线：正则化约束边界切点即为最优解位置2.4.1范数惩罚定义(Definition)样本增强（DataAugmentation）是指在不实际收集新数据的情况下，通过对现有样本进行一系列随机变换，生成大量与原始样本相似但不完全相同的新样本，从而扩充训练数据集的过程。核心目的(CoreObjectives)扩充数据集增加训练样本的数量和多样性，使模型学习到更丰富的特征。提高泛化能力引入噪声和变化，迫使模型学习本质特征，有效防止过拟合。模拟现实多样性模拟现实世界中数据的各种变化，使模型在实际应用中表现更稳定。“通过数据增强，让模型在有限的数据中学习到无限的可能性。”2.4.2样本增强几何变换包括随机翻转（水平/垂直）、随机旋转、随机裁剪、平移及缩放等操作。颜色变换随机调整图像的亮度、对比度、饱和度、色调，或添加高斯噪声等。其他变换包含随机擦除(RandomErasing)、CutMix、MixUp等高级混合策略。核心目标：在保持图像的语义信息不变的前提下，通过增加样本的多样性来提升模型的泛化能力和鲁棒性。2.4.2样本增强样本增强多用于计算机视觉领域2.4.2样本增强

2.4.2样本增强核心作用有效防止过拟合通过增加数据多样性，减少模型对训练数据的依赖，提升泛化能力。提升模型性能提供更多样化的训练信号，有助于模型学习到更具代表性的特征。重要意义降低数据收集成本无需额外收集和标注数据，是一种经济高效的数据扩充手段。增强模型鲁棒性使模型对输入数据的微小变化不敏感，提升在真实场景下的稳定性。总结：样本增强技术通