人工智能导论 课件 第3、4章 机器学习基础、深度学习新方法

第三章机器学习基础经典统计学习3回顾：AI学习三要素模型（Model）用什么函数描述规律，例如线性模型、树模型、神经网络。数据（Data）从样本中学习规律，可以是有标签数据，也可以是无标签数据。目标（Objective）通过损失函数衡量好坏，训练时追求经验风险小，测试时追求泛化能力强。4机器学习深度学习强调表示学习和端到端建模统计学习从有限样本中学习规律，关注模型、损失和泛化强化学习强调与环境交互，通过奖励学习策略本节聚焦经典统计学习——理论清晰、可解释性强，是后续深度学习的重要基础。5逻辑回归从线性回归到逻辑回归线性组合Sigmoid映射概率输出线性回归逻辑回归输出类型连续值概率值任务类型回归分类损失函数均方误差交叉熵6逻辑回归

基本思想：用概率描述二分类结果。名称里有“回归”,本质上却是分类模型。概率范围：(0,1)7Sigmoid函数

Sigmoid函数是逻辑回归把“分数”变成“概率”的关键一步。8逻辑回归决策边界：最优分界面最大间隔9支持向量机逻辑回归关注概率输出，SVM强调找到分类间隔最大的分界面目标：找到能够正确分类样本的分界线关键思想：要尽量“分得开”最大间隔可分10支持向量机超平面：用于划分类别的决策边界间隔：超平面到最近样本的距离支持向量：恰好落在间隔边界附近，决定分类面的关键样本真正决定SVM边界位置的，是离边界最近的那些样本。超平面最大间隔间隔边界间隔边界支持向量11支持向量机原始数据移除部分非支持向量后支持向量决定SVM边界位置12支持向量机当训练数据线性可分时，可以直接寻找最大间隔超平面

目标函数：约束条件：决策函数：13支持向量机

14线性不可分并不是所有分类问题都能线性可分，此时线性SVM无法直接找到合适的分界面三明治分布同心圆分布15核方法原空间中的线性不可分问题，可通过非线性映射转化为高维空间中的线性可分问题。SVM在高维空间中寻找最优分离超平面。原空间：线性不可分高维空间：线性可分非线性映射16非线性SVM

线性SVM非线性SVM

17非线性SVM

线性SVM非线性SVM把内积

替换为核函数18核方法核函数：核函数表达式直观理解多项式核构造多项式特征，适合有交互关系的数据高斯核衡量样本相似度，最常用Sigmoid核类似神经网络激活函数，使用较少19决策树另一种非线性分类方法是使用分段线性的决策边界。决策树是一种解释性强，结构离散的分类模型。通过一系列条件判断逐步缩小样本范围。把复杂分类过程拆解成可读的规则划分。是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3GPT5Gemini3Qwen3是否否是20决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是21决策树是否开源权重？判别特征：开源权重上下文窗口是否＜100万？判别特征：上下文窗口Gemini3GPT5Qwen3根节点GPT5Gemini3Qwen3叶节点分支内部节点是否否是根节点：包含初始全部样本内部节点：对某个特征进行判断分支：表示判断条件的不同取值叶节点：给出最终分类结果低熵高熵22决策树熵：衡量数据的混乱程度

决策树希望每次划分后，子集的熵尽可能下降23决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少按特征A划分24决策树划分标准1.熵：2.按特征A划分后的条件熵：3.信息增益：

信息增益表示：按特征A划分后，数据集混乱度下降了多少熵：衡量样本集合的混乱度条件熵：划分后各子集混乱度的加权平均信息增益越大，说明该特征越适合用于当前划分决策树在每一步通常优先选择信息增益最大的特征25决策树非线性边界：分段线性逼近决策树在原始空间内反复切分特征空间每个节点相当于一次轴对齐划分阶梯状边界可以逼近复杂非线性边界26标签缺失

监督学习

无监督学习有标签样本学习映射无标签样本发现结构27K-Means聚类

28K-Means聚类

将样本分配给最近质心用簇内均值更新质心重复，直至质心稳定1234目标函数：29K-Means迭代

1

将样本分配给最近质心

用簇内均值更新质心

重复，直至质心稳定23430K-Means聚类

31主成分分析（PCA）PCA是一种常用的降维方法。现实数据往往处于高维空间中，存在相关性、冗余和噪声。PCA通过线性变换，把原始高维特征投影到低维空间中。32投影示例33主成分分析（PCA）PCA通过线性变换，把原始高维特征投影到方差最大的方向上。最大程度保留数据信息，同时实现重构误差的全局最小化。34主成分分析（PCA）如何找到方差最大、最能代表数据变化的方向？35PCA主成分：重新找到一组正交坐标轴PCA用新的坐标轴表示原始高维数据。36PCA第一主成分（PC1）：方差最大方向，保留数据最多的信息。第二主成分（PC2）：与PC1相交，解释PC1之外的最大剩余方差。PC3、PC4…：依次正交，继续解释剩余方差37PCA

38PCA算法流程39主成分选择查看每个主成分的方差贡献率常用累计解释方差选择既要尽量保留信息，也要避免维度过多40模型评估——分类任务预测为正类预测为负类真实为正类TP真阳性FN真阳性真实为负类FP真阳性TN真阳性混淆矩阵TP/TN/FP/FN

表示对应项的样本数量常用评估指标

精确率关注：判为正类的样本有多准召回率关注：真正的正类被召回多少41模型评估——回归任务均方误差（MSE）平均绝对误差（MAE）KL散度（Kullback-LeiblerDivergence）沃瑟斯坦距离（WassersteinDistance）常用评估指标42模型评估问题：这些指标需要在哪些数据上计算？如果训练和评估使用同一份数据，结果往往会过于乐观。43模型评估数据划分训练集：学习模型参数验证集：比较不同模型与超参数测试集：最终评估模型泛化能力测试集只能在最后使用一次，避免数据泄露44模型评估

45小结本节围绕经典统计学习展开，介绍了监督学习与无监督学习中的代表性方法监督学习：逻辑回归、支持向量机、决策树无监督学习：K-Means聚类、PCA降维模型评估的方法强化学习基础47回顾：从“做题”到“试错决策”2监督学习强化学习老师告诉答案本节课学习：如何把“试错”写成可计算的数学问题。环境只给奖励猫猫狗狗48强化学习基本要素学习目标：智能体通过学习“在某个状态下该采取什么动作”，最大化总奖励当前局面怎样下一步做什么怎么选择动作奖励刚才做得好不好状态将如何变化如何实现这一学习目标？状态转移概率动作状态策略49状态空间与动作空间状态空间每个可通行坐标就是一个状态动作空间在当前格子可选择的移动方向

50策略：状态下动作的概率分布

完全随机的策略A更好的策略B在每个格子里平均乱走可能要很多步才到目标更偏向靠近目标的动作平均步数显著降低51幕、回报与折扣因子

幕（Episode）

………

回报(Return)折扣因子52价值函数：给状态和动作打分

53最优策略与最优价值函数

一个策略被称为最优策略，意味着在任何局面下，这个策略带来的期望回报都是最高的，绝对不会输给其他任何一种策略。

需要注意的是，得到最高期望回报的策略可能不止一条。但最优状态价值函数和最优动作价值函数是唯一的。54贝尔曼最优方程

贝尔曼最优方程“眼前的甜头”“未来的盼头”即时奖励未来回报

55动态规划在环境的状态转移概率已知的情况下，贝尔曼最优方程可以利用动态规划算法进行求解:算法初始化时，可以将所有状态下的价值函数均设为0。遍历各个状态，按下式更新价值函数直到所有状态的价值函数变化小于预设阈值，表明价值函数已收敛至最优解。选择使每个状态价值最大化的动作，即可导出最优策略

动态规划求解迷宫任务的最优策略56探索与利用利用Exploitation探索Exploration稳选择已知高回报动作优点：当前收益稳定风险：陷入局部最优新尝试未知动作优点：发现更优路径风险：短期收益波动

57

状态\动作↑↓←→(1,1)0.6-0.4-0.50.5(1,2)0.5-0.50.61.0(2,1)1.31.00.41.3(3,2)1.0-0.41.21.2本质：不用知道环境转移概率，直接从交互样本中估计动作价值函数。

58稀疏奖励问题围棋：数百步落子中，大部分时刻奖励为0；只有终局给胜负反馈。问题：到底是哪一步带来了胜利？常用缓解方法分层学习课程学习奖励塑造模仿学习

自动驾驶、机器人等任务常采用“模仿学习初始化+强化学习微调”。59深度强化学习进展GRPOGroupRelativePolicyOptimization群组相对优势优化应用场景：游戏大语言模型训练🎮💬📄⚛📋典型特点：适合基于采样结果进行比较DDPGDeepDeterministicPolicyGradient深度确定性策略梯度动作空间：离散连续动作↑→↓×🦾⚙📋典型特点：适合连续控制任务🎯PPO：稳定通用、常用于离散策略优化💬GRPO：延伸到大模型训练🦾DDPG：延伸到连续动作控制PPOProximalPolicyOptimization近端策略优化行动器Actor：输出动作评判器Critic：评估动作好坏PPO-Clip：限制策略更新幅度60多智能体强化学习训练：可利用全局信息执行：每个智能体独立决策中心化训练，去中心化执行61小结强化学习五要素：状态、动作、策略、奖励、状态转移概率。价值函数和贝尔曼方程把“长期回报最大化”变成可计算问题。复杂任务需要平衡探索与利用，处理稀疏奖励问题。思考：如果你要训练一个扫地机器人，奖励应该如何设计？推导出贝尔曼最优方程公式。62课后欢迎交流第四章深度学习新方法深度学习新范式65自监督学习的基本概念监督学习（SupervisedLearning）：有标注，学习拟合特征与标签间的映射自监督学习（Self-SupervisedLearning）：无标注，学习特征的通用表示猫猫狗狗未知未知未知未知66AI模型训练常用流程：自监督预训练（特征提取）＋有监督微调（例如分类）自监督学习的基本概念1.预训练2.微调海量无标注样本自监督学习少量标注样本监督学习特征通用表示分类器67自监督学习的基本概念自监督学习的两类方法：掩码学习&对比学习对比学习：判别图片相关性（差异性）掩码学习：预测被遮盖的图片/文字信息68掩码学习学习目标：根据上下文（Context）推断缺失的信息，基于剩余部分预测被隐藏部分掩码操作：隐藏输入样本的一部分（例如句子中的某些词语或图像中的某些区域）文本掩码图像掩码69掩码学习掩码学习的两类典型方法：自回归&自编码自编码（以MAE模型预测图像为例）：随机隐藏输入中的部分元素自回归（以GPT模型预测词元为例）：隐藏当前预测位置及后续位置的所有元素70对比学习

对比学习的三类样本71对比学习

如何实现这一学习目标？对比学习的三类样本72InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计73InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计核心变量与功能相似性度量：衡量特征之间的相似度，通常用内积或余弦相似度计算；温度参数：越大，相似度的影响越小；越小，相似度的影响越大。74基于分类问题视角理解InfoNCE分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数75分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数等价含义：基于特征相似度计算逻辑值，完成分类基于分类问题视角理解InfoNCE76显存开销高：依赖大量负样本，K

值可达到8192甚至更高；超参数敏感：几乎每个新数据集都需要重新搜索最佳的温度参数；维度崩溃风险：为最小化损失，将所有特征投影到一个低维的子空间；为了突破这些局限，DINO等模型应运而生，同时也开启了自蒸馏（Self-Distillation）等自监督学习的技术新路径。InfoNCE损失函数的不足77DINOv3（2025年11月发布）首个7B参数规模的视觉模型简单微调，即可完成图像检索、深度估计、视频追踪训练方法：结合掩码学习与自蒸馏学习融合了Gram锚定、指数移动平均等技巧InfoNCE损失函数的新进展78模型迁移应用痛点：现实中高质量标注数据的匮乏，使得针对每一个特定任务“从零开始”训练模型难以实现。模型迁移提供了有效的解决思路。模型迁移：将在大规模数据集上进行预训练学习到的大量通用表示，迁移到新的任务中。其能大幅提升新模型的学习效率，并显著改善在小样本数据上的泛化性能。图像模型迁移示例79模型迁移模型迁移的两类典型方法：模型复用&模型微调模型复用（以复用DINOv3模型为例）：将预训练模型直接作为高效的特征提取器模型微调：引入新的数据集与目标，对预训练模型进行轻量训练并调整参数80π0.6*（2025年11月发布）视觉-语言-动作（VLA）模型在多类任务中取得90%以上成功率，展示了显著的应用潜力方法特点：跨模态迁移（对齐）预训练模型高质量的单模态表示进一步实现通用语义向物理知识与动作的跨模态迁移跨模态迁移案例81模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。1.模型量化：用低精度整数或浮点数代替模型的高精度浮点数参数代表方法：后训练量化（PTQ）&量化感知训练（QAT）模型量化基本流程：PTQ（左）不重新训练模型，只需要少量校准数据；QAT（右）引入量化仿真操作，需要重新进行训练。82模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。2.模型剪枝：去除神经网络中冗余的参数或结构方法分类：非结构化剪枝&结构化剪枝非结构化剪枝将绝对值较小的权重连接设置为零；结构化剪枝以通道/层/卷积核/注意力头等为单位移除结构。83模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。3.知识蒸馏：将一个性能优异但计算复杂度较高的教师模型中的知识迁移到一个结构更小、计算更高效的学生模型中方法分类：离线蒸馏&在线蒸馏离线蒸馏的教师模型为预训练模型，在蒸馏过程中其参数不变；在线蒸馏的教师模型和学生模型在同一训练过程中共同学习并更新参数。84模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。4.语言模型轻量化推理：键值缓存&预测解码键值缓存（左）“以空间换时间”；预测解码（右）“先尝试后验证”。预测解码结果校验过程85小结自监督学习的基本概念掩码学习的基本思想与方法对比学习的基本思想InfoNCE损失函数的形式、不足及有关新进展模型迁移的基本思想与方法模型轻量化的基本思想与方法深度学习训练方法87引入：为什么训练越来越难？随着模型算法的复杂度不断攀升，模型性能的提升往往伴随着对数据规模和计算资源需求的急剧增长，这也使得训练流程面临着巨大的工程挑战。挑战主要来自数据与计算资源两个方面：一方面，数据稀缺性限制模型性能。另一方面，模型参数量日益增大，对计算和存储资源提出更高要求。训练困难数据稀缺性：限制模型性能存储资源：显存/带宽压力算力需求：训练时间上升88本节内容：三种深度学习训练技巧？在有限数据、显存和算力约束下，提高训练效率。数据增广变换或生成新变体扩充训练集分布式训练计算任务分解至多个计算单元，突破单节点性能局限混合精度训练关键步骤采用低精度浮点数，降低显存并提升速度数据效率+规模效率+数值效率，共同支撑高效训练。89数据增广：让有限数据变得更“丰富”现有数据真实样本变换/合成扰动、插值、生成训练集规模与多样性提升数据增广方法可在无需额外标注的情况下，对现有数据施加变换或者合成新样本，扩充训练集的规模和多样性。模型的性能上限往往由训练数据的规模、多样性和质量共同决定。早期工作如AlexNet成功应用数据增广技术。以NVIDIACosmos为代表的生成模型，可提供长尾分布场景数据。未来高质量文图数据增速放缓，数据增广可能发挥更重要作用。90图像增广：核心身份具有不变性“这是一只猫”/“这是一座山”应当不随可接受的外观扰动而改变。图像增广的基本假设：物体的核心身份对其在图像中的位置、方向、光照条件和颜色强度的变化具有一定的不变性。常见图像增广方法：位置：随机裁剪/平移方向：翻转/旋转光照：亮度/对比度颜色：饱和度/色彩91多样本组合增广：MixUp与CutMix除了对单张图像进行基本变化之外，还可以通过组合多个样本来实现图像增广。主要方法包括：MixUp：像素级加权平均，标签同样比例加权。CutMix：裁剪矩形区域并粘贴，标签按面积占比混合。92文本增广：难点在语义一致与语法完整与图像不同，文本具有离散性和高度结构化的特点，对其进行增广需要格外关注语义一致性与语法完整性。稍有不当的修改，就可能造成语义偏差甚至彻底改变句子含义。常见的文本增广操作包括：替换/插入/回译/生成等。核心是在不损害语义标签的前提下，实现语句形式上的多样化。93其他形式的数据增广时序信号动态时间规整频域扰动雷达点云目标级粘贴极端天气仿真跨模态协同时空维度严格对齐强化学习域随机化修改仿真环境参数数据增广并非越多越好。当增广策略设计不当、强度过大或长期过度依赖少数增广变换时，模型可能出现坍缩。采用数据增广时，需要约束增广强度与概率，使用多样化且与任务一致的增广组合，并监控表征相似度或类别可分性。94分布式训练：把单节点放不下的任务拆开在scalinglaw的驱动下，前沿模型的参数量呈指数级增长。分布式训练将无法由单个计算节点承担的庞大训练任务，分解到多个节点组成的计算集群上。底层硬件：高性能GPU组成计算集群。计算节点：配备高性能CPU与多个核心GPU的超级计算机。通信：节点内高速互联，节点间高带宽网络。GPU计算集群目标：以并行计算的方式，协同完成整个训练过程。95数据并行（DataParallelism,DP）数据并行是当前应用最为广泛且直观的并行计算策略。将巨大的批数据拆分为多个子集。不同GPU/节点同时进行正向推理与反向计算。参数更新阶段汇总各设备梯度并求均，再重新分发。Mini-BatchGPU1完整模型子batchGPU2完整模型子batchGPU3完整模型子batchGPU4完整模型子batch梯度汇总求均同步参数更新96模型并行：流水线并行与张量并行模型参数量已经超越单一硬件的显存承载极限，从而催生了模型并行技术，包括流水线并行与张量并行。流水线并行通常适用于多节点间计算场景，张量并行侧重于单节点内的计算加速。两者解决的问题都是：模型本身太大，单卡放不下。流水线并行：将模型不同层纵向切分至不同设备张量并行：将单一算子或张量横向拆分，依赖节点内高带宽互联。97深度神经网络并行计算方法对比98进阶技巧：计算-通信-显存平衡分布式训练本质上是对计算、通信与显存资源进行协同优化的系统性方法。技术名称核心置换逻辑核心收益FSDP通信换显存显存需求随节点数量降低激活重算计算换显存降低中间激活值峰值显存内存卸载主机内存换显存利用主机内存突破显存上限通信压缩/量化计算换通信降低网络传输比特数FlashAttention计算换I/O提升速度并降低显存占用DeepEP调度优化平衡提升预填充任务吞吐量计算显存通信以计算换显存激活重算/FalshAttention以计算换通信通信压缩/量化以通信换显存FSDP/参数分片99通信换显存：完全分片数据并行（FSDP）FSDP的核心理念是将原本笨重的模型“化整为零”，把模型权重、梯度，以及优化器状态均匀地切分并分摊到所有GPU上。动态“即拿即放”：前向/反向到某层时拉取所需参数片段，计算完成后立即释放。100AI常用浮点数精度格式并非所有训练环节都需要统一使用高精度表示与计算。混合精度训练基于这一思想，实现计算效率提升。浮点数=符号位+指数位+尾数位：指数位决定有效范围，尾数位决定有效精度。低位宽节省存储和计算吞吐，但也带来梯度上溢、梯度下溢与舍入误差累积等数值不稳定问题。101自动混合精度（AMP）AMP的核心思想并非全局地使用单一低精度，而是在训练的不同环节“智能地”混合使用FP32和FP16/BF16。深度学习模型分析103深度学习模型的黑箱属性黑箱属性典型示例：手工设定参数网络&数据驱动参数网络数据驱动参数网络：隐藏层神经元的激活模式明显不同手工设定参数网络：神经元的激活具有规整的几何结构104可解释性与可视化模型分析方法：分析神经元在不同刺激下的激活状态激活最大化：一种用于理解神经网络内部表征的特征可视化技术优化目标：寻找使得某神经元的输出取得最大值的输入优化过程：利用梯度上升，不断迭代更新这张噪声图的像素，使其逐步演变成高度模式化的图像。作用：可视化网络在不同深度层级所捕获的核心表征105可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术沿使神经元激活增大的梯度方向更新输入图像在实践中，直接用上述无约束优化会产生高频噪声或对抗性样本，无法形成人眼可理解的图像。因此，实际应用会引入关键的正则化项106可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术常用的正则化类高频抑制：对图像做高斯模糊或惩罚总变差，强制相邻像素平滑过渡，消除椒盐噪点。像素约束：约束像素值在有效范围内（如[0,1]），避免数值溢出，生成更真实的图像。自然图像先验：不直接在像素空间优化，而是在一个生成网络或CNN特征空间进行优化，强制结果看起来像自然图像。107可解释性与可视化卷积神经网络的神经元可视化神经元响应强度正则化项目标图像这些合成图像可以看作该神经元理想中的模式激活最大化：一种用于理解神经网络内部表征的特征可视化技术108可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。不同的积分路径路径函数：关于插值系数α的线性函数当

α=0，得到基线

x′当

α=1，得到输入

x。109可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。计算集成梯度：第i