人工智能导论 课件 第4章 深度学习新方法

第四章深度学习新方法深度学习新范式3自监督学习的基本概念监督学习（SupervisedLearning）：有标注，学习拟合特征与标签间的映射自监督学习（Self-SupervisedLearning）：无标注，学习特征的通用表示猫猫狗狗未知未知未知未知4AI模型训练常用流程：自监督预训练（特征提取）＋有监督微调（例如分类）自监督学习的基本概念1.预训练2.微调海量无标注样本自监督学习少量标注样本监督学习特征通用表示分类器5自监督学习的基本概念自监督学习的两类方法：掩码学习&对比学习对比学习：判别图片相关性（差异性）掩码学习：预测被遮盖的图片/文字信息6掩码学习学习目标：根据上下文（Context）推断缺失的信息，基于剩余部分预测被隐藏部分掩码操作：隐藏输入样本的一部分（例如句子中的某些词语或图像中的某些区域）文本掩码图像掩码7掩码学习掩码学习的两类典型方法：自回归&自编码自编码（以MAE模型预测图像为例）：随机隐藏输入中的部分元素自回归（以GPT模型预测词元为例）：隐藏当前预测位置及后续位置的所有元素8对比学习

对比学习的三类样本9对比学习

如何实现这一学习目标？对比学习的三类样本10InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计11InfoNCE损失函数经典损失函数InfoNCE：InformationNoiseContrastiveEstimation信息噪声对比估计核心变量与功能相似性度量：衡量特征之间的相似度，通常用内积或余弦相似度计算；温度参数：越大，相似度的影响越小；越小，相似度的影响越大。12基于分类问题视角理解InfoNCE分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数13分类问题（K+1类）交叉熵InfoNCE

为未归一化的模型预测值（逻辑值logits）InfoNCE损失函数等价含义：基于特征相似度计算逻辑值，完成分类基于分类问题视角理解InfoNCE14显存开销高：依赖大量负样本，K

值可达到8192甚至更高；超参数敏感：几乎每个新数据集都需要重新搜索最佳的温度参数；维度崩溃风险：为最小化损失，将所有特征投影到一个低维的子空间；为了突破这些局限，DINO等模型应运而生，同时也开启了自蒸馏（Self-Distillation）等自监督学习的技术新路径。InfoNCE损失函数的不足15DINOv3（2025年11月发布）首个7B参数规模的视觉模型简单微调，即可完成图像检索、深度估计、视频追踪训练方法：结合掩码学习与自蒸馏学习融合了Gram锚定、指数移动平均等技巧InfoNCE损失函数的新进展16模型迁移应用痛点：现实中高质量标注数据的匮乏，使得针对每一个特定任务“从零开始”训练模型难以实现。模型迁移提供了有效的解决思路。模型迁移：将在大规模数据集上进行预训练学习到的大量通用表示，迁移到新的任务中。其能大幅提升新模型的学习效率，并显著改善在小样本数据上的泛化性能。图像模型迁移示例17模型迁移模型迁移的两类典型方法：模型复用&模型微调模型复用（以复用DINOv3模型为例）：将预训练模型直接作为高效的特征提取器模型微调：引入新的数据集与目标，对预训练模型进行轻量训练并调整参数18π0.6*（2025年11月发布）视觉-语言-动作（VLA）模型在多类任务中取得90%以上成功率，展示了显著的应用潜力方法特点：跨模态迁移（对齐）预训练模型高质量的单模态表示进一步实现通用语义向物理知识与动作的跨模态迁移跨模态迁移案例19模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。1.模型量化：用低精度整数或浮点数代替模型的高精度浮点数参数代表方法：后训练量化（PTQ）&量化感知训练（QAT）模型量化基本流程：PTQ（左）不重新训练模型，只需要少量校准数据；QAT（右）引入量化仿真操作，需要重新进行训练。20模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。2.模型剪枝：去除神经网络中冗余的参数或结构方法分类：非结构化剪枝&结构化剪枝非结构化剪枝将绝对值较小的权重连接设置为零；结构化剪枝以通道/层/卷积核/注意力头等为单位移除结构。21模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。3.知识蒸馏：将一个性能优异但计算复杂度较高的教师模型中的知识迁移到一个结构更小、计算更高效的学生模型中方法分类：离线蒸馏&在线蒸馏离线蒸馏的教师模型为预训练模型，在蒸馏过程中其参数不变；在线蒸馏的教师模型和学生模型在同一训练过程中共同学习并更新参数。22模型轻量化模型轻量化：在尽量不牺牲模型性能的前提下，压缩模型体积、降低计算复杂度与显存占用，提升推理效率与部署灵活性。本小节介绍4类典型的模型轻量化方法。4.语言模型轻量化推理：键值缓存&预测解码键值缓存（左）“以空间换时间”；预测解码（右）“先尝试后验证”。预测解码结果校验过程23小结自监督学习的基本概念掩码学习的基本思想与方法对比学习的基本思想InfoNCE损失函数的形式、不足及有关新进展模型迁移的基本思想与方法模型轻量化的基本思想与方法深度学习训练方法25引入：为什么训练越来越难？随着模型算法的复杂度不断攀升，模型性能的提升往往伴随着对数据规模和计算资源需求的急剧增长，这也使得训练流程面临着巨大的工程挑战。挑战主要来自数据与计算资源两个方面：一方面，数据稀缺性限制模型性能。另一方面，模型参数量日益增大，对计算和存储资源提出更高要求。训练困难数据稀缺性：限制模型性能存储资源：显存/带宽压力算力需求：训练时间上升26本节内容：三种深度学习训练技巧？在有限数据、显存和算力约束下，提高训练效率。数据增广变换或生成新变体扩充训练集分布式训练计算任务分解至多个计算单元，突破单节点性能局限混合精度训练关键步骤采用低精度浮点数，降低显存并提升速度数据效率+规模效率+数值效率，共同支撑高效训练。27数据增广：让有限数据变得更“丰富”现有数据真实样本变换/合成扰动、插值、生成训练集规模与多样性提升数据增广方法可在无需额外标注的情况下，对现有数据施加变换或者合成新样本，扩充训练集的规模和多样性。模型的性能上限往往由训练数据的规模、多样性和质量共同决定。早期工作如AlexNet成功应用数据增广技术。以NVIDIACosmos为代表的生成模型，可提供长尾分布场景数据。未来高质量文图数据增速放缓，数据增广可能发挥更重要作用。28图像增广：核心身份具有不变性“这是一只猫”/“这是一座山”应当不随可接受的外观扰动而改变。图像增广的基本假设：物体的核心身份对其在图像中的位置、方向、光照条件和颜色强度的变化具有一定的不变性。常见图像增广方法：位置：随机裁剪/平移方向：翻转/旋转光照：亮度/对比度颜色：饱和度/色彩29多样本组合增广：MixUp与CutMix除了对单张图像进行基本变化之外，还可以通过组合多个样本来实现图像增广。主要方法包括：MixUp：像素级加权平均，标签同样比例加权。CutMix：裁剪矩形区域并粘贴，标签按面积占比混合。30文本增广：难点在语义一致与语法完整与图像不同，文本具有离散性和高度结构化的特点，对其进行增广需要格外关注语义一致性与语法完整性。稍有不当的修改，就可能造成语义偏差甚至彻底改变句子含义。常见的文本增广操作包括：替换/插入/回译/生成等。核心是在不损害语义标签的前提下，实现语句形式上的多样化。31其他形式的数据增广时序信号动态时间规整频域扰动雷达点云目标级粘贴极端天气仿真跨模态协同时空维度严格对齐强化学习域随机化修改仿真环境参数数据增广并非越多越好。当增广策略设计不当、强度过大或长期过度依赖少数增广变换时，模型可能出现坍缩。采用数据增广时，需要约束增广强度与概率，使用多样化且与任务一致的增广组合，并监控表征相似度或类别可分性。32分布式训练：把单节点放不下的任务拆开在scalinglaw的驱动下，前沿模型的参数量呈指数级增长。分布式训练将无法由单个计算节点承担的庞大训练任务，分解到多个节点组成的计算集群上。底层硬件：高性能GPU组成计算集群。计算节点：配备高性能CPU与多个核心GPU的超级计算机。通信：节点内高速互联，节点间高带宽网络。GPU计算集群目标：以并行计算的方式，协同完成整个训练过程。33数据并行（DataParallelism,DP）数据并行是当前应用最为广泛且直观的并行计算策略。将巨大的批数据拆分为多个子集。不同GPU/节点同时进行正向推理与反向计算。参数更新阶段汇总各设备梯度并求均，再重新分发。Mini-BatchGPU1完整模型子batchGPU2完整模型子batchGPU3完整模型子batchGPU4完整模型子batch梯度汇总求均同步参数更新34模型并行：流水线并行与张量并行模型参数量已经超越单一硬件的显存承载极限，从而催生了模型并行技术，包括流水线并行与张量并行。流水线并行通常适用于多节点间计算场景，张量并行侧重于单节点内的计算加速。两者解决的问题都是：模型本身太大，单卡放不下。流水线并行：将模型不同层纵向切分至不同设备张量并行：将单一算子或张量横向拆分，依赖节点内高带宽互联。35深度神经网络并行计算方法对比36进阶技巧：计算-通信-显存平衡分布式训练本质上是对计算、通信与显存资源进行协同优化的系统性方法。技术名称核心置换逻辑核心收益FSDP通信换显存显存需求随节点数量降低激活重算计算换显存降低中间激活值峰值显存内存卸载主机内存换显存利用主机内存突破显存上限通信压缩/量化计算换通信降低网络传输比特数FlashAttention计算换I/O提升速度并降低显存占用DeepEP调度优化平衡提升预填充任务吞吐量计算显存通信以计算换显存激活重算/FalshAttention以计算换通信通信压缩/量化以通信换显存FSDP/参数分片37通信换显存：完全分片数据并行（FSDP）FSDP的核心理念是将原本笨重的模型“化整为零”，把模型权重、梯度，以及优化器状态均匀地切分并分摊到所有GPU上。动态“即拿即放”：前向/反向到某层时拉取所需参数片段，计算完成后立即释放。38AI常用浮点数精度格式并非所有训练环节都需要统一使用高精度表示与计算。混合精度训练基于这一思想，实现计算效率提升。浮点数=符号位+指数位+尾数位：指数位决定有效范围，尾数位决定有效精度。低位宽节省存储和计算吞吐，但也带来梯度上溢、梯度下溢与舍入误差累积等数值不稳定问题。39自动混合精度（AMP）AMP的核心思想并非全局地使用单一低精度，而是在训练的不同环节“智能地”混合使用FP32和FP16/BF16。深度学习模型分析41深度学习模型的黑箱属性黑箱属性典型示例：手工设定参数网络&数据驱动参数网络数据驱动参数网络：隐藏层神经元的激活模式明显不同手工设定参数网络：神经元的激活具有规整的几何结构42可解释性与可视化模型分析方法：分析神经元在不同刺激下的激活状态激活最大化：一种用于理解神经网络内部表征的特征可视化技术优化目标：寻找使得某神经元的输出取得最大值的输入优化过程：利用梯度上升，不断迭代更新这张噪声图的像素，使其逐步演变成高度模式化的图像。作用：可视化网络在不同深度层级所捕获的核心表征43可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术沿使神经元激活增大的梯度方向更新输入图像在实践中，直接用上述无约束优化会产生高频噪声或对抗性样本，无法形成人眼可理解的图像。因此，实际应用会引入关键的正则化项44可解释性与可视化激活最大化：一种用于理解神经网络内部表征的特征可视化技术常用的正则化类高频抑制：对图像做高斯模糊或惩罚总变差，强制相邻像素平滑过渡，消除椒盐噪点。像素约束：约束像素值在有效范围内（如[0,1]），避免数值溢出，生成更真实的图像。自然图像先验：不直接在像素空间优化，而是在一个生成网络或CNN特征空间进行优化，强制结果看起来像自然图像。45可解释性与可视化卷积神经网络的神经元可视化神经元响应强度正则化项目标图像这些合成图像可以看作该神经元理想中的模式激活最大化：一种用于理解神经网络内部表征的特征可视化技术46可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。不同的积分路径路径函数：关于插值系数α的线性函数当

α=0，得到基线

x′当

α=1，得到输入

x。47可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。计算集成梯度：第i个特征的归因值，是该特征维度上所有路径点梯度的积分48可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。集成梯度的特性完整性：所有特征的归因值之和，严格等于模型输出与基线输出的差值。实现不变性：如果两个功能完全相同的模型，即使内部参数不同，得到的归因结果也必然相同。49可解释性与可视化输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法：构造一条从完全无信息的基线到待解释的输入的直线路径（对应下图中的绿色路径），然后计算这条路径上所有点梯度的累积和。工程近似用一组离散的插值点来近似求和50可解释性与可视化输入图片输入归因方法：对输入的每一个成分精准地分配贡献度集成梯度算法总结：设定全黑的基准输入沿着从基准到原始图像的路径累积梯度积分归因结果51可解释性与可视化表示空间可视化：将高维特征空间中的复杂关系投影到二维，揭示其分布规律t-SNE算法：高维数据可视化领域最经