人工智能通识应用基础课件 项目七 3：大模型3

项目七

大模型（部署、训练、微调）项目概述项目知识要点知识能力目标学时本项目聚焦大模型的技术本质与实践落地，系统梳理大模型的定义、架构原理、关键技术，结合ChatGLM系列模型的部署案例。1初识大模型2大模型核心原理3大模型关键技术4大模型部署【技能要求】1能独立完成大模型的环境配置与部署。2能运用关键技术解决大模型应用中的训练效率、推理速度等问题。3具备大模型适配特定场景的微调能力。【知识要求】1理解大模型的定义、核心特征与发展历程。2掌握Transformer架构及变体原理。3熟悉大模型训练优化、高效推理与参数微调技术。2项目实训大模型部署应用实践2项目知识要点与目标7.3大模型关键技术数据并行：数据并行是最基础的分布式训练方式，其核心逻辑是将训练数据划分为多个子集，每个计算节点（如GPU）持有完整的模型副本，并独立计算各自数据子集上的梯度。在完成计算后，通过AllReduce等通信算法，将各节点的梯度进行汇总平均，再同步更新所有节点的模型参数。以训练BERT模型为例，若有4个GPU，将训练数据等分为4份，每个GPU分别计算各自数据上的损失函数与梯度。这种方式适用于模型参数量较小，且计算节点内存足以容纳完整模型的场景，能够显著提升训练速度。1.训练工程优化义（1）分布式训练技术模型并行：当模型规模庞大，单个计算节点的显存无法容纳完整模型时，模型并行技术应运而生。它将模型按层或模块切分到不同计算节点，每个节点仅负责处理模型的一部分。例如，对于一个多层Transformer模型，可将前几层分配给GPU1，中间几层分配给GPU2，后几层分配给GPU3。流水并行：流水并行结合了数据并行与模型并行的思想，将模型按层划分为多个阶段，每个阶段由一个或多个计算节点负责。同时，将训练数据划分为多个批次，不同批次的数据在模型的不同阶段同时进行计算。混合并行：在实际应用中，为应对超大规模模型的训练需求，通常会采用混合并行策略，将数据并行、模型并行和流水并行结合使用。例如，先将模型按层进行模型并行划分，在每个模型并行组内采用数据并行，同时结合流水并行处理不同批次数据，从而兼顾计算效率与显存利用。通过这种方式，能够训练具有数万亿参数的超大规模模型，推动大模型技术的发展。7.3大模型关键技术梯度累计：当模型规模较大，单次训练批次所需的显存超过计算节点的容量时，梯度累计技术可有效解决这一问题。其原理是将多个小批次数据的梯度进行累加，等效于进行大批次训练。例如，原本计划使用批次大小为64的数据进行训练，但显存不足，可将其拆分为4个批次，每个批次大小为16。在计算时，依次计算每个小批次的梯度，但不立即更新模型参数，而是将4个小批次的梯度累加起来，得到与批次大小为64时近似的梯度，再进行一次参数更新。这样虽然增加了计算步数，但减少了每一步的显存占用，使训练能够顺利进行。混合精度训练：混合精度训练利用不同精度的数据类型进行计算和存储，以降低显存占用并加速计算。在训练过程中，模型的参数和中间计算结果通常以FP32（32位浮点数）格式存储和计算，以保证计算精度。但FP32占用显存较大，计算速度相对较慢。7.3大模型关键技术（2）显存优化技术

混合精度训练将部分计算转换为FP16（16位浮点数）或BF16（脑浮点16位）进行，这些低精度数据类型占用显存仅为FP32的一半，且在现代GPU上计算速度更快。同时，为避免因低精度计算导致梯度下溢（梯度值过小无法更新参数），采用动态损失缩放技术，根据梯度大小自动调整损失函数的缩放因子，确保训练稳定进行。例如，在训练GPT系列模型时，混合精度训练大幅减少了训练时间和显存占用。Checkpoint技术：Checkpoint技术通过选择性地保存和恢复模型中间层的参数，减少显存占用。在训练过程中，模型的中间层会产生大量的激活值，这些激活值占用大量显存。Checkpoint技术会放弃保存部分中间层的激活值，仅保存必要的参数。当需要计算梯度进行反向传播时，再根据保存的参数重新计算这些激活值。7.3大模型关键技术7.3大模型关键技术2.高效推理技术量化技术剪枝技术知识蒸馏模型压缩技术并行解码策略

缓存与重计算优化模型架构优化解码加速方法（1）模型压缩技术7.3大模型关键技术01量化技术通过降低模型参数和计算的数据精度，在几乎不损失性能的前提下大幅减少内存占用与计算量。量化技术02剪枝技术旨在去除模型中冗余的连接或参数，从而减小模型规模。根据剪枝粒度可分为结构化剪枝和非结构化剪枝。剪枝技术03知识蒸馏通过将大型教师模型的知识迁移到小型学生模型，使学生模型在参数量和计算量大幅减少的情况下，仍能保持接近教师模型的性能。知识蒸馏（2）解码加速方法7.3大模型关键技术01传统的自回归解码方式逐个生成token，存在严重的串行依赖，限制了推理速度。并行解码策略打破了这一限制，允许模型同时生成多个token。并行解码策略02KV缓存是在Transformer解码过程中，KV缓存技术通过存储已计算的Key和Value矩阵，避免重复计算。重计算核心思想是在计算过程中‌有选择性地丢弃中间激活值‌，从而减少对显存或内存的占用缓存与重计算优化03针对Transformer自注意力机制计算复杂度高的问题，许多改进型注意力机制被提出以加速解码，如：稀疏注意力算法、Longformer采用滑动窗口和全局注意力结合、FlashAttention等。模型架构优化7.3大模型关键技术3.参数高效微调基于适配器的微调方法Adapter架构设计：Adapter（适配器）是一种轻量级的参数插入模块，通过在预训练模型的层间添加小型神经网络（通常为全连接层构成的瓶颈结构），实现特定任务的适配。多任务共享与跨领域迁移：Adapter的模块化特性支持多任务共享与知识迁移。通过训练多个任务专属的Adapter，并共享预训练模型的核心参数，可显著降低存储成本与训练开销。矩阵分解原理：LoRA（Low-RankAdaptation）通过对预训练模型的权重矩阵进行低秩分解，将参数更新限制在低秩子空间内。动态秩调整策略：为进一步优化LoRA的性能，动态秩调整技术通过在训练过程中自适应调整低秩矩阵的秩r，平衡计算效率与模型表达能力。软提示与离散提示：提示微调通过优化输入提示的嵌入向量