大模型技术深度解析(微课版) 课件6.2-大模型压缩技术

大模型压缩技术模型压缩一、为什么需要模型压缩二、

评级指标与基准三、小模型现状四、挑战与未来模型压缩一、为什么需要模型压缩深度学习的成功与挑战深度学习的成功

随着深度学习技术的飞速发展，神经网络模型在图像识别、自然语言处理等多个领域取得了显著的成功。巨大的资源消耗

模型通常包含数百万乃至数十亿个参数，导致了巨大的计算资源消耗和存储需求，也限制了它们在边缘设备上的部署与应用。模型压缩与加速方法压缩加速方法

研究者们提出了多种模型压缩及加速方法，旨在减少模型尺寸的同时保持或提升其性能，以解决深度学习模型资源消耗巨大的问题。学术与工业关注大规模预训练模型以及卷积神经网络等架构已经在多个任务上达到了前所未有的准确率，但训练与推理成本高昂。平衡压缩与保真度平衡压缩与保真度

模型压缩旨在降低复杂度，包括减参数、少计算、减小内存占用等。有效压缩加快推理，节能，使大模型可部署于资源受限的终端设备。实时应用的关键

对于实时性要求较高的应用场景而言，如自动驾驶汽车、智能监控摄像头等，快速响应能力和低延迟至关重要，而模型压缩正是解决这一难题的关键所在。平衡压缩与保真度绿色AI热点

随着社会公众对环境保护意识的增强，绿色AI也成为了一个新兴的研究热点，以应对AI系统庞大能源消耗的问题。低碳环保研究

训练大规模预训练模型耗能巨大，估计相当于汽车行驶数万公里排放的二氧化碳，因此低碳环保技术路线的研究至关重要。模型压缩二、评级指标与基准模型压缩评价指标(1)浮点运算FLOPs FLOPs衡量模型计算复杂度，减少参数或简化结构可降FLOPs，降低推理计算成本，对计算资源受限环境尤为重要，FLOPs反映了模型推理过程中浮点运算的次数。(2)平均FLOPS利用率MFU MFU是衡量硬件在模型推理时FLOPs利用率的指标，实际用于有用计算的FLOPs与总可用FLOPs的比例，高MFU意味着高效利用资源，减少资源浪费。模型压缩评价指标(3)推理时间

推理时间是模型处理单输入并给出输出所需时间，评估模型性能的直接指标，尤其关键于需快速响应的应用，模型压缩通过降低复杂度来减少推理时间，使模型运行更快。(4)加速比

加速比反映未压缩与压缩模型推理时间的比率，高比率意味着高效短计算时间，是评估压缩效果提升幅度的直接表现，测量了模型压缩带来的性能提升，比率越高越高效。模型压缩评价指标(5)模型压缩比

模型压缩比反映了压缩后模型大小相对于原始模型大小的减少比例，高压缩比意味着模型尺寸显著减小，有利于存储和传输。(6)精度保持率

精度保持率衡量了模型在压缩后仍保持的原始精度水平，以百分比形式表示。高精度保持率意味着模型在压缩过程中丢失的信息较少，能够较好地保持其性能。基准数据集LAMBADA

设计评估文本理解，通过叙述性文段预测最后一个单词，要求模型处理广泛上下文，筛选书籍片段构建数据集，挑战现有语言模型，鼓励开发理解广泛上下文的新模型。OpenBookQA

开放书籍问答数据集，评估NLP科学理解和推理，结合事实与常识回答问题，挑战多跳推理和知识检索，最新实验显示人类表现接近92%，但预训练模型表现较差。基准数据集GSM8K

数据集包含8500个高质量的小学数学题目，旨在测试和提高自然语言处理模型在解决数学问题上的能力，雇佣人力创建题目，平衡难度，结合验证器改善模型表现。CommonsenseQA

面向常识性知识问答的新数据集，通过概念网络选取概念并定义关系，众包创建选择题，要求模型结合常识区分选项，挑战现有NLP模型忽视常识的局限。基准数据集StrategyQA

强调多步骤推理的基准，问题不直接提供解答步骤，要求模型从问题中推导出策略，数据收集程序激发注释者想象力并控制群体，分解推理步骤并标注证据段落。Vicuna-Instructions

由GPT-4自动生成，用于改善和评估语言模型在处理多种类型任务中的表现，覆盖多领域，提供综合性基准测试提升模型理解能力，自动化生成指令及响应。模型压缩三、小模型现状小模型现状引言(1)模型架构(2)训练技术(3)代表性SLM(4)关键挑战引言-大语言模型性能与资源挑战性能卓越

大语言模型在各类基准测试中展现出了卓越的性能，能够处理复杂的语言任务，如多轮对话、文本生成和图像描述等，为NLP领域树立了新的标杆。隐私安全

随着LLM在现实世界任务中的广泛应用，其带来的隐私和安全问题日益凸显。模型可能无意中收集敏感信息，引发用户担忧，因此必须重视隐私保护措施。引言-大语言模型性能与资源挑战资源密集

LLM的训练和推理过程对计算资源有极高的要求，包括大量的数据和先进的算力支持，通常需要在特定的硬件上进行，这构成了其应用推广的一大挑战。带宽延迟

在远程通信和分布式计算场景中，LLM的高带宽需求和推理延迟成为显著挑战。优化模型以减少资源占用和提高响应速度，对于提升用户体验至关重要。引言-小型语言模型的发展与应用发展背景

面对大语言模型的资源密集问题，小型语言模型（SLM）应运而生。旨在通过优化模型架构和训练技术，减少资源消耗，提高运行效率，为更广泛的应用铺平道路。应用前景 SLM在资源受限的环境中展现出巨大潜力，如移动设备和嵌入式系统。其高效的处理能力和广泛的应用前景，使其成为未来语言模型发展的重要方向。引言-小型语言模型的发展与应用多领域应用

面对大语言模型的资源密集问题，小型语言模型（SLM）应运而生。旨在通过优化模型架构和训练技术，减少资源消耗，提高运行效率，为更广泛的应用铺平道路。技术挑战

小型语言模型面临如何保持与大语言模型相当的准确率和表达能力，同时显著降低计算和存储资源的需求，以及提高模型的可扩展性和泛化能力等技术挑战。模型架构-轻量化架构与高效计算机制模型优化

针对资源受限环境，小型语言模型（SLM）通过轻量化架构与高效计算机制，显著减少参数与计算量，确保在移动设备与边缘设备上高效运行。高效运行

SLM采用改进BERT架构如MobileBERT和DistilBERT，减少参数与计算复杂度，并探索Reformer和FlashAttention等自注意力机制的高效变种。模型架构-轻量化架构与高效计算机制模型架构

小型语言模型（SLM）广泛采用仅编码器（encoder-only）和仅解码器（decoder-only）架构，有效平衡性能与资源需求。模型架构-MobiLlama与MobileLLM(1)MobiLlama设计

针对资源受限设备，SLM融合参数共享技术，有效去除冗余，达成高效低耗训练与部署，性能卓越，助力隐私保护、安全及高效应用发展。(2)创新参数共享

MobiLlama通过共享前馈网络层，减少参数数量，维持训练与推理效率，性能与大型模型相当。同时完全开源，提供全套资源，推动科研技术发展。模型架构-MobiLlama与MobileLLM(3)MobileLLM优化

针对移动设备优化小于十亿参数语言模型，解决云成本高、延迟问题。强调架构设计与数据共享重要性，提出深而窄架构结合即时块状权重共享方法。模型架构-Reformer与Mamba模型(1)Reformer优势

为解决Transformer资源需求高问题，Reformer引入可逆残差层和LSH注意力，减少内存需求，保持性能匹配，有效处理长序列数据。(2)LSH注意力

通过LSH技术降低复杂度至O(L*logL)，优化注意力计算，减少资源需求。实验证明其处理长文本序列速度更快，优于标准Transformer。(3)Mamba模型

针对长序列处理效率低问题，Mamba模型采用选择性状态空间，通过创新选择机制动态调整状态空间，提高处理效率与精确度。模型架构-RWKV模型融合与创新(1)RWKV融合

融合RNN与Transformer优势，克服各自缺陷，处理长序列时更高效。采用线性注意力与通道定向技术，减少计算与内存复杂性。(2)RWKV结构

由多个残差块组成，含时间混合与通道混合子块，利用循环结构捕捉长期依赖。支持时间平行训练与推理时的时间顺序模式。(3)RWKV特点

处理长序列时，RWKV减少计算与内存需求，适合资源受限环境。性能与相似Transformer模型相当，但效率更高、资源需求更低。模型架构-RWKV模型融合与创新(1)RWKV融合

融合RNN与Transformer优势，克服各自缺陷，处理长序列时更高效。采用线性注意力与通道定向技术，减少计算与内存复杂性。(2)RWKV结构

由多个残差块组成，含时间混合与通道混合子块，利用循环结构捕捉长期依赖。支持时间平行训练与推理时的时间顺序模式。(3)RWKV特点

处理长序列时，RWKV减少计算与内存需求，适合资源受限环境。性能与相似Transformer模型相当，但效率更高、资源需求更低。训练技术-混合精度与资源优化技术(1)混合精度训练 SLM与LLM预训练时，采用混合精度技术，结合低精度与高精度数据表示，既加速训练又减少内存使用，同时维持模型精度，是提升训练效率的关键。(2)梯度裁剪

梯度裁剪作为有效的训练优化手段，通过设定梯度阈值并缩放超大型梯度，有效防止梯度爆炸，维护数值稳定性，助力高效且稳定的模型训练过程。(3)优化器选择

训练过程中，优化器选择至关重要。Adam、AdamW、Adafactor及Sophia等优化器，结合梯度裁剪与合理参数初始化，有效提升训练效率与模型性能。训练技术-预训练技术(1)预训练基础

预训练是SLM和LLM训练的关键，通过大量未标注数据学习通用语言特征，为下游任务提供坚实基础。混合精度训练在此过程扮演重要角色，有效降低计算资源消耗。(2)精度与稳定性

BF16浮点格式，作为FP32的精简版，显著减少内存占用并加速计算，同时维持数值稳定性与模型性能，是高性能神经网络处理的优选方案。训练技术-预训练技术(3)优化器发展

从Adam到Sophia，优化器发展历经多年，性能不断提升。Sophia优化器通过高级数据缓存与异步计算，实现了对大规模并行训练的高效管理，显著提高训练效率。训练技术-微调技术(1)微调概述

微调技术通过调整预训练模型参数，快速适应新任务。LoRA和PromptTuning等方法仅调整少量参数，有效防止过拟合，同时保留预训练模型的大部分知识。训练技术-微调技术(2)参数高效微调

参数高效微调（PEFT）策略专注于最小化微调成本，同时最大化模型对新任务的适应性和灵活性。这通过仅更新模型的一小部分参数或添加轻量级模块来实现。(3)微调技术进展 Llama-Adapter和DynamicAdapters等微调技术通过增加可学习提示或选择混合专家模型，优化了LLaMA模型的微调过程，提高了处理特定任务的灵活性和效率。训练技术-数据增强(1)数据增强作用

数据增强技术通过模拟现实世界中的不同情况，扩展训练数据的多样性和覆盖范围，有效减少模型过拟合的风险，提升了模型在实际应用中性能的关键策略。(2)创新数据增强

近年的研究中，多种创新数据增强方法被提出，如AugGPT利用ChatGPT生成多样本，Evol-Instruct生成复杂指令，Reflection-tuning优化指令响应，提升模型性能。(3)数据增强应用 SLM和LLM领域运用数据增强技术提升模型性能。通过生成多样本、优化指令、结合外部知识等策略，增强模型的适应性和泛化能力，推动自然语言处理领域发展。代表性SLM-通用领域SLM(1)SLM效能

在当今的人工智能领域，大型语言模型的发展似乎遵循着“越大越好”的原则。然而，这类模型在处理设备上的运行和能源效率方面遇到了挑战，而这两点对于隐私保护、定制化服务以及可持续性来说至关重要。(2)SLM崛起

小型语言模型，即参数较少的模型，能够提升预训练、微调和推理过程中的计算效率，从而减少对内存和能量的需求，这一点在资源有限的环境中显得尤为关键。随着对高效能与低能耗需求的增长，SLMs正逐渐吸引更多的关注。(3)SLM构建趋势

小型模型大多采用了相似的基本架构，但它们在特定训练数据集的选择和技术应用上有所不同。以Llama3.2-1B模型为例，它通过高质量训练数据、剪枝初始化、知识蒸馏预训练及监督微调等技术，有效控制参数量。代表性SLM-通用领域SLMSLM组件与架构 SLMs在组件选择和架构创新上有所突破，采用分组查询注意力、SiLU/SwiGLU激活函数、RMS归一化，同时嵌入共享、层共享和FFN参数共享等改进，提高模型紧凑性和效率。(1)Qwen Qwen小模型通过大规模预训练掌握语言规律，适用于资源受限环境，采用精简结构设计及高效训练方法，实现高效推理，适应多语言任务，满足实时应用需求，成为资源优化与高效处理的理想选择。代表性SLM-通用领域SLM(2)LLama3 LLama3小模型基于Transformer架构，通过精简设计与量化技术优化计算资源利用，平衡效率与性能，支持多语言任务，适用于小型设备及边缘计算，提供流畅用户体验，展现强大自然语言处理能力。(3)Gemma2

Gemma2通过先进的Transformer架构与多种优化措施，如局部-全局注意力、分组查询机制、GeGLU激活函数及RMS归一化，实现性能与资源消耗的最佳平衡，满足多样化应用场景需求。代表性SLM-专用领域SLM

专用领域小型语言模型（SLM）聚焦于特定任务与专业知识，显著提升行业效率与准确性，具有变革性影响。这些模型在数学、物理、化学、天文学等领域展现出了卓越性能，推动科学AI发展。(1)数学领域

LEMMA是首个针对数学领域设计的SLM，通过Proof-Pile-2数据集提升数学推理能力，显著超越先前模型，并展示形式化数学能力，执行少样本定理证明预测，为数学AI研究开辟新途径。(2)科学领域

SciGLM通过引入SciInstruct数据集，结合多个基础模型微调，大幅提升科学推理能力，尤其在化学学科上表现显著，同时保持通用语言模型能力，为科学AI提供新视角。专用领域小模型代表性SLM-专用领域SLM ChemLLM作为首个化学领域专用SLM，通过构建ChemData和ChemBench资源，结合两阶段指令调优方法，显著提升化学任务处理能力，展现出卓越的专业技能与跨学科能力。(4)天文学领域 AstroLLaMA作为天文学领域专用LLM的原型，展现优于GPT-4的情境感知能力，生成更具洞察力的文本补全和嵌入提取。尽管面临准确性挑战，但已展现出强大潜力。(5)医疗领域 Hippocrates框架促进医疗LLM应用与发展，解决训练、评估难题；Hippo模型家族经优化，表现卓越，显著超过医疗领域其他LLM，展现定制化的优势与强大专业能力。(3)化学领域代表性SLM-专用领域SLM MentalLLaMA通过指令调优生成可解释的心理健康分析结果，利用IMHI数据集和ChatGPT生成的高质量解释提升表现，在IMHI基准测试中接近SOTA模型。(7)金融法律领域MindLLM是轻量级大型语言模型系列，通过减少参数数量降