人工智能通识应用基础课件 项目七 2：大模型2

项目七

大模型（部署、训练、微调）项目概述项目知识要点知识能力目标学时本项目聚焦大模型的技术本质与实践落地，系统梳理大模型的定义、架构原理、关键技术，结合ChatGLM系列模型的部署案例。1初识大模型2大模型核心原理3大模型关键技术4大模型部署【技能要求】1能独立完成大模型的环境配置与部署。2能运用关键技术解决大模型应用中的训练效率、推理速度等问题。3具备大模型适配特定场景的微调能力。【知识要求】1理解大模型的定义、核心特征与发展历程。2掌握Transformer架构及变体原理。3熟悉大模型训练优化、高效推理与参数微调技术。2项目实训大模型部署应用实践2项目知识要点与目标7.2大模型的核心原理Transformer架构由Google在2017年的论文AttentionIsAllYouNeed中首次提出，其设计初衷是解决传统循环神经网络（RNN）在处理长序列时的梯度消失和并行计算瓶颈问题。与依赖时序递归的RNN不同，Transformer完全基于注意力机制构建，通过自注意力（Self-Attention）模块实现对序列中任意位置元素的直接关联计算，彻底打破了序列长度对模型性能的限制。1.架构基础：Transformer与注意力机制Transformer架构图Transformer有非常出色的序列建模能力和全局信息感知能力，这也使得Transformer模型在自然语言处理领域占据主导地位，模型架构图中PositionalEncoding表示将输入文本信息的位置信息编码输入到模型中与模型的文本信息（InputEmbedding）进行拼接。pos表示的是在输入的文本中字符的位置；d表示的是空间位置向量表的维度；i为位置编码向量的维度分组索引（0≦i≧dmodel/2），表征每2个维度为一组的索引值；/为除法运算符。三角函数公式的存在使得Transformer中位置向量不仅存在绝对位置关系还存在相对位置关系。7.2大模型的核心原理7.2大模型的核心原理自注意力机制（Self-Attention）可以使得模型在编码时不仅考虑到当前位置的词同时还能兼顾整个文本的词汇信息，Transformer改进了自注意力机制，提出了一种多头注意力机制，通过多个生成（Q，K，V）权重矩阵使得每一个Attention关注的重点不一样，最后将不同头拼接起来使得Transformer的注意力层更加完善，ADD&Norm主要是对向量的输出进行标准化。在Transformer的解码层中多出一个Mask机制，Mask表示的是掩码，其主要作用是对输入的某些值进行掩盖，选取15%的词进行mask处理，其中80%的词用Mask遮盖掉，%10用已有的词替换掉，%10的词保持不变，从而迫使神经网络能够更加的依赖上下文，从而使模型输出的词向量信息包含了更多的上下文信息，使词向量信息更有深度。Mask机制图随着应用场景的拓展与研究的深入，基于Transformer的架构变体不断涌现，以适配不同任务需求，主要分化为Encoder-only、Decoder-only和Encoder-Decoder三大类架构。7.2大模型的核心原理2.Transformer变体的架构分化Encoder-onlyDecoder-onlyEncoder-DecoderTransformer架构变体（1）Encoder-only架构Encoder-only架构以BERT（BidirectionalEncoderRepresentationsfromTransformers）为典型代表，其设计初衷聚焦于自然语言理解任务。在该架构中，输入文本首先经过TokenEmbedding层，将每个词转化为对应的向量表示，SegmentEmbedding则用于区分输入中的不同句子片段，比如在处理两个句子组成的文本对时，可明确标识句子A与句子B，而PositionEmbedding负责编码词在序列中的位置信息，弥补Transformer架构中对序列顺序不敏感的缺陷。Encoder-only架构在自然语言理解任务上表现卓越，像文本分类任务中，可基于输出的词向量对文本整体语义进行判断，实现情感分析、主题分类等功能；在命名实体识别（NER）任务里，能精准识别出文本中的人名、地名、组织机构名等实体。不过，该架构在文本生成方面存在局限性，由于其训练过程中词可双向看到上下文，与生成任务中从左到右单向生成文本的特性不匹配，若要用于生成任务，往往需要额外添加解码器模块。7.2大模型的核心原理7.2大模型的核心原理

（2）Decoder-only架构Decoder-only架构在国产大模型中得到广泛应用，以百度的文心一言（ERNIE）和阿里巴巴的通义千问（Qwen）系列为代表，其核心设计目标同样是实现强大的文本生成能力。与编码器-解码器架构不同，这些国产大模型在训练和推理过程中严格遵循从左到右的单向生成顺序。从架构层面看，国产大模型通过堆叠Decoder层构建核心结构。每个Decoder层包含Masked自注意力机制和前馈神经网络。Masked自注意力通过因果掩码确保当前位置的词只能关注到前面所有位置的信息，严格保证生成的单向性。以通义千问为例，其在架构设计上进行了多项优化：采用旋转位置编码（RoPE）增强模型对长序列的位置感知能力，支持处理高达32K的上下文长度；在注意力计算方面引入FlashAttention等技术，显著提升长序列处理的效率；同时通过分组查询注意力（GQA）机制，在保持生成质量的同时大幅降低推理时的内存占用。7.2大模型的核心原理

（3）Encoder-Decoder架构Encoder-Decoder架构融合了编码器与解码器的功能，像T5（Text-to-TextTransferTransformer）和BART（BidirectionalAuto-RegressiveTransformers）均采用此架构，适用于多种序列转换任务。在这种架构中，编码器部分负责对输入序列进行编码，将其转化为紧凑的语义表示。以机器翻译任务为例，若源语言为英语，编码器会对输入的英文句子进行处理，提取其中的语义、语法等特征；解码器则利用编码器输出的信息，结合自回归机制生成目标序列，即对应的另一种语言的翻译结果。在生成过程中，解码器通过交叉注意力机制关注编码器的输出，获取源语言的关键信息，同时借助自注意力机制处理已生成的部分目标序列，逐步生成完整译文。Encoder-Decoder架构支持降噪自编码（DenoisingAutoencoding）训练方式，先对输入文本进行加噪处理，如随机掩码部分词元（Token）、