大模型基础及应用教程课点26-27-Transformer架构概述

课点26-27汇报人汇报时间2026/8/14Transformer架构大模型基础及其应用目录Catalogue1.Transformer发展历程PartOneTransformer优势PartTwo2.Encoder+Decoder结构PartThreeTransformer模型结构PartFour3.4.Transformer优势PartFive5.01PowerPointDesignTransformer发展历程PART自AlexNet以来，卷积神经网络（CNN）成为了计算机视觉领域的主流架构。CNN通过卷积层、池化层和全连接层提取图像特征，并通过不断堆叠的卷积层扩大感受野，实现对图像从局部到全局的特征提取。然而，CNN在浅层网络提取局部信息有限，在捕获全局上下文信息方面缺乏效率，缺少对图像的整体感知和宏观理解。卷积神经网络的局限性受自注意力（self-attention）机制在自然语言处理（NLP）领域成功应用的启发，一些基于CNN模型尝试通过引入注意力层或直接用注意力模块替代卷积层来克服卷积带来的局限性。自注意力机制允许模型在处理序列数据时关注到不同位置的信息，并具有高效的并行计算能力。自注意力机制的启发012017年6月，Google团队提出了Transformer模型，它是一种基于注意力的结构，首次在自然语言处理任务中展现出巨大的优势。Transformer模型摒弃了传统的CNN和循环神经网络（RNN），仅使用Self-Attention机制来挖掘词语间的关系，兼顾并行计算能力的同时，极大地提升了长距离特征的捕获能力。Transformer的提出Transformer模型在NLP领域取得了重大突破，并引起了计算机视觉界的广泛关注。越来越多的研究人员将其迁移应用到目标检测、图像分割、图像生成、图像标注等其他计算机视觉任务中，并取得了良好的效果。Transformer模型在处理长序列数据方面具有显著优势，可以有效地捕获输入数据的全局信息。Transformer的应用02PowerPointDesignTransformer优势PARTTransformer模型采用自注意力机制进行信息的交互与传递，这种机制允许模型在处理序列数据时关注到不同位置的信息。由于这种注意力机制的计算可以并行进行，因此Transformer模型具有极高的计算效率和并行处理能力。在大规模数据集的训练中，这一优点得以充分体现，使得模型能够在短时间内学习到更多的数据特征。01高效的并行计算能力由于Transformer模型可以有效地捕获输入数据的全局信息，因此它具有强大的表示能力。在自然语言处理领域，Transformer模型已被证明在语言建模、翻译等任务中取得了显著的性能提升。通过结合其他技术，如预训练语言模型（BERT、GPT等），Transformer模型的表示能力得到了进一步增强。强大的表示能力传统的循环神经网络（RNN）和长短时记忆网络（LSTM）在处理长序列数据时，容易遭遇梯度消失或梯度爆炸的问题。而Transformer模型采用自注意力机制，避免了这些问题，使得模型能够更好地适应长序列数据。这一优点在处理诸如语音信号、长时间序列数据等任务时具有显著优势。适应长序列数据03PowerPointDesignEncoder+Decoder结构PART首先，Transformer模型通过获取输入句子的每一个单词的表示向量X，并将其传递到Encoder中。Encoder由多个Encoderblock组成，每个block包含自注意力机制和前馈神经网络。自注意力机制用于挖掘词语间的关系，前馈神经网络用于进一步提取特征。经过6个Encoderblock后，可以得到句子所有单词的编码信息矩阵C。Encoder编码将Encoder输出的编码信息矩阵C传递到Decoder中，Decoder依次会根据当前翻译过的单词1~i翻译下一个单词i+1。Decoder接收了Encoder的编码矩阵C，然后首先输入一个翻译开始符"<Begin>"，预测第一个单词"I"；然后输入翻译开始符"<Begin>"和单词"I"，预测单词"have"，以此类推。Decoder的预测过程包括自注意力、编码器-解码器注意力和输出层。01Decoder预测04PowerPointDesignTransformer模型结构PART01Encoder模块包含多个Encoderblock，每个block包含自注意力机制和前馈神经网络。自注意力机制用于挖掘词语间的关系，前馈神经网络用于进一步提取特征。Encoder模块通过6个block的处理，可以得到句子所有单词的编码信息矩阵C。Encoder模块Decoder模块包含多个Decoderblock，每个block包含自注意力机制、编码器-解码器注意力和前馈神经网络。Decoder模块通过自注意力机制关注到当前翻译过的单词1~i，并通过编码器-解码器注意力机制关注到Encoder输出的编码信息矩阵C。最后，通过输出层生成预测结果。Decoder模块自注意力机制是Transformer模型的核心部分，它可以使模型在处理序列数据时关注到不同位置的信息。自注意力机制通过计算查询、键和值的点积，并通过softmax函数进行归一化，得到每个元素对于每个元素的注意力得分。然后，将每个元素的注意力得分与对应的值相乘，并求和得到输出。自注意力机制为了提高自注意层的性能，Transformer模型引入了多头注意力机制。多头注意力机制将查询向量、键值向量和值向量进行均等拆分，并在每个注意力头之间进行独立学习。这样做可以使得每个注意力头都能够发现不同的语义信息，从而提取更多的特征。多头注意力机制05PowerPointDesignTransformer优势PARTTransformer模型采用自注意力机制，可以并行地进行计算。在大规模数据集的训练中，这一优点得以充分体现，使得模型能够在短时间内学习到更多的数据特征。并行性Transformer模型通过自注意力机制可以有效地捕获输入数据的全局信息，从而更好地处理长距离依赖关系。这一优点在处理诸如机器翻译、文本摘要等任务时具有显著优势。长距离依赖处理T