6第六章Transformer网络-2电子课件

Transformer网络主讲：XXX时间：2026/8/30目录CONTENTS01经典注意力机制02Transformer架构03视觉Transformer模型视觉Transformer模型AIPARTTHREEViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将Transformer应用在视觉任务的论文，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了Transformer在CV领域应用的里程碑著作。ViT背景介绍[1]DosovitskiyA,BeyerL,KolesnikovA,etal.Animageisworth16x16words:Transformersforimagerecognitionatscale[J].arXivpreprintarXiv:2010.11929,2020.ViT整体架构VisionTransformer(ViT)是一个用于计算机视觉任务的神经网络架构，它引入了Transformer模型来处理图像。与传统的卷积神经网络不同，ViT直接处理图像的像素块而非通过卷积操作提取特征。它证明了Transformer在计算机视觉任务中能够取得与卷积神经网络相媲美甚至更好的表现。如左图所示，ViT的结构分为图像切分及嵌入、位置编码以及Transformer编码器这3个主成部分。ViT整体架构

ViT整体架构

ViT整体架构具体而言，对于标准的Transformer模块，要求输入的是token（向量）序列，即二维矩阵[num_token,token_dim]，如下图，token0-9对应的都是向量，以ViT-B/16为例，每个token向量长度为768。ViT整体架构对于图像数据而言，其数据格式为[H,W,C]是三维矩阵明显不是Transformer想要的。所以需要先通过一个Embedding层来对数据做个变换。如下图所示，首先将一张图片按给定大小分成一堆Patches。以ViT-B/16为例，将输入图片(224×224)按照16×16大小的Patch进行划分，划分后会得到(224/16)2=196个Patches。接着通过线性映射将每个Patch映射到一维向量中，以ViT-B/16为例，每个Patche数据shape为[16,16,3]通过映射得到一个长度为768的向量。ViT整体架构在代码实现中，直接通过一个卷积层来实现。以ViT-B/16为例，直接使用一个卷积核大小为16×16，步距为16，卷积核个数为768的卷积来实现。通过卷积[224,224,3]→[14,14,768]，然后把H以及W两个维度展平即可[14,14,768]→[196,768]，此时正好变成了一个二维矩阵，正是Transformer想要的。ViT整体架构在输入TransformerEncoder之前注意需要加上[class]token以及PositionEmbedding。在得到的一堆tokens中插入一个专门用于分类的[class]token，这个[class]token是一个可训练的参数，数据格式和其他token一样都是一个向量，以ViT-B/16为例，就是一个长度为768的向量，与之前从图片中生成的tokens拼接在一起，Cat([1,768],[196,768])→[197,768]。ViT整体架构

ViT整体架构

ViT整体架构

ViT整体架构

Transformer编码器由多个堆叠的编码器块组成，每个编码器块包含两个主要组件：多头自注意力层，用于捕捉输入图像块之间的全局关系；前馈神经网络，用于对每个位置的特征进行非线性变换，提升特征表达能力。每个组件后都会添加残差连接和层归一化。ViT整体架构

ViT整体架构

ViT整体架构

ViT整体架构

ViT整体架构

ViT整体架构

ViT整体架构总体而言，ViT是一种基于Transformer的图像分类架构，它直接处理图像块而不使用传统的卷积操作。通过引入位置编码并使用Transformer来捕捉全局信息，ViT在多个计算机视觉任务中取得了优异表现，证明了Transformer在计算机视觉任务中的潜力。SwinTransformer模型SwinTransformer是一种高效的视觉Transformer模型，旨在克服ViT的一些限制（例如计算复杂度高和局部特征捕捉能力不足），并提升在图像识别、目标检测和语义分割任务中的适用性。SwinTransformer的核心在于其设计的SwinTransformer块与多层金字塔下采样结构。[2]Liu,Ze,etal."Swintransformer:Hierarchicalvisiontransformerusingshiftedwindows."2021IEEE/CVFinternationalconferenceoncomputervision(ICCV).Ieee,2021.SwinTransformer模型SwinTransformer构造了层次化特征图，且关于图像大小具有线性计算复杂度。如左图所示，SwinTransformer通过从小尺寸patch(灰色轮廓)开始，逐渐在更深的Transformer层中合并相邻patch，从而构造出一个层次化表示(hierarchicalrepresentation)。通过这些层次化特征图，SwinTransformer模型可方便地利用先进技术进行密集预测，例如特征金字塔网络(FPN)或U-Net。SwinTransformer模型线性计算复杂度是通过在图像分区的非重叠窗口内，局部地计算自注意力来实现的(红色轮廓)(而非在整张图像的所有patch上进行)。每个窗口中的patch数量是固定的，因此复杂度与图像大小成线性关系。这些优点使SwinTransformer适合作为各种视觉任务的通用主干，与之前基于Transformer的架构形成对比，后者产生单一分辨率的特征图并具有二次复杂度。SwinTransformer块SwinTransformer块

SwinTransformer块

窗口多头注意力SwinTransformer块

窗口移动多头注意力SwinTransformer块

多层金字塔下采样结构多层金字塔下采样结构如上图所示，SwinTransformer构建了金字塔结构，通过对输入特征进行下采样，缩小特征图空间维度，并增大通道数，从而逐步提取从局部到全局的多尺度特征。这种设计使其更适合像目标检测和语义分割等需要提取多尺度特征的任务。多层金字塔下采样结构块合并操作

多层金字塔下采样结构阶段一

多层金字塔下采样结构阶段二

多层金字塔下采样结构阶段三

多层金字塔下采样结构阶段四

多层金字塔下采样结构与ViT相似，SwinTransformer可分为4种（Swin-T、Swin-S、Swin-B、Swin-L），它们的参数配置如上表所示，参数量中的M表示106。研究人员将SwinTransformer在ImageNet、COCO、ADE20K等一系列数据集上与其他视觉模型进行了对比测试，证明了SwinTransformer的优越性。比如在ImageNet-1K测试集上，ViT-B/16模型（参数量为86M）达到了77.9%的准确率，而Swin-T达到了81.3%的准确率，Swin-S达到了83.0%的准确率，Swin-B达到了84.5%的准确率。多层金字塔下采样结构总体而言，SwinTransformer通过窗口多头注意力和窗口移动多头注意力机制，显著降低了计算复杂度，并引入了多层金字塔下采样结构，更适用于图像分类、目标检测和语义分割等多种任务。这种设计让SwinTransformer在计算机视觉任务中超越了传统卷积神经网络和早期的ViT。未来展望01稀疏注意力机制当前的Transformer架构在处理长序列时，计算复杂度较高，因为注意力机制需要计算序列中所有位置之间的关系。稀疏注意力机制通过限制注意力的范围，例如只关注局部区域或特定的模式，可以显著降低计算复杂度，从而提高模型的效率。02多模态融合随着人工智能的发展，多模态学习（如文本与图像、语音与文本等）成为了一个重要的研究方向。Transformer架构可以扩展到多模态场景，通过引入跨模态注意力机制，实现对不同模态数据的联合建模。例如，CLIP（ContrastiveLanguage-ImagePre-training）模型通过将文本和图像嵌入到同一空间，实现了高效的跨模态检索和生成任务。未来展望03模型压缩与优化Transformer模型通常具有大量的参数，这使得模型的部署和推理过程面临挑战。未来的研究可能会集中在模型压缩和优化上，例如通过量化、剪枝等技术，减少模型的计算量和存储需求，同时保持模型的性能。04可解释性与透明度Transformer模型通常被视为“黑盒”模型，其决策过程难以解释。未来的研究可能会关注如何提高Transformer模型的可解释性，例如通过可视化注意力权重、开发解释性工具等，帮助研究人员和实践者更好地理解模型的行为。例如，一些研究通过可视化自注意力机制的权重分布，揭示了模型在不同任务中的关注点。本章小结本章小结经典注意力机制本章首先回顾了多种经典注意力机制，并重点分析了自注意力机制与多头注意力机制的实现方式和优势。这些机制赋予模型强大的全局依赖建模能力，为Transformer在各类序列任务中的卓越表现奠定了基础。Transformer随后，本章深入解