人工智能基础与实践 第11章 先进神经网络架构

教育部教育部-华为智能基座课程章节目录01注意力机制02Transformer架构及其应用章节目录01注意力机制02Transformer架构及其应用注意力机制大脑中的注意力大脑中的注意力人脑在有限的资源下，并不能同时处理这些过载的输入信息我们可以借鉴人脑解决信息过载的注意力机制来提高神经网络处理信注意力机制注意力示例注意力示例注意力机制网络能力提升网络能力提升卷积网络图网络增加网络能力的另一种思路：注意力机制注意力机制注意力机制背景注意力机制背景处理大量输入信息或复杂计算流程时，计算机的计算能力成为瓶颈注意力机制定义与分类定义与分类人脑可以有意或无意地从大量输入信息中选择小部分的有用）？注意力机制注意力机制的计算注意力机制的计算qα注意力机制注意力机制的计算注意力机制的计算s(x#s(x#,q)打分函数•计算注意力分布“•根据“来计算输入信息的加权平均注意力机制注意力打分函数加性模型点积模型缩放点积模型双线性模型注意力机制注意力机制的变体注意力机制注意力机制的变体用(k,V)=[(K1,V1),···,(KN,VN)]注意力机制注意力机制的变体•利用多个查询Q=[q1•输入信息本身具有层次（Hierarchical）结构注意力机制注意力机制的变体•只利用注意力机制中的第一步，将注意力分布作为一个软性的指注意力机制容量以及梯度消失问题，实际上也只能建立注意力机制如何建立非局部（Non-Local）的依赖关系无法处理变长问题连接权重“$j由注意力机制动态生成注意力机制注意力机制注意力机制注意力机制注意力机制注意力机制注意力机制α1,2=q1.k2α1α1,2k2k2a1a1a2α1,3=q1.k3α1,3k3aa3α1,4=q1.k4k4aa4q1=wqa1k2=wka2k3=wka3k4=wka4注意力机制q1=wqa1k2=wka2k3=wka3k4=wka4注意力机制b1α,1v2v3v1v4q1k1k2k3k4v2v3v1v4q1a1a2a3a1a2a3aa4v1=wva1v2=wva2v3=wva3v4=wva4注意力机制注意力机制bb2=α2,,iviq2k2v2a2k3v3a3k4a4k1a1v4v1b2q1q3q4注意力机制qi=wqaiq1q2q3q4=wqa1a2a3a4q1q1k1v1a1ki=wkaivi=wvaiq2q2k2v2a2Ik1kk1k2k3k4=wka1a2a3a4KIKv1v1v2v3v4=wva1a2a3a4Vq3Vq3k3v3a3q4kq4k4v4a4注意力机制α1,1=k1q1α1,2=k2q1α1,3=k3q1α1,4=k4q1αα1,2αα1,3=kk1kk2kk3kk4q1v2q2v3v1q3k2v4qv2q2v3v1q3k2v4q1k1q4k4α4α4k2v2v1k3vk2v2v1k3v4k1k4Akk1kk2kk3kk4K丁Q注意力机制b1b1b1b2b3b4Ov1v2v3v4Vα,1α,2α,3α,1α,2α,3α,1α,2α,3α,1α,2α,3q3k3v3q4k4v4q2k2v2A,=注意力机制IIIqkvQ注意力机制注意力机制多头自注意力模型多头自注意力模型多头自注意力在K-V的思想上进行了延申，解决了只能用局部信息和向量间表示差异性不明注意力机制多头自注意力机制多头自注意力机制bi,1kbi,1ki,1ki,2vi,1vi,2qj,1qj,2kiviqjaikj,1kj,2vj,1vj,2qiqi=wqaiqi,1=wq,1qiqi,2=wq,2qikjajvji,1i,2注意力机制2kj,12kj,1kj,2vj,1vj,ki,1ki,2vi,1vi,2qj,1qj,2kiviqjai多头自注意力机制qi,1=wq,1qiqi,2=wq,2qiqi,1qi,2qiqi=wqaikjvjbi,1bi,2aj注意力机制多头自注意力机制bbi,1bi,2bi=Woqi,1qi,2ki,1ki,2vi,1vi,2qiqikiviqi=Wqaiaiqj,1qj,2kj,1kj,2vj,1vj,2kjkjvjajqj注意力机制自注意力位置编码自注意力位置编码每个位置具有一个唯一编码向量eiqqikiviei+ai注意力机制自注意力位置编码注意力机制0000注意力机制注意力机制BERTBERT章节目录01注意力机制02Transformer架构及其应用Transformer架构及其应用搜索引擎48Transformer架构及其应用Transformer模型是自然语言处理领域的革命性工作，完全摒弃了传统的循环神Transformer架构及其应用hthtxththt-1hht-1tanhσσtanhσcthtittσct-1σσtanhσσσtanhfttanhtanhxt-1xtxt+1hht~ht-1rtztσσtanhσσtanhσσhttanhxt-1xtxt+1Transformer架构及其应用解码器解码器qkv qkv编码器qkvTransformer核心组成Transformer采用了编码器-解码器架构，以多层堆叠的方式构建整个网络框架。单一的Transformer层主要包含了两个部分：多头注意力与前馈网络。Transformer层使用位置编码器，为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息。Transformer层使用了ResNet中的残差学习思想，多次使用残差连接。Transformer架构及其应用解码器解码器qkv qkv=conc=concαtHeαd1Heαd2…HeαdH编码器qkvyv1v2aaaak1k2k3k4键（kTransformer架构及其应用输出：y输出：y下雨了aaaa可解渴的黑色饮料Attnsoftmax(a(q,k))⊗v)(2)Transformer架构及其应用前馈网络：注意力机制的输出作为前馈网络的前馈网络：注意力机制的输出作为前馈网络的解码器qkv qkv编码器qkvTransformer架构及其应用Transformer复杂度分析0(KLd2)0(logk(L))0(Ld2)Transformer架构及其应用Transformer在视觉领域的应用Transformer在视觉领域的应用ransformerransformer编码器++Transformer编码器T打破了CNN在图像处理领域的长期垄断，展示了展示了在大规模数据集上展现了Transformer在多提出图像分块（ImagePatchEmbedding）的新方法，通过将图像分割成一系列固定大小的图像块，并将这些图像块视为序列化的“视觉单词”或“令牌”（tokens）Transformer架构及其应用在每个窗口内进行自注意力计算。将计算复杂度降低到与窗口大小线在每个窗口内进行自注意力计算。将计算复杂度降低到与窗口大小线移位窗口的设计使得相邻窗口之间ViT将图像分割成固定大小的非重叠小块，直接进行全局自注意力计算。在处理高分辨率图像时，计算复杂度会随着图像尺寸ViT的全局自注意力机制，不同窗口之间的信息无法直接交互，这可能导致信息隔离。全局自注意力Transformer架构及其应用Transformer在视觉领域的应用DeiT：数据高效性图像让ViT能够借助一个Transformer架构及其应用Transformer在自然语言处理领域的应用Transformer架构及其应用Transformer在自然语言处理领域的应用GPT系列（GenerativePre-Transformer架构及其应用Transformer在语音识别领域的应用•Transformer的前馈网络中嵌入•卷积擅长捕捉局部上下文（如音•自注意力擅长捕捉全局依赖（如•“没有一种结构是万能的”Transformer架构及其应用Transformer在强化学习领域的应用•范式转变：将强化学习•输入：过去的状态、动•直接通过Transformer的自回归方式预测下一Transformer架构及其应用Transformer的优势Transformer的优势章节目录01注意力机制02Transformer架构及其应用Mamba架构及其应用什么是MambaMamba架构及其应用为什么需要为什么需要SSMMamba架构及其应用为什么需要为什么需要SSM•仅关注局部特征，容易忽视•无推理方面的优化，固定的Mamba架构及其应用为什么需要为什么需要SSM•过大的空间复杂度与时间复杂度•复杂的注意力分数计算过程导致推理速度慢Mamba架构及其应用为什么需要为什么需要SSM•核心思想：独特的状态空间设计•处理每个新Token时动态更新和维护一个内部状态，此状态不仅编码了之前所有Token信息，还能根据Mamba架构及其应用MambaMamba的基础组件Mamba架构及其应用MambaMamba的基础1：状态空间模型（SSM）•用于描述序列在各时间步的状态表示，并根据输入预测其下一个•输入序列x(t)、隐状态表示h(t)、预测输出序列y(t)•状态方程：h’t=Aht+Bx(t)•输出方程：yt=cht+Dx(t)Mamba架构及其应用MambaMamba的基础1：状态空间模型（SSM）•输入矩阵B：描述外部输入如何影响系统状态，建立输入信号与系统•输出矩阵cMamba架构及其应用MambaMamba的基础2：连续信号转换为离散信号Mamba架构及其应用Mamb