神经网络与深度学习 课件30-微课-Transformer的结构

Transformer的结构张杲峰，刘刚，周庆国人民邮电出版社2025神经网络与深度学习(微课)内容概要Transformer简介位置编码Transformer的结构神经网络与深度学习2Transformer简介Transformer是由维斯瓦尼（AshishVaswani）等人2017年在论文AttentionIsAllYouNeed中提出的一种新的编码器-解码器架构。与循环神经网络类似：Transformer最初被设计用于处理像自然语言等序列化数据，执行文本摘要、机器翻译等任务。与循环神经网络不同：Transformer一次处理整个输入

可并行处理。位置编码在语言理解等任务中，位置对于解释输入的单词很重要。注意力机制并未考虑不同输入元素之间的顺序关系，因此需要为输入特征添加位置信息。Transformer选择不同序列的正弦和余弦函数作为位置相关的特征模式.将位置编码与词嵌入向量相加，就得到带位置信息的词嵌入向量，接下来就可以作为输入传递给注意力模块。该特征模式可以泛化到更长的输入序列。位置编码

位置编码正余弦函数位置编码

d=512，序列长度=100的位置编码矩阵Transformer的结构

解码组件编码组件

编码器编码器编码器编码器解码器解码器解码器解码器他

喜欢

足球Helikesthefootball输出输入Transformer的结构编码器编码组件中的所有编码器拥有相同的结构。每个编码器由两个子层组成，分别是自注意力子层和位置对应的前馈网络（positionwisefeed-forwardnetwork）子层.每个子层采用了残差连接，并且每个子层进行了层规范化。他

喜欢

足球输入+词嵌入位置编码

多头自注意力

前馈网络

前馈网络

前馈网络

Transformer的结构

他

喜欢

足球输入+词嵌入位置编码

多头自注意力

前馈网络

前馈网络

前馈网络

Transformer的结构

他

喜欢

足球输入+词嵌入位置编码

多头自注意力

前馈网络

前馈网络

前馈网络

Transformer的结构解码器解码组件中包含和编码器相同数量的解码器。每个解码器由3个子层构成掩蔽多头注意力子层编码器-解码器多头注意力子层位置对应的前馈网络子层每个子层也都采用的残差连接和层规范化操作。Helikesthefootball逐个来自于输出+词嵌入位置编码

编码器-解码器多头自注意力

前馈网络

前馈网络

前馈网络

掩蔽多头自注意力

。中间其他解码器最后一个解码器

log+softmax

来自编码器Helikesthefootball并反馈至输入逐元素生成Transformer的结构解码器解码器的掩蔽多头自注意力层的输入来自于上一个解码器层的输出。由于在预测阶段输出序列的元素是逐个生成的，因此在解码器的每个时间步，只有已经生成的元素才能用于解码器子注意力的计算，这就相当于将当前元素之后的元素序列都屏蔽了，因此该层叫掩蔽自注意力层。编码器-解码器自注意力层的查询来自于掩蔽自注意力层的输出，但是键和值矩阵来自于编码组件的输出，这有助于解码器专注于输入序列中的适当位置。全连接子层和编码器的类似。Helikesthefootball逐个来自于输出+词嵌入位置编码

编码器-解码器多头自注意力

前馈网络

前馈网络

前馈网络

掩蔽多头自注意力

。中间其他解码器最后一个解码器

log+softmax

来自编码器Helikesthefootball并反馈至输入逐元素生成Transformer的结构解码器解码器最终输出为一浮点数向量，该向量传递给一个简单的全连接神经网络，即线性层。线性层将其投影成一个更大的向量，叫几率（logits）向量，每个向量元素对应一个单词的分数；然后Softmax层将这些分数转换为概率。选择概率最高的元素，就可以生成与之关联的单词作为此时间步骤的输出。Helikesthefootball逐个来自于输出+词嵌入位置编码

编码器-解码器多头自注意力

前馈网络

前馈网络

前馈网络

掩蔽多头自注意力

。中间其他解码器最后一个解码器

log+softmax

来自编码器Helikesthefootball并反馈至输入逐元素生成问题Q：和一般的循环神经网络相比，Transformer处理数据时有什