人工智能与未来 课件 6.6扩展：机器翻译

NaturalLanguageProcessing第6章

自然语言处理2035陈勇斌

目录CONTENTS6.16.26.36.4自然语言处理那些事自然语言处理概述语音识别自然语言理解6.506语音合成6.6扩展：机器翻译6.6.1机器翻译概述6.6.2神经机器翻译6.6.3编码器-解码器结构6.6.1机器翻译概述

机器翻译，又称为自动翻译，是利用计算机把一种自然语言转变为另一种自然语言的过程，一般指自然语言之间句子和全文的翻译。IBM英俄机器翻译系统机器翻译发展历程6.6.2神经机器翻译

神经机器翻译是一种基于人工神经网络的机器翻译技术。通常由编码器和解码器两部分组成。翻译时，首先通过编码器将源语言句子编码成实数向量，然后解码器利用这个向量逐词生成译文。

6.6.2神经机器翻译

编码器负责将源语言文本转换为中间表示，捕捉文本的语义和句法信息。编码器通常使用循环神经网络来逐词地处理源语言句子，最终生成一个固定长度的向量表示，也称为上下文向量或编码器隐藏状态。

6.6.2神经机器翻译

解码器接收编码器的上下文向量和一个起始符号，然后生成目标语言翻译的句子。解码器也通常使用循环神经网络，它逐步生成目标语言的单词。在每个时间步骤上，解码器会根据前一个单词和当前的隐藏状态，预测下一个单词。

6.6.2神经机器翻译

下面我们通过把前面的例子展开看一下神经机器翻译的工作过程

1.编码过程（1）编码器会顺序处理源语言单词，将每个单词都表示成一个实数向量（灰色方框）。（2）运行循环神经网络（蓝色方框代表一个时间步），在编码下一个时间步状态的时候，上一个时间步的隐藏状态会作为历史信息传入循环神经网络，句子中每个位置的信息都被向后传递。1.编码过程（3）最后一个时间步的隐藏状态（白色方框）就包含了整个源语言句子的信息，也就得到了编码器的编码结果即源语言句子的“表示”。图中的<eos>代表结束符号。（1）直接把源语言句子的“表示”作为输入的隐藏层状态，之后像编码器一样依次读入目标语言单词，这是一个标准的循环神经网络的执行过程。2.解码过程（2）解码器会有一个输出层，根据当前时间步的隐藏层状态生成目标语言单词及其概率分布。图中解码器当前时刻的输出单词与下一个时刻的输入单词是一样的。2.解码过程2.解码过程

解码器也是一种循环神经网络，只不过它会从另外一种语言（源语言）获得一些信息，具体来说，当生成第一个单词“I”时，解码器利用了源语言句子表示（白色方框）和目标语言的起始符号<sos>。在生成第二个单词“am”时，解码器利用了上一个时间步的隐藏状态和已经生成的“I”的信息。这个过程会循环执行，直到生成完整的目标语言句子。

6.6.3编码器-解码器结构

编码器-解码器是深度学习中的经典架构，专为序列到序列任务设计，如机器翻译、文本摘要和对话生成。

其核心思想通过两个组件：编码器和解码器实现。

编码器—解码器结构6.6.3编码器-解码器结构（1）编码器将输入序列（如英文句子）压缩为固定长度的语义向量，捕捉关键信息；（2）解码器基于该向量逐步生成输出序列（如中文翻译）。

编码器—解码器结构6.6.3编码器-解码器结构

传统编码器—解码器模型采用循环神经网络或长短期记忆网络（LongShort-TermMemory，LSTM），编码器逐词处理输入并更新隐藏状态，最终状态作为语义向量；解码器则以该向量为初始状态生成目标序列。

由于传统编码器-解码器模型无法捕捉输入的每个单词的上下文信息，计算效率较低，性能无法满足需要。谷歌大脑（GoogleBrain）团队提出了一种全新的编码器-解码器架构：Transformer，通过引入自注意力机制，使得模型能够并行处理输入数据，提高了计算效率。6.6.3编码器-解码器结构自Transformer出现以来，它在自然语言处理领域大放异彩，显著提升了各类任务的性能表现。

紧接着，基于Transformer架构的BERT、GPT等预训练模型如雨后春笋般涌现，在计算机视觉、语音识别等人工智能领域，取得了令人瞩目的显著成果。学习通讨论：对比常见语言，比如英语、汉语，小语种的机器翻译效果不好，原因是什么？主流语言（如汉语、英语）拥有海量的公开数据集，而小语种往往缺乏高质量的标注数据。模型学习依赖大量数据，得靠大量的数据来“喂饱”它