自然语言处理（第8章）教案 机器翻译

机器翻译1.参考学时4学时。2.教学目标（能力要求）理解机器翻译的基本概念与发展脉络：能够阐述机器翻译的定义、任务目标及其在自然语言处理领域中的作用；理解机器翻译从规则方法、统计方法到神经方法的发展过程及各自特点。掌握主流机器翻译模型架构：能够描述Seq2Seq基本框架及编码器—解码器思想；能够区分基于循环神经网络、卷积神经网络和自注意力机制的机器翻译模型，并分析其结构特点与适用场景。深入理解自注意力机制与Transformer架构：能够解释自注意力计算过程及其核心思想；能够描述Transformer中编码器与解码器的组成结构及二者之间的协同关系。掌握机器翻译中的解码与搜索策略：能够解释机器翻译中的搜索问题；理解并比较贪婪搜索与束搜索的基本原理、算法流程及优缺点。理解机器翻译中的领域迁移与领域自适应问题：能够解释领域迁移和领域自适应的概念；理解机器翻译中常见的灾难性遗忘、过拟合和暴露偏差等问题。了解跨语言迁移学习与预训练技术在机器翻译中的应用：能够描述零样本机器翻译的基本任务设定；了解Pivot-based方法、多语言神经机器翻译、无监督机器翻译等主要思路。了解预训练模型与机器翻译融合的最新进展：能够概述单语预训练在机器翻译中的作用与挑战；理解BERT融合模型和APT框架的基本思想及其对翻译性能的提升方式。3.教学重点和难点教学重点：机器翻译模型架构；自注意力机制与Transformer；机器翻译中的搜索策略。教学难点：自注意力计算原理；束搜索解码过程；领域自适应与跨语言预训练迁移方法。4.教学主要内容（1）机器翻译概述（20分钟）机器翻译的定义与研究背景机器翻译任务特点及主要优势（2）机器翻译模型架构与方法演进（80分钟）Seq2Seq模型与编码器—解码器框架基于循环神经网络的机器翻译模型基于卷积神经网络的机器翻译（ByteNet模型）（3）基于自注意力机制的机器翻译（90分钟）自注意力机制的提出背景与基本思想Transformer编码器架构Transformer解码器架构自注意力计算过程与Softmax机制（4）机器翻译中的搜索与解码策略（50分钟）机器翻译中的搜索问题贪婪搜索原理与流程束搜索原理与流程（5）机器翻译中的领域迁移与领域自适应（40分钟）领域迁移的概念与应用场景领域自适应方法及关键问题机器翻译中的灾难性遗忘与暴露偏差（6）跨语言迁移学习与预训练机器翻译模型（60分钟）零样本机器翻译与跨语言迁移学习多语言神经机器翻译与无监督机器翻译预训练模型在机器翻译中的应用BERT融合模型与APT框架简介教学过程与方法机器翻译的简介什么是机器翻译机器翻译（Machinetranslation）是一种利用计算机将一种自然语言文本自动翻译成另一种自然语言文本的技术。机器翻译任务机器翻译任务早期发展和主要优点：快速、广泛、低成本机器翻译的模型架构Seq2Seq模型架构：一个编码器（Encoder）和一个解码器（Decoder），主要可以分为基于规则的机器翻译(RBMT)，统计机器翻译(SMT)，神经机器翻译等类别。基于循环神经网络的机器翻译介绍定义，将翻译过程视作在源句子(Sourcesentence)的条件下生成目标句子(Targetsentence)的过程，即首先将源句子转化为中间句子表示，然后采用循环神经网络来生成目标句子，这种模型叫做循环连续性翻译模型(RecurrentContinuousTranslationModels,RCTM)基于卷积神经网络的机器翻译主要介绍ByteNet模型特点及其网络结构，讲解网络结构图基于自注意力机制的机器翻译介绍《Attentionisallyouneed》论文，讲解其编码器和解码器之间的关系组成。编码器架构介绍编码组件的组成，由一堆编码器（Encoder）构成，所有的编码器在结构上都是相同的，但没有共享参数。每个编码器都可以分解成两个子层。解码器架构解码器：由相同数量（与编码器对应）的解码器（Decoder）组成。自注意力计算介绍自注意力计算的几步内容，详细介绍向量之间的计算关系，以及softmax的计算方法等。机器翻译中的搜索问题搜索问题的目标：利用某种算法，随机抽样得到多种翻译，找出句子概率最大的一个，即最合适的翻译结果。包含贪婪搜索、集束搜索。贪婪搜索介绍贪婪搜索的算法及其伪代码束搜索介绍束搜索算法及其伪代码。领域迁移领域迁移：用于训练的源数据集与用于预测和推断的目标数据集的分布不同领域自适应领域自适应指的是不同迁移学习的一种方法，将不同领域的数据特征映射到同一个特征空间中，利用信息丰富的源域样本来提升目标域模型的性能机器翻译中的领域自适应机器翻译中的领域自适应：推理时呈现的句子领域可能与任何训练领域数据不同，主要关注两个问题，即“灾难性遗忘”和过拟合或“暴露偏差”。跨语言预训练的迁移学习介绍跨语言预训练的迁移学习的任务：零样本场景任务，即给定大量的<source,pivot>和<pivot,target>的翻译文本对语料，但是不存在<source,target>的平行语料，零样本机器翻译希望能够得到模型，实现从source语言到target语言的翻译任务。并且介绍四种类型的方法：Pivot-basedMethod；TransferLearning；MultilingualNMT(MNMT)；UnsupervisedNMT(UNMT)BridgeLanguageModeling核心思想：训练一个通用的编码器Encoder，将source和pivot语言映射到相同的语义空间中。同时介绍该模型的框架。预训练的机器翻译模型介绍预训练的机器翻译模型：随着预训练大模型技术的发展，自我监督预训练和特定任务微调技术与机器翻译任务的结合也逐渐受到人们的关注，为机器翻译领域注入了新的活力机器翻译的单语预训练介绍机器翻译