自然语言处理 教案全套 魏巍 第1-9章 预备知识 -对话系统

预备知识参考学时4学时。教学目标（能力要求）学生能理解概率论中概率的基本要素、随机变量及分布函数学生掌握信息论中的自信息、熵、交叉熵与互信息等核心概念及其在NLP中的应用；学生能熟悉图的基本结构、遍历算法（DFS/BFS）及最短路径算法（Dijkstra）；学生能了解机器学习中监督/无监督/强化/迁移等学习范式，掌握模型评估与过拟合/欠拟合的识别；让学生认识NLP的发展阶段、核心任务（如分词、NER、句法分析）及其面临的主要挑战。教学重点和难点教学重点：建立NLP所需的跨学科知识框架，理解概率、信息论与机器学习在NLP中的基础作用；教学难点：将抽象的概率与信息论概念与NLP任务结合理解；掌握图论算法在文本结构分析中的应用。教学主要内容概率论基本概念（35分钟）概率的基本要素随机变量与分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式图的遍历算法：深度优先搜索（DFS）与广度优先搜索（BFS）单源最短路径算法：Dijkstra算法机器学习基本概念（45分钟）机器学习方法分类机器学习基本步骤过拟合与欠拟合的识别与应对模型评估与模型选择自然语言处理基本概念（40分钟）NLP发展四阶段：特征工程→架构工程→目标工程→提示工程NLP核心挑战NLP常规任务NLP典型应用教学过程与方法概率论基本概念（35分钟）概率的基本要素介绍概率的基本要素，包括样本空间和事件空间的定义；介绍概率度量的定义及其性质，介绍条件概率随机变量与分布函数介绍PMF和PDF，期望和方差的计算公式及其性质。介绍离散随机变量和连续随机变量常见的分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义介绍自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式介绍图相关的基本概念以及路径的概念图的遍历算法:深度优先搜索(DFS)与广度优先搜索(BFS)介绍DFS和BFS算法，并以PPT中的图为例进行讲解，可以结合代码实践进行讲解单源最短路径算法:Dijkstra算法介绍最短路径算法Dijkstra算法并结合实践讲解机器学习基本概念(45分钟)机器学习方法分类介绍机器学习的各种学习方法，包括监督学习、无监督学习、强化学习、半监督学习、迁移学习、增强学习、具身智能、元学习等概念。其中监督学习、无监督学习、半监督学习可以结合实例一起介绍。强化学习可以结合当前主流的强化学习算法进行介绍。具身智能可以结合当前产业实践进行介绍。机器学习基本步骤介绍机器学习的基本步骤，包括从模型设计、目标函数设计、模型训练到评估应用的整个流程，可以结合某个模型的实例进行讲解。过拟合与欠拟合的识别与应对介绍欠拟合和过拟合，以及遇到这两种情况如何解决。模型评估与模型选择以二分类为例介绍模型评估使用的相关指标，包括准确率、精准率、召回率、F1四大指标，并结合PPT中的实例进行课堂互动。介绍ROC曲线和AUC指标的概念自然语言处理基本概念(40分钟)NLP发展四阶段:特征工程-架构工程-目标工程-提示工程介绍NLP发展的四个阶段，及每个阶段的一些经典算法，每个阶段的经典算法可以结合一个实例进行讲解以加深学生对该阶段的印象。如结合分类任务介绍贝叶斯算法。结合序列生成任务介绍RNN。结合NER等经典任务介绍BERT。结合当前LLM的广泛应用介绍提示工程。NLP核心挑战介绍NLP当前面临的核心挑战。NLP常规任务介绍NLP几大常规任务的内容，包括中文分词、词性标注、命名实体识别、依存句法分析、语义分析、句子分析这些任务的定义和输入输出。NLP典型应用介绍NLP典型应用的内容，包括信息抽取、自动摘要、文本分类、情感分析这些任务的定义和输入输出。深度神经网络参考学时4学时。教学目标（能力要求）学生能理解线性回归与逻辑回归的原理，掌握Softmax回归用于多分类的方法。学生能了解神经网络训练中分类与回归任务的区别，掌握常用损失函数与梯度下降系列优化算法；学生能掌握前馈神经网络中多层感知机的前向传播与反向传播机制，理解参数更新的过程；学生能熟悉卷积神经网络的基本结构与核心组件（卷积层、池化层），了解LeNet、AlexNet、VGG、ResNet等经典模型；让学生理解RNN处理序列数据的原理及其在NLP等领域的应用。教学重点和难点教学重点：掌握前馈神经网络的前向与反向传播机制，理解CNN与RNN的结构特点及其适用场景；教学难点：理解反向传播中的梯度计算与参数更新过程；区分CNN在空间特征提取与RNN在序列建模上的不同原理。教学主要内容线性神经网络（30分钟）线性回归逻辑回归多类逻辑回归神经网络训练（30分钟）常见任务损失函数优化算法前馈神经网络（50分钟）多层感知机卷积神经网络（35分钟）基本结构经典卷积神经网络循环神经网络（35分钟）循环神经网络教学过程与方法线性神经网络（30分钟）线性回归强调“多层神经元结构”与“模仿人脑层次化处理”的基本理念；借助图示说明网络由“输入层-隐藏层-输出层”构成，信号单向流动，层层抽象；点出MLP、CNN、RNN等常见类型，并结合旁边的“头像”和“医学影像”图片，说明深度网络在图像、医疗等实际领域的强大应用能力，引出后续课程将逐一详解。介绍线性回归的定义和各变量的具体含义。强调线性和非线性的区别。强调使用线性回归的具体场景，介绍线性回归的损失函数。逻辑回归逻辑回归是处理二分类问题的线性模型，输出为离散标签（0或1），核心是预测样本属于某一类的概率；强调其虽名为“回归”，实为分类方法，也称为“对数几率回归”；通过图示说明逻辑回归在高维空间中的决策边界是直线（2维）、平面（3维）或超平面（>3维），体现其线性本质，为后续引入非线性分类器做铺垫。介绍逻辑回归中的激活函数，包括Sigmoid函数、tanh函数、ReLU函数。多类逻辑回归说明Softmax回归是逻辑回归从二分类到多分类的自然推广，适用于样本仅属于单个类别的情况；强调使用one-hot向量（如[1,0,0,...,0]）作为类别标签的编码方式，向量中“1”的位置对应样本所属类别。指出这种表示方式便于模型输出各类别的概率分布，为后续引入Softmax函数公式奠定基础。详细介绍Softmax函数公式。神经网络训练（30分钟）常见任务介绍分类任务和回归任务的概念损失函数介绍分类任务和回归任务对应的损失函数，并强调不同的损失函数各自的使用场景，优点及缺点。优化算法强调梯度下降是通过计算目标函数（损失函数）对参数的导数，并沿负梯度方向迭代更新参数，以逐步逼近最小值的方法；借助图中的“初始点”到“最小值”的路径，说明梯度下降如同“下山”过程，每一步都朝向当前最陡的下降方向移动；指出坐标轴中的

θ0,θ1代表模型参数，I(θ0,θ1)代表损失函数，可视化展示了参数如何调整使损失最小化，为后续讲解学习率与具体变种做铺垫。强调学习率是控制参数更新步长的超参数，决定了每次迭代中模型参数沿梯度方向调整的幅度；结合图例指出学习率过大（步长太大）可能导致在最小值附近震荡或发散；学习率过小（步长太小）则会导致收敛缓慢，需要引导学生理解选择合适学习率的重要性；说明学习率是梯度下降算法的关键组成部分，与上一页的“梯度方向”共同构成完整的参数更新过程。介绍梯度下降算法的各种变种。前馈神经网络（50分钟）多层感知机强调前馈神经网络中信号的单向流动（输入层→隐藏层→输出层），且网络是一个有向无环图，这是其与后续循环网络（RNN）的本质区别；借助右侧的层级图示（x₁,x₂...）说明每一层神经元接收上一层输出并产生下一层输入的过程，体现信息的逐层传递与抽象；指出前馈网络（如MLP）是深度学习中最基础、最重要的网络结构，为后续讲解卷积网络（CNN）和循环网络（RNN）等特殊前馈结构奠定基础。强调隐藏层输出由公式决定，这是前馈网络中信号传递的核心计算步骤；说明

W1是权重矩阵，b1是偏置向量，两者为可学习参数；f为激活函数，用于引入非线性；指出激活函数（如sigmoid、tanh）的作用是使网络能够拟合复杂模式，若无非线性激活，多层网络将退化为线性模型，为后续讲解网络表达能力奠定基础。反向传播是神经网络训练的关键算法，通过链式法则将损失函数的梯度从输出层向输入层逐层反向传递，以计算每个参数的梯度；明确反向传播分为梯度计算（如图中公式所示，逐层传递误差信号）与权重更新（后续步骤，利用梯度调整参数）两个阶段；公式展示了梯度如何沿网络反向流动，体现了误差信号的反向传播路径，为理解参数优化奠定基础。卷积神经网络(35分钟)基本结构介绍卷积神经网络的基本结构，包括输入层、卷积层、池化层、全连接层及输出层。介绍每一层的具体操作及其意义。CNN由输入层、卷积层、池化层、全连接层和输出层依次堆叠而成，这种层次化结构是CNN处理图像等网格数据的基础框架；强调卷积层使用卷积核进行局部特征提取，池化层对特征进行降维与压缩，二者交替使用逐步抽象语义信息；指出CNN通过“卷积-池化”的重复组合实现平移不变性与层次化特征学习，使其特别适合图像、语音等具有局部相关性的数据，与全连接的前馈网络形成对比。经典卷积神经网络LeNet-5是CNN的早期奠基性模型，由YannLeCun等人于1998年提出，首次成功将卷积-池化结构用于手写数字识别（如MNIST数据集）；其结构清晰体现了“卷积层（C）→池化层（S）→全连接层（F）”的经典交替堆叠模式，如图中从32×32输入逐步提取特征至5×5，再经全连接层输出10个类别，展示了层次化特征提取的完整流程；LeNet-5的成功验证了CNN在图像识别任务上的有效性，奠定了现代深度学习模型的基础设计范式，直接启发了后续AlexNet、VGG等更复杂网络的发展。AlexNet是2012年ImageNet竞赛冠军模型，开启了深度学习在计算机视觉领域的爆发，其成功证明了深层卷积网络的巨大潜力；该模型不仅加深了网络（如图中多层堆叠所示），更重要的是首次成功应用了ReLU激活函数缓解梯度消失，并使用Dropout技术减轻过拟合，这两项技术成为后续深度学习模型的标准配置；其“卷积-池化-全连接”的总体架构延续了LeNet的设计思想，但通过更大规模、更多层数以及分组卷积等技巧，显著提升了特征表达能力，直接推动了VGG等更深度网络的发展。VGG的核心思想是通过重复堆叠多个3×3小卷积核来构建深层网络（如VGG-16/19），在增加网络深度的同时保持了参数效率，并增强了非线性表达能力；图示中从224×224×64到14×14×512的特征图尺寸变化，清晰展示了网络如何通过连续的卷积与池化层逐步减小空间尺寸、增加通道数，实现从低级到高级特征的层次化抽象；VGG以其结构简洁、设计统一的特点成为经典基准模型，证明了深度对网络性能的重要性，但其较大的计算开销也催生了后续更高效的网络（如ResNet）的发展。ResNet的核心思想是通过跳跃连接（ShortcutConnection）实现残差学习，使网络能够学习输入与输出之间的残差映射，而非直接拟合目标函数，如图中“+”所示的关键加法操作；每个残差块（图示左右结构）通常包含两个或多个卷积层，通过跳跃连接将输入直接传递到输出端，实现恒等映射，这极大地缓解了深层网络的梯度消失与网络退化问题；ResNet使训练数百甚至上千层的网络成为可能，是深度学习模型在深度上的一次重大突破，其残差结构已成为构建深层网络的标准组件之一，对后续模型设计产生了深远影响。循环神经网络(35分钟)循环神经网络强调RNN的核心特征是循环连接（图示中单元A的输出h_t会作为下一个时间步的输入之一），这使得网络具有“记忆”能力，能处理序列数据；解释左侧紧凑的循环图示（一个单元A循环接收输入x_t和自身状态）与右侧按时间展开的图示（同一单元A在不同时间步重复使用）是等价的，展开后更易于理解前向传播和梯度计算；指出RNN是处理自然语言、语音等序列数据的基础模型，其状态h_t包含了到当前时刻为止的历史信息，为后续讲解在机器翻译、文本生成等NLP任务中的应用奠定基础。强调RNN专门用于处理具有序列特性的数据，如自然语言、音频和时间序列，这是因为序列中元素的顺序和前后依赖关系包含关键信息；解释RNN通过引入内部状态（记忆），使当前时刻的输出不仅取决于当前输入，还依赖于之前所有时刻的输入序列，从而能够捕捉长距离依赖；说明RNN在训练时会将前一次的输出（或隐藏状态）作为下一次输入的一部分，这种循环反馈的结构使得网络能够逐步积累并更新序列的上下文信息。强调RNN的关键在于隐藏状态的计算，它同时依赖于当前输入和前一时刻的隐藏状态这一递推关系体现了RNN的“记忆”能力；通过图示将循环结构按时间步展开，清晰展示了权重

U,W,V在各时间步之间共享，以及信息如何沿时间维度流动，这有助于直观理解前向传播与反向传播。介绍循环神经网络在各个场景的应用，输入与输出形式。语言模型预训练参考学时2学时（90分钟）。教学目标（能力要求）系统梳理语言模型预训练的基本概念、演变过程及“预训练+微调”与“预训练+提示”范式的基本内容；学生能深入理解Transformer中自注意力机制（Self-Attention）的查询（Q）、键（K）、值（V）矩阵的作用以及整体的计算过程；学生能理解BERT与GPT模型的网络结构差异（编码器vs解码器）、训练任务（掩码语言模型vs文本预测）及下游任务应用场景；学生能基本阐述模型压缩的主要方法，包括知识蒸馏、剪枝、量化的基本内容；学生能基本阐述大语言模型的指令微调与对齐微调的主要策略；学生能简单了解华为昇腾AI全栈解决方案（Ascend处理器、MindSpore框架、CANN架构），培养学生对国产自主可控AI软硬件生态的认知与信心。教学重点和难点教学重点：Transformer自注意力机制的数学原理、BERT和GPT的模型架构与区别教学难点：理解BERT与GPT的预训练任务的本质区别、理解NLP任务处理范式的演进教学主要内容语言模型预训练概述与基础（15分钟）预训练的目的，从非上下文嵌入到上下文嵌入的演变语言模型预训练任务Transformer模型的基本架构、Attention机制的计算原理华为全栈全场景AI解决方案简介（5分钟）全栈架构（昇腾AI处理器、CANN异构计算架构、MindSpore框架等技术栈）生态工具（MindStudio开发环境、ModelArts平台）掩码预训练模型BERT（25分钟）模型结构：基于Transformer的双向编码器（Encoder），强调双向注意力机制输入表示：词向量（TokenEmbedding）、段向量（SegmentEmbedding）与位置向量（PositionEmbedding）的叠加机制预训练任务：掩码语言建模（MaskedLM）和下一句预测（NextSentencePrediction）微调与应用：举例说明句子对分类、单句分类、问答及序列标注的微调方法生成式预训练模型GPT（25分钟）模型结构：基于Transformer的解码器（Decoder），强调单向预测特性GPT系列演进：GPT-1、GPT-2、GPT-3范式转变：传统深度学习预训练+微调预训练+提示模型压缩与微调、CANN开发体系介绍（20分钟）模型压缩技术：知识蒸馏、剪枝与量化微调策略：指令微调、对齐微调、提示微调CANN开发体系、社区样例资源教学过程与方法语言模型预训练概述与基础（15分钟）预训练的目的，从非上下文嵌入到上下文嵌入的演变从非上下文嵌入（Non-contextualEmbeddings）到上下文嵌入（ContextualEmbeddings）的技术演变。说明上下文编码器如何根据输入序列动态生成包含语境信息的隐藏层表示，从而解决一词多义等复杂的语言特征问题。语言模型预训练任务定义语言概率模型的基本公式，即序列概率由各位置词汇的条件概率累积而成。同时指出传统单向预测模型仅利用上文信息的局限性。为克服此缺陷，引入了带掩码机制的语言模型，通过遮盖文本中的部分Token并利用其余部分进行预测，从而实现双向信息的利用。Transformer模型的基本架构、Attention机制的计算原理重点解析自注意模块（Self-Attention）。该机制通过Query、Key、Value三个矩阵的运算，计算句子中单词间的相关程度。由该图展示Transformer的宏观结构，包含左侧的编码器堆叠和右侧的解码器堆叠。编码器负责处理输入序列提取特征，解码器则依据编码特征逐步生成目标序列。华为全栈全场景AI解决方案简介（5分钟）全栈架构（昇腾AI处理器、CANN异构计算架构、MindSpore框架等技术栈）生态工具（MindStudio开发环境、ModelArts平台）介绍华为全栈全场景AI解决方案的层次架构。底层为Atlas系列硬件和昇腾AI处理器，中间层为CANN异构计算架构和MindSporeAI框架，上层包括MindX应用使能和ModelArts开发平台。该架构旨在通过软硬协同，为从边缘计算到云端训练提供统一且高效的算力支持。掩码预训练模型BERT（25分钟）模型结构：基于Transformer的双向编码器（Encoder），强调双向注意力机制BERT是基于Transformer的双向表示编码器。模型由多层TransformerEncoder堆叠而成。特别强调其注意力的双向性，即每个词在处理时能同时关注到其左侧和右侧的上下文信息，这与单向语言模型形成鲜明对比。输入表示：词向量（TokenEmbedding）、段向量（SegmentEmbedding）与位置向量（PositionEmbedding）的叠加机制BERT的输入由三部分叠加而成：捕捉词义的词向量（TokenEmbeddings）、区分不同句子的段向量（SegmentEmbeddings）以及标记词汇顺序的位置向量（PositionEmbeddings）。词向量将离散的字词映射为特征空间中距离相近的连续向量；段向量主要服务于句子对任务（如下一句预测），帮助模型区分输入中的SentenceA和SentenceB；位置向量则弥补了自注意力机制无法捕捉序列顺序的缺陷。预训练任务：掩码语言建模（MaskedLM）和下一句预测（NextSentencePrediction）BERT的核心预训练任务之一：掩码语言模型。训练时随机遮挡输入序列中15%的Token，要求模型预测被遮挡词。为缓解预训练与微调的差异，采用80%替换为[MASK]、10%随机替换、10%保持不变的策略。BERT的另一预训练任务：下一句预测。模型需判断输入的两个句子（A和B）是否具有连续的上下文关系。该任务通过特殊标记[CLS]和[SEP]辅助训练，旨在增强模型对句子间逻辑关系的理解能力。微调与应用：举例说明句子对分类、单句分类、问答及序列标注的微调方法对于句子对分类（如QNLI、STS-B）和单句分类（如SST-2），通常取[CLS]标记对应的输出向量连接分类层。对于问答任务（如SQuAD），微调目标是预测答案在文本中的起始和结束位置；对于序列标注任务（如NER），则需对每个Token的输出进行分类，判断其是否属于人名、地名等实体类别。生成式预训练模型GPT（25分钟）模型结构：基于Transformer的解码器（Decoder），强调单向预测特性GPT模型架构采用Transformer的解码器（Decoder）部分，是一种单向生成式模型。其特征抽取器由解码器堆叠而成，通过掩码多头自注意力机制确保预测当前词时仅利用上文信息，适用于文本生成任务。GPT系列演进：GPT-1、GPT-2、GPT-3表格对比了GPT-1至ChatGPT的演进。模型规模、语料库大小及上下文长度不断增长，模型的各项性能指标也不断提升。GPT-1确立了“无监督预训练+有监督微调”的模式。首先在无标记语料上优化语言模型目标，然后针对分类、蕴含、相似度等任务，通过添加起始符、分隔符和抽取符等特殊标记来转换输入格式，进行有监督微调。GPT-2在结构上调整了层归一化（LayerNorm）的位置，并大幅增加了层数和参数量。其核心理念转向“多任务与零样本提示（Zero-shot）”，即不显式定义任务，而是期望模型能根据输入自动识别并执行任务，无需针对特定任务进行微调。GPT-3使用了更宽更深的网络和海量数据。范式转变：传统深度学习预训练+微调预训练+提示从传统的面向每个下游任务训练各自模型，到基于预训练模型只微调部分新加入的任务模块参数，再到不进行模型微调，直接依赖文本提示词和预训练模型自身的能力解决任务。模型压缩与微调、CANN开发体系介绍（20分钟）模型压缩技术：知识蒸馏、剪枝与量化知识蒸馏技术，旨在用轻量级的学生模型（StudentModel）拟合庞大的教师模型（TeacherModel）。学生模型不仅学习标准标签，还通过最小化交叉熵来学习教师模型输出的软目标（概率分布），从而继承大模型的泛化能力。剪枝通过移除网络中不重要的连接或神经元来精简模型结构。量化在尽可能保持精度的前提下，减少参数存储位数（如32位浮点转为8位整数）。微调策略：指令微调、对齐微调、提示微调指令微调（InstructionTuning），即将任务转化为自然语言指令编码到输入中。对齐微调（Alignment），侧重于通过人类反馈强化模型的有用性、诚实性和无害性。提示微调将输入输出适配预训练模型的预训练任务。CANN开发体系、社区样例资源CANN的开放生态资源。开发者可通过昇腾社区、MindSpore社区及Gitee仓库获取丰富的开发样例。生成式文本摘要参考学时2学时。教学目标（能力要求）理解文本摘要任务的基本概念与分类方法。能够准确区分单文档摘要与多文档摘要、抽取式摘要与生成式摘要，理解生成式摘要相较于抽取式摘要在灵活性与表达能力上的优势与挑战。学生能简单描述计算机软硬件系统的发展历程及代表性特征；掌握生成式文本摘要的基本建模思想。理解基于Seq2Seq的encoder–decoder架构，能够从整体上说明生成式摘要模型的输入、表示与输出过程。理解长文本建模中的长期依赖问题及其解决思路。能够解释长期依赖问题产生的原因，理解LSTM、GRU等门控循环神经网络在缓解梯度消失与信息遗忘方面的作用，并了解梯度裁剪与正则化的基本思想。了解复杂长文本编码的典型结构。能够描述双向RNN、层级式RNN等结构的设计动机及其在长文本表示中的作用。了解典型生成式文本摘要模型与发展趋势。能够结合具体案例（如基于双向RNN的摘要模型、基于预训练语言模型的摘要方法），理解从传统RNN模型向Transformer与预训练模型演进的技术脉络。教学重点和难点教学重点：生成式文本摘要与抽取式摘要的区别与适用场景；Seq2Seq架构在生成式摘要中的基本工作机制；长期依赖问题及LSTM/GRU的核心思想；基于预训练语言模型的文本摘要基本框架。教学难点：长文本场景下长期依赖问题的本质理解；不同长文本编码方案（双向RNN、层级式RNN）的建模动机；生成式摘要在信息压缩、连贯性与事实一致性之间的权衡。教学主要内容（一）生成式文本摘要引言（约15分钟）1.文本摘要任务概述文本摘要的任务定义与目标单文档摘要与多文档摘要的区别抽取式摘要与生成式摘要的基本思想2.抽取式摘要与生成式摘要对比抽取式摘要的基本方法与特点抽取式摘要在语法正确性上的优势及其局限性生成式摘要在表达灵活性上的优势及带来的建模挑战3.生成式摘要的基本建模思路Seq2Seq模型的整体框架Encoder–Decoder架构在摘要任务中的作用划分（二）文本输入的长期依赖问题（约25分钟）1.长期依赖问题的产生原因深层计算图与梯度消失、梯度爆炸问题循环神经网络在长序列建模中的局限性2.LSTM网络及其核心思想记忆单元（memorycell）的设计动机门控机制在信息保留与遗忘中的作用LSTM对长期依赖问题的缓解效果3.GRU网络及其特点GRU的门控结构与LSTM的对比与适用场景4.梯度裁剪与正则化方法梯度裁剪在缓解梯度爆炸中的作用正则化在提升模型泛化能力中的意义（三）复杂的长文本编码方案（约15分钟）1.双向RNN编码结构同时利用过去与未来上下文信息适合对整个输入序列依赖较强的任务2.层级式RNN编码结构多层RNN的堆叠思想通过分层建模捕获不同层次的语义信息基于双向RNN的文本摘要方法（约15分钟）1.典型模型案例介绍基于双向GRU的encoder与单向GRU的decoder注意力机制在摘要生成中的作用2.关键技术点分析特征增强型编码器（词性、命名实体、TF-IDF等）Generator/Pointer机制解决低频词与OOV问题层级注意力机制在词级与句级信息建模中的作用基于预训练语言模型的文本摘要（约20分钟）1.预训练语言模型在摘要任务中的优势2.两阶段生成框架3.长文本摘要面临的挑战与解决思路教学过程与方法（一）生成式文本摘要引言本页介绍文本摘要任务的基本目标与研究意义，重点区分单文档摘要与多文档摘要，以及抽取式摘要与生成式摘要两种主要范式，为后续模型方法的讲解奠定任务背景。本页讲解抽取式摘要的基本思想与典型方法，包括基于统计特征、图模型和神经网络的做法，并分析其在语法完整性方面的优势及内容选择和连贯性不足的问题。本页引出生成式摘要的核心思想，说明其允许生成新词语的特点，并重点介绍Seq2Seq编码器—解码器框架在生成式文本摘要中的基础作用。（二）文本输入的长期依赖问题本页通过示意图说明循环神经网络在处理长序列文本时面临的长期依赖问题，强调计算图加深后梯度消失和模型难以保留早期信息的根本原因。本页讲解LSTM通过引入记忆单元和门控机制，有效选择性地保留或遗忘信息，从而缓解传统RNN在长文本建模中的长期依赖问题。本页介绍GRU的门控循环结构及其相较于LSTM的简化设计，说明其在降低模型复杂度的同时，仍能有效缓解梯度消失问题。（三）复杂的长文本编码方案本页介绍双向RNN同时利用前向和后向上下文信息的编码方式，强调其在预测结果依赖整个输入序列时对长文本语义建模的优势。本页结合典型研究案例，介绍由双向RNN编码器和单向RNN解码器构成的生成式摘要模型整体结构及注意力机制的作用。（五）基于预训练语言模型的文本摘要本页介绍基于Transformer的预训练语言模型在文本摘要任务中的优势，强调其在上下文建模和语义表示方面的提升。本页总结长文本摘要在输入长度、计算复杂度和信息压缩方面的主要挑战，并介绍层次化建模、简化注意力和抽取生成融合等应对方法。情感分析参考学时4学时（建议分2次课完成，每次2学时）教学目标（能力要求）通过本章学习，使学生系统掌握情感分析的基本概念、典型任务形式以及主流建模方法，理解深度学习与预训练模型在情感分析任务中的核心作用，具备分析和实现基础情感分析系统的能力。具体包括：学生能够准确理解情感分析（OpinionMining）的基本定义，区分文档级、句子级和方面级情感分析任务；学生能够列举情感分析中的常见子任务（情感分类、方面抽取、观点摘要），并说明其研究目标与应用场景；学生能够理解注意力机制的基本思想、通用计算框架及其在情感分析中的作用；学生能够掌握图神经网络（GNN）的基本概念，理解基于句法结构和语义关系的情感分析建模思路；学生能够了解典型预训练情感分析模型（SentiWSP、SpanASTE、DualGCN）的设计动机与核心思想；学生能够结合案例，理解情感分析模型从数据处理、模型构建到训练与评估的完整流程。教学重点和难点教学重点：方面级情感分析的任务定义与挑战；注意力机制在情感信息建模中的作用；图神经网络在建模方面词与观点词关系中的优势；预训练模型在情感分析任务中的迁移与增强效果。教学难点：方面级情感分析中“目标—方面—情感”关系的精细建模；基于依赖句法图与语义图的双通道建模思想；端到端情感结构抽取模型（如SpanASTE）的整体建模逻辑；理论模型设计与工程实现之间的对应关系。教学主要内容（一）情感分析引言（约60分钟）情感分析的基本概念情感分析（OpinionMining）的定义与研究背景文档级、句子级与方面级情感分析的区别与联系示例分析：“这家餐馆的服务很好，但环境有些差”情感分析的常见子任务情感分类方面抽取观点摘要情感分类方法概述基于情感词典的无监督方法基于传统监督学习的方法（朴素贝叶斯、SVM）基于深度学习的方法方面抽取方法概述基于词频与词性的方法基于句法依存关系的方法基于序列标注的监督学习方法（如HMM）观点摘要任务任务定义与子任务划分有监督与无监督观点摘要方法个性化观点摘要的研究趋势（二）基于注意力机制的情感分析（约40分钟）注意力机制的基本思想人类注意力机制的启发信息选择与资源分配的核心思想通用注意力机制框架Query、Key、Value的基本定义注意力权重计算与加权表示注意力机制的分类软注意力（SoftAttention）强注意力（HardAttention）强注意力的训练难点与强化学习方法简介注意力机制在情感分析中的应用对情感关键词的自动聚焦对方面相关上下文的动态建模（三）基于图神经网络的情感分析（约40分钟）图与图神经网络基础图结构的基本概念（节点、边、邻接矩阵）图神经网络（GNN）的基本思想图结构在不同任务中的表示图像中的像素图建模文本中的词图建模社交关系、分子结构等示例图神经网络在情感分析中的作用建模方面词与观点词之间的依赖关系融合句法结构与语义信息（四）预训练情感分析模型（约40分钟）SentiWSP模型词级与句级情感感知预训练任务基于情感词的掩码与对比学习思想SpanASTE模型情感三元组抽取任务定义基于跨度（Span）的端到端建模方法模型整体结构与模块划分DualGCN模型句法GCN与语义GCN的双通道设计双仿射模块与正则化机制对依赖解析噪声的鲁棒建模（五）案例：基于MindSpore的情感分析实现（约40分钟）任务与数据集说明（IMDB影评情感分类）模型结构设计（以LSTM为例）训练流程参数配置损失函数与优化器模型训练与CheckPoint保存模型评估准确率评估流程实验结果分析教学过程与方法（一）情感分析引言与任务划分（约60分钟）教学过程：情境导入（10分钟）

教师从学生日常熟悉的应用场景入手，如电商评论、电影评分、社交媒体观点等，引导学生思考：“计算机如何判断一段文本是正面还是负面？”“当一句话中同时包含正负评价时，模型应如何处理？”核心概念讲解（20分钟）

系统讲解情感分析的基本定义，重点区分：文档级情感分析句子级情感分析方面级情感分析教师通过对比式讲解，引导学生认识到：方面级情感分析是对前两类任务的细粒度扩展，也是后续复杂模型设计的核心出发点。子任务拆解与方法演进（20分钟）

围绕情感分析三类核心子任务：情感分类方面抽取观点摘要依次讲解其任务目标、典型方法及各自的局限性，重点强调：传统方法在低频方面词、复杂句式下的不足；深度学习方法对上下文语义建模能力的优势。课堂小结与过渡（10分钟）

教师引导学生总结：为什么需要引入注意力机制？为什么仅靠序列模型不足以解决方面级情感分析问题？为后续章节自然过渡。（二）基于注意力机制的情感分析（约40分钟）教学过程：直观动机引入（10分钟）

教师从“人类阅读文本时的注意力分配”入手，引导学生理解注意力机制的本质思想，即：不是对所有信息一视同仁；而是对关键信息赋予更高权重。通用注意力机制框架讲解（15分钟）

结合PPT中的结构图，详细讲解：Query、Key、Value的含义；注意力权重的计算过程；加权求和形成上下文表示的原理。（三）基于图神经网络的情感分析（约40分钟）教学过程：图结构建模动机引入（10分钟）

教师引导学生思考：文本是否只能建模为序列？句法关系是否可以显式表示？图与图神经网络基础讲解（15分钟）

系统介绍：图的基本构成（节点、边、邻接关系）；图神经网络的信息传播机制。图神经网络在情感分析中的应用（10分钟）

重点说明：GNN如何聚合邻居节点信息；相比序列模型的优势与局限。（四）预训练情感分析模型讲解（约40分钟）教学过程：预训练思想回顾（5分钟）

简要回顾预训练模型在NLP中的作用，引出“情感感知预训练”的必要性。典型模型逐一解析（25分钟）SentiWSP：重点讲解情感词感知的预训练任务设计；SpanASTE：重点讲解跨度建模与端到端抽取思想；DualGCN：重点讲解句法图与语义图的双通道融合。模型设计思想总结（10分钟）

教师引导学生从“设计动机”角度理解模型：解决了什么问题；相比已有方法改进在哪里。（五）MindSpore情感分析案例教学（约40分钟）教学过程：任务说明与整体流程梳理（10分钟）

介绍IMDB情感分类任务及整体实验流程。模型结构与关键代码讲解（15分钟）

结合代码结构说明：词嵌入层LSTM编码器分类器设计训练与评估流程解析（10分钟）

重点讲解：损失函数选择原因；训练参数配置逻辑；模型评估指标含义。总结与拓展（5分钟）

引导学生思考如何将该流程扩展到方面级情感分析任务。信息抽取参考学时6学时。教学目标（能力要求）命名实体识别：掌握命名实体识别的基本概念与方法，能区分不同类型的命名实体（如人名、地名、组织机构名等），并能利用规则、词典和机器学习模型进行实体标注。隐马尔可夫模型：理解隐马尔可夫模型的基础理论及其在序列标注任务中的应用，能够构建简单的HMM模型用于命名实体识别或词性标注任务。条件随机场：掌握条件随机场（CRF）的基本原理及其在序列标注中的优势，能够设计和训练CRF模型以提高命名实体识别的准确性。实体链接：了解实体链接的任务定义和技术挑战，包括实体消歧和实体对齐。能够利用图数据库或知识图谱技术将识别出的命名实体链接到特定的知识库条目上，并能评估链接结果的质量。联合实体识别与消歧：掌握如何同时进行实体识别和消歧的方法，理解多任务学习框架下的联合模型设计原则。关系抽取：熟悉关系抽取的概念、类型及其应用场景，能够使用监督学习、远程监督等方法从非结构化文本中提取实体间的关系信息。事件抽取：理解事件抽取的目标是从文本中自动发现和提取结构化的事件信息，包括触发词、论元角色等。能够采用序列标注、分类等多种方法实现事件抽取任务，并能评价所提方法的有效性和鲁棒性。预训练信息抽取模型：了解预训练模型在信息抽取领域的最新进展，掌握BERT、RoBERTa等预训练语言模型的微调策略及其在命名实体识别、关系抽取等任务上的应用。教学重点和难点教学重点：隐马尔可夫模型的基础理论及其在序列标注任务中的应用。教学难点：隐马尔可夫模型、多任务学习框架下的联合模型教学主要内容命名实体识别（20分钟）任务简介基于规则的NER模型基于传统机器学习的NER模型基于预训练的NER模型实体链接（100分钟）通用架构（30分钟）候选实体生成与排序（20分钟）研究方向（50分钟）联合实体识别与消歧（15分钟）零样本实体链接（15分钟）零样本实体链接——挑战（20分钟）关系抽取（120分钟）基于规则的方法（20分钟）基于统计的方法（20分钟）基于神经网络的方法（20分钟）弱监督关系抽取（20分钟）小样本关系抽取（20分钟）开放域关系抽取（20分钟）事件抽取（35分钟）事件检测（27分钟）融合基于RNN的句子表示的事件检测模型（8分钟）小样本信息抽取（45分钟）引言（7分钟）基于元学习的小样本信息抽取（38分钟）预训练信息抽取模型（45分钟）UIE模型结构（30分钟）统一建模结构（12分钟）数据预训练（3分钟）教学过程与方法命名实体识别（20分钟）任务简介系统讲解命名实体识别任务基于规则的NER模型系统讲解基于规则的NER模型基于传统机器学习的NER模型系统讲解基于传统机器学习的NER模型基于预训练的NER模型系统讲解基于预训练的NER模型实体链接（100分钟）通用架构（30分钟）系统讲解实体链接通用架构，引导学生关注其底层逻辑实现候选实体生成与排序（20分钟）深入剖析候选实体生成与排序在实体链接中的作用研究方向（50分钟）联合实体识别与消歧（15分钟）系统讲解联合实体识别与消歧的通用建模架构，引导学生关注其底层逻辑实现，包括指称项边界检测、候选实体生成、上下文-知识联合表征以及全局一致性约束等模块的协同机制。零样本实体链接（15分钟）系统讲解零样本实体链接的通用推理架构，重点剖析如何利用实体描述、类型和结构化属性构建可泛化的语义表示。零样本实体链接——挑战（20分钟）系统讲解零样本实体链接面临的核心挑战及其系统性成因，引导学生关注其底层逻辑瓶颈，进而理解当前研究在动态知识注入、大模型增强推理与高效检索机制等方面的应对思路关系抽取（120分钟）基于规则的方法（20分钟）引导学生关注其底层逻辑实现，包括人工设计的句法模式（如依存路径模板、关键词触发规则）、模式匹配引擎的执行流程，以及规则系统在精度与泛化能力之间的根本性权衡。基于统计的方法（20分钟）系统讲解基于统计的关系抽取方法通用架构，引导学生关注其底层逻辑实现，涵盖特征工程（词性、命名实体、依存关系等离散特征）、分类器选型（如SVM、最大熵模型）以及特征-标签联合建模中的概率推断机制，理解从局部上下文到关系判别的映射逻辑。基于神经网络的方法（20分钟）包括词嵌入与位置编码的融合策略、上下文编码器（CNN/RNN/Transformer）对语义关系的捕获机制、池化与分类头的设计原理，以及训练中梯度如何驱动关系语义的隐式学习。弱监督关系抽取（20分钟）重点剖析远程监督（DistantSupervision）假设下的噪声标签生成机制、多示例学习（MIL）框架中的包级表示与注意力降噪策略，以及如何通过软标签校正提升模型鲁棒性。小样本关系抽取（20分钟）系统讲解小样本关系抽取的通用学习架构，引导学生关注其底层逻辑实现，包括原型网络、匹配网络等元学习框架如何构建关系类别的可迁移语义原型。开放域关系抽取（20分钟）涵盖无预定义关系集合下的关系聚类、关系描述生成、开放关系模板挖掘等核心环节，理解如何结合无监督表示学习与语义相似度度量实现关系类型的动态发现与归纳。事件抽取（35分钟）系统讲解事件抽取的通用任务框架与技术体系，引导学生关注其底层逻辑实现，包括事件触发词识别、事件类型分类、论元角色标注及事件要素整合等核心子任务的耦合关系；重点剖析流水线式与联合建模范式的优劣，理解事件本体对模型设计的约束作用。事件检测（27分钟）系统讲解事件检测的通用建模架构（27分钟），引导学生关注其底层逻辑实现，涵盖触发词候选生成、上下文语义编码、类型分类打分三大模块。深入分析基于特征工程的传统方法与神经网络方法在表示能力上的本质差异，强调位置编码、实体信息注入、多粒度上下文融合对检测性能的关键影响，并结合错误案例讨论歧义触发词的消解策略。融合基于RNN的句子表示的事件检测模型（8分钟）系统讲解融合基于RNN的句子表示的事件检测模型，引导学生关注其底层逻辑实现，具体包括：利用双向LSTM对词序列进行上下文感知编码，通过注意力机制或最大池化聚合句子级表示，再结合触发词位置特征输入全连接层进行事件类型预测。小样本信息抽取（45分钟）引言（7分钟）基于优化的元学习：通过双层优化使模型在少量梯度更新后快速适配新任务，剖析内循环与外循环的梯度传播路径。基于元学习的小样本信息抽取（38分钟）原型网络：通过支持集中同类样本的嵌入均值构建“关系/实体原型”，以余弦相似度实现查询样本分类，强调嵌入空间的语义可分性设计；匹配网络：引入注意力机制计算查询样本与支持样本的加权匹配得分，解析外部存储器与注意力读取的实现细节。预训练信息抽取模型（45分钟）UIE模型结构（30分钟）UIE采用生成式统一框架，将NER、关系抽取、事件抽取等任务转化为“结构化文本生成”问题。统一建模结构（12分钟）引导学生关注其底层逻辑实现：传统信息抽取系统需为每类任务定制模型，而UIE通过任务无关的生成目标与共享参数实现“一个模型解决所有子任务”。数据预训练（3分钟）通过大规模合成数据进行预训练，使模型隐式学习“输入文本→结构化输出”的映射规律。机器阅读理解参考学时4学时。教学目标（能力要求）理解机器阅读理解任务：能准确描述抽取式问答的任务形式，即给定篇章和问题，从原文中定位答案片段；能区分不同任务类型（如单跳/多跳、是否可回答），并说明评价指标的计算逻辑及其对模型性能的反映机制。掌握双向注意力流模型：能阐述其三层核心结构的设计原理；能解释“上下文到问题”与“问题到上下文”双方向注意力的计算流程，并分析该机制如何缓解传统注意力的信息压缩损失，保留原始上下文的时序细节。掌握R网络模型：能说明其基于门控注意力机制的问题感知上下文表示方法；能描述自匹配注意力模块如何利用问题信息增强上下文表征，并能推导指针网络用于答案起止位置预测的输出层结构。理解阅读验证模型：能指出其在初步答案生成后引入二次验证模块的必要性；能说明验证器如何结合原始篇章、问题与候选答案进行一致性判断，通过重打分或二分类机制过滤不可靠答案，提升系统鲁棒性。掌握回溯式阅读模型：能描述其“初读—推理—回溯校验”的多轮交互机制；能分析模型如何通过迭代更新注意力分布或答案表示，在复杂推理（如多跳、对比、否定）场景中修正初始错误。掌握预训练机器阅读理解模型：能说明如何预训练语言模型适配至阅读理解任务，包括输入格式构造、答案边界预测头的设计；能分析预训练带来的上下文敏感表示优势，并能对比微调策略在基准数据集上的性能差异。教学重点和难点教学重点：双向注意力流模型三层核心结构。教学难点：预训练语言模型适配至阅读理解任务。教学主要内容机器阅读理解任务（60分钟）形式化表达基于RNN和交互表示的框架基于预训练模型编码双向注意力流模型（60分钟）字符嵌入层词嵌入层上下文嵌入层注意力流层与建模层R-Net网络（60分钟）基于注意力的门控循环网络基于门控注意力机制的循环网络阅读验证模型（30分钟）顺序架构交互式架构混合架构回溯式阅读模型（30分钟）外部前置验证模块内部前置验证模块后置验证模块教学过程与方法机器阅读理解任务（60分钟）系统介绍机器阅读理解任务的形式化表达通用框架，引导学生关注其逻辑实现。形式化表达包括问题-篇章对的输入建模、答案跨度的数学定义、以及基于概率分布的答案起止位置预测机制。基于RNN和交互表示的框架介绍对问题与篇章的独立编码、注意力机制构建问题感知的上下文表示、以及融合层对多源信息的整合策略。基于预训练模型编码系统讲解基于预训练模型编码的机器阅读理解通用范式，引导学生关注其底层逻辑实现。重点分析如何将问题与篇章拼接为单一序列输入Transformer编码器。双向注意力流模型（60分钟）字符嵌入层包括字符级卷积与最大池化提取形态特征，并分析其与词向量的融合方式。词嵌入层涵盖预训练词向量的加载与微调策略，以及精确匹配特征如何增强词级别对齐信号。上下文嵌入层引导学生关注其底层逻辑实现，即通过双向LSTM对融合后的词表示进行上下文敏感编码，保留原始时序信息，为后续注意力交互提供丰富语境。注意力流层与建模层通过“问题到上下文”与“上下文到问题”双方向注意力计算稠密交互矩阵利用双向LSTM对增强后的上下文向量进行高层推理，最终输出用于答案预测的向量序列。R-Net网络（60分钟）基于注意力的门控循环网络系统讲解R-Net中基于注意力的门控循环网络通用结构，引导学生关注其底层逻辑实现，包括如何利用问题注意力权重动态聚合问题表示，并通过门控机制控制信息流入循环单元，实现问题引导的上下文编码。基于门控注意力机制的循环网络通过自匹配注意力使上下文表示回溯自身以强化关键信息，再经门控循环网络进行多轮精炼，最终由指针网络解码答案起止位置，形成端到端可训练的抽取式问答流水线。阅读验证模型（30分钟）简要介绍阅读验证模型整体架构。顺序架构先由主阅读器生成候选答案，再由独立验证器按固定流程评估其可信度，理解串行结构带来的错误传播风险与计算开销。交互式架构包括验证模块与阅读模块的多轮信息交换（如交叉注意力）、联合优化目标设计，以及如何通过动态反馈提升答案一致性。混合架构融合顺序与交互思想，在初步预测后引入轻量级交互验证，平衡效率与精度，典型如集成重排序与置信度校准模块。回溯式阅读模型（30分钟）外部前置验证模块引导学生关注其底层逻辑实现，即在主阅读器运行前引入外部知识或规则过滤不可回答问题，减少无效推理。内部前置验证模块系统讲解回溯式阅读模型中内置前置验证模块的设计原理，包括在编码阶段嵌入可回答性分类头，通过共享表示同步判断问题是否可答，实现早期决策。后置验证模块系统讲解回溯式阅读模型中后置验证模块的精炼机制，在初步答案生成后，启动第二阅读器重新聚焦相关片段，通过迭代推理修正边界或否定错误答案，培养学生的系统思维与工程实现能力。机器翻译1.参考学时4学时。2.教学目标（能力要求）理解机器翻译的基本概念与发展脉络：能够阐述机器翻译的定义、任务目标及其在自然语言处理领域中的作用；理解机器翻译从规则方法、统计方法到神经方法的发展过程及各自特点。掌握主流机器翻译模型架构：能够描述Seq2Seq基本框架及编码器—解码器思想；能够区分基于循环神经网络、卷积神经网络和自注意力机制的机器翻译模型，并分析其结构特点与适用场景。深入理解自注意力机制与Transformer架构：能够解释自注意力计算过程及其核心思想；能够描述Transformer中编码器与解码器的组成结构及二者之间的协同关系。掌握机器翻译中的解码与搜索策略：能够解释机器翻译中的搜索问题；理解并比较贪婪搜索与束搜索的基本原理、算法流程及优缺点。理解机器翻译中的领域迁移与领域自适应问题：能够解释领域迁移和领域自适应的概念；理解机器翻译中常见的灾难性遗忘、过拟合和暴露偏差等问题。了解跨语言迁移学习与预训练技术在机器翻译中的应用：能够描述零样本机器翻译的基本任务设定；了解Pivot-based方法、多语言神经机器翻译、无监督机器翻译等主要思路。了解预训练模型与机器翻译融合的最新进展：能够概述单语预训练在机器翻译中的作用与挑战；理解BERT融合模型和APT框架的基本思想及其对翻译性能的提升方式。3.教学重点和难点教学重点：机器翻译模型架构；自注意力机制与Transformer；机器翻译中的搜索策略。教学难点：自注意力计算原理；束搜索解码过程；领域自适应与跨语言预训练迁移方法。4.教学主要内容（1）机器翻译概述（20分钟）机器翻译的定义与研究背景机器翻译任务特点及主要优势（2）机器翻译模型架构与方法演进（80分钟）Seq2Seq模型与编码器—解码器框架基于循环神经网络的机器翻译模型基于卷积神经网络的机器翻译（ByteNet模型）（3）基于自注意力机制的机器翻译（90分钟）自注意力机制的提出背景与基本思想Transformer编码器架构Transformer解码器架构自注意力计算过程与Softmax机制（4）机器翻译中的搜索与解码策略（50分钟）机器翻译中的搜索问题贪婪搜索原理与流程束搜索原理与流程（5）机器翻译中的领域迁移与领域自适应（40分钟）领域迁移的概念与应用场景领域自适应方法及关键问题机器翻译中的灾难性遗忘与暴露偏差（6）跨语言迁移学习与预训练机器翻译模型（60分钟）零样本机器翻译与跨语言迁移学习多语言神经机器翻译与无监督机器翻译预训练模型在机器翻译中的应用BERT融合模型与APT框架简介教学过程与方法机器翻译的简介什么是机器翻译机器翻译（Machinetranslation）是一种利用计算机将一种自然语言文本自动翻译成另一种自然语言文本的技术。机器翻译任务机器翻译任务早期发展和主要优点：快速、广泛、低成本机器翻译的模型架构Seq2Seq模型架构：一个编码器（Encoder）和一个解码器（Decoder），主要可以分为基于规则的机器翻译(RBMT)，统计机器翻译(SMT)，神经机器翻译等类别。基于循环神经网络的机器翻译介绍定义，将翻译过程视作在源句子(Sourcesentence)的条件下生成目标句子(Targetsentence)的过程，即首先将源句子转化为中间句子表示，然后采用循环神经网络来生成目标句子，这种模型叫做循环连续性翻译模型(RecurrentContinuousTranslationModels,RCTM)基于卷积神经网络的机器翻译主要介绍ByteNet模型特点及其网络结构，讲解网络结构图基于自注意力机制的机器翻译介绍《Attentionisallyouneed》论文，讲解其编码器和解码器之间的关系组成。编码器架构介绍编码组件的组成，由一堆编码器（Encoder）构成，所有的编码器在结构上都是相同的，但没有共享参数。每个编码器都可以分解成两个子层。解码器架构解码器：由相同数量（与编码器对应）的解码器（Decoder）组成。自注意力计算介绍自注意力计算的几步内容，详细介绍向量之间的计算关系，以及softmax的计算方法等。机器翻译中的搜索问题搜索问题的目标：利用某种算法，随机抽样得到多种翻译，找出句子概率最大的一个，即最合适的翻译结果。包含贪婪搜索、集束搜索。贪婪搜索介绍贪婪搜索的算法及其伪代码束搜索介绍束搜索算法及其伪代码。领域迁移领域迁移：用于训练的源数据集与用于预测和推断的目标数据集的分布不同领域自适应领域自适应指的是不同迁移学习的一种方法，将不同领域的数据特征映射到同一个特征空间中，利用信息丰富的源域样本来提升目标域模型的性能机器翻译中的领域自适应机器翻译中的领域自适应：推理时呈现的句子领域可能与任何训练领域数据不同，主要关注两个问题，即“灾难性遗忘”和过拟合或“暴露偏差”。跨语言预训练的迁移学习介绍跨语言预训练的迁移学习的任务：零样本场景任务，即给定大量的<source,pivot>和<pivot,ta