自然语言处理（微课版）教案 魏巍 第1-4章 预备知识 - 生成式文本摘要

预备知识参考学时4学时。教学目标（能力要求）学生能理解概率论中概率的基本要素、随机变量及分布函数学生掌握信息论中的自信息、熵、交叉熵与互信息等核心概念及其在NLP中的应用；学生能熟悉图的基本结构、遍历算法（DFS/BFS）及最短路径算法（Dijkstra）；学生能了解机器学习中监督/无监督/强化/迁移等学习范式，掌握模型评估与过拟合/欠拟合的识别；让学生认识NLP的发展阶段、核心任务（如分词、NER、句法分析）及其面临的主要挑战。教学重点和难点教学重点：建立NLP所需的跨学科知识框架，理解概率、信息论与机器学习在NLP中的基础作用；教学难点：将抽象的概率与信息论概念与NLP任务结合理解；掌握图论算法在文本结构分析中的应用。教学主要内容概率论基本概念（35分钟）概率的基本要素随机变量与分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式图的遍历算法：深度优先搜索（DFS）与广度优先搜索（BFS）单源最短路径算法：Dijkstra算法机器学习基本概念（45分钟）机器学习方法分类机器学习基本步骤过拟合与欠拟合的识别与应对模型评估与模型选择自然语言处理基本概念（40分钟）NLP发展四阶段：特征工程→架构工程→目标工程→提示工程NLP核心挑战NLP常规任务NLP典型应用教学过程与方法概率论基本概念（35分钟）概率的基本要素介绍概率的基本要素，包括样本空间和事件空间的定义；介绍概率度量的定义及其性质，介绍条件概率随机变量与分布函数介绍PMF和PDF，期望和方差的计算公式及其性质。介绍离散随机变量和连续随机变量常见的分布函数信息论基本概念（30分钟）自信息、信息熵、交叉熵、相对熵、互信息的定义介绍自信息、信息熵、交叉熵、相对熵、互信息的定义图论基本概念（30分钟）图的基本类型与存储方式介绍图相关的基本概念以及路径的概念图的遍历算法:深度优先搜索(DFS)与广度优先搜索(BFS)介绍DFS和BFS算法，并以PPT中的图为例进行讲解，可以结合代码实践进行讲解单源最短路径算法:Dijkstra算法介绍最短路径算法Dijkstra算法并结合实践讲解机器学习基本概念(45分钟)机器学习方法分类介绍机器学习的各种学习方法，包括监督学习、无监督学习、强化学习、半监督学习、迁移学习、增强学习、具身智能、元学习等概念。其中监督学习、无监督学习、半监督学习可以结合实例一起介绍。强化学习可以结合当前主流的强化学习算法进行介绍。具身智能可以结合当前产业实践进行介绍。机器学习基本步骤介绍机器学习的基本步骤，包括从模型设计、目标函数设计、模型训练到评估应用的整个流程，可以结合某个模型的实例进行讲解。过拟合与欠拟合的识别与应对介绍欠拟合和过拟合，以及遇到这两种情况如何解决。模型评估与模型选择以二分类为例介绍模型评估使用的相关指标，包括准确率、精准率、召回率、F1四大指标，并结合PPT中的实例进行课堂互动。介绍ROC曲线和AUC指标的概念自然语言处理基本概念(40分钟)NLP发展四阶段:特征工程-架构工程-目标工程-提示工程介绍NLP发展的四个阶段，及每个阶段的一些经典算法，每个阶段的经典算法可以结合一个实例进行讲解以加深学生对该阶段的印象。如结合分类任务介绍贝叶斯算法。结合序列生成任务介绍RNN。结合NER等经典任务介绍BERT。结合当前LLM的广泛应用介绍提示工程。NLP核心挑战介绍NLP当前面临的核心挑战。NLP常规任务介绍NLP几大常规任务的内容，包括中文分词、词性标注、命名实体识别、依存句法分析、语义分析、句子分析这些任务的定义和输入输出。NLP典型应用介绍NLP典型应用的内容，包括信息抽取、自动摘要、文本分类、情感分析这些任务的定义和输入输出。深度神经网络参考学时4学时。教学目标（能力要求）学生能理解线性回归与逻辑回归的原理，掌握Softmax回归用于多分类的方法。学生能了解神经网络训练中分类与回归任务的区别，掌握常用损失函数与梯度下降系列优化算法；学生能掌握前馈神经网络中多层感知机的前向传播与反向传播机制，理解参数更新的过程；学生能熟悉卷积神经网络的基本结构与核心组件（卷积层、池化层），了解LeNet、AlexNet、VGG、ResNet等经典模型；让学生理解RNN处理序列数据的原理及其在NLP等领域的应用。教学重点和难点教学重点：掌握前馈神经网络的前向与反向传播机制，理解CNN与RNN的结构特点及其适用场景；教学难点：理解反向传播中的梯度计算与参数更新过程；区分CNN在空间特征提取与RNN在序列建模上的不同原理。教学主要内容线性神经网络（30分钟）线性回归逻辑回归多类逻辑回归神经网络训练（30分钟）常见任务损失函数优化算法前馈神经网络（50分钟）多层感知机卷积神经网络（35分钟）基本结构经典卷积神经网络循环神经网络（35分钟）循环神经网络教学过程与方法线性神经网络（30分钟）线性回归强调“多层神经元结构”与“模仿人脑层次化处理”的基本理念；借助图示说明网络由“输入层-隐藏层-输出层”构成，信号单向流动，层层抽象；点出MLP、CNN、RNN等常见类型，并结合旁边的“头像”和“医学影像”图片，说明深度网络在图像、医疗等实际领域的强大应用能力，引出后续课程将逐一详解。介绍线性回归的定义和各变量的具体含义。强调线性和非线性的区别。强调使用线性回归的具体场景，介绍线性回归的损失函数。逻辑回归逻辑回归是处理二分类问题的线性模型，输出为离散标签（0或1），核心是预测样本属于某一类的概率；强调其虽名为“回归”，实为分类方法，也称为“对数几率回归”；通过图示说明逻辑回归在高维空间中的决策边界是直线（2维）、平面（3维）或超平面（>3维），体现其线性本质，为后续引入非线性分类器做铺垫。介绍逻辑回归中的激活函数，包括Sigmoid函数、tanh函数、ReLU函数。多类逻辑回归说明Softmax回归是逻辑回归从二分类到多分类的自然推广，适用于样本仅属于单个类别的情况；强调使用one-hot向量（如[1,0,0,...,0]）作为类别标签的编码方式，向量中“1”的位置对应样本所属类别。指出这种表示方式便于模型输出各类别的概率分布，为后续引入Softmax函数公式奠定基础。详细介绍Softmax函数公式。神经网络训练（30分钟）常见任务介绍分类任务和回归任务的概念损失函数介绍分类任务和回归任务对应的损失函数，并强调不同的损失函数各自的使用场景，优点及缺点。优化算法强调梯度下降是通过计算目标函数（损失函数）对参数的导数，并沿负梯度方向迭代更新参数，以逐步逼近最小值的方法；借助图中的“初始点”到“最小值”的路径，说明梯度下降如同“下山”过程，每一步都朝向当前最陡的下降方向移动；指出坐标轴中的

θ0,θ1代表模型参数，I(θ0,θ1)代表损失函数，可视化展示了参数如何调整使损失最小化，为后续讲解学习率与具体变种做铺垫。强调学习率是控制参数更新步长的超参数，决定了每次迭代中模型参数沿梯度方向调整的幅度；结合图例指出学习率过大（步长太大）可能导致在最小值附近震荡或发散；学习率过小（步长太小）则会导致收敛缓慢，需要引导学生理解选择合适学习率的重要性；说明学习率是梯度下降算法的关键组成部分，与上一页的“梯度方向”共同构成完整的参数更新过程。介绍梯度下降算法的各种变种。前馈神经网络（50分钟）多层感知机强调前馈神经网络中信号的单向流动（输入层→隐藏层→输出层），且网络是一个有向无环图，这是其与后续循环网络（RNN）的本质区别；借助右侧的层级图示（x₁,x₂...）说明每一层神经元接收上一层输出并产生下一层输入的过程，体现信息的逐层传递与抽象；指出前馈网络（如MLP）是深度学习中最基础、最重要的网络结构，为后续讲解卷积网络（CNN）和循环网络（RNN）等特殊前馈结构奠定基础。强调隐藏层输出由公式决定，这是前馈网络中信号传递的核心计算步骤；说明

W1是权重矩阵，b1是偏置向量，两者为可学习参数；f为激活函数，用于引入非线性；指出激活函数（如sigmoid、tanh）的作用是使网络能够拟合复杂模式，若无非线性激活，多层网络将退化为线性模型，为后续讲解网络表达能力奠定基础。反向传播是神经网络训练的关键算法，通过链式法则将损失函数的梯度从输出层向输入层逐层反向传递，以计算每个参数的梯度；明确反向传播分为梯度计算（如图中公式所示，逐层传递误差信号）与权重更新（后续步骤，利用梯度调整参数）两个阶段；公式展示了梯度如何沿网络反向流动，体现了误差信号的反向传播路径，为理解参数优化奠定基础。卷积神经网络(35分钟)基本结构介绍卷积神经网络的基本结构，包括输入层、卷积层、池化层、全连接层及输出层。介绍每一层的具体操作及其意义。CNN由输入层、卷积层、池化层、全连接层和输出层依次堆叠而成，这种层次化结构是CNN处理图像等网格数据的基础框架；强调卷积层使用卷积核进行局部特征提取，池化层对特征进行降维与压缩，二者交替使用逐步抽象语义信息；指出CNN通过“卷积-池化”的重复组合实现平移不变性与层次化特征学习，使其特别适合图像、语音等具有局部相关性的数据，与全连接的前馈网络形成对比。经典卷积神经网络LeNet-5是CNN的早期奠基性模型，由YannLeCun等人于1998年提出，首次成功将卷积-池化结构用于手写数字识别（如MNIST数据集）；其结构清晰体现了“卷积层（C）→池化层（S）→全连接层（F）”的经典交替堆叠模式，如图中从32×32输入逐步提取特征至5×5，再经全连接层输出10个类别，展示了层次化特征提取的完整流程；LeNet-5的成功验证了CNN在图像识别任务上的有效性，奠定了现代深度学习模型的基础设计范式，直接启发了后续AlexNet、VGG等更复杂网络的发展。AlexNet是2012年ImageNet竞赛冠军模型，开启了深度学习在计算机视觉领域的爆发，其成功证明了深层卷积网络的巨大潜力；该模型不仅加深了网络（如图中多层堆叠所示），更重要的是首次成功应用了ReLU激活函数缓解梯度消失，并使用Dropout技术减轻过拟合，这两项技术成为后续深度学习模型的标准配置；其“卷积-池化-全连接”的总体架构延续了LeNet的设计思想，但通过更大规模、更多层数以及分组卷积等技巧，显著提升了特征表达能力，直接推动了VGG等更深度网络的发展。VGG的核心思想是通过重复堆叠多个3×3小卷积核来构建深层网络（如VGG-16/19），在增加网络深度的同时保持了参数效率，并增强了非线性表达能力；图示中从224×224×64到14×14×512的特征图尺寸变化，清晰展示了网络如何通过连续的卷积与池化层逐步减小空间尺寸、增加通道数，实现从低级到高级特征的层次化抽象；VGG以其结构简洁、设计统一的特点成为经典基准模型，证明了深度对网络性能的重要性，但其较大的计算开销也催生了后续更高效的网络（如ResNet）的发展。ResNet的核心思想是通过跳跃连接（ShortcutConnection）实现残差学习，使网络能够学习输入与输出之间的残差映射，而非直接拟合目标函数，如图中“+”所示的关键加法操作；每个残差块（图示左右结构）通常包含两个或多个卷积层，通过跳跃连接将输入直接传递到输出端，实现恒等映射，这极大地缓解了深层网络的梯度消失与网络退化问题；ResNet使训练数百甚至上千层的网络成为可能，是深度学习模型在深度上的一次重大突破，其残差结构已成为构建深层网络的标准组件之一，对后续模型设计产生了深远影响。循环神经网络(35分钟)循环神经网络强调RNN的核心特征是循环连接（图示中单元A的输出h_t会作为下一个时间步的输入之一），这使得网络具有“记忆”能力，能处理序列数据；解释左侧紧凑的循环图示（一个单元A循环接收输入x_t和自身状态）与右侧按时间展开的图示（同一单元A在不同时间步重复使用）是等价的，展开后更易于理解前向传播和梯度计算；指出RNN是处理自然语言、语音等序列数据的基础模型，其状态h_t包含了到当前时刻为止的历史信息，为后续讲解在机器翻译、文本生成等NLP任务中的应用奠定基础。强调RNN专门用于处理具有序列特性的数据，如自然语言、音频和时间序列，这是因为序列中元素的顺序和前后依赖关系包含关键信息；解释RNN通过引入内部状态（记忆），使当前时刻的输出不仅取决于当前输入，还依赖于之前所有时刻的输入序列，从而能够捕捉长距离依赖；说明RNN在训练时会将前一次的输出（或隐藏状态）作为下一次输入的一部分，这种循环反馈的结构使得网络能够逐步积累并更新序列的上下文信息。强调RNN的关键在于隐藏状态的计算，它同时依赖于当前输入和前一时刻的隐藏状态这一递推关系体现了RNN的“记忆”能力；通过图示将循环结构按时间步展开，清晰展示了权重

U,W,V在各时间步之间共享，以及信息如何沿时间维度流动，这有助于直观理解前向传播与反向传播。介绍循环神经网络在各个场景的应用，输入与输出形式。语言模型预训练参考学时2学时（90分钟）。教学目标（能力要求）系统梳理语言模型预训练的基本概念、演变过程及“预训练+微调”与“预训练+提示”范式的基本内容；学生能深入理解Transformer中自注意力机制（Self-Attention）的查询（Q）、键（K）、值（V）矩阵的作用以及整体的计算过程；学生能理解BERT与GPT模型的网络结构差异（编码器vs解码器）、训练任务（掩码语言模型vs文本预测）及下游任务应用场景；学生能基本阐述模型压缩的主要方法，包括知识蒸馏、剪枝、量化的基本内容；学生能基本阐述大语言模型的指令微调与对齐微调的主要策略；学生能简单了解华为昇腾AI全栈解决方案（Ascend处理器、MindSpore框架、CANN架构），培养学生对国产自主可控AI软硬件生态的认知与信心。教学重点和难点教学重点：Transformer自注意力机制的数学原理、BERT和GPT的模型架构与区别教学难点：理解BERT与GPT的预训练任务的本质区别、理解NLP任务处理范式的演进教学主要内容语言模型预训练概述与基础（15分钟）预训练的目的，从非上下文嵌入到上下文嵌入的演变语言模型预训练任务Transformer模型的基本架构、Attention机制的计算原理华为全栈全场景AI解决方案简介（5分钟）全栈架构（昇腾AI处理器、CANN异构计算架构、MindSpore框架等技术栈）生态工具（MindStudio开发环境、ModelArts平台）掩码预训练模型BERT（25分钟）模型结构：基于Transformer的双向编码器（Encoder），强调双向注意力机制输入表示：词向量（TokenEmbedding）、段向量（SegmentEmbedding）与位置向量（PositionEmbedding）的叠加机制预训练任务：掩码语言建模（MaskedLM）和下一句预测（NextSentencePrediction）微调与应用：举例说明句子对分类、单句分类、问答及序列标注的微调方法生成式预训练模型GPT（25分钟）模型结构：基于Transformer的解码器（Decoder），强调单向预测特性GPT系列演进：GPT-1、GPT-2、GPT-3范式转变：传统深度学习预训练+微调预训练+提示模型压缩与微调、CANN开发体系介绍（20分钟）模型压缩技术：知识蒸馏、剪枝与量化微调策略：指令微调、对齐微调、提示微调CANN开发体系、社区样例资源教学过程与方法语言模型预训练概述与基础（15分钟）预训练的目的，从非上下文嵌入到上下文嵌入的演变从非上下文嵌入（Non-contextualEmbeddings）到上下文嵌入（ContextualEmbeddings）的技术演变。说明上下文编码器如何根据输入序列动态生成包含语境信息的隐藏层表示，从而解决一词多义等复杂的语言特征问题。语言模型预训练任务定义语言概率模型的基本公式，即序列概率由各位置词汇的条件概率累积而成。同时指出传统单向预测模型仅利用上文信息的局限性。为克服此缺陷，引入了带掩码机制的语言模型，通过遮盖文本中的部分Token并利用其余部分进行预测，从而实现双向信息的利用。Transformer模型的基本架构、Attention机制的计算原理重点解析自注意模块（Self-Attention）。该机制通过Query、Key、Value三个矩阵的运算，计算句子中单词间的相关程度。由该图展示Transformer的宏观结构，包含左侧的编码器堆叠和右侧的解码器堆叠。编码器负责处理输入序列提取特征，解码器则依据编码特征逐步生成目标序列。华为全栈全场景AI解决方案简介（5分钟）全栈架构（昇腾AI处理器、CANN异构计算架构、MindSpore框架等技术栈）生态工具（MindStudio开发环境、ModelArts平台）介绍华为全栈全场景AI解决方案的层次架构。底层为Atlas系列硬件和昇腾AI处理器，中间层为CANN异构计算架构和MindSporeAI框架，上层包括MindX应用使能和ModelArts开发平台。该架构旨在通过软硬协同，为从边缘计算到云端训练提供统一且高效的算力支持。掩码预训练模型BERT（25分钟）模型结构：基于Transformer的双向编码器（Encoder），强调双向注意力机制BERT是基于Transformer的双向表示编码器。模型由多层TransformerEncoder堆叠而成。特别强调其注意力的双向性，即每个词在处理时能同时关注到其左侧和右侧的上下文信息，这与单向语言模型形成鲜明对比。输入表示：词向量（TokenEmbedding）、段向量（SegmentEmbedding）与位置向量（PositionEmbedding）的叠加机制BERT的输入由三部分叠加而成：捕捉词义的词向量（TokenEmbeddings）、区分不同句子的段向量（SegmentEmbeddings）以及标记词汇顺序的位置向量（PositionEmbeddings）。词向量将离散的字词映射为特征空间中距离相近的连续向量；段向量主要服务于句子对任务（如下一句预测），帮助模型区分输入中的SentenceA和SentenceB；位置向量则弥补了自注意力机制无法捕捉序列顺序的缺陷。预训练任务：掩码语言建模（MaskedLM）和下一句预测（NextSentencePrediction）BERT的核心预训练任务之一：掩码语言模型。训练时随机遮挡输入序列中15%的Token，要求模型预测被遮挡词。为缓解预训练与微调的差异，采用80%替换为[MASK]、10%随机替换、10%保持不变的策略。BERT的另一预训练任务：下一句预测。模型需判断输入的两个句子（A和B）是否具有连续的上下文关系。该任务通过特殊标记[CLS]和[SEP]辅助训练，旨在增强模型对句子间逻辑关系的理解能力。微调与应用：举例说明句子对分类、单句分类、问答及序列标注的微调方法对于句子对分类（如QNLI、STS-B）和单句分类（如SST-2），通常取[CLS]标记对应的输出向量连接分类层。对于问答任务（如SQuAD），微调目标是预测答案在文本中的起始和结束位置；对于序列标注任务（如NER），则需对每个Token的输出进行分类，判断其是否属于人名、地名等实体类别。生成式预训练模型GPT（25分钟）模型结构：基于Transformer的解码器（Decoder），强调单向预测特性GPT模型架构采用Transformer的解码器（Decoder）部分，是一种单向生成式模型。其特征抽取器由解码器堆叠而成，通过掩码多头自注意力机制确保预测当前词时仅利用上文信息，适用于文本生成任务。GPT系列演进：GPT-1、GPT-2、GPT-3表格对比了GPT-1至ChatGPT的演进。模型规模、语料库大小及上下文长度不断增长，模型的各项性能指标也不断提升。GPT-1确立了“无监督预训练+有监督微调”的模式。首先在无标记语料上优化语言模型目标，然后针对分类、蕴含、相似度等任务，通过添加起始符、分隔符和抽取符等特殊标记来转换输入格式，进行有监督微调。GPT-2在结构上调整了层归一化（LayerNorm）的位置，并大幅增加了层数和参数量。其核心理念转向“多任务与零样本提示（Zero-shot）”，即不显式定义任务，而是期望模型能根据输入自动识别并执行任务，无需针对特定任务进行微调。GPT-3使用了更宽更深的网络和海量数据。范式转变：传统深度学习预训练+微调预训练+提示从传统的面向每个下游任务训练各自模型，到基于预训练模型只微调部分新加入的任务模块参数，再到不进行模型微调，直接依赖文本提示词和预训练模型自身的能力解决任务。模型压缩与微调、CANN开发体系介绍（20分钟）模型压缩技术：知识蒸馏、剪枝与量化知识蒸馏技术，旨在用轻量级的学生模型（StudentModel）拟合庞大的教师模型（TeacherModel）。学生模型不仅学习标准标签，还通过最小化交叉熵来学习教师模型输出的软目标（概率分布），从而继承大模型的泛化能力。剪枝通过移除网络中不重要的连接或神经元来精简模型结构。量化在尽可能保持精度的前提下，减少参数存储位数（如32位浮点转为8位整数）。微调策略：指令微调、对齐微调、提示微调指令微调（InstructionTuning），即将任务转化为自然语言指令编码到输入中。对齐微调（Alignment），侧重于通过人类反馈强化模型的有用性、诚实性和无害性。提示微调将输入输出适配预训练模型的预训练任务。CANN开发体系、社区样例资源CANN的开放生态资源。开发者可通过昇腾社区、MindSpore社区及Gitee仓库获取丰富的开发样例。生成式文本摘要参考学时2学时。教学目标（能力要求）理解文本摘要任务的基本概念与分类方法。能够准确区分单文档摘要与多文档摘要、抽取式摘要与生成式摘要，理解生成式摘要相较于抽取式摘要在灵活性与表达能力上的优势与挑战。学生能简单描述计算机软硬件系统的发展历程及代表性特征；掌握生成式文本摘要的基本建模思想。理解基于Seq2Seq的encoder–decoder架构，能够从整体上说明生成式摘要模型的输入、表示与输出过程。理解长文本建模中的长期依赖问题及其解决思路。能够解释长期依赖问题产生的原因，理解LSTM、GRU等门控循环神经网络在缓解梯度消失与信息遗忘方面的作用，并了解梯度裁剪与正则化的基本思想。了解复杂长文本编码的典型结构。能够描述双向RNN、层级式RNN等结构的设计动机及其在长文本表示中的作用。了解典型生成式文本摘要模型与发展趋势。能够结合具体案例（如基于双向RNN的摘要模型、基于预训练语言模型的摘要方法），理解从传统RNN模型向Transformer与预训练模型演进的技术脉络。教学重点和难点教学重点：生成式文本摘要与抽取式摘要的区别与适用场景；Seq2Seq架构在生成式摘要中的基本工作机制；长期依赖问题及LSTM/GRU的核心思想；基于预训练语言模型的文本摘要基本框架。教学难点：长文本场景下长期依赖问题的本质理解；不同长文本编码方案（双向RNN、层级式RNN）的建模动机；生成式摘要在信息压缩、连贯性与事实一致性之间的权衡。教学主要内容（一）生成式文本摘要引言（约15分钟）1.文本摘要任务概述文本摘要的任务定义与目标单文档摘要与多文档摘要的区别抽取式摘要与生成式摘要的基本思想2.抽取式摘要与生成式摘要对比抽取式摘要的基本方法与特点抽取式摘要在语法正确性上的优势及其局限性生成式摘要在表达灵活性上的优势及带来的建模挑战3.生成式摘要的基本建模思路Seq2Seq模型的整体框架Encoder–Decoder架构在摘要任务中的作用划分（二）文本输入的长期依赖问题（约25分钟）1.长期依赖问题的产生原因深层计算图与梯度消失、梯度爆炸问题循环神经网络在长序列建模中的局限性2.LSTM网络及其核心思想记忆单元（memorycell）的设计动机门控机制在信息保留与遗忘中的作用LSTM对长期依赖问题的缓解效果3.GRU网络及其特点GRU的门控结构与L