自然语言处理（第4章）教案 生成式文本摘要

生成式文本摘要参考学时2学时。教学目标（能力要求）理解文本摘要任务的基本概念与分类方法。能够准确区分单文档摘要与多文档摘要、抽取式摘要与生成式摘要，理解生成式摘要相较于抽取式摘要在灵活性与表达能力上的优势与挑战。学生能简单描述计算机软硬件系统的发展历程及代表性特征；掌握生成式文本摘要的基本建模思想。理解基于Seq2Seq的encoder–decoder架构，能够从整体上说明生成式摘要模型的输入、表示与输出过程。理解长文本建模中的长期依赖问题及其解决思路。能够解释长期依赖问题产生的原因，理解LSTM、GRU等门控循环神经网络在缓解梯度消失与信息遗忘方面的作用，并了解梯度裁剪与正则化的基本思想。了解复杂长文本编码的典型结构。能够描述双向RNN、层级式RNN等结构的设计动机及其在长文本表示中的作用。了解典型生成式文本摘要模型与发展趋势。能够结合具体案例（如基于双向RNN的摘要模型、基于预训练语言模型的摘要方法），理解从传统RNN模型向Transformer与预训练模型演进的技术脉络。教学重点和难点教学重点：生成式文本摘要与抽取式摘要的区别与适用场景；Seq2Seq架构在生成式摘要中的基本工作机制；长期依赖问题及LSTM/GRU的核心思想；基于预训练语言模型的文本摘要基本框架。教学难点：长文本场景下长期依赖问题的本质理解；不同长文本编码方案（双向RNN、层级式RNN）的建模动机；生成式摘要在信息压缩、连贯性与事实一致性之间的权衡。教学主要内容（一）生成式文本摘要引言（约15分钟）1.文本摘要任务概述文本摘要的任务定义与目标单文档摘要与多文档摘要的区别抽取式摘要与生成式摘要的基本思想2.抽取式摘要与生成式摘要对比抽取式摘要的基本方法与特点抽取式摘要在语法正确性上的优势及其局限性生成式摘要在表达灵活性上的优势及带来的建模挑战3.生成式摘要的基本建模思路Seq2Seq模型的整体框架Encoder–Decoder架构在摘要任务中的作用划分（二）文本输入的长期依赖问题（约25分钟）1.长期依赖问题的产生原因深层计算图与梯度消失、梯度爆炸问题循环神经网络在长序列建模中的局限性2.LSTM网络及其核心思想记忆单元（memorycell）的设计动机门控机制在信息保留与遗忘中的作用LSTM对长期依赖问题的缓解效果3.GRU网络及其特点GRU的门控结构与LSTM的对比与适用场景4.梯度裁剪与正则化方法梯度裁剪在缓解梯度爆炸中的作用正则化在提升模型泛化能力中的意义（三）复杂的长文本编码方案（约15分钟）1.双向RNN编码结构同时利用过去与未来上下文信息适合对整个输入序列依赖较强的任务2.层级式RNN编码结构多层RNN的堆叠思想通过分层建模捕获不同层次的语义信息基于双向RNN的文本摘要方法（约15分钟）1.典型模型案例介绍基于双向GRU的encoder与单向GRU的decoder注意力机制在摘要生成中的作用2.关键技术点分析特征增强型编码器（词性、命名实体、TF-IDF等）Generator/Pointer机制解决低频词与OOV问题层级注意力机制在词级与句级信息建模中的作用基于预训练语言模型的文本摘要（约20分钟）1.预训练语言模型在摘要任务中的优势2.两阶段生成框架3.长文本摘要面临的挑战与解决思路教学过程与方法（一）生成式文本摘要引言本页介绍文本摘要任务的基本目标与研究意义，重点区分单文档摘要与多文档摘要，以及抽取式摘要与生成式摘要两种主要范式，为后续模型方法的讲解奠定任务背景。本页讲解抽取式摘要的基本思想与典型方法，包括基于统计特征、图模型和神经网络的做法，并分析其在语法完整性方面的优势及内容选择和连贯性不足的问题。本页引出生成式摘要的核心思想，说明其允许生成新词语的特点，并重点介绍Seq2Seq编码器—解码器框架在生成式文本摘要中的基础作用。（二）文本输入的长期依赖问题本页通过示意图说明循环神经网络在处理长序列文本时面临的长期依赖问题，强调计算图加深后梯度消失和模型难以保留早期信息的根本原因。本页讲解LSTM通过引入记忆单元和门控机制，有效选择性地保留或遗忘信息，从而缓解传统RNN在长文本建模中的长期依赖问题。本页介绍GRU的门控循环结构及其相较于LSTM的简化设计，说明其在降低模型复杂度的同时，仍能有效缓解梯度消失问题。（三）复杂的长文本编码方案本页介绍双向RNN同时利用前向和后向上下文信息的编码方式，强调其在预测结果依赖整个输入序列时对长文本语义建模的优势。本页结合典型研究案例，介绍由双向RNN编码器和单向RNN解码器构成的生成式摘要模型整体结构及注意力机制的作用。（五）基于预训练语言模型的文本摘要本页介绍基于Transf