自然语言处理 课件 第10章 文本生成

第十章文本生成目录文本生成相关概念文本生成模型文本生成任务及方法生成式预训练模型文本生成评价第十章文本生成文本生成定义交互目标CG语言生成任务的交互目标或目的。常见的交互目标有被告知、说服、营销、推荐等。用户模型UM所生成文本的读者受众。不同职业、不同性格、不同性别以及不同年龄段的用户所关注和喜欢的语言风格和表达方式不一样，如针对女性的个性化用品广告语的生成上下文历史CH当前模型输出所依赖的直接输入，可能是文本、数据、数值、视频、图像或语音，也可能是对话系统中的对话历史。第十章文本生成知识库

KB与任务相关的知识库。KB提供了语言生成任务的必要背景知识。文本生成

任务分类第十章文本生成文本到文本输入信息为文本，包括连续的文字或关键词。这类任务有文本摘要（textsummarization）、机器翻译、句子复述（paraphrase）、对话生成（dialoguegeneration）、诗歌生成（poemgeneration）、故事生成（storygeneration）等数据到文本输入信息为表格、键值对列表、三元组等结构化数据。如根据天气统计数据表格生成相应的天气预报，或根据infobox信息生成个人维基百科的简介页面。该任务是对数据进行筛选、概括、关联和比较后再生成文本，用户通过阅读生成的文本可直接获得数据中的重要信息，而不是过多细节图像/语音/视频到文本输入信息为图像、视频或语音等多媒体信息，要求系统将图像视频中传达的语义信息转换为自然语言文本，典型的任务包括图像标题生成（imagecaptioning）、视觉故事生成（visualstorytelling）等无约束文本生成输入信息不做任何约束，但要求输出的文本具有特定风格，一般需要利用大量具有相同约束类型的文本进行有监督训练。该类型任务主要用于测试RNN语言模型、生成对抗网络和变分自编码器等基础生成模型的多样性、创造性、适应性等能力。目录文本生成相关概念文本生成模型文本生成任务及方法生成式预训练模型文本生成评价第十章文本生成文本生成模型——三阶段模块化文本生成框架第十章文本生成文本生成模型——基于RNN的生成模型第十章文本生成文本生成模型——Seq2Seq解码算法第十章文本生成Seq2Seq模型编码器结构逐词处理输入序列，捕捉上下文信息。将整个序列压缩为固定长度的隐状态向量。解码器机制以隐状态为初始输入，自回归生成目标词。从起始符开始，逐步预测下一词直至结束符教师强制训练训练时使用真实目标序列作为解码器输入。加快收敛并稳定训练过程。损失函数设计采用负对数似然损失衡量预测准确性。通过反向传播优化模型参数。序列转换应用广泛用于机器翻译、文本摘要等任务。实现变长输入到变长输出的映射。隐状态传递编码器最终隐状态携带完整输入信息。作为解码器初始状态实现信息桥接。文本生成模型——beamsearch解码算法第十章文本生成贪心解码BEAMSEARCH纯随机采样解码Top-K采样文本生成模型——基于Transformer的生成模型第十章文本生成文本生成模型——基于VAE的生成模型第十章文本生成文本生成模型——基于CVAE的生成模型第十章文本生成文本生成模型——VAE的隐变量设计方式第十章文本生成暴露偏差

模型训练时采用教师强制模式，即根据真实数据预测下一个词，而在应用时根据已生成的内容预测下一个词，真实数据和生成数据分布的不同会导致暴露偏差问题，随着句子长度的累积，暴露偏差的问题会越来越严重。模式混淆

通常训练数据的分布和数据的真实分布会存在一定的差距文本生成模型——非自回归生成模型第十章文本生成网络结构

繁殖（fertility）的技巧，即预测每个需要翻译的词应该复制的次数，借此增加重要词汇的输入信息，去掉常用词带来的干扰模型理论

知识蒸馏句子级监督生成策略

1）后处理方法2）半自回归方法目录文本生成相关概念文本生成模型文本生成任务及方法生成式预训练模型文本生成评价第十章文本生成文本生成任务第十章文本生成聊天机器人自动对话系统

新闻自动生成天气预报生成图像/视频描述生成

文本生成任务——自动文摘第十章文本生成文本过长单词重复生成未登录词问题文本生成任务——自动文摘（传统seq2seq）SwapNet第十章文本生成文本生成任务——自动文摘（传统seq2seq）CopyNet第十章文本生成文本生成任务——自动文摘PGN指针生成网络第十章文本生成文本生成任务——机器翻译第十章文本生成规则机器翻译统计机器翻译方法神经机器翻译方法缺点可解释性差编码器生成向量固定全连接机制效率低下目录文本生成相关概念文本生成模型文本生成任务及方法生成式预训练模型文本生成评价第十章文本生成生成式预训练模型——BART第十章文本生成BART（bidirectionalandauto-regressivetransformer）采用标准的序列到序列结构，其中编码器和解码器均采用transformer模块，激活函数利用Gelu（gaussianerrorlinearunits）替换了Relu利用去噪自编码器（denoisingautoencoder）对含有噪声的输入文本去噪重构进行预训练预训练任务不仅包括词汇级任务，还包括句子、文档级去噪任务。生成式预训练模型——GPT-3第十章文本生成Open-AI提出的GPT-3模型通过将不同形式的自然语言处理任务转换为文本生成任务来实现模型的通用化。不同于其他预训练模型采用的预训练微调范式，GPT-3没有在特定任务上进行微调，仅在海量文本上进行预训练，将文本模式、背景知识等融入大规模参数中，使模型拥有了强大的生成能力。该模型架构沿用了GPT-1、GPT-2的仅解码器结构，训练时以自监督方式调整模型参数。生成式预训练模型——DeepSeek第十章文本生成DeepSeek-AI提出的DeepSeek-R1模型训练成本仅600万美元采用专家混合模型MOE使用多头潜在注意力MLA生成式预训练模型——DeepSeek第十章文本生成目录文本生成相关概念文本生成模型文本生成任务及方法生成式预训练模型文本生成评价第十章文本生成文本生成评价——人工评价第十章文本生成语法角度评价生成文本是否通顺且符合语法规则，具体包括流畅性（fluency）、重复性（repetition）等指标信息量角度评价生成文本是否包含高频无意义的内容，具体包括信息量informativeness、多样性（diversity）、特异性（specificity）等指标。关联性角度评价生成文本与输入的相关程度，具体包括忠实度fidelity、相关性relevance）等指标。忠实度评价所生成的文本中是否包含新数据或修改了原始输入数据。语义角度包括一致性consistency、连贯性coherence、语义冲突semanticconflict等指标。其中一致性评价生成文本与给定上下文的语义是否一致；连贯性评价生成文本中句子与句子之间是否语义连贯；语义冲突评价生成的文本与常识是否存在语义冲突。评价生成文本在语义层面的规范性文本生成评价——人工评价方式第十章文本生成逐点评价（point-wise）对每个生成样例进行单独评价，这种方式实现简单，但忽略了样例之间的比较，且没有明确的评价标准逐对（pair-wise）评价

逐对评价需要将生成样例两两比较并排序，这种方式可以提供更具区分度的结果，但其实现较为复杂，不适合大规模数据集交互式评价多出现在对话系统中，使评价者通过与系统进行不断的交互和试错，系统根据评价者输入动态生成输出，评价者最终根据其体验对系统进行评价。评价者存在主观性，导致人工评价具有偏差。需要多名评价者对同一条数据进行独立评价，将平均分作为最后的评价结果。需要考虑多个评价者的评价一致性：方法主要有一致性百分比、cohen卡帕系数、fleiss卡帕系数三种文本生成评价——自动评价方式（BLEU）第十章文本生成一致性百分比：一致性百分比是度量两个标注者之间一致性最简单最直接的方法。cohen卡帕系数：考虑了两个标注者之间的随机一致性因素fleiss卡帕系数：fleiss卡帕系数将cohen卡帕系数扩展到多标注者的情况文本生成评价——自动评价（BLEU）第十章文本生成

BLEU（bilingualevaluationunderstudy）被广泛应用于带参考答案的自然语言生成评价中。该指标基于改进的词组匹配方法来衡量模型生成的句子与多个参考答案之间的相似性。文本生成评价——自动评价（ROUGE）第十章文本生成最初是摘要生成任务设计，包括ROUGE-1，ROUGE-2，ROUGE-N，ROUGE-L等，后来被广泛应用于短句生成、机器翻译等任务的评价。ROUGE-N是应用最为广泛的评估指标，主要面向n-gram召回率进行计算文本生成评