自然语言处理 课件 知识点8.1 认识文本生成

自然语言处理项目8AI自动写诗MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304认识文本生成什么是文本生成文本生成问题是以文本、图像、数据等作为输入，通过计算机处理输出文本的过程。在自然语言生成系统中，定义为接受语言或非语言形式的信息作为输入，生成可读的文字表述。文本生成是自然语言处理领域的一个重要研究方向，实现文本自动生成是衡量人工智能走向成熟的一个重要标志。许多针对文本生成技术的研究是在具体任务中进行，典型的任务包括机器翻译、对话系统、故事生成、诗歌生成、文本摘要等。在具体任务中，文本生成模型往往以通用的文本生成模型作为框架或基础，根据不同任务进行相应的模型设计。文本生成有多种划分方法，按照输入数据的区别，可以将文本生成大致分为以下三类：文本到文本的生成、数据到文本的生成、图像到文本的生成。010203文本生成方法包含：模板生成方法、模式生成方法、修辞结构理论方法、属性生成方法、神经网络生成方法模板生成方法：是最早应用于自然语言生成领域的一种方法。该技术通过将词汇和短句在模板库中进行匹配，匹配后将词汇和短语填入固定模板，从而生成自然语言文本，其本质是系统根据可能出现的几种语言情况，事先设计并构造相应的模板，每个模板都包括一些不变的常量和可变的变量，用户输入信息之后，文本生成器将输入的信息作为字符串嵌入到模板中替代变量模式生成是一种基于修辞谓语来描述文本结果的方法。这种方法通过语言学中修辞谓词来描述文本结构的规律，构建文本的骨架，从而明确句子中各个主体的表达顺序。修辞结构理论（RhetoricalStructureTheory，RST）方法来源于修辞结构理论的引申，是关于自然语言文本组织的描述性理论。属性生成是一项较复杂的自然语言生成方法，其通过属性特征来反映自然语言的细微变化。神经网络文本生成方法：使用神经网络模型进行文本生成，是针对文本序列数据进行训练，提取到序列数据特征，序列当前的输出与前面的输出相关，生成后续字符，能够有效地捕捉到文本数据中内在的相关性。文本摘要文本摘要(TextSummarization)是文本生成的一个重要应用，文本摘要是对文本内容的总结和归纳，在信息检索、舆情分析、内容审查等领域具有较高的研究价值。学术界涌现出大量围绕文本摘要算法、数据集、评价指标和系统的相关研究工作，这些工作在一定程度上取得了较好的效果，快速应用到金融、新闻、医学、媒体等各个领域，已经在智能写作、社交媒体摘要、新闻摘要以及学术文献摘要等多个方面进行应用。文本摘要的分类按照提供的上下文语境，可以分为查询无关摘要(Generic)和查询相关摘要(Queryfocused)；按照不同的用途，可以分为指示性文摘和报道性文摘等；按照摘要面向的文档类型，可以分为单文档摘要和多文档摘要；根据需要产生摘要的文档长度，可以分为长文摘要、短文摘要；按照摘要生成方法的区别，可以分为抽取式摘要和生成式摘要抽取式摘要主要思想是:首先通过句子的各种特征给每个句子进行打分，得到句子的权重，然后计算每个句子与其他句子的相似度，根据计算得到的每个句子的得分和其与其他句子的相似度进行句子选择和句子排序。生成式摘要是根据对输入原始文本的理解来形成摘要，模型试图去理解文本的内容，自行组织语言，对源文档进行概括。文本摘要抽取分类生成式文本摘要生成式文本摘要在神经网络和深度学习被广泛使用之前，大部分摘要类实现方法都是以抽取的方式。而在实践中，人类理解文本，其摘要更多的是生成式过程，即阅读一段、一篇或多篇文段后，经过脑内抽象分析得到一个抽象理解，结合自己的知识结构输出为一段高度概括的内容。相比于抽取式自动文摘，生成式自动文摘在思想上更接近人工摘要的过程，具有重要研究意义。生成式摘要不是来自原文中句子拼接，而是利用生成技术通过对原文语义的理解后生成的基于深度学习的Seq2Seq模型，是在神经机器翻译（Neuralmachinetranslation,NMT）的Seq2Seq应用开始，逐步引入注意力机制、CNN、Transformer等作为编码器或解码器的基本模型。生成式文本摘要发展历程文本生成评价指标常用文本生成的评价方法，分为内在评价和外在评价方法。其中内在评价关注文本的正确性、流畅度和易理解性。内在评价方法又可分为两类：第一类是采用BLEU、NIST和ROUGE等进行自动化评价，评估生成文本和参考文本间相似度来衡量生成质量。第二类是通过人工评价，从有用性等对文本进行打分。外在评价则关注生成文本在实际应用中的可用性，内在评价方法是最为流行的评价方法。ROUGE自动文摘评价方法（Recall-OrientedUnderstudyforGistingEvaluation），被广泛用于自动文摘模型性能的评价。基本思想是将模型产生的系统摘要和参考摘要进行对比，通过计算它们之