自然语言处理 课件 项目8-10 认识文本生成、认识机器翻译、问答系统

自然语言处理项目8AI自动写诗MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录01020304认识文本生成什么是文本生成文本生成问题是以文本、图像、数据等作为输入，通过计算机处理输出文本的过程。在自然语言生成系统中，定义为接受语言或非语言形式的信息作为输入，生成可读的文字表述。文本生成是自然语言处理领域的一个重要研究方向，实现文本自动生成是衡量人工智能走向成熟的一个重要标志。许多针对文本生成技术的研究是在具体任务中进行，典型的任务包括机器翻译、对话系统、故事生成、诗歌生成、文本摘要等。在具体任务中，文本生成模型往往以通用的文本生成模型作为框架或基础，根据不同任务进行相应的模型设计。文本生成有多种划分方法，按照输入数据的区别，可以将文本生成大致分为以下三类：文本到文本的生成、数据到文本的生成、图像到文本的生成。010203文本生成方法包含：模板生成方法、模式生成方法、修辞结构理论方法、属性生成方法、神经网络生成方法模板生成方法：是最早应用于自然语言生成领域的一种方法。该技术通过将词汇和短句在模板库中进行匹配，匹配后将词汇和短语填入固定模板，从而生成自然语言文本，其本质是系统根据可能出现的几种语言情况，事先设计并构造相应的模板，每个模板都包括一些不变的常量和可变的变量，用户输入信息之后，文本生成器将输入的信息作为字符串嵌入到模板中替代变量模式生成是一种基于修辞谓语来描述文本结果的方法。这种方法通过语言学中修辞谓词来描述文本结构的规律，构建文本的骨架，从而明确句子中各个主体的表达顺序。修辞结构理论（RhetoricalStructureTheory，RST）方法来源于修辞结构理论的引申，是关于自然语言文本组织的描述性理论。属性生成是一项较复杂的自然语言生成方法，其通过属性特征来反映自然语言的细微变化。神经网络文本生成方法：使用神经网络模型进行文本生成，是针对文本序列数据进行训练，提取到序列数据特征，序列当前的输出与前面的输出相关，生成后续字符，能够有效地捕捉到文本数据中内在的相关性。文本摘要文本摘要(TextSummarization)是文本生成的一个重要应用，文本摘要是对文本内容的总结和归纳，在信息检索、舆情分析、内容审查等领域具有较高的研究价值。学术界涌现出大量围绕文本摘要算法、数据集、评价指标和系统的相关研究工作，这些工作在一定程度上取得了较好的效果，快速应用到金融、新闻、医学、媒体等各个领域，已经在智能写作、社交媒体摘要、新闻摘要以及学术文献摘要等多个方面进行应用。文本摘要的分类按照提供的上下文语境，可以分为查询无关摘要(Generic)和查询相关摘要(Queryfocused)；按照不同的用途，可以分为指示性文摘和报道性文摘等；按照摘要面向的文档类型，可以分为单文档摘要和多文档摘要；根据需要产生摘要的文档长度，可以分为长文摘要、短文摘要；按照摘要生成方法的区别，可以分为抽取式摘要和生成式摘要抽取式摘要主要思想是:首先通过句子的各种特征给每个句子进行打分，得到句子的权重，然后计算每个句子与其他句子的相似度，根据计算得到的每个句子的得分和其与其他句子的相似度进行句子选择和句子排序。生成式摘要是根据对输入原始文本的理解来形成摘要，模型试图去理解文本的内容，自行组织语言，对源文档进行概括。文本摘要抽取分类生成式文本摘要生成式文本摘要在神经网络和深度学习被广泛使用之前，大部分摘要类实现方法都是以抽取的方式。而在实践中，人类理解文本，其摘要更多的是生成式过程，即阅读一段、一篇或多篇文段后，经过脑内抽象分析得到一个抽象理解，结合自己的知识结构输出为一段高度概括的内容。相比于抽取式自动文摘，生成式自动文摘在思想上更接近人工摘要的过程，具有重要研究意义。生成式摘要不是来自原文中句子拼接，而是利用生成技术通过对原文语义的理解后生成的基于深度学习的Seq2Seq模型，是在神经机器翻译（Neuralmachinetranslation,NMT）的Seq2Seq应用开始，逐步引入注意力机制、CNN、Transformer等作为编码器或解码器的基本模型。生成式文本摘要发展历程文本生成评价指标常用文本生成的评价方法，分为内在评价和外在评价方法。其中内在评价关注文本的正确性、流畅度和易理解性。内在评价方法又可分为两类：第一类是采用BLEU、NIST和ROUGE等进行自动化评价，评估生成文本和参考文本间相似度来衡量生成质量。第二类是通过人工评价，从有用性等对文本进行打分。外在评价则关注生成文本在实际应用中的可用性，内在评价方法是最为流行的评价方法。ROUGE自动文摘评价方法（Recall-OrientedUnderstudyforGistingEvaluation），被广泛用于自动文摘模型性能的评价。基本思想是将模型产生的系统摘要和参考摘要进行对比，通过计算它们之间重叠的基本单元数目来评价系统摘要的质量。METEOR度量方法是对BLUE的改进，同时考虑了对整个语料库上的准确率和召回率，因此可信度更高。早期经常用作机器翻译的评价方法，后也被研究人员用作自动文摘任务的评价。感谢欣赏自然语言处理MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目录：01020304认识机器翻译什么是机器翻译whatisMT?机器翻译（machinetranslation，MT）是使用计算机将一种待翻译语言（源语言）翻译成另一种语言（目标语言）的过程、技术和方法，是通过句法分析得到某种内部的结果化表达。机器翻译的发展历程走过六十年的风风雨雨，机器翻译经历了一条曲折而漫长的发展道路，学术界一般将其划分为以下几个阶段：基于规则的机器翻译采用了一种基于转换的方法，其翻译过程主要包括分析、转换、生成三部分。基于规则的机器翻译01机器翻译的第二代技术路线，是基于统计的机器翻译，其核心在于设计概率模型对翻译过程建模。基于统计的机器翻译02端到端神经机器翻译（End-to-EndNeuralMachineTranslation）是从2013年兴起的一种全新机器翻译方法，其基本思想是使用神经网络直接将源语言文本映射成目标语言文本。基于端到端的机器翻译03感谢欣赏问答系统概述发展历程应用场景问答系统分类目录01020304问答系统概述

问答系统(QuestionAnsweringSystem,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。问答系统是信息检索和自然语言处理(NLP)领域内的一门计算机科学学科，是自然语言处理（NLP）和计算机科学的一个子领域,其目的是建立能够自动理解和回答人类自然语言问题的系统。问答系统发展历程早期的问答系统可以追溯到1950年，著名的英国数学家、人工智能之父艾伦·图灵发表了里程碑式的论文’ComputingMachineryandIntelligence（计算机和智能）’，策划了被广泛称为"图灵测试"的"模仿游戏"第一个公认的QA系统出现在1961年，Green等人的设计的BASEBALL系统回答了与美国棒球联盟比赛有关的简单问题20世纪70年代，出现了阅读理解系统：耶鲁大学人工智能实验室开发的SAM20世纪90年代，问答系统的研究和开发热点转向基于大规模文档集的问答问答系统应用场景问答系统可以为教育和学习提供辅助，系统会提示正确的答案以理解这些概念问答系统可以应用于搜索引擎。例如谷歌使用此类系统来提出问题和答案问答系统可以应用到数据分析，HyperVerge是一家令人兴奋的公司，致力于根据用户以自然语言输入的查询生成分析报告问答系统分类FAQ(FrequentlyAskedQuestions)问答系统：目前应用最广泛的问答系统，基于FAQ的QA的核心是计算问题之间的语义相似性闲聊型对话系统：聊天机器人、Siri、微软小冰、小度等。它能模仿人的语言习惯，给出的答案较为人性化任务型对话系统：常被称为多轮对话系统，目前工业界有两种实现方式，一种是基于规则的实现方式，另一种则是基于End-to-End的实现方式