《信息技术与人工智能（活页式）第2版》课件 模块七 自然语言处理入门

AI《信息技术与人工智能（活页式）第2版》模块七自然语言处理入门自然语言处理认知任务一目

录任务一自然语言处理认知近年来，ChatGPT、文心一言等国内外AI大语言模型的崛起对各行各业的冲击力都非常大。作为大一计算机专业的新学生，小王对AI大语言模型产生了浓厚的兴趣。他对AI大语言模型作了一个初步的了解，发现“语言模型”是自然语言处理技术的一种，而自然语言处理技术是研究如何用人工智能的方式来处理文本内容。大语言模型同样是采用“语言模型”的方式训练模型，所不同的是语言模型的规模可大可小，规模大的称作“大语言模型”。

自然语言处理技术是大语言模型的基础技术之一，在学习大语言模型，需要掌握自然语言处理技术的基础知识。一、自然语言处理的基本概念自然语言处理（NaturalLanguageProcessing，NPL）：是一门研究使用计算机处理在人际交际或人机交际中的自然语言问题的学科，主要研究表示语言能力和语言应用的模型，建立计算框架来实现并不断完善语言模型，接着根据语言模型设计各种实用系统，并研究各种实用系统的评测方法。Step01

把需要研究的问题在语言学上加以形式化，以一定的数学形式，严密而规整地表示出来；Step02

把这种严密而规整的数学形式表示为算法，使其在计算上形式化；Step03

根据算法编写计算机程序，使其在计算机上实现；Step04

对所建立的自然语言处理系统进行评测，使其不断地改进质量和性能，以满足应用的要求。计算机对自然语言的研究和处理的流程：二、自然语言处理的核心任务

自然语言理解（NaturalLanguageUnderstanding，NLU）：是计算机对自然语言文本进行分析和处理，从而理解该文本的过程、技术和方法。

自然语言理解是将语言信息转化为计算机可读、可理解的语言，变得能够像人类一样对语言进行理解。1.自然语言理解语言的多样性语言的歧义性语言的鲁棒性语言的知识依赖语言的上下文自然语言理解目前面临以下５大难点在日常生活中，如果想要订机票，人们可以有很多种表达方式，如“我想订张机票”、“有去北京的航班吗？”、“看看航班信息，下周二出发去上海的”、“要出差，帮我查下机票”等等。

无论是“我要出差”还是“查看航班信息”，只要字符中没有包含提前设定好的关键词“订机票”，计算机都无法处理。出现了关键词，系统也不一定会正确理解语言中的意图，如“我要退订机票”也可能会被计算机理解为用户想要订机票。图基于规则的“订机票”意图判断自然语言理解技术出现后，可以让计算机从各种自然语言的表达中提取出对应的意图。

如经过训练后的计算机就能够识别“帮我推荐一家附近的西餐厅”不属于“订机票”意图的表达，并且还能够在句子中自动提取出对应的实体，如下图所示，当用户需要订机票时，只需要发出“看看航班，下周二出发去北京”的指令，计算机就能自动提取出“意图”为“订机票”，“时间”为“下周二”和“目的地”为“北京”。图基于自然语言理解的“订机票”意图判断

自然语言生成（NaturalLanguageGeneration，NLG）：是在研究自然语言的机制和实现过程的基础上，用计算机把要表达的意思从非语言形式的输入构造成自然语言输出，并以口语或书面语的形式表达出来。

以智能音箱为例，自然语言理解技术用于判断用户的意图，而自然语言生成技术是将识别意图后答复进行语音输出。

自然语言生成的过程：是从语言的意义映射到口语语音或书面语文本，主要目的是降低人类与机器之间的沟通障碍，将非语言格式的数据转为人类可理解的语言格式，如文章、报告等。2.自然语言生成自然语言生成的6个步骤Step01内容确定作为第一步，自然语言生成系统需要决定哪些信息应该包含在正在构建的文本中，哪些不应该包含。通常数据中包含的信息比最终传达的信息要多。Step02文本结构确定需要传达哪些信息后，自然语言生成系统需要合理的组织文本的顺序。例如在报道一场篮球比赛时，会优先表达“什么时间”、“什么地点”、“哪2支球队”，接着再表达“比赛的概况”，最后表达“比赛的结局”。Step03句子聚合不是每一条信息都需要一个独立的句子来表达，将多个信息合并到一个句子里表达可能会更加流畅，也更易于阅读。自然语言生成的6个步骤Step04语法化当每一句的内容确定下来后，就可以将这些信息组织成自然语言。这个步骤会在各种信息之间加一些连接词，看起来更像是一个完整的句子。Step05参考表达式生成这个步骤与语法化相似，都是选择一些单词和短语来构成一个完整的句子。不过参考表达式生成与语法化的本质区别在于前者需要识别出内容的领域，并使用该领域的词汇。Step06语言实现最后，当所有相关的单词和短语都已经确定时，需要将它们组合起来形成一个结构良好的完整句子。自然语言生成的应用的主要目的都离不开“能够大规模产生个性化内容”、“帮助人类洞察数据，让数据更容易理解”和“加速内容生产”。在日常阅读大量的新闻中，其中很大一部分有可能是机器通过自然语言生成技术来编写的。某些领域的新闻编写是有比较明显的规则的，比如体育新闻等。目前很多新闻已经借助自然语言生成来完成。

通过自然语言生成技术与数据挖掘、知识图谱、机器学习等其它技术的结合，可以让机器自动完成写稿、配图、排版、编辑视频等功能，协助记者快速完成高质量的新闻稿件。（1）典型应用1——自动写新闻

生活中常见的智能语音助手有小度、小艺、小爱等，以及最近几年出现的智能音箱等，这类聊天机器人所使用的核心技术都是自然语言生成技术。

除了上述常见的领域，客服工作也逐渐被机器人替代，如酒店客服机器人、银行客服机器人、快递客服机器人等等，通过识别用户对话中的意图，结合自然语言生成技术，给用户提供更加精确优质的服务。（2）典型应用2——聊天机器人几乎各行各业都有专属的数据统计和分析工具。这