大学计算机教程-计算与人工智能导论（第4版）课件 第9章 自然语言处理

第9章自然语言处理9.1概述9.2自然语言处理的基本任务9.3自然语言处理的应用9.1概述9.1.1自然语言处理基本概念自然语言通常指的是人类语言，是人类思维的载体和交流的基本工具，也是人类区别于动物的根本标志，更是人类能发展的外在体现形式之一。自然语言处理(NaturalLanguageProcessing，NLP)主要研究用计算机理解和生成自然语言的各种理论和方法，属于人工智能领域的一个重要甚至核心分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学(ComputationalLinguistics,CL)。数据：在文本语料库中收集。方法：在机器学习和深度学习中使用基于规则、统计或基于神经网络的方法。在处理自然语言时，NLP需要考虑语言的多个层次，包括词汇、语法、语义和语用等。9.1概述9.1.1自然语言处理基本概念人们普遍认为人工智能的发展经历了从运算智能到感知智能，再到认知智能三个发展阶段。运算智能关注的是机器的基础运算和存储能力，在这方面机器已经完胜人类。感知智能则强调机器的模式识别能力，如语音的识别以及图像的识别，目前机器在感知智能上的水平基本达到甚至超过了人类的水平。认知智能涉及自然语言处理以及常识建模和推理等研究，机器在这方面与人类还有很大的差距。9.1概述9.1.1自然语言处理基本概念NLP的研究内容涵盖了文本分类、情感分析、信息抽取、机器翻译、对话系统等多个方面。这些技术使得计算机可以自动分析文本内容、识别情感倾向、从非结构化文本中提取结构化信息、进行语言间的自动翻译以及构建能够与人类自然对话的计算机系统等。随着深度学习技术的发展，NLP领域已经取得了显著的进步。尤其是近年来，大语言模型如ChatGPT、文心一言和通义千问等通过在大量数据上进行预训练，然后在特定任务上微调，极大地推动了NLP领域的发展，提升了诸如文本生成、翻译和对话系统的性能。9.1概述9.1.2自然语言处理简史自然语言处理简史如图9.1所示。自然语言处理（NLP）始于20世纪40年代，受第二次世界大战后的语言翻译需求推动。1950年，AlanTuring在《计算机器与智能》中提出图灵测试，涉及自然语言的自动解释和生成。20世纪50年代末至60年代初，学界分为符号学派和随机学派。符号学派的研究包括Chomsky的形式语言理论和生成句法。9.1概述9.1.2自然语言处理简史1956年，JohnMcCarthy等人在达特茅斯会议上探讨人工智能，尽管部分研究者关注随机算法，大多数仍集中于推理与逻辑，如Newell和Simon的“逻辑理论家”。随机学派研究者多来自统计学和电子学。1950年，Bledsoe和Browning建立了首个贝叶斯文本识别系统。20世纪70至80年代，自然语言处理出现了四个主导研究范式：随机范式、基于逻辑的范式、基于规则的范式和话语模型范式，提出了自然语言理解的概念。9.1概述9.1.2自然语言处理简史90年代开始，自然语言处理（NLP）领域发生巨大变化，重新关注有限状态和经验主义模型，概率和数据驱动的方法成为标准。进入21世纪，得益于大规模数据库和机器学习算法的进步，经验主义主导NLP研究。2006年，加拿大多伦多大学的GeofferyHinton及其学生提出基于深度信念网络的研究，重新引起了对神经网络的关注。2010年起，深度学习开始在NLP中崭露头角，递归神经网络（RNN）和卷积神经网络（CNN）相继被应用于序列数据和文本分类。9.1概述9.1.2自然语言处理简史2013年，Google的Word2Vec通过词嵌入技术实现了词语语义关系的有效捕捉，标志着无监督学习的重要突破。2014年，Seq2Seq模型为机器翻译奠定了基础，并通过注意力机制提升了处理长文本的能力。2017年，Google提出Transformer模型，基于自注意力机制，解决了RNN在长序列处理中的局限性。2018年，BERT的推出引入了预训练-微调的范式，极大提升了多项NLP任务的性能。2019年，OpenAI发布GPT-2，参数量达到1.5亿，显著提高了文本生成的连贯性。2020年，OpenAI推出GPT-3，参数量扩展至1750亿，随后国内也推出了多个大规模语言模型，如清华的ERNIE和百度的ERNIE。此阶段的研究集中在语言模型本身，各种模型结构相继被提出。9.1概述9.1.2自然语言处理简史由于大规模语言模型难以微调，研究者们探索在不针对单一任务进行微调的情况下如何发挥其能力。2019年，Radford等人使用GPT-2研究了大规模语言模型在零样本情况下的能力。2022年，Ouyang等人提出InstructGPT算法，结合少量有监督数据提升大规模语言模型的指令遵从性。2022年11月，ChatGPT发布，通过简单对话框实现了多种自然语言处理能力。2023年3月，GPT-4发布，具备多模态理解能力，并在多项基准考试中表现优异，展现近乎“通用人工智能”的潜力。随后，各大公司和研究机构相继推出类似系统，包括Google的Bard和百度的文心一言，显示出大规模语言模型的快速发展和广泛应用。9.1概述9.1.2自然语言处理简史截止2023年，国内外有超过百种大模型相继发布。中国人民大学赵鑫教授团队按照时间线给出2019年至2023年5月比较有影响力并且模型参数量超过100亿的大规模语言模型，如图所示。9.2自然语言处理的基本任务9.2.1自然语言处理的难点抽象性语言是由一系列抽象符号组成的，每一个符号都代表了现实世界或人类思维中的复杂概念。例如，“车”这个词可能指代任何类型的交通工具，包括但不限于汽车、火车或是自行车，它们共享某些特征，比如有轮子、能够运载人或物品等。组合性尽管每种语言的基本符号数量是有限的——例如，英语仅由26个字母构成，而中文国标GB2312收录了大约6,763个常用汉字——但是这些有限的符号却能够创造出无限丰富的意义。即使相同的词汇，只要排列顺序不同，就能产生截然不同的含义。因此，不可能通过穷尽所有可能的方式来完全掌握自然语言。9.2自然语言处理的基本任务9.2.1自然语言处理的难点歧义性无论是自然语言的理解还是生成，其挑战之一就是自然语言在各个层次上普遍存在各种形式的模糊性和多义性。文本本质上是由字符（汉字、字母、符号）组成的序列。这些字符可以形成词语，词语又可以组合成短语，进而形成句子、段落乃至文章。不论是在何种规模的语言单位层面，或是从较低层次向较高层次过渡的过程中，都会出现多重解释的可能性。例如，JosephF.Kess和RonaldA.Hoppe提出了“语言无处不模糊”的观点，表明解决歧义性问题是自然语言处理的核心任务之一。进化性语言作为一种活生生的交流工具，始终处于不断的演化之中，这体现了语言的创造性和动态性。一方面，新词汇不断涌现以适应社会和技术的变化，例如“超女”、“非典”和“新冠”等术语；另一方面，原有的词汇也会随着时间推移获得新的意义，如“腐败”和“杯具”。此外，语言的结构规则也在持续变化，新的表达方式层出不穷。9.2自然语言处理的基本任务9.2.1自然语言处理的难点非规范性随着互联网的发展，尤其是社交媒体上的用户生成内容，出现了大量非标准的语言使用情况，这对自然语言处理构成了额外的障碍。这包括同音字（如“为什么”变成“为森么”），单词的缩写或变体（如“please”简化为“pls”），以及新造词汇（如“喜大普奔”、“不明觉厉”）和拼写错误等现象。主观性与感知智能问题不同，自然语言处理作为认知智能的一部分，带有较强的主观色彩。这一点不仅增加了数据标注工作的难度，同时也使得评估系统的性能变得复杂。例如，在中文分词这一基本任务中，对于“词”的界定尚未达成一致意见，如“打篮球”是否应该作为一个整体词汇处理？因此，在创建用于自然语言处理的数据集时，往往需要对标注员进行专门培训，这限制了通过众包来扩大标注规模的可能性。此外，由于不同分词系统所采用的标准各异，直接通过客观指标来比较这些系统的有效性并不合理。这一难题在人机对话系统评估中表现得尤为突出，因为对话的多样性使得不存在所谓的唯一正确回应。9.2自然语言处理的基本任务9.2.1自然语言处理的难点知识性理解自然语言通常需要背景知识以及基于这些知识的推理能力。例如，在句子“小明把桌子上的杯子挪到了窗台上，然后它掉了下来”中，“它”指的是哪个物体？如果我们知道“杯子”是被移动的对象，并且通常情况下“窗台”相对于“桌子”更高，那么我们可以推断“它”指的是“杯子”。但是，如果情境改变为“小明把桌子上的杯子挪到了窗台上，然后它摇晃了几下”，那么“它”很可能还是指“杯子”，因为窗台通常不会摇晃。不过，如何有效地表示、获取并利用这些背景知识，依然是当前自然语言处理技术需要解决的问题。难移植性自然语言处理任务涵盖多个层面和领域，它们之间存在着显著差异，导致了解决方案难以直接迁移。这些任务可以从基础的分词、词性标注到高级的信息抽取、问答系统和对话系统等。由于各项任务的具体目标及其所需数据类型各异，很难找到一种通用的技术或模型来同时满足所有需求，因而需要为不同任务定制专门的算法或训练不同的模型。加之不同领域内的专业术语和表达习惯也有区别，这进一步加剧了提升自然语言处理系统跨域适用性的难度。9.2自然语言处理的基本任务9.2.1自然语言处理的难点总结而言，自然语言处理（NLP）面临的挑战源自多个方面，既有语言本身固有的根本性难题，也缺乏一套普遍适用的语义表示方法和语言意义的理论框架。此外，当前NLP算法所依赖的机器学习技术还面临着诸多局限，例如需要大量的标记数据、在不同领域间迁移效果不佳、泛化能力和鲁棒性较弱以及模型的可解释性不足等问题。正因为这些原因，NLP的研究极其富有挑战性，被誉为“人工智能皇冠上的明珠”。9.2自然语言处理的基本任务9.2.2任务层级自然语言处理的一个重要特性是其涵盖了一系列从底层到顶层的任务。按照从低层到高层的方式，这些任务可以大致分为资源建设、基础任务、应用任务以及应用系统四大类别。资源建设主要包括语言学知识库建设和语料库资源建设两大类。语言学知识库通常包含词典、规则库等工具。应用任务则包括信息抽取、情感分析、问答系统、机器翻译和对话系统等，这些任务可以直接作为产品服务于终端用户。基础任务涵盖了诸如分词、词性标注、句法分析和语义分析等领域。这些任务通常不直接面向最终用户，但在语言学研究中具有重要价值。应用系统特指NLP技术在特定领域的综合应用，有时也被称作“NLP+”，即自然语言处理技术结合具体的行业应用。9.2自然语言处理的基本任务9.2.3任务类别尽管自然语言处理（NLP）任务种类繁多，初学者或许会觉得难以把握其脉络，但实际上，这些看似复杂的任务基本上可以归纳为回归、分类、匹配、解析或生成五大类问题之一。回归问题此类问题涉及将输入文本映射到一个连续值域。例如，在学术论文质量评估中，可以将论文的质量量化为一个分数。匹配问题这类问题关注的是判断两段输入文本之间的关系。例如，可以判断两篇科技论文是否讨论了相同的研究主题，或者是否属于“重复”与“非重复”两类。解析问题特指对文本中的词汇进行标注或识别词汇间的关系。典型的解析问题包括词性标注、句法分析等。此外，还有许多任务如分词、命名实体识别等。分类问题又称文本分类，其核心在于判定输入文本所属的类别。例如，在新闻分类任务中，可以将一篇报道归类为“国际”、“科技”或“体育”等类别。生成问题此类任务专注于依据输入（输入可以是文本，也可以是图片、表格等形式的数据）生成一段自然语言。例如，将一份天气预报数据转换为自然语言描述。9.2自然语言处理的基本任务9.2.4任务总结自然语言处理的研究可以分为基础算法研究和应用技术研究两大类。前者进一步细分为自然语言理解和自然语言生成两大方向。从处理的语言单位角度来看，涵盖了从单个字符、词汇、短语、句子、段落到整个篇章的不同粒度，如下图所示。而从语言学的研究角度来看，则涉及了形态学、语法学、语义学、语用学等多个层面。自然语言处理层次与粒度9.2自然语言处理的基本任务9.2.4任务总结自然语言处理与语言学有着密不可分的联系，语言学的研究可以划分为形态学、语法、语义和语用等多个层面。形态学主要探讨单词的内部结构及其构成方式；语法则侧重于研究句子、短语和词汇等语法单位的结构规律及其语法意义；语义学关注语言的意义，旨在揭示有关意义的知识体系；语用学则从使用者的角度出发，探讨在特定上下文中语言是如何被理解和使用的。在实际的NLP任务中，这几个层面的问题通常是相互关联的，无法完全割裂开来。例如，语法结构的分析需要词汇形态学的支持，同时语法结构也会影响词汇的形式；语法结构与语义之间也相互交织，而上下文环境则对语义的理解至关重要。因此，许多NLP任务并不是孤立存在的，但由于任务处理难度的考虑，通常在处理不同层面的任务时会采取独立处理的方法。9.2自然语言处理的基本任务9.2.4任务总结自然语言处理在词汇粒度下的研究内容主要包括词形分析、词性标注以及词义消歧，这些研究分别针对单词的形态、语法属性及其语义展开。词形分析关注词汇的形态变化，如单数与复数、动词时态等；词性标注则是确定词汇在句子中的语法功能，如名词、动词等；词义消歧则致力于解决一词多义的问题，确保在特定上下文中词汇的确切含义。9.2自然语言处理的基本任务9.2.4任务总结句法分析则主要针对句子层面，依据语法规则对句子进行结构分解，以识别句子中各成分之间的关系，包括主谓宾结构、修饰关系等。篇章分析的核心在于考察篇章的连贯性和衔接性，它不仅涉及到篇章级别的语法结构，还包含了对篇章整体语义的理解。语义分析则是一个更为综合的任务，它涵盖了从词汇、短语、句子到整篇文章各个层次上的意义理解。语义分析的目的在于捕捉语言表达的真实含义，确保机器能够准确理解人类语言的意图。语言模型则主要关注句子级别的语言生成与理解，但也包含了对短语乃至篇章级别的研究。语言模型的任务是预测给定上下文后一个词汇出现的概率，从而帮助理解或生成连贯的文本。自然语言生成研究则致力于利用常识、逻辑和语法规则来自动生成文本，它同样覆盖了形态、语法和语义层面，并且涵盖了从短语到篇章等多个层次的任务。自然语言生成不仅需要考虑语法正确性，还要确保生成的文本符合逻辑，易于理解。9.2自然语言处理的基本任务9.2.4任务总结在自然语言处理的基础研究之上，诸如信息抽取、情感分析、文本摘要、机器翻译、智能问答、对话系统等应用任务则围绕着NLP的应用展开。这些任务处理的语言单元根据各自的特点有所不同信息抽取可能关注关键词汇或短语；情感分析则侧重于理解文本中的情感倾向；文本摘要有赖于对整篇文章的理解；机器翻译需跨越语言边界传递意义；智能问答系统需要准确回答问题；对话系统则需维持对话的连贯性和自然性。通过这些多层次、多角度的研究与应用，自然语言处理技术得以不断发展，为实现更高效、更智能的人机交互奠定了坚实的基础。9.2自然语言处理的基本任务9.2.5自然语言处理的基本范式自然语言处理的基本范式历程经历了从理性主义到经验主义，再至深度学习的三个重要历史阶段，如下图所示。在这个过程中，逐渐形成了几种主要的研究范式：基于规则的方法、基于机器学习的方法以及基于深度学习的方法。上述三种范式虽然在方法论上存在很大差异，但它们都有一个共同点：即需要针对特定任务进行定制化的构建。无论是基于规则的方法、基于机器学习的方法还是基于深度学习的方法，面向不同的任务，都需要按照各自的范式来构建数据集、设计模型架构等。由此构建的算法或系统往往只能处理特定的任务，即便是在机器学习和深度学习范式下，哪怕只是对模型的预测目标进行细微调整，通常也需要重新训练整个模型。9.2自然语言处理的基本任务9.2.5自然语言处理的基本范式基于规则的方法基于规则的自然语言处理方法的核心思想是通过制定详尽的规则来引入语言学知识，以完成相应的自然语言处理任务。这种方法在自然语言处理的早期阶段受到了极大关注，包括机器翻译在内的许多任务都是通过这种方式来实现的。即便在今天，仍有大量的系统在使用基于规则的方法。基于规则的自然语言处理算法基本流程9.2自然语言处理的基本任务9.2.5自然语言处理的基本范式基于机器学习的方法基于机器学习的自然语言处理算法绝大部分采用有监督分类算法，将自然语言处理任务转化为某种分类任务，在此基础上根据任务特性构建特征表示，并构建大规模的有标注语料，完成模型训练。基于机器学习的自然语言处理算法基本流程9.2自然语言处理的基本任务9.2.5自然语言处理的基本范式基于深度学习的方法深度学习方法通过构建具有一定“深度”的模型，将特征学习与预测模型融合起来，通过优化算法使模型自动学习出良好的特征表示，并基于此进行结果预测。基于深度学习的自然语言处理算法基本流程9.2自然语言处理的基本任务9.2.5自然语言处理的基本范式基于大语言模型的方法大规模语言模型（LargeLanguageModels，简称大模型）是指拥有庞大参数量的语言模型。自2018年起，以BERT、GPT为代表的预训练语言模型相继推出，并在各种自然语言处理任务上取得了卓越的成果。基于大语言模型的自然语言处理算法基本流程9.3自然语言处理的应用9.3.1信息抽取信息抽取的目标就是从非结构化的文本内容中提取特定的信息。信息抽取并不试图对全文进行理解，仅针对任务需求从篇章中抽取特定信息。信息抽取的应用广泛，在阅读理解、机器翻译、知识图谱等任务中都发挥着非常基础和重要的作用非结构化文本信息抽取样例信息抽取主要聚焦三个任务：命名实体识别、关系抽取和事件抽取。9.3自然语言处理的应用9.3.1信息抽取命名实体识别命名实体是指具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。命名实体识别的目标就是从文本中抽取出这些具有特定意义的实体词。命名实体识别一般包含两个步骤，分别是实体边界判断和实体类别判断。其中实体边界判断是为了确定实体字符串在非结构化文本中的开始位置和结束位置，而实体类别的判断则是为了判断该字符串对应的实体类型。9.3自然语言处理的应用9.3.1信息抽取关系抽取关系抽取旨在从无结构文本中识别两个或多个实体之间的语义关系，是信息检索、智能问答、人机对话等应用系统中不可或缺的基础任务，也是知识图谱构建所依赖的关键技术之一。2个实体间的关系可以用<Head，Relation，Tail>三元组进行表示，其中Head和Tail分别表示头实体和尾实体，Relation表示实体之间的关系类型。9.3自然语言处理的应用9.3.1信息抽取事件抽取事件抽取的目标是从文本中发现特定类型事件，并抽取该事件所涉及的时间、地点、人物等元素。事件抽取任务可以为问答系统、文本摘要以及各类语言理解任务提供有效的结构化信息。根据美国国家标准技术研究所（NIST）组织的ACE（AutomaticContentExtraction）项目给出的定义，事件由事件触发词（Trigger）以及事件论元（Argument，也称事件元素）组成。9.3自然语言处理的应用9.3.2机器翻译机器翻译就是利用计算机程序，即借计算科学的力量，实现语言间自动化、程序化转换的一种技术形式。这一领域不仅触及语言结构的表层对应，更深入触及文化语境、情感表达及人类创造力的多维度映射，尤其在文学与诗歌翻译中，其复杂性和艺术性尤为凸显，体现了人文精神的深邃与多元。然而，当前机器翻译的主流研究方向与实践应用，更多聚焦于满足日常交流、商务沟通、信息检索等实用性需求。机器翻译的发展轨迹深刻地映射了自然语言处理领域的演进历程，其研究与实践大致经历了三个关键性的转型阶段：基于规则的机器翻译、基于统计的机器翻译以及基于神经网络的机器翻译。9.3自然语言处理的应用9.3.2机器翻译翻译结果的可解释性缺失。当前机器翻译算法多采用数据驱动的方法，模型通常不具备可解释性。这意味着，尽管机器翻译能给出翻译结果，甚至效果良好，但其翻译过程与人的理解过程大相径庭。机器翻译的目标仅在于优化人工定义的目标函数，导致人们难以理解其翻译过程，无法对算法进行解释。翻译结果评测的难题。语言具有极大的灵活性与多样性，同一句话可能存在多种翻译方式。机器翻译性能的评测可采用人工评测与半自动评测方法。人工评测虽准确，但成本高昂。半自动评测虽能快速给出结果，但其与人工评测的一致性尚待提升。对于语义相同但用词差异较大的句子，其判断本身就是自然语言处理领域的难题。如何有效评测翻译结果，是机器翻译任务面临的又一挑战。自然语言的高度复杂性。自然语言以其高度的复杂性、概括性及动态性著称，且持续演化。即便深度神经网络模型的参数量已高达1.75万亿，相较于自然语言的复杂程度，仍显不足。以语言模型为例，若以《新华字典》的词条数为基础（假设为10万词条），句子长度设为20词，则所需参数量将是一个天文数字。此外，语言的动态发展，如“AI”一词从最初指代人工智能领域的技术概念，到逐渐融入日常语境，均对模型的大规模参数空间建模与持续学习能力提出了严峻挑战。机器翻译的挑战9.3自然语言处理的应用9.3.3情感分析情感分析，又称观点挖掘，其目标在于从文本中提取和分析人们对某个主题或对象的评价、意见或态度，也包括分析文本所表达的情绪信息。情感分析涉及多个研究领域，包括自然语言处理、数据挖掘和机器学习等。这一任务引起了大量研究者的兴趣，但相关术语较为复杂，因为不同研究方向虽有相似内容，但细微区别较多。情感分类的目标是根据给定文本内容，识别文本所蕴含的情感或观点，并确定情感的类别或观点倾向性。情绪分类的目标是根据文本内容判断其中表达的情绪类型，如快乐、愤怒、悲伤等情绪。情感信息抽取也称评价要素抽取，是指从文本中提取与情感相关的核心要素，如评价词、评价对象、观点持有者等。与情感分类任务相比，情感信息抽取能获得结构化的情感信息，并且与属性级情感分类密切相关。9.3自然语言处理的应用9.3.4问答系统问答系统，也称为QA，致力于自动回应用户用自然语言提出的问题。自从1950年图灵测试被提出，实现自然语言的人机对话就成为了一个持续追求的目标。在这一领域中，自动回答问题成为了自然语言处理的关键研究领域，同时也是一个挑战。智能问答系统旨在自动为用户提供他们用自然语言提出的问题的答案。例如，当用户在搜索引擎中询问“珠穆朗玛峰的海拔是多少？”时，系统能够直接提供“8848.86米”的答案。近年来，随着深度学习技术的快速发展，尤其是大规模预训练模型的兴起，智能问答的研究取得了显著进展，对各种问题的回答能力也在不断提升。智能问答已经成为对话助手、智能客服、搜索引擎等系统中的关键组成部分。9.3自然语言处理的应用9.3.4问答系统2017年，搜狗问答机器人汪仔在江苏卫视的问答节目《一站到底》中也取得了成功，所使用的问答系统框架展示了非端到端问答系统的典型结构，如图所示。搜狗问答机器人汪仔问答系统结构图9.3自然语言处理的应用9.3.4问答系统根据不同的问题类型和答案来源，需要采取不同的策略来解决。问题大致可以分为以下七种类型：事实类、是非类、定义类、列表类、比较类、意见类和指导类。每种类型的问题都有其特定的问答示例，如表所示。问题类型问题答案事实类新中国成立于哪一年？1949年是非类北京是中国首都吗？是定义类什么是人工智能？人工智能是指通过计算机程序或机器来模拟、实现人类智能的技术和方法列表类彩虹有几种颜色？红、橙、黄、绿、蓝、靛、紫比较类是6寸披萨大还是8寸披萨大？根据面积的计算公式，8寸披萨的面积大约是6寸披萨面积的2倍。因此，从面积上来看，8寸披萨明显比6寸披萨大。意见类你觉得仙林哪家烤肉比较好吃？金鹰的西塔