人工智能：从基础到实践（微课视频版）课件 第6章 自然语言处理

第六章自然语言处理任课教师:CONTENT目录自然语言处理概述01NLP关键技术02语言模型03NLP的应用04知识图谱及其应用05NLP实践0601自然语言处理概述定义与重要性010203自然语言处理的定义自然语言处理（NLP）指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工，实现人机间的信息交流。NLP的应用领域NLP在信息检索、自动问答、情感分析、机器翻译等领域发挥着关键作用，极大地推动了人机交互的自然性和智能化水平。NLP的重要性NLP使得机器能够理解人类的语言，这对于提升人机交互的自然性和智能化水平至关重要，是人工智能和计算机科学的重要研究领域。发展历程机器翻译的起步20世纪50-60年代，机器翻译作为NLP研究的开端，虽然受限于当时的科技水平，但为后续的语言处理技术奠定了基础。统计方法和计算机语言学的兴起20世纪70-80年代，统计学理论的引入，促使NLP从单纯基于规则的方法向基于统计的方法转变。统计语言模型通过对大规模语料库的统计分析计算词与词之间的概率关系，从而实现对语言的建模和处理，在对自然语言形与义的处理上有了更科学的量化依据语言处理工具包和大规模语料库的出现20世纪90年代，语言处理工具包，如词性标注工具、句法分析工具等不断涌现，加速了NLP技术的研究和应用。同时，大规模语料库的建立为基于统计的NLP方法提供了更丰富的数据支持，使模型能够学习到更准确的语言模式和规律。机器学习和深度学习的推动多任务和预训练模型的崛起21世纪初-20世纪10年，机器学习技术在NLP领域得到更深入的应用，SVM等分类算法被广泛用于文本分类、情感分析等任务。2006年，深度学习的兴起为NLP带来了革命性的变化。2013年，Word2Vec模型提出。2020年以来，多任务学习旨在让模型同时学习多个相关任务，通过共享底层特征表示，模型能够从不同任务中获取更丰富的知识，提升泛化能力和性能。以BERT和GPT为代表的预训练模型在大规模无监督语料上进行预训练，学习到语言的通用语义和语法知识，开启了大语言模型时代。1.语料预处理01020304语料清洗语料清洗是去除文本中无关内容的过程，如广告、HTML标签等，确保数据质量，为后续处理提供清晰准确的输入。分词技术分词是将连续文本切分为独立词汇单元的技术，中文分词尤为重要，涉及词典匹配和统计模型，影响语义理解的准确性。词性标注词性标注为每个单词或词语分配词类标签，如名词、动词等，有助于深入分析句子结构和语法关系，支持高级语言处理任务。去停用词去停用词步骤移除对文本特征无贡献的常见词汇，如“的”、“是”等，优化文本数据，提高信息提取和分析的效率。NLP处理过程2.特征工程NLP处理过程特征工程就是把经过预处理之后的字和词语表示成计算机能够计算的类型，即把分词后的词语转换成向量。常用的两种表示方法有词袋模型和词向量：（1）词袋模型不考虑词语在句子中的次序，直接将词语或符号统一放置在一个集合中，按照计数的方式对出现的次数进行统计。统计词频是最基本的方式，TF-IDF是词袋模型的一个经典用法（2）词向量是将字、词语转换成向量矩阵的计算模型。最常用的词表示方法是独热编码。经典的模型为Word2Vec，主要包括CBOW和Skip-Gram。3.模型训练NLP处理过程模型训练即依据不同的自然语言处理任务（如文本分类、情感分析、机器翻译等）选择合适的模型进行训练（1）简单任务中，朴素贝叶斯、SVM等传统机器学习模型仍有应用，深度学习模型占主导地位；（2）以Transformer架构为基础的模型，先在大规模无监督语料上进行预训练，学习语言的通用特征和语义知识，随后针对特定任务进行微调；（3）需要合理选择损失函数（如交叉熵损失函数等）、优化器（如Adam、SGD等），并不断调整模型的超参数，提升模型的性能和效果4.指标评价NLP处理过程（1）文本分类任务：准确率、召回率、F1值等指标；（2）机器翻译任务：采用BLEU（BilingualEvaluationUnderstudy）指标，通过对比机器翻译结果与参考译文的相似度来评估翻译质量；（3）根据评估结果，可以对模型进行优化，包括调整模型结构、增加训练数据、改进训练方法等。02NLP关键技术核心任务自然语言理解NLU指将自然语言文本转换为机器可理解的语言，即对字、词、句、篇章进行输入、识别、分析和理解。自然语言生成NLG指将机器理解的语言转换为自然语言文本，即机器可以自动生成字、词、句和篇章。自然语言理解NLU以句子分析为基础，通过分析句子中的词法、句法、语义，实现对一句话的细致拆解。NLU技术包括词法分析、句法分析和语义分析等方面，旨在使计算机能够理解自然语言文本的含义和意图。01词法分析对输入的文本序列分割成词法单元（Token），并标记每个词的词性02句法分析将自然语言的复杂句子结构化为更易理解的形式，使计算机能更好地理解语言的语法和语义层面03语义分析理解和解释文本中单词、短语和句子的含义及其相互关系的过程04语用分析语言在具体语境中的使用和理解词法分析010203分词分词指将连续的汉字文本序列精准切分为独立的词汇单元。分词是中文所特有的词法分析任务。主要问题：歧义和未登录词。歧义：组合型歧义、交集型歧义和真歧义。未登录词：不在词汇表中的词词性标注词性标注是指为分词结果中的每个词语标注一个正确的词性。方法：早期依赖规则；现在基于统计的词性标注；命名实体识别属于未登录词识别的范畴，从非结构化文本中精准识别出具有特定意义的实体，并将其归类到预定义的类别中。方法：基于规则和字典匹配；基于统计机器学习的方法问题：实体类别和边界的模糊性；通用和特定领域的识别问题。4词向量把序列文本分词之后生成的词语，从原本稀疏、高维且难以计算的表示形式，转化为稠密、低维且连续的向量表示。表示方法：One-Hot编码和分布式表示句向量是一种将自然语言中的句子映射为固定长度向量空间中的向量。方法：基于词向量的后处理和直接生成句向量句法分析句法分析的目的在于分析句子，得到句子的语法结构，并以结构化的形式呈现出来，常见的呈现方式为句法树。通过建立词语间的层级关系，可以揭示句子的深层语义结构。依存句法分析依存句法分析关注词语之间的依赖关系，标识出每个词语的“头词”和它们之间的关系。在依存句法树中，句子的每个词语（除了根）都有且只有一个“头词”，表示语法依赖关系。成分句法分析成分句法分析将句子分解为它们的语法成分，如名词短语、动词短语等。每个成分都有一个标签表示其句法类别，并形成一棵树状结构，称为成分句法树。语义分析语义分析涉及对文本的意义进行解析和理解，包括词汇本身的意义、它们在特定上下文中的含义，以及文本中表达的更深层次的意图和信息语义角色标注语义角色标注是对句子中的谓词及其相关论元（句子中的名词或名词短语等）进行语义角色识别和标注的过程，旨在明确句子中各个成分在语义层面上的角色和功能词义消歧词义消歧是根据词语所处的上下文语境确定其在特定句子或文本中确切词义的过程，以消除因一词多义现象导致的语义模糊性，使计算机能够准确理解文本含义关系抽取关系抽取是指从自然语言文本中识别并提取出实体之间存在的语义关系，将非结构化的文本信息转化为结构化的知识表示语用分析语用分析不仅要理解词语和句子本身的字面含义，还要考虑说话的情境、说话者的目的、听话者的背景以及语言使用的社会文化环境等因素，以便更全面、准确地把握语言在具体语境中的意义和作用。语境理解语境理解通过分析文本的上下文环境，例如对话的前文内容、当前所处的场景、涉及的人物关系等，来构建一个完整的语境模型。意图识别意图识别通过分析语言的特征，如词汇选择、句子结构、语气等，来推断说话者的意图。情感分析情感分析则用于判断文本中所包含的情感倾向，是积极、消极还是中性的情感。自然语言生成123简单的数据合并是将获取的数据按照一定的格式要求，直接进行简单的组合和拼接，形成自然语言文本。“您的账户余额为[X]元，本次消费[Y]元，剩余余额为[Z]元”模板化的NLG基于预先设计好的语言模板，将相关的数据和信息填充到模板的特定位置，从而生成自然语言文本。“[比赛项目]比赛中，[队伍A]以[比分]战胜了[队伍B]。”高级NLG对输入的信息进行深入的语义理解、知识推理和语境分析，根据复杂的需求和情境自主地生成高质量、富有表现力和个性化的自然语言文本，通常需要大量的数据训练和复杂的模型架构来实现自然语言生成是指让计算机能够根据给定的一些结构化数据、语义信息或特定的知识表示自动生成符合人类语言表达习惯、语义通顺且有意义的自然语言文本的技术。包含三个层次：自然语言生成1.内容确定明确目的和任务；根据生成目标，收集信息；对筛选后的信息进行组织和规划。2.文本结构化根据内容确定文本的整体框架和组织形式；将文本的每个段落确定明确的主题；确定段落之间以及段落内部句子之间的逻辑关系。3.句子聚合将生成的各个独立的句子或短语按照文本结构和逻辑关系合并，形成更完整、更连贯的文本片段。4.语法化根据目标语言的语法规则，对句子进行语法结构的调整和完善；句法分析，确保句子的结构符合语法规范；对生成的句子进行语法错误检查5.参考表达式生成生成文本中涉及的各种实体，确定指代和描述；将实体的属性和它们之间的关系转化为自然语言表达式；处理数量、范围和程度等量化和限定信息6.语言实现根据生成文本的风格、语境和表达需要选择最合适的词汇来表达语义；根据生成任务的要求和目标受众调整文本的语言风格；文本进行润色和校对。03语言模型语言模型的概念基本含义语言模型是对自然语言的规律进行学习和建模的工具，它通过对大量文本数据的学习，构建出关于词序列概率分布的模型。核心功能一是预测功能，即在给定前文语境的情况下预测下一个最可能出现的词；二是评估功能，即判断一个给定的文本序列在语法、语义和语用等层面的合理性与流畅性数学含义从数学角度来看，由n个词按顺序排列组成的词序列，语言模型的核心任务是计算词序列出现的联合概率。语言模型发展阶段统计语言模型统计语言模型基于统计方法，通过对大规模语料库中词的共现频率进行统计分析，来计算词序列的概率分布，从而预测下一个词出现的概率神经语言模型神经语言模型利用神经网络的非线性拟合能力，自动学习语言的复杂模式和特征，能够处理变长的输入序列，对上下文信息的捕捉能力更强。预训练语言模型预训练语言模型在大规模无监督文本数据上进行预训练，学习通用的语言知识和语义表示，适用于多种NLP任务。大语言模型大语言模型通过层叠的神经网络结构，在海量文本数据上进行预训练，展现出强大的语言理解和生成能力。提示词工程基本含义提示词是用户向模型提供的输入，用于引导模型生成特定类型、主题或格式的文本输出。这种输入可以是一个问题、一个描述、一组关键词或上下文信息，它告诉模型用户希望得到的输出类型和内容。提示词的核心要素包括明确的任务指示、相关上下文、示例参考、用户输入以及具体的输出要求。指示指想要模型执行的特定任务或指令；上下文指包含外部信息或额外的上下文信息，引导语言模型更好地响应；例子指通过给出具体示例来展示期望的输出格式或风格；输入指用户输入的内容或问题；输出指定了大模型输出的类型或格式。提示词技术1·2·3·零样本提示在不提供任何示例的情况下，直接向模型输入一个问题或指令，依靠模型自身已有的知识和语言理解能力来生成回答少样本提示少样本提示通过在提示中提供少量示例来引导模型生成特定结构或模式的输出。这些示例就像是模型的学习范例，向模型展示了用户期望的答案形式。思维链提示引导模型逐步进行推理和思考，将一个复杂的问题分解为多个中间步骤，通过生成一系列中间推理过程来得出最终答案。4·上下文提示为模型提供与当前对话或任务相关的具体细节和背景信息，有助于模型更好地理解问题的细微差别，模型在生成回答时能够结合这些信息，给出更准确、更符合语境的答案。5·角色提示在与语言模型交互时，为模型指定一个特定的角色身份，影响其输出的语气和风格，模型会以这个角色的口吻、立场、知识背景和语言风格来生成文本内容。04NLP的应用机器翻译基于规则的翻译处理源语言句子时，首先借助语法分析工具，将句子拆解成符合语法规则的结构，清晰界定句子成分之间的关系。然后依据预先设定好的翻译规则，把源语言的语法结构和词汇逐一映射到目标语言统计机器翻译基于概率模型，从双语对应语料中自动学习出两种语言相对应的语言片段，对每个可能的翻译候选，得到一个基于映射表的翻译概率，同时得到一个基于语言模型的语言概率，将这两个概率相乘，选择乘积最大的翻译候选，即是原句的最佳翻译。神经机器翻译神经网络以词向量和句向量的方式学习词和句子的语义信息，从而实现对语义的“理解”。通过将源语言句子编码成一个连续的向量表示，该向量蕴含了句子的语义信息，随后借助解码过程将其转换为目标语言句子。文本分类基于机器学习的分类算法基于机器学习的文本分类算法是利用已有的标注数据进行模型训练，从而实现对新文本的分类预基于深度学习的分类算法深度学习模型在文本分类领域展现出强大的能力，能够自动学习文本中的复杂特征，对文本进行分类。文本分类是将文本分配到预先定义的类别中的任务，在信息检索、新闻分类和邮件筛选等领域应用广泛。情感分析基于词典的方法依赖预先构建的情感词典，词典中收纳了大量带有明确情感极性的词汇；再逐一匹配情感词典中的词汇，根据匹配到的词汇情感极性来推断整个文本的情感倾向。基于机器学习的方法利用已标注好情感倾向的数据语料作为训练集，采用机器学习算法，通过训练模型来学习不同情感类别的模式和特征，根据学到的知识对新的文本进行情感分类。基于深度学习的方法利用深度学习技术对文本所表达的情感倾向进行自动判断。优点：能够自动进行特征学习；具有强大的表示能力；模型适应性强。05知识图谱知识图谱概念知识图谱是一种结构化的知识库，以图的形式表示和存储现实世界中的实体、概念及关系，便于计算机理解和处理知识。识图谱的基本组成单位是形如“（实体，关系，实体）”的三元组。其中，实体通过关系相互连接，构成了一个网状的知识结构。实体是指现实世界中的具体事物，概念则是对实体的抽象概括，关系则描述了实体与实体之间、实体与概念之间的联系。知识抽取从各种数据源中提取知识元素，将非结构化或半结构化数据转化为结构化知识的过:实体抽取：从文本数据中识别出具有特定意义的实体关系抽取：从文本中抽取出实体之间的语义关系属性抽取：文本中抽取实体的属性信息知识融合指将从不同数据源中抽取的知识进行整合，消除知识之间的冲突和冗余，形成统一的知识图谱实体对齐：判断不同数据源中的实体是否指向同一真实世界对象的过程知识合并：将对齐后的实体的知识进行合并，消除知识之间的冲突和冗余的过程知识推理利用已有的知识图谱，通过推理规则和算法推导出新的知识或结论的过程基于规则的推理：通过制定一系列的推理规则来推导出新的知识基于机器学习的推理：利用机器学习算法从数据中学习知识之间的关联和模式图谱构建方法知识图谱的应用010203智能搜索智能搜索利用先进的算法和大数据技术，通过理解用户的查询意图，提供更加精准、个性化的搜索结果，极大地提升了信息检索的效率和用户体验。智能问答智能问