人工智能基础及应用课件 模块二-任务二-自然语言理解的核心流程

机器如何读懂人类的语言自然语言理解的核心流程自然语言处理是人工智能领域重要的研究方向,是机器语言和人类语言之间沟通的桥梁,从基础的文本预处理、词嵌入入手,逐步深入到句法分析、语义分析,并通过意图识别、文本生成,最终实现流畅自然的人机交互目标。核心步骤自然语言理解的核心流程文本预处理词嵌入句法分析语义分析文本生成自然语言处理始于对原始文本的清洗与标准化，进而通过词嵌入、句法与语义分析，将其转化为机器可处理与理解的层次化表征。这一核心流程最终旨在让机器精准捕捉语言的结构与含义，为后续的交互与应用奠定基础。1.文本预处理分词把句子切成词语,将连续的文本序列划分为独立的词汇单元去噪删掉无意义词,去除文本中的无关信息或干扰因素标准化统一文本格式，将缩写语、口语、网络用语等统一表达口径处理步骤原句处理结果分词我爱吃苹果。我/爱/吃/苹果。去噪那个……我今天真的超级超级开心！我今天真的超级开心！标准化BTW,这个例子不错。顺便说一下,这个例子不错。文本预处理将原始、杂乱无章的自然语言文本，转化为干净、规范、可供模型直接计算的标准化数据。2.词嵌入社交档案：词语的“档案号码”（向量）并非随机，而是由其上下文环境决定。物以类聚：经常出现在相似语境中的词语（如“键盘”和“鼠标”），它们的向量在空间中的位置会非常接近。量化关系：计算机通过计算向量之间的距离或相似度，来精确理解词语间的语义“亲密度”。词嵌入是通过将词语或短语转换为一串有规律的数字,使计算机能计算词语之间的关系,理解词语的意思和用法。3.句法分析句法分析旨在识别句子的语法结构，通过分析词汇与短语之间的关系，为句子勾勒出清晰的“语法骨架”。将线性的、连续的词语序列，转换为层次化的、结构化的语法树，以便计算机理解“谁做了什么”、“谁修饰谁”等逻辑关系。核心：寻找词语之间的二元依赖关系，找出每个词的“头结点”。关系：通常是一种有方向的支配关系，如“主谓”、“动宾”、“定中”。输出：一个依存关系树，清晰标示出句中的核心词（如谓语动词）及各词如何依附于它。核心：识别句子中嵌套的短语结构，并将其归约为语法类别。

关系：是一种部分与整体的组合关系，如“名词短语(NP)”、“动词短语(VP)”。输出：一个成分结构树，直观展示句子如何由各种短语层层组合而成。目标两种方法不同的分析视角与输出结果4.语义分析语义分析是从语法结构进一步提取深层的语义信息，是理解句子或文本深层含义的过程。词义消歧语义角色标注确定一个词在特定上下文中的准确含义。标注出句子中谓词（动作或状态）的各个参与者及其角色词语：“暖手宝”字面义：一种取暖工具（中性/褒义）。语境义：在本句中，结合“新手机”和“烫”，其真实含义是“手机发热严重”，表达贬义。

关键作用：若按字面理解，会误判情感；正确消歧后，才能抓住用户表达的“手机散热差”这一核心抱怨。句子分析：动作/状态：烫（核心谓词）角色标注：描述对象：[这个新手机]（主题）比喻参照：[暖手宝]（比较对象）程度修饰：[简直]（强调夸张）语义分析通过上面两个核心方面分析后，判断出用户的真实情绪和需求，从而让计算机完成从读懂字面意思，到读懂人类语言的深层含义。5.文本生成文本生成是接收结构化的语义信息，输出符合语法、与输入语义一致且流畅的自然语言文本的过程，让计算机能够进行创作与交互。关键词生成（模板填空式）：一种初级的生成方