自然语言处理 课件 第1章 绪论

第一章绪论目录自然语言处理的基本概念自然语言处理的发展历程自然语言处理的核心任务第一章绪论自然语言处理的基本概念自然语言人类在发展中自然形成的交流工具（如汉语、英语）。人类区别于其他动物的重要属性，是社会智能的基础。特点：用有限符号表达无限意义，充满模糊性、多义性和歧义性。人工语言（又称人造语言）为某种目的而专门设计的语言特点：具有精确的语法和语义规则，形式与意义的对应关系非常明确，几乎不存在歧义现象。自然语言处理（NLP）研究人与计算机之间用自然语言进行有效通信的理论和方法的一门学科，是计算机科学领域的重要研究方向之一。目标：让机器以普通人能理解的方式使用语言。第一章绪论自然语言处理的基本概念中文信息处理以中文为主要研究对象，是自然语言处理的一个分支。特点：注重意义上的连贯，靠“意思”串联起来。计算语言学研究如何利用计算的方法解决语言的性质、功能、结构、运用等与语言有关的科学问题。特点：侧重于如何解决语言学中的科学问题，其发展依赖于语言数据与算法模型。语言智能以机器智能为主的自然语言处理技术，是运用计算机信息技术模仿人类语言的智能，分析和处理人类语言的科学。生成式人工智能利用复杂的算法、模型和规则，从大规模数据集中学习以创造新的原创内容的人工智能技术。特点：全面超越了传统软件的数据处理和分析能力，成为人工智能领域最火热的话题。第一章绪论目录自然语言处理的基本概念自然语言处理的发展历程自然语言处理的核心任务第一章绪论自然语言处理的发展历程第一章绪论根据研究方法的演化，分为三个主要阶段：阶段时间跨度主流方法核心思想/特点理性主义50年代-80年代末基于规则依靠人工编写规则（生成语法理论）。可解释性强，但难以处理复杂语言现象。经验主义90年代-2010年左右统计机器学习依靠数据驱动。从人工特征设计转向有监督学习。联结主义2010年至今深度学习采用多层神经网络，将语言表示为稠密向量。目录自然语言处理的基本概念自然语言处理的发展历程自然语言处理的核心任务第一章绪论词法分析词法分析：将输入的句子转换成词序列并标记出各词的词性，是自然语言处理流程中的第一步，为文本的进一步处理提供了基本的语言单位信息，使自然语言处理系统能够更好地理解和处理自然语言文本。词法分析具体包括词的识别和词性标注：词的识别是指将输入的字符串序列转换成一系列词条进行输出，在中文里称为分词，在英文里称为词条化（tokenization）。中文分词任务较为困难：中文的语言特性导致词的界限较为模糊，且存在大量分词歧义。第一章绪论句法分析句法分析：基于一定的句法理论对词法分析结果进行解析，识别出句子所包含的句法成分以及这些成分之间的关系，形成结构化的句法结构信息（如句法树）。句法分析面临的两个难点：（1）自然语言存在着大量句法歧义现象。人类可以依靠大量的先验知识有效地消除歧义，而机器在准确表示和获取语言深层含义方面仍显不足。（2）侯选句法树的个数会随着句子长度的增加呈现指数级别的增长，从而形成庞大的搜索空间，导致搜索效率较低。第一章绪论语义分析语义分析：对一定的语言单位进行意义解析，旨在理解和解释文本或话语的深层含义。语义分析任务：词汇层面：词义消歧，主要针对具有多种意义的词语确定其词义。句子层面：语义角色标注，主要围绕句子中的谓词来分析各成分与其之间的语义关系。篇章层面：指代消解与句间语义关系分析。其中，指代消解将代表同一实体的不同指称划分到一个等价集合；句间语义关系分析是识别相邻句子之间的因果、转折、递进等语义关系。第一章绪论其他核心任务文本分类：将给定的文本划分到预先给定的一个或多个类别标签。文本分类有两种：二分类和多分类，其中多分类可以通过二分类来实现。情感分析：利用自然语言处理和文本挖掘技术，对带有情感色彩的主观性文本进行分析、处理和推理。篇章级情感分析旨在为观点型文档标记整体的情感倾向，是最简单的情感分析任务；句子级情感分析需要标定单句或短文本所表达的情感；方面级情感分析旨在推断句子在某个具体方面的情感倾向，包含方面提取和方面的情感识别。自