人工智能通识教程 课件 第8章 人工智能通识教程

人工智能通识教程主讲人：XXXAI同学们好！数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.1

自然语言处理概述

8.2

文本预处理

8.3

文本分类与情感分析8.4

应用实例：科大讯飞人工智能翻译机本章目的：自然语言处理是使计算机具有“理解并回应人类语言”能力的关键技术，也是人工智能应用的典型：从智能客服到在线翻译，从舆情监控到智能写作，自然语言处理已经深入到各行各业。本章将带领读者初步认识自然语言处理技术，了解人工智能如何促进自然语言的范式革命。同时，掌握自然语言处理流程与基本模型，从文本预处理入手，逐步深入文本分类和情感分析等典型任务，并结合实际案例，解析“讯飞翻译机”等智能产品的工作原理，从而体会具有智能的语言技术如何改变我们的生活。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.1

自然语言处理概述

8.1.1

什么是自然语言处理？1.语言与认知左脑---主要负责语言的句法、词汇、逻辑和时序处理。右脑---主要处理语言的情感、语调、隐喻、比喻和图像等非线性信息，是“语感”的来源。语言的主要功能体现在以下三个方面：①记忆的标签系统②思维的编码工具③社会认知的基础数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

2.语言与人工智能：为什么理解语言如此困难？语言的理解远不止于“识字”或“听懂”，它是一项深度融合了感知、认知与推理的复杂智能活动。对人类而言，语言的掌握得益于长期的认知发展和社会经验，而对于人工智能系统来说，理解自然语言则意味着对世界的一种“模拟理解”。语言处理涉及多个认知环节：①感知输入：识别声音或文字（听到一句话或看到一段文字）。②语言识别：完成词汇识别和句法分析（如判断主谓宾结构）。③语义建构：结合上下文推理出含义（如“他很冷”是指气温低还是态度冷淡？）。④理解与响应：做出行为反应，或在内在系统中达成语义映射。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.自然语言处理概述（1）什么是自然语言处理自然语言处理（naturallanguageprocessing,NLP）是人工智能领域的重要分支，致力于让计算机能够“读懂”、“听懂”甚至“写出”和“说出”人类语言。NLP综合了语言学、计算机科学、机器学习、数学、认知心理学等多个学科领域的知识，是一门高度交叉的综合性学科。NLP的研究对象涵盖语言的多个层面，包括基本的字、词、短语，到句子、段落，甚至完整篇章。其核心任务包括两大方向：①自然语言理解（naturallanguageunderstanding,NLU）：让机器理解人类语言的含义，例如语义分析、情感识别、命名实体识别等。②自然语言生成（naturallanguagegeneration,NLG）：让机器能够生成自然、通顺且语义合理的语言，例如文本摘要、智能写作、问答系统等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.自然语言处理概述（2）自然语言处理的目标自然语言处理的目标，是赋予计算机理解、解释以及生成人类语言的能力，使其具备人类语言的理解与表达技能，从而实现“类人智能”。这个目标可以分为三个层次：①基本层次②中级层次③高级层次数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.自然语言处理概述自然语言处理不仅服务于语言技术本身，更是实现智能搜索、语音助手、机器翻译等AI产品的关键支撑。下表总结了NLP的典型任务类型。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.自然语言处理概述（3）自然语言处理的技术框架自然语言处理的实现通常依赖一个多阶段的技术流程，每一阶段对应着不同的处理目标和方法，即从原始语言输入到语义输出或自然语言生成，整个流程涉及文本预处理、特征提取、模型构建与输出生成等多个关键环节。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.自然语言处理概述（3）自然语言处理的技术框架①文本预处理。对原始语言进行清洗与格式化，如去除标点、词语标准化、分词等。②特征提取与表示。将文本转为计算机可处理的向量表示，如词频-逆文件频率（termfrequency-inversedocumentfrequency,TF-IDF）、词向量（Word2Vec）等。③模型训练与推理。使用机器学习或深度学习模型完成特定任务，如情感判断、命名实体识别。④后处理与生成。输出分析结果，或生成自然语言文本、翻译结果等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.1

自然语言处理概述

8.1.2

自然语言处理的发展历程自然语言处理的发展与人工智能技术的演进密不可分。NLP最初的研究任务是机器翻译，起源可追溯至20世纪50年代。当时，美国希望能够利用计算机将大量俄语材料自动翻译成英语，以窥探苏联科技发展。研究者受军事密码破译的启发，设想不同语言之间只是语义的不同“编码”，因此尝试用“译码”方式将语言“破解”。NLP经历了多个技术阶段的更迭，逐步从早期的规则驱动走向数据驱动与模型驱动，并最终进入基于大模型的智能阶段，如图所示。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

1.统计学方法：从频率到概率的推理统计学方法是NLP早期阶段的重要技术路径，其核心思想是利用大规模语料中词语、短语或结构出现的频率与概率关系，构建数学模型，进而推断出语言的含义与上下文关系。①典型模型：n-gram模型、朴素贝叶斯、隐马尔可夫模型（HMM）等。②应用场景：文本分类、拼写纠错、情感分析、关键词提取、基本语言模型等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

2.规则引擎方法：语言学知识的系统编码规则方法强调通过语言学专家设计的语法、词法和语义规则，人工编写语法规则、词汇表、词形变换规则等，来解析和生成语言。这种技术主要应用于早期的语法分析与语义理解任务。①典型模型：上下文无关文法（context-freegrammar,CFG）、有限自动机、基于规则的语义角色标注模型等。②代表系统：SHRDLU系统、ELIZA聊天程序、基于规则的翻译系统。③应用场景：句法分析、命名实体识别、语法纠错、自动问答等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.机器学习方法：数据驱动的语言建模随着机器学习理论日臻成熟，NLP进入经验主义时代。进入20世纪90年代后，NLP模型不再依赖手工规则，而是开始利用统计学习理论，通过“训练”从大量已标注数据中自动学习语言规律。①典型技术：支持向量机（SVM）、决策树与随机森林、K-近邻（KNN）等。②应用场景：词性标注、情感分类、命名实体识别、文本聚类等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

4.深度学习方法：自动特征学习的崛起自2006年Hinton等人引领深度学习的复兴以来，深度学习逐渐成为人工智能领域的主导技术，同时在NLP研究中也占据了核心地位。深度神经网络有能力自动从原始文本中提取高级语义特征，从而摆脱了对人工特征设计的依赖。通过端到端的训练方法，NLP实现了从输入文本到任务输出的全面优化。①

典

型

技

术：词

向

量（wordembedding）、循

环

神

经

网

络（RNN）、注

意

力

机

制

与Transformer架构等。②应用场景：机器翻译、对话生成、摘要提取、问答系统、语音识别等。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

5.大模型方法：通用语言智能的迈进2018年，BERT（bidirectionalencoderrepresentationoftransformer，基

于

双

向

变

换

器的编码表示）在人工智能技术领域问世，NLP进入“大模型”时代。与传统的小规模模型相比，大模型不仅具备更强的语言表示能力，还展现出惊人的跨任务泛化性能。BERT的成功标志着预训练-微调（pre-trainingandfine-tuning）范式的确立：模型先在大规模无监督文本上进行语言建模预训练，再通过微调适配具体的下游任务。这种范式迅速成为自然语言处理领域的主流，NLP模型能力由“特定任务模型”向“通用语言模型”跃迁。基于GPT的大模型，只需在通用的大规模文本上完成预训练后，在零样本或少样本条件下，就能完成文章撰写、代码编写、逻辑推理等多种任务，标志着自然语言生成进入“类

人

化”阶

段。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

5.大模型方法：通用语言智能的迈进例

如，当

用

户

要

求“写

一

首

关

于

春

天

的

七

言

绝

句”时，GPT-3无

须针对诗歌创作任务专门训练，直接基于预训练学习到的语言规律和知识储备，生成“东风送暖入千家，柳绿桃红映晚霞。紫燕衔泥寻旧梦，春光染就满枝花”这样符合要求的诗歌。①典型技术：GPT系列、BERT、T5（text-to-texttransfertransformer）等。②应用场景：机器翻译、文本分类、文本生成、问答系统、对话系统等。近年来，多模态模型（例如CLIP、DALL·E）也不断涌现，将语言与图像等信息融合处理，拓宽了自然语言处理的边界。尤其是，预训练大模型与人类反馈学习（例如RLHF）结合，推动了ChatGPT、Claude、DeepSeeker等对话系统的出现。这类系统不仅理解语言，还能在多轮对话中保持上下文一致性，表现出初步的“语言智能”。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.1

自然语言处理概述

8.1.3

自然语言处理的技术框架1.

文本预处理：为理解语言做清洗准备文本预处理是NLP的第一步，旨在将原始文本转化为可计算的标准格式。主要包括分词、词形还原、去除停用词、拼写纠错等任务，具体内容见8.2节。2.

语言特征提取：从文本中提取结构化表达特征提取将文本转化为向量、张量等结构化形式，是语言与模型之间的桥梁。提取质量直接影响模型性能。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

3.

语言理解：让机器“读懂”语言语言理解是NLP的核心，涉及语义识别、结构分析和信息抽取等任务，使系统具备理解语言深层含义的能力。4.

语言生成：将信息转换为自然语言输出语言生成任务使系统具备表达能力，根据输入语义自动生成自然语言文本，强调“说得通、说得好”。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.1

文本清洗：去除噪声数据文本清洗是文本预处理的第一步，核心任务是识别并去除文本中可能干扰分析的不必要信息和非标准符号，使文本更干净、统一且便于处理。常用文本清洗技术与方法包括：①正则表达式（RegularExpressions）：可高效匹配并清除特定格式的信息（如URL、邮箱、HTML标签等）。②HTML解析工具：BeautifulSoup或lxml可用于从网页数据中提取纯文本内容。③字符标准化：使用Unicodedata等模块进行字符集统一、全角半角转换。④Emoji与特殊符号清除：通过Unicode正则或表情字符集过滤。需要指出的是，文本清洗的具体策略应依据任务特点灵活调整。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.2

分词分词（tokenization）是文本预处理中最基础而又关键的操作，指将连续的文本序列拆解为更小的语言单元，称为“标记”（tokens）。这些标记通常是词语、子词、字符或特定符号，是计算机理解自然语言的基本处理单位。在英文等以空格分隔词语的语言中，分词相对直观，常可借助空格、标点符号等完成。然而在中文、日文等没有明确词界的语言中，分词就变得尤为复杂，需要借助词典、规则或模型来确定词语边界。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.3

文本规范化文本规范化（textnormalization）旨在统一词语形式、消除表达差异，使相同或相似的语言单元以一致的方式呈现，从而降低词汇复杂度，提升语义一致性，增强模型对语料的泛化能力。常见规范化操作包括：①大小写转换：例如将“Apple”、“APPLE”与“apple”统一为小写“apple”。②词形还原与词干化（详见8.25节）；③数字规范化：例如将“1.5百万”、“1，500，000”和“一百五十万”统一表示。④同义词替换：例如将“购买”、“订购”和“下单”统一为“购买”。⑤简繁转换：在中文处理中，将繁体“機器學習”转换为简体“机器学习”。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.4

停用词过滤停用词（stopwords）是指那些在文本中频繁出现、但对文本语义区分贡献较小的词汇。它们通常在语言中承担语法连接、句法支撑等功能。保留停用词会导致词向量维度膨胀、计算成本上升，且可能掩盖真正重要的语义模式。因此，在如文本分类、信息检索、主题建模等任务中，移除停用词有助于提升模型的表达与判别能力。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.4

停用词过滤常用的处理方式包括：①停用词词典过滤：中文常用停用词表包括百度、哈工大、Sogou等开源词表；英文停用词库包括NLTK、spaCy和Scikit-learn提供的内置列表。②基于词频的自动筛选：设定高频与低频词阈值过滤。③基于TF-IDF的筛选：利用逆文档频率（inversedocumentfrequency,IDF）去除语料中普遍但无意义的词项。然而，并非所有任务都适合移除停用词。例如，在情感分析中，否定词“不”“没”可能决定句子的情绪极性；在语言建模和机器翻译中，停用词对语法结构至关重要。因此，停用词过滤应结合任务目标进行选择性应用。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.5

词干化与词形还原词干化（stemming）和词形还原（lemmatization）是用于规范化语言词形变化的两种技术，主要应用于英语、法语、德语等形态变化丰富的屈折性语言中。它们的目标都是将一个词的多种形态（例如时态、语态、单复数、词性变化）统一为一种基本形式，以减少词汇维度，提高处理效率。①词干化②词形还原在中文文本处理中，由于汉语属于分析型语言（非屈折语言），其词形变化极为有限，因此传统意义上的词干化与词形还原并不常见。然而，中文中存在大量语义等价但形式不同的表达，尤其在不同语域、不同地区、不同历史时期的文本中尤为显著，因此也需要相应的词形规范化手段以统一处理。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.5

词干化与词形还原在缺乏词形变化的前提下，中文文本通常采取以下方式来实现类似词形还原的语义统一：①近义词归并：通过人工词表（如哈工大同义词词林）、WordNet中文版、BaiduSynonymsAPI等，将“学习”“研修”“进修”“攻读”等近义词统一为“学习”。②异形词统一：统一繁简变体、地域差异（如“颜色”与“颜色”、“干燥”与“乾燥”）。③音近字替换检测：用于社交媒体或拼音输入错误引起的词形变体（如“真滴”→“真的”、“睡觉觉”→“睡觉”），部分工具通过语义距离、拼音相似度和上下文模型结合判断。④行业术语标准化：尤其在医疗、法律、教育等行业中，不同表达形式可能对应相同实体（如“高血压”和“原发性高血压”）。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.5

词干化与词形还原这些归并通常借助“词典+规则”的组合方法完成，也可以通过语料统计与上下文建模（如BERT语义相似度判断）进一步增强。特别需要说明的是，词干化与词形还原在技术目标上虽具有相似性，都是为了将不同词形归并为统一形式，但在不同语言环境和具体任务中，其实现方式与适用性存在明显差异。在现代自然语言处理系统中，建议根据所处理语言的结构特点与具体应用任务的需求，灵活选用规则方法、统计方法或深度学习方法。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.5

词干化与词形还原

下表概括了在不同应用场景中词干与词形还原的选择依据。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.2

文本预处理

8.2.6

文本向量化完成文本的清洗、分词与规范化之后，自然语言处理的一个关键步骤，即将文本转换为计算机可处理的数值形式。我们把这一过程被称为文本向量化（textvectorization），或文本特征表示（featurerepresentation）。由于计算机无法直接理解自然语言中的字符串内容，必须将语言单元（如词、短语、句子）编码为向量或矩阵形式，才能用于后续的建模与分析。文本向量化方法的发展历程，反映了nlp从浅层统计走向深层语义理解的演化路径。常见的方法主要包括以下几类：①词袋模型（bagofword,BoW）②TF-IDF模型③词嵌入（wordembedding）④上下文相关嵌入数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.3

文本分类与情感分析8.3.1

文本分类：按主题或类别划分文本文本分类是自然语言处理中的基础任务之一，其目标是将文本按照预定义的类别或标签进行自动归类。例如，一篇新闻报道可以被归入“政治”、“经济”、“科技”或“体育”等主题类别，一封电子邮件可以被识别为“垃圾邮件”或“正常邮件”。这种自动化的文本识别技术在舆情分析、内容过滤、智能推荐等场景中有着广泛应用。文本分类技术流程详解包括：①文本预处理。②文本向量化。③模型选择与训练。④模型评估与优化。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.3

文本分类与情感分析8.3.2

情感分析：判断文本的情感倾向情感分析（sentimentanalysis）又称意见挖掘（opinionmining），旨在识别文本中蕴含的主观情绪或评价态度。常见的情感极性包括正面（如“满意”“好评”）、负面（如“差劲”“失望”）和中性（如“无明显态度”）。通过情感分析，企业可洞察用户反馈，政府可了解舆论走向，媒体可监控社会情绪。目前，主流的情感分析方法包括以下几类：（1）基于情感词典的方法构建包含正负情感词及其极性的词典，并统计文本中情感词的分布。例如，“这款手机设计精美，功能强大”中，“精美”“强大”是典型正向词。经典词典包括SentiWordNet、NTUSD（繁体中文情感词库）、BosonNLP情感词表等。①优点：实现简单，适合资源受限场景。②缺点：无法处理否定结构、语境歧义、情绪反转等复杂语言现象。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.3

文本分类与情感分析8.3.2

情感分析：判断文本的情感倾向（2）基于机器学习的方法通过对大量已标注情感极性的文本进行学习，训练情感分类模型。典型模型有朴素贝叶斯、逻辑回归、SVM、随机森林等。输入特征可包括TF-IDF向量、情感词权重、否定词计数、程度副词强度等。①优点：对文本语言表达更敏感。②缺点：依赖标注数据，泛化能力较弱。（3）基于深度学习的方法通过应用RNN、LSTM、TextCNN、BERT等先进的神经网络模型，可以直接对文本语义进行建模，并自动提取与情感相关的特征。例如，BERT模型能够识别出“这部电影很好笑”与“这部电影不好笑”之间的语义差异。这些技术目前正处于快速发展阶段，迄今为止，已经涌现出了诸如RoBERTa、ERNIE、ELECTRA等众多改进型模型。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

8.4

应用实例：科大讯飞人工智能翻译机8.4.1

科大讯飞翻译机3.0在人工智能技术飞速发展的推动下，人机语音交互正逐渐成为现实世界中最具潜力的落地场景之一。语音作为人类最自然、最高效的交流方式，正日益展现其在人工智能应用中的核心地位。从语音识别到语音合成，机器正在逐步获得类似人类的“听觉”和“发声”能力。当前，智能语音已广泛应用于车载系统、智能家居、移动终端等场景，语音助手、对话机器人、智能客服等产品也不断融入人们的日常生活，极大地提升了人机交互的效率与体验。语音识别技术的本质是将语音信号转换为对应的文本信息，使计算机能够“听懂”人类的语言。这项技术的发展经历了漫长而波澜壮阔的历程：早在1952年，贝尔实验室便研制出了世界上第一个能够识别10个英文数字的语音识别系统，尽管其功能有限，却拉开了语音识别研究的序幕。此后，随着统计学、模式识别与深度学习技术的不断突破，语音识别的准确率和实用性持续提升，各类语音识别系统竞相涌现，使得“人与机器自由对话”的梦想不再遥不可及。数字化实验项目实践综合实训第8章

从文本处理到语言理解：自然语言的认知解码

语音合成技术也在不断演进，其目标是让机器“开口说话”时不再显得生硬、机械，而是能够发出自然流畅、富有情感的声音，真正实现“拟人化”的交流体验。当前主流的语音合成技术已可根据输入文本实时生成可听的语音内容，在多语言、多场景中提供稳定可靠的语音输出服务。一个典型的智能语音集成应用案例是2019年博鳌亚洲论坛采用的科大讯飞翻译机3.0。图8-6展示的是科大讯飞翻译机样机的示意图。该设备集成了语音识别、机器翻译和语音合成三项核心技术：①用户的语音输入经由语音识别模块实时转写为文本。②系统调用机器翻译模型对文本内容进行语义转换。③翻译结果通过语音合成模块转化为可听语音，实现跨语言的即时双向交流。这一集成式语音系统的成功应用，不仅展示了中国语音技术的先进水平，也标志着智能语音技术正在从实验室走向真实世界的广阔舞台。数字化实验项目实践综合实训第8章

从文本处理到语言