人工智能通识教程 课件 第06章-自然语言处理

自然语言处理自然语言处理在当今数字化时代，自然语言处理（NaturalLanguageProcessing,NLP）作为人工智能的重要分支，正在迅速改变我们与计算机互动的方式。通过将计算机科学与语言学相结合，NLP使机器能够理解、解释和生成自然语言，从而在许多应用中发挥关键作用，例如智能助手、情感分析、自动翻译等。在本章中，我们将深入探讨自然语言处理的核心概念和技术，包括语言模型、信息抽取、语音识别、特征提取和机器翻译等。1主要内容一、语言模型（LanguageModel）二、信息抽取（InformationExtraction）三、语音识别（SpeechRecognition）四、机器翻译（MachineTranslation）五、智能问答系统

（IntelligentQuestionAnsweringSystem）六、自然语言处理工具介绍2一、语言模型（LanguageModel）1.概念：语言模型是自然语言处理中的一个核心概念，用于理解和生成自然语言。2.目标：预测一段文本中一个词汇出现的概率，或者生成符合语言规律的文本。3.分类基于统计的语言模型：主要目标是计算给定一段文本中某个词出现的概率。常用的包括词袋模型、n元模型。基于神经网络的语言模型：词向量处理、前馈神经网络语言模型、

循环神经网络语言模型、长短期记忆网络、Transformer模型3基于统计的语言模型——词袋模型1.概念：词袋模型（BagofWords,BoW）是一种用来处理文本数据的方法。把文本“拆解”成单独的词语，然后统计每个词语出现的次数。它把一个句子变成一个“词的集合”，而不在乎单词的顺序。2.编码方式：独热编码（one-hotencoding）通过比较两个词向量的距离，计算两个文本的相似程度。应用场景：在搜索引擎中，用户输入的查询可以被转换为向量，然后与数据库中存储的文档向量进行匹配。通过计算相似度，搜索引擎可以找出与用户查询最相关的文档，返回给用户。4基于统计的语言模型——词袋模型3.构建过程（1）创建词汇表：从所有的文本中找出不同的词汇，形成一个词汇表。例：“我爱海洋”，“海洋很美”，“海洋是我的家”→{“我”，“爱”，

“海洋”，“很”，“美”，“是”，“我的”，“家”}（2）词频统计：把每句话转换成一个词向量，每个向量的长度等于词汇表中词汇

的数量。（出现标记1，或记录该词汇出现的次数；没有出现标记0）

我爱海洋很美是我的家我爱海洋11100000海洋很美00111000海洋是我的家001001115基于统计的语言模型——词袋模型4.优点：简单易懂，容易实现；对于长文本可通过停用词（是、很等）过滤优化。5.缺点：（1）忽略词汇顺序。不考虑词语在句子中的排列顺序，例如“我爱海洋”和“海洋爱我”会生成相同的词向量，可能导致语义误解。（2）不考虑语法和上下文关系。去除一些词汇（如虚词、连接词）可能会导致重要信息的丢失。例如，在句子“虽然天气不好，我们还是去爬山”中，“虽然”和“还是”这两个词传达了句子的转折与坚持，去掉它们后，句子可能失去其原本的情感色彩和逻辑关系，从而导致信息的丢失。6基于统计的语言模型——n元模型

7基于统计的语言模型——n元模型4.应用场景：n元模型在自然语言处理领域有广泛的应用。n-gram模型可以用于生成自然语言文本。通过学习训练文本中的n-gram概率分布，可以生成与训练数据风格相似的新句子。例：训练句子“我爱海洋”，“海洋是美丽的”→使用二元模型，计算出“我”后面最可能出现的词是“爱”，而“海洋”后面最可能出现的词是“是”→生成新句子“我爱美丽的海洋”8基于神经网络的语言模型基于统计的语言模型（词袋模型、n元模型）这些传统模型通常假设上下文之间是线性关系，难以捕捉复杂的语言特性。为此，研究者开始尝试用神经网络来建立语言模型。9基于神经网络的语言模型1.词向量处理：用一个低维度的向量来表征一个词语。词向量之间的距离（如余弦相似度）可以反映词语的语义相似。算法：Word2Vec，通过学习大量文本中的单词上下文关系来生成词向量。例子：“The

cat

sits

on

themat”选择“sits”作为中心词，使用窗口大小为2，那么上下文词就是“The”，“cat”，“on”，“the”10基于神经网络的语言模型2.前馈神经网络语言模型：预测中心词

输入层：包含上下文中多个单词的词向量，节点数与词汇表

大小一致。

隐藏层：处理输入层的输出，隐藏层节点数可依模型复杂度

调整，通过ReLU或tanh等非线性激活函数学习复杂特征。

输出层：节点数等于词汇表大小，通过softmax

函数计算每个单词作为中心词的概率分布，模型

目标是最大化正确中心词的概率。11基于神经网络的语言模型3.循环神经网络语言模型（RNN）

输入层：输入向量x

隐藏层（循环层）：值向量h既取决于

当前输入x，也依赖上一次隐藏层的值h

输出层：是一个全连接层，每个节点都和隐藏层的每个节点相连，输出向量yU→输入层到隐藏层的权重矩阵V→隐藏层到输出层的权重矩阵W→隐藏层上一次的值作为这一次输入的权重。（1）优势：能够处理任意长度的输入序列，且能通过隐藏状态捕捉上下文信息，理解句子中不同单词间的关系。12基于神经网络的语言模型（2）缺点：RNN在处理长序列数据时，常常面临“梯度消失”或“梯度爆炸”的问题，在捕捉长距离依赖关系时效果不佳。（LSTM可解决这些问题）4.长短期记忆网络（LSTM）输入门：决定当前输入信息中应存储到单元状态的比例。遗忘门：决定当前单元状态中应丢弃的信息比例（输出0-1之间的值，1为完全保留，0为完全丢弃）。输出门：决定单元状态中应输出到下一个时间步

的信息比例。工作流程：接收当前输入（如单词向量）和前一时间步的隐藏状态，通过遗忘门和输入门的输出更新单元状态，再由输出门确定下一时间步的隐藏状态输出。13基于神经网络的语言模型5.Transformer模型（1）目的：解决循环神经网络（RNN）和长短期记忆网络（LSTM）在处理长序列时计算速度慢、并行处理困难等问题。（2）核心思想：基于“自注意力机制”，使模型处理输入序列时，每个词能关注与其他词的关系，从而理解上下文信息。（3）主要组成：包含编码器和解码器，编码器接收输入序列并生成中间表示，解码器利用这些表示生成输出序列。14二、信息抽取（InformationExtraction）1.目标：从大量的非结构化文本（新闻文章、社交媒体帖子、网页内容等）中提取出有用的信息。2.任务：核心任务：识别文本中的重要元素，并将这些元素转化为结构化信息（数据库、

知识图谱），使得计算机可以更方便地进行存储、查询和分析。主要任务：实体识别、关系抽取、事件抽取、属性提取。3.流程：文本预处理→实体识别→关系抽取→事件抽取+属性提取15二、信息抽取（InformationExtraction）（1）文本预处理方法分词：将文本转换为更容易处理的基本单元，通常是词或短语。例如：“我爱海洋”→[“我”，“爱”，“海洋”]去除停用词：减少噪音，使模型更专注于有意义的内容。例如：“我在北京的家”→["我","北京","家"]词形还原：将单词还原为其基本形式。例如：“better”→“good”词干提取：直接削减单词的后缀。例如：“running”→“run”词性标注：为文本中的每个词分配一个语法类别。例如：“我爱海洋”→[(“我”,“代词”),(“爱”,“动词”),(“自然”,“名词”)]16二、信息抽取（InformationExtraction）（2）实体识别：将关键实体（人名、地名、日期等）从非结构化文本中提取出来。（3）关系抽取：识别出实体之间的关系，提取出有价值的信息。例：“珊瑚是海洋生态系统的重要组成部分”（4）事件抽取：提取重要信息，并以结构化的形式进行存储和分析。例：“2023年3月1日，科学家在海洋研究中心发布了关于珊瑚礁保护的新发现”→事件：“发布新发现”，参与者：“科学家”，时间：“2023年3月1日”，地点：“海洋研究中心”。（5）属性提取：识别与特定实体相关的特征或属性。例：“这条河流的长度是500公里，水质为清澈”17三、语音识别（SpeechRecognition）语音识别是自然语言处理中的一项重要技术，它使计算机能够理解和处理人类的语音。这项技术的应用非常广泛，包括语音助手（如苹果的Siri、小米的小爱助手）、语音转文本软件、智能家居控制等。1.声音采集步骤1：通过特定设备（如麦克风）捕捉人类的语音，并将其转换为电信号。步骤2：采样。将连续的电信号转化为离散的数字信号，计算机定期采样。步骤3：量化。将电信号值转化为数字值，通常为16位或24位的二进制数。步骤4：编码。将数字信号转化为计算机能够理解的格式。18三、语音识别（SpeechRecognition）2.特征提取：从原始声音信号中提取出对识别任务有用的信息，以便计算机处理。步骤1：信号预处理。例如去除背景噪声、归一化音量和分段等。步骤2：分帧。将语音信号分成短时间的帧（约20到30毫秒），捕捉声音的瞬时特征，使计算机能够逐帧分析信号，理解语音在时间上的变化。19四、机器翻译（MachineTranslation）机器翻译是指利用计算机程序将一种自然语言翻译成另一种自然语言的过程。随着全球化的发展，跨语言的交流变得愈发频繁，机器翻译的应用场景也越来越广泛，比如在社交媒体、国际商务、学术研究等领域，它帮助人们克服语言障碍，促进了不同文化之间的交流。20四、机器翻译（MachineTranslation）1.机器翻译的历史21四、机器翻译（MachineTranslation）2.机器翻译的工作原理与过程步骤1：数据准备。初始阶段需大量双语平行语料库，并进行清洗预处理。步骤2：模型构建。系统通过分析这些数据构建基于统计或深度学习的语言模型，

学习源语言到目标语言的词汇和句法映射。步骤3：输入分析。用户输入文本后，系统进行初步处理（识别词汇、分析句子语

法结构、分析上下文信息）步骤4：翻译生成。基于训练好的模型生成目标语言翻译。步骤5：后处理优化。对翻译结果进行语法检查、拼写校正、上下文调整及流畅性优化，以提升翻译质量，确保译文准确、自然、易懂。22五、智能问答系统

（IntelligentQuestionAnsweringSystem）智能问答系统是利用自然语言处理、机器学习和人工智能技术，实现对用户提出的问题进行理解、处理和回答的计算机系统。这类系统不仅能提供直接的答案，还可以理解问题的上下文，推理相关信息，从而生成更为准确和相关的回答。流程：自然语言输入→对话状态跟踪→对话策略学习→答案生成23六、自然语言处理工具介绍自然语言处理（NLP）是人工智能的一个子领域，旨在使计算机理解、解释和生成人类语言。随着技术的发展，许多自然语言处理工具应运而生，广泛应用于文本分析、机器翻译、情感分析、对话系统等领域。以下是一些常见的自然语言处理工具和库的介绍。1.Jieba(/fxsjy/jieba)Jieba是一个流行的中文分词库，能够帮助开发者快速实现中文文本的分词、词性标注和关键词提取等功能。2.NLTK(NaturalLanguageToolkit)（/）NLTK是一个用于Python的强大自然语言处理库，提供了多种文本处理功能。主要功能包括词汇和语法分析、语料库访问、文本分类、词性标注和命名实体识别。适用场景：适合教育、研究和原型开发，尤其是对NLP初学者友好。24六、自然语言处理工具介绍3.spaCy（/explosion/spaCy）spaCy是一个现代化的自然语言处理库，旨在提供高效、准确的文本分析功能。主要功能包括高效的词性标注和依存句法分析，支持深度学习，与TensorFlow和PyTorch兼容，支持自定义模型训练。内置多种语言的预训练模型，便于快速应用。适合需要高性能和高准确度的商业应用，特别是在处理大规模文本数据时。4.StanfordNLP（/stanfordnlp）StanfordNLP是斯坦福大学开发的一系列自然语言处理工具，提供了高精度的语言处理功能，支持多种语言。提供句子的结构分析，识别主谓宾关系。识别句子中各成分的语义角色。分析文本中代词和名词短语的指代关系。25本章小结在本章中，我们深入探讨了自然语言处理（NLP）的核心概念和技术，揭示了其在数字化时代的重要性和应用广泛性。通过结合计算机科学与语言学，NLP不仅使机器能够理解和生成自然语言，还在智能助手、情感分析、自动翻译等领域发挥着关键作用。我们重点分析了语言模型、信息抽取、语音识别、特征提取和机器翻译等技术，了解了它们如何帮助计算机更好地与人类进行互动。随着技术的不断发展，NLP将继续推动人机交互的变革，带来更多创新和可能性。26思考与练习1.什么是自然语言处理？涉及到哪些技术？2.自然语言处理有哪些引用？3.语言模型在自然语言处理中的作用是什么？4.语音识别技术是如何工作的？有哪些主要挑战？5.自然语言处理技术在医学、法律、金融等领域的应用日益广泛。请思考

并讨论自然语言处理与这些领域结合时可能面临的挑战和机遇。27实验1.实验要求：江苏海洋大学微博关键词分析。附件搜集了江苏海洋大学官微发表的1058条微博，请利用Jieba对这些微博分词，统计出其中的高频词汇，并分析这些微博主要涉及的话题。2.实验步骤（1）首先安装jieba，可以采用下面两种方式：全自动安装：pipinstalljieba先下载/pypi/jieba/，

解压后运行pythonsetup.pyinstall28实验（2）对文本进行分词importcsvimportjiebaimportre

#定义文件路径input_file_path='data.csv'#输入文件路径output_file_path='segmented_data.csv'#输出文件路径

#定义去除特殊字符的函数defclean_text(text):#使用正则表达式去除特殊字符，仅保留中文、英文和数字cleaned_text=re.sub(r'[^\w\s]','',text)#去掉除字母、数字和下划线之外的字符returncleaned_text

#读取CSV文件并处理数据withopen(input_file_path,mode='r',encoding='utf-8')asinfile,\open(output_file_path,mode='w',encoding='utf-8',newline='')asoutfile:

csv_reader=csv.reader(infile)csv_writer=csv.writer(outfile)

#读取表头header=next(csv_reader)#添加新列名header.append('segmented_conten