《新一代信息技术与人工智能导论》课件第4章 自然语言处理

自然语言处理

01自然语言处理概述02自然语言处理的基础任务03自然语言处理的挑战与未来方向目录contents01自然语言处理概述自然语言处理的概念自然语言是人类在长期社会活动中自然演化形成的语言系统，用于日常交流、思维表达和文化传承，例如汉语、英语、西班牙语等。自然语言没有严格的语法规则，且同一句话在不同语境中可能表达完全不同的含义。自然语言处理的概念自然语言处理是人工智能研究领域的重要分支，旨在通过计算机技术实现自然语言的机器理解、生成与交互。自然语言处理包括自然语言理解（NaturalLanguageUnderstanding，NLU）和自然语言生成（NaturalLanguageGeneration，NLG）。自然语言理解旨在将人类语言转换为机器可解读的信息，负责理解内容；而自然语言生成则是将机器数据转化为人类可理解的语言表达，负责生成内容。自然语言处理的概念自然语言的技术挑战主要源于自然语言的复杂性，例如：歧义性，动态性，文化差异

动态性

文化差异

歧义性自然语言处理的概念自然语言处理是一门具有交叉性质的学科，它结合了多个领域的知识，包括语言学、计算机科学、数学和统计学等。近年来，随着计算机技术的不断发展，自然语言处理在机器翻译、语音识别、自动回复等方面取得了许多令人瞩目的成果，使得人与机器之间的交流变得更加自然、便捷。机器翻译语音识别自动回复应用领域机器翻译是自然语言处理的重要应用，实现不同语言自动翻译。近年深度学习技术突破显著提升翻译准确性与语言流畅度，许多在线翻译平台和移动应用集成先进机器翻译系统，能提供实时、高质量翻译服务。使用翻译工具阅读外文文献应用领域智能客服是自然语言处理在客户服务领域的典型应用。企业通过构建智能问答系统或聊天机器人，实现客户咨询自动化处理，提高服务效率和质量。客服机器人应用领域情感分析是自然语言处理在文本情感倾向判断上的应用。通过语义分析和情感方向判断，能识别文本表达的积极、消极或中性等情感倾向，在社交媒体监测、市场调研、舆情分析等领域应用广泛。情感方向判断自然语言处理的发展历程阶段核心方法代表成果/模型萌芽期规则驱动图灵测试、乔治城实验、乔姆斯基语法规则与统计博弈概率统计模型HMM、CRF、SVM深度学习时代神经网络特征学习Word2Vec、LSTM、Attention预训练时代自监督预训练+微调BERT、GPT、ChatGPT规则与统计博弈句子：研究生物第一步：生成候选分词方案第二步：计算不同方案的概率第三步：结果对比与选择N-gram模型是一种基于概率统计的语言模型，它通过分析词语的连续组合规律来理解文本。它将句子切割成连续的N个元素组成的词语片段。统计这些片段在语料库中出现的频率。深度学习时代基于神经网络的语言模型可以自动学习表示和抽取特征，无需人工干预。

深预训练时代无需调优完成命名实体抽取任务自然语言处理的基本流程文本获取和处理获取数据，并通过对数据进行预处理去除数据中的噪声和冗余信息。特征方法与表示从预处理后的文本中提取有用信息。模型训练与推理通过特征数据构建计算模型完成语言理解或生成任务。自然语言处理的基本流程文本获取和处理常见数据源公开语料库网页内容用户自己上传不同任务对数据质量的要求也有所差异，但基本要满足具备多样性，能够覆盖不同领域、文体和语言风格。此外，数据需紧密贴合实际应用场景，例如在医疗文本处理任务中，数据不仅要包含专业术语，还应涵盖病历记录、诊断报告、症状描述及药物名称等特定内容，以确保模型在真实医疗环境中具备高度的适用性和准确性。文本获取和处理获取到的原始文本数据往往包含噪声和冗余信息，需要进行预处理以提高后续处理的效果。文本预处理的步骤通常包括：文本清洗：去除噪声与冗余信息，如处理无用的HTML标签、URL链接、重复内容等。分词：将连续的文本切分为单词或词组。去除停用词：移除低信息量词汇，如“的”“是”“在”等高频但无实际意义的词汇。词形还原：将单词转换为其基本形式，如“swimming”还原为“swim”。标准化：统一语言格式，如全角转半角、大小写归一化。去除特殊字符与数字：移除对任务无用的标点符号、特殊符号及数字。特征提取与表示特征提取是从预处理后的文本中提取有用信息的过程。该过程将文本转化为数值化向量，捕捉文本语义、语法及上下文信息。常见的特征提取方法有词袋模型（BagofWords,BoW）、TF-IDF（TermFrequency-InverseDocumentFrequency）、N-gram模型、词嵌入（WordEmbeddings）等。特征表示是将提取的特征以数值矩阵的形式呈现，便于机器学习算法处理。在词袋模型、TF-IDF和N-gram模型中，文本被表示为一个高维向量，向量的每个维度对应一个词汇，向量元素的值表示该词汇在文本中的重要性，如词频、TF-IDF值等。由于文本中词汇的数量通常远大于实际出现的词汇数量，因此这些向量中大部分元素为0，形成了稀疏矩阵。而词嵌入技术（如Word2Vec）将每个词汇映射到一个低维向量空间，向量的每个维度表示词汇的某个语义特征，既能捕捉词汇间的关联性，又提升了计算效率。特征提取与表示（1）词袋模型词袋模型统计每个词汇在文档中出现的频率，并将这些频率作为特征向量。词袋模型忽略词汇的顺序和上下文关系，只关文本2：篮球比赛太精彩了。注词汇的出现次数。使用的步骤为：①构建词汇表②词频统计③向量化文本1：我喜欢看篮球比赛。文本2：篮球比赛太精彩了。根据句子构建词汇表，并建立索引映射关系，如下表：词汇表我喜欢看篮球比赛太精彩词汇索引1234567我喜欢看篮球比赛词向量：[1，1，1，1，1，0，0]篮球比赛太精彩了词向量：[0，0，0，1，1，1，1]词袋模型简单高效，计算成本低，缺点是忽略语序和语义，无法捕捉单词之间的上下文关系，且当词汇量规模过大时会产生高维稀疏向量特征提取与表示（2）Word2Vec一种把词语转换成数字“向量”的方法，这样计算机就能理解词语之间的关系。它其实是一个比较简单的神经网络模型，把每个词变成一个低维的数字列表（向量），并且可以让相似意思的词在数字空间里靠得更近。输入：词语的字符串（如“人工智能”）。2.特征提取：通过神经网络学习权重矩阵W,将词语映射为稠密向量。向量数值由上下文词语共同约束优化生成。输出：低维实数向量（如[0.24,-0.57,…,0.33]）每个维度隐含潜在语义特征（如“性别”、“动作”、“情感”等）。模型训练与推理本阶段通过特征数据构建计算模型完成语言理解或生成任务。模型选择需结合任务复杂度与数据规模。传统机器学习适用于小规模简单任务深度学习适用于复杂序列任务预训练大模型适用于多任务/少样本场景自然语言处理相关工具分类工具名称功能特点通用NLP工具NLTK支持文本处理、词性标注等任务，适合教学与科研StanfordNLP支持词性标注、命名实体识别等功能，解析能力强spaCy具有高效处理能力，支持多语言，适用于大规模文本处理PaddleNLP功能强大，覆盖多种NLP场景，提供产业级效果中文NLP工具HanLP开源且功能全面，适用于各种NLP任务，基于双引擎LTP具有分词、句法分析等功能，可在线演示NLPIR/ICTCLAS支持中文分词、词性标注、命名实体识别等THUCTC是中文文本分类工具包，能实现文本分类功能02自然语言处理的基础任务自然语言处理的基础任务自然语言处理的基础任务是构建语言智能的核心模块，它们从不同维度解析语言的结构与语义，为上层应用提供技术支持。本节将对命名实体识别、文本分类、文本相似度分析和情感分析四项基础任务进行介绍，同时借助哈工大的LTP平台、HanLP多语种自然语言处理工具包对NLP基础任务进行实例展示。命名实体识别命名实体是文本中具有特定意义或指代特定对象的专有名词，这些实体通常具有唯一性和明确类别属性。例如人名“爱因斯坦”、地名“巴黎”、组织名“联合国”等，这些实体承载了文本的核心信息。命名实体可以根据应用场景和标注规范对命名实体分类，见下表：类别定义与示例人名真实或虚构的人物名称，如“鲁迅”“孙悟空”地名地理区域或自然景观，如“珠穆朗玛峰”“上海市”组织名机构、企业或团体名称，如“世界卫生组织”“华为技术有限公司”时间具体时间点或时间段，如“2023年”“公元前220年”。日期日历日期，如“9月15日”“中秋节”货币金额及货币单位，如“500美元”“¥1000”其他专有名词特定领域的专有名词，如科技领域的“人工智能”、医学领域的“糖尿病”等命名实体的分类命名实体识别命名实体识别（NamedEntityRecognition,NER）的任务是从非结构化文本（指没有固定格式或预定义结构的数据）中自动识别并分类这些实体，是信息抽取、知识图谱构建等任务的基础技术。NER通过上下文语义分析，将文本中的实体标记为预定义类别，如人名、地名、时间等。

案例：鲁迅于1881年9月25日出生于浙江绍兴。使用LTP平台分析后的结果显示，“鲁迅”为人名，“浙江”“绍兴”为地名。（注：LTP平台提供最基本的三种实体类型人名、地名、机构名的识别，因此未标注时间、日期。线上的字母表示两个连线词之间的关系。例如，SBV表示主谓关系，ATT表示定语关系。词下面的nh、v、ns等表示词性，例如，nh表示人名，v表示动词。）命名实体识别命名实体的多样性、歧义性、动态性、复合性以及嵌套性等特点给NER工作带来了诸多挑战。多样性：“中国”可简称为“中”，“美国”可写作“USA”歧义性：“苹果”在“我买了一个苹果”这句话指的是水果，而在“苹果公司发布了新手机”中则代表企业名称。动态性：2024年以前没有这个“deepseek”大模型。嵌入性：“北京大学”，外层实体：北京大学（机构名），内层实体：北京（地名）但这些挑战也促使其不断创新。通过上下文分析、领域自适应、数据增强和动态更新等技术，NER系统提升了准确率和应用能力。未来，结合知识图谱和预训练模型，NER将更高效、精准、智能。文本分类文本分类是NLP核心任务之一，旨在将文本数据自动分到预定义类别中，类别可包括情感倾向（如正面、负面、中性）或主题类别（如体育、政治、科技、娱乐等）。其目标是通过算法模型分析文本内容、理解语义，将文本归到最合适的类别，实现这一过程的算法模型称为分类器。①按预定义类别，文本分类分二分类和多分类。如判断邮件是否为垃圾邮件是二分类，将文本主题分为体育、政治等是多分类，多分类可通过二分类实现。②从文本标注类别看，分单标签和多标签。单标签指文本只归为一类，多标签指文本可关联多个类别，例如一段话同时有悲伤、愤怒情绪。文本分类的意义文本分类在信息时代意义重大。互联网发展使文本数据呈指数级增长，人工分类耗时费力且难保证准确性和一致性，而自动化文本分类能快速、准确处理和检索大量文本数据，节省人力和时间成本。其应用场景广泛，包括情感分析、垃圾邮件过滤、新闻分类、事件预测、自然语言推理和关系分类等。新闻分类事件预测关系分类文本分类通过人工设计特征，利用统计模型学习分类，如朴素贝叶斯、支持向量机等。01传统机器学习方法用神经网络自动学习语义特征，如TextCNN、RNN、LSTM等模型。02深度学习方法先预训练模型再微调，适应具体分类任务，如BERT、GPT等。03预训练模型方法文本分类的实现方法文本分类一个文本分类的基本过程如图所示，文本数据经过预处理和特征工程后，送入训练好的分类器中，最终输出文本的类别标签。文本分类基本流程文本相似度分析文本相似度分析是指通过某种量化手段来比较两段文本之间的相似程度。这种相似度可从文本的内容、结构、语义、主题等多个方面进行对比。文本相似度分析是语言智能的基础能力，它有助于我们理解文本之间的关联性和差异性，从而在信息检索、文本分类、问答系统、机器翻译等场景中发挥重要作用。信息检索文本分类问答系统文本相似度分析即“直线距离”，在文本处理中衡量两个文本向量（数字串）的距离，距离越小文本越相似。01欧氏距离通过两向量夹角的余弦值衡量文本相似性，值越大相似度越高，是NLP中常用指标之一。02余弦相似度03指n维空间中两点在各坐标轴上的距离之和，类似在棋盘格状街道中从一处到另一处沿街道行走的总路程（横走路程+竖走路程）。曼哈顿距离衡量两个集合相似度，为集合交集与并集的大小比值，值域0到1，值越大集合越相似。05雅卡尔指数基于汉明距离，比较两个等长字符串相同位置字符的差异，差异位越少相似度越高。04汉明相似度文本相似度度量方法文本相似度分析文本相似度分析实例对于简单任务，可使用HanLP在线演示平台进行文本语义相似度分析，如图所示情感分析情感分析的基本概念文本情感分析定义文本情感分析是指利用计算机科学、语言学等技术来识别和解释文本数据中的观点、态度或情绪。它是对带有情感色彩的主观性文本进行分析、处理和抽取的过程。简而言之，文本情感分析就是让机器理解人类语言中的主观性内容，例如喜怒哀乐、支持反对、满意不满意等。例如，若用户发布：“这家餐馆服务太差了，饭菜也不好吃，尤其是麻婆豆腐咸得很！”系统则能识别出负面情绪，甚至可以抽取“服务-差、麻婆豆腐-过咸”等改进信息反馈给经营者。可以帮助经营者及时发现问题，进而解决问题。情感分析情感分析的基本概念情感分析的任务类型①情感分类②

观点挖掘③情感倾向程度分析④情绪识别⑤反讽识别①判断文本整体的情感倾向

②例如，从评论“平板屏幕清晰，但电池续航差”中提取观点：屏幕→评价：正面；电池→评价：负面。③如“非常喜欢”比“喜欢”表达的情感更强烈，可应用于如评分预测。④识别更具体的情绪类型，如喜悦、愤怒、悲伤、恐惧等⑤例如，“很好，又失眠了”实际上是在表达无奈与不满。情感分析典型应用场景舆情监控：政府部门借助情感分析技术，可实时监测微博、新闻评论、社交媒体等平台中的公众情绪波动。还可以为政策优化提供数据支撑，如环境保护、教育改革等。

例如，针对政策发布后的舆情反馈，系统可自动分类正面、负面及中性评论，识别高频关键词与情绪焦点，辅助决策者快速定位社会关切点。商业决策：商业决策：企业通过情感分析深入挖掘消费者对产品的真实反馈。

例如，电商平台可对商品评论进行情感极性分类，结合语义分析提炼用户对功能、设计、性价比等维度/的具体评价，为产品迭代提供精准方向。思考在利用情感分析技术进行舆情监控和商业决策时，如何确保数据来源的多样性和代表性，以避免偏见导致的分析结果失真？你认为政府和企业在应用情感分析时，应该如何平衡数据隐私保护与信息透明度，确保公众信任与合法合规？情感分析典型应用场景个性化推荐：基于用户历史评论、评分及社交行为数据，情感分析可构建个性化情感画像。教育反馈：分析学生对课程的评价，优化教学质量，如在线课程平台收集学生反馈。系统化收集并分析学生对课程、教师及学习体验的评价。心理健康辅助：心理健康领域正探索情感分析在早期预警与干预中的应用。个性化推荐教育反馈心理健康辅助情感分析的分类（1）情感分析与文本分类的联系情感分析与文本分类都是自然语言处理（NLP）中的重要任务，二者在技术框架和方法上有较多共性，均通过机器学习或深度学习模型对文本进行特征提取和分类预测。文本分类的范围更广，目标是将文本归入预定义的类别，情感分析则是文本分类的一个子任务，专注于识别文本的情感倾向。比如，一篇报道篮球比赛的新闻被分类为“体育”，这主要依据文章内容主题，标签较为明确且客观。比如“这部电影真烂，浪费时间！”被判定为负面情感；而“这部电影剧情感人，值得一看！”则为正面情感。此类判断需要捕捉主观情绪和语气，有时还要识别讽刺或双关。文本分类：情感分析：思考请阅读以下两则文本，结合你对自然语言处理任务的理解，判断它们更适合被归类为“文本分类”任务，还是“情感分析”任务？并简要说明你的理由。文本A：“本周股市大盘上涨2%，科技板块表现强劲，投资者信心提升。”文本B：“这款手机的电池续航太差了，用一天就得充电，真令人失望。”提示文本分类通常关注文本主题或类型的划分；情感分析侧重识别文本的情绪倾向（正面、负面、中性）。

情感分析的分类二分类任务分类范围：将文本分为“正面”和“负面”两类。含义：正面情感表达积极态度（如高兴、满意），负面情感表达消极态度（如愤怒、不满）。应用场景：电商评论分析等，帮助快速判断评论情绪倾向，便于产品和服务优化。三分类任务分类范围：在二分类基础上，增加一个“中性”类别。含义：中性指文本情绪平淡、客观，没有明显正负倾向。应用场景：社交媒体评论分析、客服对话理解等，更准确区分不同情绪表达。多分类任务分类范围：将情感细化为多种具体情绪，如喜悦、愤怒、悲伤、惊讶、恐惧、厌恶等。含义：基于心理学情感理论，对情绪进行更精细的划分，有时可支持多标签分类（文本可同时包含多种情感）。应用场景：舆情监控、心理健康辅助等复杂情感分析领域。（2）按情感标签分类情感分析的分类示例：“这款手机拍照效果非常棒！”（正面）“这家餐厅的服务态度太差了。”（负面）01二分类任务示例：“今天天气多云，适合户外活动。”（中性）02三分类任务示例“考试没考好，真是让人失望和沮丧。”这条文本可以被归为“悲伤”或“沮丧”等具体情绪类别，而不是仅仅标注为负面。03多分类任务思考请阅读下面这句话，结合情感分析中二分类、三分类和多分类的概念，判断这句话更适合用哪种情感分类任务来处理？并简要说明理由。“虽然工作很累，但看到团队的努力和成果，我感到非常欣慰和激动。”

提示二分类任务只区分正面和负面情感；三分类任务增加中性情绪类别；多分类任务能够细致区分多种具体情绪，有时可多标签。

情感分析（3）按目标粒度分类粒度层级分析目标典型场景技术难点篇章级整体情感倾向商品评论、新闻情感长文本整合、情感冲突句子级单句情感分类社交媒体、对话分析上下文依赖、隐含情感属性级特