Python中文自然语言处理基础与实战（第2版）（微课版）课件 第7章 文本向量化

文本向量化文本向量化简介文本向量化的离散化表示文本向量化的分布式表示任务：文本相似度计算文本向量化简介文本向量化：将文本数据转换为数值数据的过程，以便计算机能够有效地处理和分析文本。文本在自然状态下是非结构化的数据，而大多数机器学习和深度学习算法需要结构化的数值数据作为输入。因此，文本向量化是NLP中的一个关键步骤，其产出的向量质量直接影响到后续模型的表现。文本向量化的方法：离散化表示和分布式表示。离散化表示：将文本转换为由独立特征组成的向量，每个特征通常对应一个词或短语。离散化表示的常见方法包括独热编码、BoW模型和TF-IDF方法等。分布式表示：将词表示为密集向量，其中每个维度并不直接对应于某个具体的语义特征，而是通过不同维度间的相互作用共同表达语义信息。分布式表示的常见方法包括词嵌入[如CBoW（ContinuousBagofWords，连续词袋）和Skip-Gram]和句子/文档嵌入（如Doc2Vec、BERT等）。文本向量化简介文本向量化的离散化表示文本向量化的分布式表示任务：文本相似度计算文本向量化的离散化表示文本向量化的离散化表示：将文本数据转换为一系列离散数值的过程，以便计算机能够进行处理和分析。这种表示方式通常涉及将文本中的每个词或短语映射到一个高维空间中的向量，其中每个维度代表词汇表中的一个特定词，而每个维度上的值通常是一个表示该词在文档中是否出现（独热编码）或出现频率（词袋模型）的离散数值。离散化表示的关键：将文本的语义信息编码为一组明确的数值，使得文本成为可操作的数据。离散化表示方法：在文本分类、情感分析和其他基于规则的NLP任务中非常有用，因为它们简单、直观且容易实现。然而，这些方法也存在局限性，尤其是无法有效捕捉词序和语义信息。此外，还存在高维稀疏问题，这可能影响模型的性能和效率。独热编码1.独热编码的概念独热编码：是一种将文本数据转换为数值向量的方法，特别适合将词、字符或其他文本单元转换成数值格式，以便计算机能够处理。在文本向量化的过程中，独热编码提供了一种简单直观的方式来表示文本信息。独热编码独热编码将每个词或字符视为独立的单元，并将其转换成一个稀疏向量。在这个向量中，只有一个元素是1，其余都是0。向量的长度等于词汇表的长度，而1的位置对应于该词或字符在词汇表中的索引。独热编码2.独热编码的步骤预处理文本构建词汇表生成独热向量文本向量化①去除文本中的噪声数据，使用适当的中文分词工具将文本切分成单独的词语。③为每个词生成一个独热向量。在每个词的独热向量中，与该词对应的索引位置为1，其余位置为0。④将文本中的每个词替换为对应的独热向量。由于每个词语都转换成了一个向量，整个文本就变成了一个向量序列。②对所有文档中的词进行统计，创建一个唯一词汇的列表。独热编码简单有效，但也存在局限性，尤其是当词汇表非常大时，向量的维度也会相应增加，导致编码后的向量非常稀疏，影响存储和计算效率。BOW模型

BOW模型：是一种简单有效的文本向量化方法，它将文本转换为固定长度的向量。BOW模型保留了词语的出现信息，能够捕捉到不同词语在文本中的相对重要性，但BOW模型无法捕捉词语之间的顺序信息，适用于一些不依赖于词语顺序的任务，如情感分类、文本聚类等。BOW模型预处理文本创建词汇表构建文本向量向量化整个文本集①去除无关的字符，如标点符号、特殊符号等；将文本分割成词；删除常见的、意义不大的词，如“的”“是”等。③对于文本中的每一个词，使用词汇表中的索引找到对应的位置。在对应的位置上累加次数，记录每个词在文档中出现的次数。构建的文本向量的长度等于词汇表的大小，每个元素是对应词在文本中出现的次数。④对文本集中的每个文本重复步骤①~③。结果是一个矩阵，其中矩阵的每一行代表一个文本的向量表示。②从预处理后的文本中提取所有独特的词。创建一个索引系统，为每个独特的词分配一个固定的数值索引。使用BOW模型进行文本向量化的基本步骤如下。TF-IDF方法1.TF-IDF方法的概念TF-IDF方法：是在BOW模型的基础上进一步优化的一种方法，它通过考虑词语在语料库中的IDF来调整词频，以此减少常见词的影响并突出重要词语。TF-IDF方法的特点：包括平衡词频和文档频率以及中等维度稀疏。通过计算TF和IDF，TF-IDF方法能够减少常用词对结果的影响，同时突出那些在特定文档中重要但在整个语料库中不那么常见的词。TF-IDF方法2.TF-IDF方法的步骤虽然使用TF-IDF方法表示的向量仍然稀疏，但通过忽略某些非关键词，它可能比纯粹的BOW模型更加有效。文本预处理分词和去除停用词计算构建文本的向量表示①清除文本中的特殊字符、标点符号、空格等；统一字符编码，统一词的使用等。③计算TF、IDF和TF-IDF值。④对于每个文本，利用所有词的TF-IDF值构建一个向量。这个向量的维度是整个语料库的词汇表的大小，每一维代表一个词汇表中的词，其值为该词在文本中的TF-IDF值。对于词汇表中未在该文本出现的词，其对应的向量值为0。②使用分词工具对文本分词；去除文本中频繁出现但对文本意义理解贡献不大的词，如“的”“了”“在”等。文本向量化简介文本向量化的离散化表示文本向量化的分布式表示任务：文本相似度计算文本向量化的分布式表示文本向量化的分布式表示是指通过将文本中的词语映射到一个连续的向量空间中，以便捕获和表示词语的语义信息。与离散化表示不同，分布式表示能够反映词语之间的相似性，为词语在具体语境中的运用提供了丰富的语义信息。分布式表示在词义消歧、文本分类、情感分析和机器翻译等应用中，都显示出了优越的性能。常见的文本向量化的分布式表示方法词嵌入：是文本向量化的分布式表示中最常见的方法，它将每个词表示为一个固定长度的稠密向量。这些向量通常通过训练基于大型文本语料库的神经网络模型获得，如Word2Vec、GloVe和fastText等。Word2Vec通过两种模型（CBoW模型和Skip-Gram模型）训练词向量，捕获词语间的复杂语义关系和语法规律。句子和文档嵌入：除了单个词的向量表示，分布式表示方法也被用于生成整个句子或文档的向量表示。文档嵌入Doc2Vec是Word2Vec的扩展，能够学习到文档级别的向量表示。句子嵌入（如Sentence-BERT）利用预训练的深度学习模型（如BERT），通过特定的策略（如平均词向量、最大化注意力权重等）来获得整个句子的向量表示。Word2Vec模型Word2Vec模型：将词语转换为一组表示语义信息的向量，能够捕捉到词语之间的复杂关系，如语义相似性、词的上下文关联等，在执行NLP任务时能更好地理解文本内容。Word2Vec模型基于这样一个假设：在相似的上下文中出现的词语往往具有相似的语义。因此，Word2Vec模型通过学习词语的上下文来推断词语的语义，使语义相近的词语在向量空间中彼此接近。CBoW模型Skip-Gram模型1.CBoW模型Word2Vec模型CBoW模型是Word2Vec模型中的1种，用于从文本中高效生成词嵌入。通过这种方式，CBoW模型能够将词语表示为稠密向量，这些向量捕获了词语之间的语义关系和上下文信息。CBoW模型的主要目标是利用给定的目标词的上下文来预测目标词本身。Word2Vec模型2.训练CBoW模型的基本步骤训练CBoW模型实现中文文本向量化的基本步骤如下。①收集用于训练的中文语料，可以是本地文本文件、网页文本或其他来源的文本；对语料进行预处理，包括分词、去除停用词和标点符号等。③使用滑动窗口的方法从预处理后的文本中生成训练样本。滑动窗口是指在文本中以固定大小的窗口滑动，并从窗口内的词预测目标词。每个训练样本由一个上下文词汇列表和一个目标词组成。上下文词汇列表是目标词的上下文词，用于预测目标词。④使用深度学习框架构建CBoW模型。输入层的维度应与词汇表的大小相对应，隐藏层的维度则通常为词向量的维度。②根据预处理后的语料，构建一个词汇表，其中包含语料中出现的所有独特词；为每个词分配一个唯一的整数标识符，用于在后续步骤中引用该词。⑥在训练完成后，从模型中获取词向量。可以通过取出输入层到隐藏层的权重矩阵来获取词向量。对于每个词，将其对应的权重作为其词向量表示。⑤使用生成的训练数据对CBoW模型进行训练。训练过程通常采用反向传播算法和随机梯度下降等优化算法。目标是最小化模型的损失函数值，使得模型能够准确地预测给定上下文词时出现目标词的条件概率。语料预处理构建词汇表生成训练数据构建神经网络模型训练模型获取词向量1.Skip-Gram模型Word2Vec模型Skip-Gram模型是Word2Vec模型中的另一种核心架构。其核心任务是根据当前的目标词预测其上下文中的词语，因而非常擅长捕获词之间的远距离依赖关系。由于其预测机制，Skip-Gram模型能够为罕见词生成更加准确的词向量，提高模型对于这些词的敏感度。Word2Vec模型2.训练Skip-Gram模型的基本步骤训练Skip-Gram模型实现中文文本向量化的基本步骤如下。①收集用于训练的中文语料，进行必要的清洗和预处理，包括分词、去除停用词和标点符号等。③对于每个词，使用滑动窗口的方法从预处理后的文本中生成训练样本。滑动窗口以窗口中心的词为目标词，用其上下文词预测目标词。每个训练样本由一个目标词和其上下文词组成。④使用深度学习框架构建Skip-Gram模型。输入层的维度应与词汇表的大小相对应，隐藏层的维度则通常为词向量的维度。Skip-Gram模型通常包括一个隐藏层，其维度可以根据实际情况调整。②根据预处理后的语料，构建一个词汇表，包含语料中出现的所有独特词；为每个词分配一个唯一的整数标识符，用于在后续步骤中引用该词。⑥在训练完成后，从模型中获取词向量。可以通过取出输入层到隐藏层的权重矩阵来获取词向量。对于每个词，将其对应的权重作为其词向量表示。⑤使用生成的训练数据对Skip-Gram模型进行训练。训练过程通常采用反向传播算法和随机梯度下降等优化算法。目标是最小化模型的损失函数值，使得模型能够准确地预测目标词的上下文词。语料预处理构建词汇表生成训练样本构建神经网络模型训练模型获取词向量Doc2Vec模型Doc2Vec模型：是Word2Vec模型的扩展，不仅能够为词生成向量表示，还能够为更长的文本序列生成向量表示。这使得Doc2Vec模型特别适合用于文本相似性度量、文档聚类、文本分类等需要理解和比较整个文本的含义的任务。DM模型DBoW模型1.DM模型Doc2Vec模型DM模型是作为扩展Word2Vec模型的应用范围到文档级别的一种尝试。DM模型的核心思想是，不仅词语可以通过其上下文被有效地表示，整个文档或段落也可以通过其包含的词语的上下文来有效地表示。Doc2Vec模型2.训练DM模型的基本步骤训练DM模型实现中文文本向量化的基本步骤如下。①去除文本中的噪声信息，如标点符号、特殊字符等；使用分词工具将文本切分成单独的词语。③使用DM模型对文本进行训练。在DM模型中，每个文本（或句子）都会被表示为一个唯一的向量，同时模型中也包含词向量。设置模型参数，如向量大小、窗口大小、最小词频等。④输入文本数据（通常是一个包含多个文档的列表）。对每个文档，模型会预测上下文词，通过不断调整文档向量和词向量来最小化预测误差。②对分词结果进行统计，建立词汇表。词汇表中的每个词都将被赋予一个唯一的索引。⑥通过不同的参数设置，重复训练模型，找到最优的参数设置；使用一些评估指标（如余弦相似度等）来检测模型的效果。⑤训练完成后，可以通过模型直接获取任意文本的向量表示。预处理文本构建词汇表训练模型训练过程向量化文本优化与评估1.

DBoW模型Doc2Vec模型DBoW模型是Doc2Vec模型的一种变体，用于学习文本的向量表示。DBoW模型与DM模型并行存在，两者共同构成了Doc2Vec模型的基础。与DM模型侧重于使用文档的上下文来预测词不同，DBoW模型采用了一种更为直接的方法，忽略上下文中的词序，直接使用文档的ID，即文档的向量表示预测文档中的词。Doc2Vec模型2.训练DBoW模型的基本步骤训练DBoW模型实现中文文本向量化的基本步骤如下。①移除文本中的无关字符，如标点符号、特殊字符等；使用合适的分词工具将中文文本切分成单独的词语；为分词后的每个句子分配一个标签。③在Doc2Vec模块中选择DBoW模型，设置模型参数，如向量维度、窗口大小、最小词频等。④在DBoW模型中，模型试图预测文档中的词而不使用上下文，输入仅包括文档ID（转化为文档向量），输出目标是文档中的词。训练过程中，文档向量通过预测文档中随机采样的词来进行优化。②统计所有分词结果，建立词汇表，每个词对应一个唯一的索引。预处理文本构建词汇表初始化模型训练模型向量化文本优化与评估⑥可以通过调整模型的超参数（如向量大小、窗口大小）来优化模型性能；使用评估指标（如分类准确度、聚类效果等）来衡量文本向量化的有效性。⑤训练完成后，可以通过模型直接获取任意文档的向量表示。文档向量可以用于各种下游任务，如文档分类、聚类、相似度比较等。文本向量化简介文本向量化的离散化表示文本向量化的分布式表示任务：文本相似度计算Word2Vec词向量的训练NLP任务离不开语料数据的支撑，词向量的训练也不例外。词向量的训练可以分为两个步骤进行，先对中文语料进行预处理，然后使用gensim库训练词向量。中文语料预处理主要包含以下3个步骤。将XML格式的语料文件读入后存储为txt格式将繁体字转化为简体字利用ji