自然语言处理基础教程 课件 第六章 词嵌入与词向量

第六章词嵌入与词向量本课目标了解什么是文本向量化掌握One-Hot编码的作用及方法掌握词嵌入的概念和意义掌握Word2Vec的概念、作用和应用了解Doc2Vec的概念和作用Coursecatalogue课程目录文本向量化1One-Hot编码23Word2Vec4词嵌入Doc2Vec5文本向量化文本向量化所谓文本向量化，即将文本表示成计算机可识别的实数向量，方便计算机处理。文本向量化的方法主要分为离散表示和分布式表示。Coursecatalogue课程目录文本向量化1One-Hot编码23Word2Vec4词嵌入Doc2Vec5One-Hot编码One-Hot编码One-Hot编码的每一个维度都代表了语料库中一个独立的词汇，然后用1代表某个位置对应的词是存在的，0代表不存在的，这是向量化最简单的一种方法。常规操作是先将语料库内所有的词依照出现的顺序排序，然后将每个词语对应到相应的下标。One-Hot编码One-Hot编码例1有以下三个句子：1）我爱人工智能2）我在学习人工智能3）NLP是人工智能的重要研究方向步骤1 分词。使用分词工具对三句话进行分词，得到如下结果：1）我爱人工智能2）我在学习人工智能3）NLP是人工智能的重要研究方向步骤2 构建词典。将出现过的词构建成一个词典，这个词典依次包含10个词，如下：{我，爱，人工智能，在，学习，NLP，是，的，重要，研究方向}One-Hot编码One-Hot编码步骤3 编码。根据编码规则，每个词对应的One-Hot编码如表所示步骤4 生成特征向量。一句话的特征向量即是该样本中的每个单词的One-Hot向量直接相加，这样，本例中的3句话表示成如下：1）我爱人工智能：[1,1,1,0,0,0,0,0,0,0]2）我在学习人工智能：[1,0,1,1,1,0,0,0,0,0]3）NLP是人工智能的重要研究方向：[0,0,1,0,0,1,1,1,1,1]One-Hot编码One-Hot编码由于One-Hot表征单词的方法每个单词都是独立的、正交的，这就导致了无法通过One-Hot编码计算不同单词之间的相似程度。例2假设在文本样本中包含有北京、上海、天津和重庆四个词，它们的One-Hot编码形式如图所示。Coursecatalogue课程目录文本向量化1One-Hot编码23Word2Vec4词嵌入Doc2Vec5词嵌入什么是词嵌入词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。例如，在一个文本中包含“queen”、“king”、“man”、“woman”等若干词，而这若干单词映射到向量空间中，这些向量在一定意义上可以代表这个词的语义信息，从而达到让计算机像计算数值一样去计算自然语言的目的。词嵌入词嵌入的实现例3假设词典的词汇表中有5000个词，要将句子“我爱人工智能”表示为一个128维的词向量，进行词嵌入的流程如下：步骤1One-Hot编码。根据词汇表的大小，将“我”、“爱”、“人工智能”以One-Hot方式进行编码，每个词都会转换为一个5000维的向量，那么整个句子被转换成为一个维度为3×5000的矩阵，记为V。这个矩阵有3行5000列，从上到下分别代表“我”、“爱”和“人工智能”三个词的One-Hot编码。步骤2确定嵌入矩阵。根据词汇表的大小（5000）和指定的词向量的维度（128），通过某种方法（具体方法将在后续小节中介绍），确定一个维度为5000×128维的嵌入矩阵，记为E。步骤3词嵌入。将矩阵V和E相乘，可以得到一个3×128维的矩阵，这个矩阵就是“我爱人工智能”这句话的嵌入向量。词嵌入语义信息在自然语言处理领域，使用上下文描述一个词语或者元素的语义是一个常见且有效的做法。我们可以使用同样的方式训练词向量，让这些词向量具备表示语义信息的能力。Coursecatalogue课程目录文本向量化1One-Hot编码23Word2Vec4词嵌入Doc2Vec5Word2VecWord2Vec概述作为Google的开源项目，Word2Vec以词嵌入为基础，利用深度学习思想对上下文环境中的词进行预测，经过Word2Vec训练后的词向量可以很好地度量词与词之间的相似性。Word2Vec包含两个经典的训练模型：连续词袋（ContinuousBag-of-Words，CBOW），通过上下文（输入）预测中心词（输出），可以理解为将一句话中的某个词扣掉，需要根据其它词来预测这个词是什么；Skip-gram，通过中心词（输入）预测上下文（输出），可以理解为给定一个词，预测这个词的前、后可能出现什么词。Word2VecWord2Vec模型：CBOW在CBOW中，先在句子中选定一个中心词，例如选取“natural”。选定好中心词后，将“I、love、language、processing”作为中心词的上下文。在训练的过程中，使用上下文的词向量推理中心词，这样中心词的语义就被传递到上下文的词向量中，从而达到学习语义信息的目的。Word2VecWord2Vec模型：Skip-gram在Skip-gram中，我们同样选定“natural”作为中心词，将“I、love、language、processing”作为中心词的上下文。与CBOW正好相反，在训练过程中，使用中心词的词向量去推理上下文，这样上下文定义的语义被传入中心词的表示中，从而达到学习语义信息的目的。Word2VecWord2Vec应用：相似度计算当用Word2Vec得到词向量后，一般我们会用余弦相似度来比较两个词的相似程度，定义为：Word2VecWord2Vec应用：类比推理词向量除了在语义上相近会被编码到临近区域，