【命名实体识别相关技术概述7300字】

11.1基于统计机器学习的命名实体识别技术 1 1 3 51.1.1词嵌入技术 51.1.2RNN与LSTM神经网络 7 1.1.1概率图模型X1多的模型，如下图2-3所示。又分为静态贝叶斯和动态贝叶斯，HMM则属于动态贝叶斯模型；无向图模型则对应的关系，如图2-4所示。由图2-4可以发现，上排的有向图模型均为生成式模型，下排的无向图则为1.1.2条件随机场随机场，马尔科夫随机场(MarkovRandomField,MRF),条件随机场和线性随机分配一个值，则该整体称为随机场。MRF正是基于朴素贝叶斯和随一个词有关，与其他词无关，通过该方式构成的随机场即MRF。LaffertyJ⁴等学者在2001年首次提出CRF这一概念，用于序列数据的分割以及标记任务，于2003年用于命名实体识别任务，这一概念也是由MRF转化而是给定句子中的每个字组成的序列，Y则是每个词对应的词性组成的序列。其数等于1,否则为0,这表示如果碰到李字，则倾向于将其标注为人名的开头，此则t₃(yi-1,yi,x,i)等于1,否则为0,这表示若前一个位置标注为B-LOC,则当前度学习的热潮开始，各种新的神经网络模型开环神经网络，在其基础上改进的LSTM模型，再到后来的注意一个词语用一个只有0和1组成的向量表示，一个向量中只有一个1,其余都是以表示成[000100000...],“计算机”这个词可以表示成在这个空间里，语义相近的词语位置也接近。随后，Bengiol⁴等人于2001年在分布式表示的基础上提出神经网络语言模型，并于2003年通过训练语言模型的Word2vec模型是词嵌入的一种具体实现方法。传统语言模型认为，句子中下一个词一般与上一个词有关，因此常常通过上一个词来预测下一个词。然而Word2vec则认为一句话中位置相近的几个词之间存在某种关系。同样是通过词预测词，Word2vec包含两个神经网络语言模型，一种是skip-gram,该模型通过当前位置词语来预测周围的词，另一种方法是CBOW(ContinuousBag-of-WordModel),与skip-gram相反，该模型是通过周围的词预测当前词。图2-6中左侧为CBOW模型示意图，右侧为skip-gram模型示意图。Word2vec的神经网络语言模型分为两个步骤，首先是建立一个神经网络的这两个模型的目的并不是通过输出层的结果去处理网络语言模型产生的副产品。下面将以skip-gram模型为例，讲解该模型的训练除此以外Word2vec还采用了一种负采样的方法，给单词对增加噪声。编码形式表示，one-hot表示向量维度和训练集大小有关，它取决多少个不重复的单词。现在假设这个inputword为一个1×Vword向量与隐藏层的权重矩阵相乘后得到一个1×D的词向量。神经网络的输出乘得到1×V的向量，这个D×V矩阵是由周围词词向量构成矩阵的转置矩阵，最后通过softmax分类器，得到周围词出现的概率。除以单词个数T,之后通过训练希望这个损失函数结果CBOW模型根据上下文预测中心词，而在skip-gram模型中，每个词都会作skip-gram模型的训练次数要大于CBOW模型，并且训练效果更好，尤其对于生虽然Word2vec是现在十分流行的词向量预训练工具，然而其自身也存在一于结构的特殊性，常用于处理序列数据。而RNN之所以可以处理序列问题，正如图2-7所示。该图左侧为RNN模型的概念图，右侧则是按时间线展开的而“循环”则体现在隐藏层中。输入层为一个输入序文本，Xt则代表第t步输入的字词。隐藏层中的St表示该层第t步的状态，神经网文本结构也非常契合，因此得到广泛使用。然而RNN模型由于其结构的特性仍导致RNN模型在很多情况下并不能取得很元结构。如图2-8所示。该图展示LSTM隐藏层神经元的内部结构，下面将详细图2-8为LSTM网络的结构图，图中上方Ct是当前细胞状态，也可以称为的统称。这三个“门单元”使得LSTM区别于传统RNN“遗忘门”会对上一神经元传来的内容进行选择性遗忘，计算方法如公式“输入门”会对当前神经元信息进行选择性记忆，计算方法如公式(1.11)所其次需要根据遗忘门、输入门和Čt的值，更新上一步的控制参数Ct,具体方“输出门”会判断哪些信息将作为当前神经元信息被传递给下一个神经元，模型基于该类模型加以改进。RNN模型和LSTM模型在某些方面取得了不错的络，关注重要的区域，忽视无关的区域，这便是注意力机制的原理。2014年，Bahdanaul⁴9]等人首次将注意力机制用于机器翻译，这也是注意力机制第一次进用的思想，然而在NLP领域中，注意力机制相关模型通常建立在编解码框架基础之上。Encoder-Decoder框架的示意图如图2-10所示。图中的X序列为输入序转换得到语义编码C。语义编码C通过Decoder解码层解码。值得注意的是，输相同的。而C经过X序列编码得到，即X序列中的每