【《命名实体识别相关技术概述》7300字】_第1页
【《命名实体识别相关技术概述》7300字】_第2页
【《命名实体识别相关技术概述》7300字】_第3页
【《命名实体识别相关技术概述》7300字】_第4页
【《命名实体识别相关技术概述》7300字】_第5页
已阅读5页，还剩8页未读， 继续免费阅读

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

命名实体识别相关技术概述目录TOC\o"1-3"\h\u5447命名实体识别相关技术概述 [50]。编解码框架是一种用于解决序列问题的常用模型。注意力机制虽然是一种非常通用的思想，然而在NLP领域中，注意力机制相关模型通常建立在编解码框架基础之上。Encoder-Decoder框架的示意图如图2-10所示。图中的X序列为输入序列，Y序列为输出序列。首先通过Encoder层对输入序列进行编码，通过非线性转换得到语义编码C。语义编码C通过Decoder解码层解码。值得注意的是，输出序列中的Yi是通过语义编码和输出的历史记录Y1，Y2…Yi−1图2-10Encoder-Decoder框架然而Encoder-Decoder框架其实并非注意力模型。由公式(1.16)到(1.18)可以发现，f为非线性函数，在Decoder解码的过程中，虽然Y中每一项都是根据前面几项生成的，然而语义编码C一直保持不变，因此C对Y序列中每一项的影响力是相同的。而C经过X序列编码得到，即X序列中的每一项对Y序列的每一项影响力相同。Y(1.16)Y(1.17)Y(1.18)为给Encoder-Decoder框架赋予注意力机制的思想，需要对其做如下改进，以机器翻译为例，在翻译句子X中每个词的时候，需要给该词赋予更高的权重。注意力机制中常用的权重计算方法有多层感知机、Bilinear和DotProduct等。对于句子‘IloveChina’，在翻译‘China’时，通常更加希望将注意力放在‘China’到“中国”的转换上，因此相比较于‘I’和‘love’，需要赋予‘China’更高的权重，例如(‘I’,0.2)、(‘love’,0.3)、(‘China’,0.5)类似的权重分配。因此在翻译‘China’时，根据公式(1.19)，Tx为序列X长度，αij为权重矩阵，此时的语义编码C应该是CChinaC(1.19)最终通过在翻译每个词时都按照上述步骤重新赋予不同的权重，得到不同的语义编码Ci图2-11加入注意力机制的Encoder-Decoder框架注意力机制使得各项NLP任务有显著的提高，NLP领域的研究人员还在此基础

人人文库> 全部分类> 行业资料 > 工业设计

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论