CN110209817A 文本处理模型的训练方法、装置和文本处理方法 （安徽省泰岳祥升软件有限公司）_第1页
CN110209817A 文本处理模型的训练方法、装置和文本处理方法 （安徽省泰岳祥升软件有限公司）_第2页
CN110209817A 文本处理模型的训练方法、装置和文本处理方法 （安徽省泰岳祥升软件有限公司）_第3页
CN110209817A 文本处理模型的训练方法、装置和文本处理方法 （安徽省泰岳祥升软件有限公司）_第4页
CN110209817A 文本处理模型的训练方法、装置和文本处理方法 （安徽省泰岳祥升软件有限公司）_第5页
已阅读5页，还剩23页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

各文本处理模型对应的单任务损失值计算多任2根据输出的任务目标值计算预设损失函数的单任务损失根据每一文本处理模型相应的训练样本数量，获取所述文本处理模型的参数调整权码模块为所述多个文本处理模型共享的所述根据所述多任务损失值和相应的更新控制系数，调整每一所述第二编码子模块的参根据所述多任务损失值，分别调整所述每一文本处理将第i层第二编码子模块相应的训练样本，由第1层顺次将相应训练样本分别输入至所述第一编码模块和第二将所述共享特征向量和任务特征向量共同输入到融合层3使用所述权重矩阵对所述共享特征向量中每一词利用融合模块将所述共享特征向量与所述任务特征向量融合，生成解码模块输入向损失计算单元，用于根据输出的任务目标值计4[0004]基础任务亦或是高层任务的目标一般均通过一个基于机器学习的自然语言处理5的第二编码子模块，以使每一所述第二编码子模块获取到输入文本的一种类型的共享特[0019]根据所述多任务损失值，分别调整所述每一文本处理模型中所述第一编码模块、[0028]进一步，所述将共享特征向量与任务特征向量共同输入到融6[0039]损失计算单元，用于根据输出的任务目标值计算预设损失函数7[0054]图1为本申请文本处理模型的训练方法的一个应用场景示意图。本申请方法意在是这个噪声任务与其它任务不相关。图2为本申请文本处理模型的训练方法一个实施例流多个语句组成的段落或篇章。标准输出数据是指期望模型输出的与任务目标相应的数据，[0062]示例性地，可以从一个包含300条标注语料的语料集中抽取出60条构成用于本轮迭代的训练样本集，再从剩余250条标注语料中抽取出60条构成用于下一轮迭代的训练样8[0064]训练的目的是为了使文本处理模型的实际预测结果与对应的标准输出数据无限的接近。具体是将任务目标值与标准数据数据代入到预先设定好的损失函数中计算损失第一编码模块10和经预训练的第二编码模块20以及融合模块30，输出层包括解码模块40。[0069]由于基于完全注意力的方法并不能像卷积神经网络或循环神经网络那样编码词[0071]使用初始词矩阵表示添加位置信息的词语序列时，可以使用word2vec训练词矩9[0084]为了解决这一问题，本申请实施例利用第一编码模块提取任务相关的特征的同[0100]然后，将所述共享特征向量和任务特征向量共同输入到融合[0129]图8为本申请文本处理模型的训练装置的一个实施例示意图，该装置应用于多个[0131]损失计算单元82，用于根据输出的任务目标值计算预设损失函数的单任务损失述文本处理模型的参数调整权重；使用所述参数调整权重对所述单任务损失值加权求和，[0135]参数调整单元83具体用于：获取每一所述第二编码子实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：[0140]本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论