CN119538922A 一种多任务文本预测模型的训练方法和装置 (马上消费金融股份有限公司)_第1页
CN119538922A 一种多任务文本预测模型的训练方法和装置 (马上消费金融股份有限公司)_第2页
CN119538922A 一种多任务文本预测模型的训练方法和装置 (马上消费金融股份有限公司)_第3页
CN119538922A 一种多任务文本预测模型的训练方法和装置 (马上消费金融股份有限公司)_第4页
CN119538922A 一种多任务文本预测模型的训练方法和装置 (马上消费金融股份有限公司)_第5页
已阅读5页,还剩61页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

一种多任务文本预测模型的训练方法和装置本公开涉及一种多任务文本预测模型的训性映射层替换为解码层,得到第一分词预测模2获取第一训练样本,并将所述第一训练样本输入初始多任务文本预测模型进行训练,将所述第一分词标记预测模块中的第一线性映射层替换为解码层,获取第二训练样本;所述第二训练样本包括第二训练文本以通过所述第一字符编码模块对所述第二训练文本进行特征提取,得到基于所述第一分词损失,对所述第一分词预测模块进行训练获取第一训练样本;所述第一训练样本包括第一训练文本、所述符对应的第一分词位置标签以及所述第一训练文本中多音字的通过初始多任务文本预测模型中的第二字符编码模块对所述第一训练文本进行特征通过所述初始多任务文本预测模型中的第二多音字消歧模块对所述第二文本特征向通过所述初始多任务文本预测模型中的第二分词标记预测模块对所述第二文本特征基于所述第一拼音标签和所述第一预测拼音,确定拼音损失;基于所述拼音损失和所述第二分词损失,对初始多任务文本预测模型进基于目标分词位置标签与目标分词位置预测结果之间的损失和,确定第二分词损失,分词位置预测结果为所述第一训练文本中任一个字符的第一分词位置预基于所述第一分词预测结果中的预测分词标记序列,与所述第一分词3通过所述循环层对所述第二文本特征向量进行上下文关联特征提取,通过所述过滤层对所述第一上下文关联特征向量进行过滤,得到所述通过所述第二线性映射层对所述多音字的位置向量进行映射,得到所述6.根据权利要求2或3所述的方法,其特征在于,所通过所述双向循环层对所述第二文本特征向量进行上下文关联特征提通过所述全连接层对所述第二上下文关联特征向量进行尺度对齐,得通过所述第三线性映射层对所述第一指定尺度的特征表示进行位置概7.根据权利要求1至4中任一项所述的方法通过所述双向循环层对所述第一文本特征向量进行上下文关联特征提通过所述全连接层对所述第三上下文关联特征向量进行尺度对齐,得通过所述解码层对所述第二指定尺度的特征表示进行解码,得基于所述拼音损失和所述第二分词损失之间的加权和,对初始多将目标文本输入多任务文本预测模型进行预测处理,得到所述目标文根据预设的拼音词典、所述文本分词序列、所述目标文本4标文本的第一拼音序列。若所述预设的拼音词典命中所述文本分词序列中的目标分词,则将基于所述第二拼音序列以及预设的拼音变调规则得到所述第一拼音序基于预设的拼音变调规则以及所述第二拼音序列中各拼音第一单元,用于获取第一训练样本,并将所述第一训练样本将所述第一分词标记预测模块中的第一线性映射层替换为解码层,获取第二训练样本;所述第二训练样本包括第二训练文本以通过所述第一字符编码模块对所述第二训练文本进行特征提取,得到基于所述第一分词损失,对所述第一分词预测模块进行训练输入单元,用于将目标文本输入多任务文本预测模型进行预测处理5所述存储器存储有可被所述一个处理器执行的指令,所述指令被所处理器执行时实现权利要求1至11中任一67[0029]图1是根据本公开实施例示出的一种多任务文本预测模型的训练方法的流程示意[0030]图2是根据本公开实施例示出的一种多任务文本预测模型损失回传的原理示意8[0034]图6是根据本公开实施例示出的一种多任务文本预测模型的训练装置的结构示意[0036]图8是根据本公开实施例示出的一种配置本公开实施例方法的计算机设备硬件结9[0073]本实施例并不限定分词模型的结构和训练方式,只要能够针对文本进行分词即[0086]可选地,可以预先训练用于执行多音字消歧任务和文本分词任务的多任务模[0091]下面针对本公开实施例提供的一种多任务文本预测模型的训练方法进行详细解[0117]具体可以是利用第一训练样本分别单独训练初始多任务文本预测模块中的三个[0127]可选地,第二多音字消歧模块中可以包含一个多音字识应的特征向量之间可以按照训练文本中的字符顺[0141]只要第二分词标记预测模块可以用于预测训练文本中各个字符的分词位置标记[0143]可选地,第二分词标记预测模块中可以包含一个循环层[0145]通过初始多任务文本预测模型中的第二分词标记预测模块对第二文本特征向量个字符对应的特征向量之间可以按照训练文本中的字符标分词位置预测结果为第一训练文本中任一个字符的第一分词位置预测一训练文本中同一字符的第一分词位置标签和第一分词[0174]可选地,第一多音字消歧模块可以是第二多音字消歧模[0177]首先需要说明的是,第一分词标记预测模块和第一分词经网络算法或者卷积算法进行预测,也可以采用基于条件随机场算法(Conditional分词位置序列整体进行计算。具体可以针对文本中各个字符的分词位置序列整体计算分[0217]本实施例可以通过利用分词标记序列的整体损失,提高分词预测模块的训练效以用于表示第二训练文本的预测分词标记序列的解座模型可以能引导训练出更强的多音字消歧效果以及分词[0243]而CRF条件随机场,是训练产生全局最优结果路径的,训练一个状态迁移概率分例中可以采用中文预训练的RoBERTa[0260]针对其中两个循环层,本实施例中可以使用长短期记忆递归每个LSTM的输出后进行层级正则化LayerNormalizer,且添加0.2的dropout(随机神经元[0265]该层的隐层大小为汉语多音字的对应拼音数量M,即结果是每个位置上的多音字[0280]训练采用EarlyStop方法,当连续3个batch可以称为第二多音字消歧模块;初始的分词标记预测模块可以称为第二分词标记预测模[0288]训练迭代至损失不再下降,使得第三模块中的两层双向循环层的参数都优化微[0289]具体可以是,针对第一分词标记预测模块中的线性映射层(称为第一线性映射[0291]具体可以是结合冻结的第一字符编码模块提取第二训练本的第一拼音序列。本的第一拼音序列。序列以及预设的拼音变调规则得到第一拼音序列。标文本的拼音序列。应的拼音序列。随着CRF解码器训练一起优化。应的第一分词位置标签以及第一训练文本中多音字的第[0396]通过初始多任务文本预测模型中的第二字符编码模块对第一训练文本进行特征[0397]通过初始多任务文本预测模型中的第二多音字消歧模块对第二文本特征向量进[0398]通过初始多任务文本预测模型中的第二分词标记预测模块对第二文本特征向量预测结果为第一训练文本中任一个字符的第一分词位置[0408]通过第二线性映射层对多音字的位置向量进行映射,得到多音字的第一预测拼分词预测结果用于表示第二训练文本的预测分词标记序[0421]如图7所示,图7是根据本公开实施例示出的一种文本拼音确定装置的结构示意的拼音确定为目标分词的拼音;若预设的拼音词典没有命中文本分词序列中的目标分词,[0435]图8是根据本公开实施例示出的一种配置本公开实施例方法的计算机设备硬件结操作系统和其他应用程序,在通过软件或者固件来实现本公开实施例所提供的技术方案

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论