CN119494398A 一种基于对抗训练的机器阅读理解问答方法 （四川大学）_第1页
CN119494398A 一种基于对抗训练的机器阅读理解问答方法 （四川大学）_第2页
CN119494398A 一种基于对抗训练的机器阅读理解问答方法 （四川大学）_第3页
CN119494398A 一种基于对抗训练的机器阅读理解问答方法 （四川大学）_第4页
CN119494398A 一种基于对抗训练的机器阅读理解问答方法 （四川大学）_第5页
已阅读5页，还剩7页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

一种基于对抗训练的机器阅读理解问答方法本发明公开了一种基于对抗训练的机器阅读理解问答方法。该方法首先利用MacBERT来对使用对抗训练根据梯度变化在词向量上添加微2步骤一：将包含答案的文本和问题拼接后送入MacBERT的词嵌入网络使输入文本转化答的向量表示维度为(1,512,768)；进一步提取上下文特征，其中MacBERT的编码层是由Transformer模型改进而来，由12层Transformer的encoder模块堆叠而成，其中每一层的encoder模块则是由一层多头注意力(muti_head_attention)和一层前馈网络(feed_f步骤四：将步骤三中生成的对抗样本同样重复步骤二播损失值和反向传播梯度，将生成的对抗梯度累加到原始词向量反向传播生成的梯度上，3出RoBERTa模型，在预训练时使用了更多的训练数据，更大的batchsize和更长的训练时模型结构进行改进提出了XLNET，其中加入了双流注意力机制以及transformer_xl的相关[0007]步骤一：将包含答案的文本和问题拼接后送入MacBERT的词嵌入网络使输入文本4段问答的向量表示维度为(1,512,768)；[0015]图1为本发明提出的基于对抗训练的机器阅读理解问答方法结构。首先将包含答案的文本和问题拼接后送入MacBERT的词嵌入网络使输入文本转化为向量表示，其中每个(1,512,768)；之后将生成的向量表示输入MacBERT的编码模块进行迭代训练，并输入5IX;0)(6)[0029]3)计算对抗样本a的前向传播loss和反向传播梯度，将生成的对抗梯度累加到1)[0033]图2为本发明提出的基于MacBERT的词嵌入模块结构图。MacBERT首先对输入的文embeddings)和位置嵌入(positionembeddings)。词嵌入是将输入文本的每一个字句子的先后顺序，段嵌入只有两种向量表示，将第一种向量A赋予第一句话的所有字和符对输入文本不同位置的字符进行向量表示，首先让MacBERT在各个位置上学习一个向量表进行补全，最终将生成的词嵌入、段嵌入和位置嵌入相768)的嵌入表示，之后将词嵌入所得的向量输入编码层(EncoderLayer)进行训练。分析，并与BERTbase、RoBERTawwm_ext_base、MacBERTbase等基础模型和Hybrid_Attention、6[0037]从表1中可以看出本文模型在MacBERT的基础上引入BiLSTM后模说明利用BiLSTM融合上下文特征提高了模型的性能，而在MacBERT的基础上加入对抗训练模型在对抗样本的

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论