CN119476297A 一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法 （西南科技大学）_第1页
CN119476297A 一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法 （西南科技大学）_第2页
CN119476297A 一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法 （西南科技大学）_第3页
CN119476297A 一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法 （西南科技大学）_第4页
CN119476297A 一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方法 （西南科技大学）_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

一种基于图文细粒度对齐的深度跳转连接本发明提供一种基于图文细粒度对齐的深模态间的细粒度对齐和特征深度融合。本方法道来保留重要信息，提高模型对图文关系的理21.一种基于图文细粒度对齐的深层跳转连接注意力多模态情感分析方法，其特征在步骤三，自身内部模式融合构建器构建，在跨语义步骤四，输入图文的多模态情感预测，经过跨语义表对于输入的像素块图示向量表征序列和文本语义向量表征序列，在每以外部表示变换矩阵的转置得到相似性分数S，如果当前跨语义表示空间交流网络层不是方式是将以往的跳转连接注意力表示A_pre和当前层的跳转连接注意力表示A相乘得到A_1下的信息A_3,将A_3和A_pre相加求平均得到传递给下一层的A_pre，计算完跳转连接注意力后再计算跨语义表示空间交互注意力表示，其两个输入l和m分别3归一正则化的加入进一步增强了对复杂情况的处在深度跨语义表示空间交互网络中完成文本和视觉特征每个样本的文本和视觉特征,为后续情感预测提供更加紧凑和有效的输入，最后拼接在一起并使用非线性变换投射到公共情感语义表示空间中来得到最终的情4[0001]本发明涉及多模态情感分析(Multi_ModelSentimentAnalysi尤其涉及一种基于图文细粒度对齐的深度跳转连接注意力多模征融合时易丢失重要信息以及对文图语义关联理[0010]1.1多头跳转连接注意力机制通过引入5[0011]1.2此外，残差连接的引入能够[0013]2.1跳转连接注意力自适应控制门阀的设计在于优化注意力机制的选择和分配，[0015]3.1深度交互网络主要通过多层的非线[0018]本发明通过基于跳转连接注意力的跨模态深度交互模型文本序列实现细粒度模态对齐，通过自适应门阀控制的跳转连接注意力通道传递重要信[0022]本发明提供一种基于图文细粒度对齐的深度跳转连接注意力多模态情感分析方6高度336像素，接着沿x轴和y轴方向每14个像素划分为一个像素块，最后整个图片划分为576个像素块集合，视觉编码器将每个像素块的像素值通过池化和线性变化转换成1024维变换转换成1024维向量；最终将输入的图片和文字转换成像素块向量序列和文本向量序列。阀计算方式是将以往的跳转连接注意力表示A_pre和当前层的跳转连接注意力表示A相乘得到保留下的信息A_3,将A_3和A_pre相加求平均得到传递给下一层以充分利用视觉和语言两种信息的互补性，视觉信息可以帮助语言特征更好地捕捉语义，7做的目的是进一步整合每个样本的文本和视觉特征,为后续的分类任务提

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论