CN119739990A 一种基于超图层级对比学习的多模态情感识别方法_第1页
CN119739990A 一种基于超图层级对比学习的多模态情感识别方法_第2页
CN119739990A 一种基于超图层级对比学习的多模态情感识别方法_第3页
CN119739990A 一种基于超图层级对比学习的多模态情感识别方法_第4页
CN119739990A 一种基于超图层级对比学习的多模态情感识别方法_第5页
已阅读5页，还剩29页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

(12)发明专利申请(10)申请公布号CN119739990A(21)申请号202510253260.8(71)申请人湖南工商大学(72)发明人徐雪松石韬王煜坤曾伟豪(54)发明名称获取按时间分布的包含语音、文本、图像的多模态数据，并对获取按时间分布的包含语音、文本、图像的多模态数据，并对语音数据、文本数据、图像数据分别进行特征提取基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图将每个时间步的模态互联图分别聚合为不同的超点，以两超点之间的语义相似度确定超边的生成，构建第一超图对所述第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于所述第一超图、所述第二超图、所述第三超图进行多层级对比学习，并计算联合损失增强三种模态特征的融合特征，得到增强特征，基于所述联合损失对所述增强特征进行联合优化，得到多模态情感表示，基于所述多模态情感表示预测情感识别结果2图像数据使用随机裁剪以及水平翻转技术进行数据增广，将增广后的图像数据输入至3Pm=min(pbase+λ·exp(-t/4其中，Vcomp表示特征补偿后第k个模态特征的成员掩码特征；α表示补偿系数；5步骤2:将所述多模态情感表示分别经过包含不同模态权重的softmax函数，分别输出678MLPk=FC(512)→LayerNorm→ReLU→Dropout(0.1)sim(n;,n;)=scaled_dot_product(W₂n·W;n9步t时的模态互联图记为：MIGt=(N,E,At),其中，Nt表示时间步t时的节点集，即poolscore₁=sigmoid(W₀h①+v²=TextCNN(p;,text_Pm=min(pbase+λ·exp(-t/DropEdge技术：min(degree(u),degree(v))/ma,degree(u)表示第u个超点的度，邻居超点的隐藏状态；N(v)表示第v个超点的邻居超点集合；ReLU(·)表示ReLU激活函数；W₁表示第一权重矩阵；W₂表示第二权重矩阵；b₁表示第一偏置向量；b₂表示第二偏置向量；αu表示第u个超点的注意力权重；q表示查询向量，即i;tanh(·)表示双曲正切函数；W'表示隐藏状态h-1)的权重。Lintra=α₁Cmem+α₂Lnode+Linter=β₁Lmem-node+β₂Lnode-grapLfinal=λ₁Lintra+λ₂Linter+λ₃Lreg;

人人文库> 全部分类> 行业资料 > 各类标准

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论