CN119443227A 基于知识引导和模态动态注意力融合的多模态情感分析方法 （桂林电子科技大学）

基于知识引导和模态动态注意力融合的多本发明涉及基于知识引导和模态动态注意多模态数据的单模态特征；基于所述单模态特提高多模态情感分析方法的性能并使其适应更2基于所述知识增强表示，预测单模态情感值，并将所述单模态将所述知识增强表示和所述情感比值进行预设的动态注意力处理2.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方3.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方将所述单模态特征编码为全局语义表示和知4.根据权利要求3所述的基于知识引导和模态动态注意力融合的多模态情感分析方tm表示视觉及音频模态的全局语义表示，Om表示视觉和音频模态的中间隐藏状5.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方36.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方7.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方将映射后的所述知识增强表示作为第一个动态注意力将当前动态注意力模块的输出、映射后的所述知识增强表示和所述情8.根据权利要求7所述的基于知识引导和模态动态注意力融合的多模态情感分析方f为融合特征的维度。9.根据权利要求1所述的基于知识引导和模态动态注意力融合的多模态情感分析方45[0002]由于用户的情感表达在社交媒体中以多种模态反映，多模态情感分析(MSA)近年员设计了基于张量的、基于LSTM的和基于MLP融合架构，以同时捕获模态之间的共性。而为主导的样本分布情况，验证申请人的想法，申请人研究了四个MSA基准数据集(MOSI、[0005]对于CH_SIMS和CH_SIMSv2，申请人使用数据集提供的单模态标签来统计样本数6表明需要动态调整主导模态。值得注意的是，同一数据集中三种模态的比例之和超过含噪声模态的样本比例在50％左右，这进一步表明无法动态调整每种模态的贡献将限制[0006]本发明的目的是提出基于知识引导和模态动态注意力融合的多模态情感分析方输入的原始视觉与音频特征，表示视觉与音频模态的TransformerEncoder的参7f为融合特征的维度。89于视觉和音频模态，本实施例使用堆叠的Transformer编码器层来捕获全局语义表示Hm,m输入的原始视觉与音频特征，表示视觉与音频模态的Transfo单模态知识增强表征的长度和维度轴，本实施例利用三个映射器来更新并获得每个模态的知识增强表示Tm,meft,v,a}.此外，由于文本、视觉和音频模态中的任何一个或多个都可能成为主导模态，本实施例首先将获得的表征相加作为第一个动态注意施例将前一个模块的输出Fn_1、知识增强表示和情感比率Rm,m∈{t,v,a}作最终的多模态表示FleRTxdr,并使用它来执行MSA任务。态的知识增强表示)与上一层的多模态输出(即前一个[0102]接下来，由于情感比率Rm可以进一步指导动态融合，本实施例将其与中间表示[0104]最后将输入到多头注意力和前馈神经网络中，得到动态注意力块的输出FL与单模态表示Tm,meft,v,a}的相关性，并将其融入噪声对比估计框架中，形成相关性估计(CE)损失Lcor:实施例通过平均绝对误差计算MSA任务损失Lreg过动态选择主导模态并根据不同样本调整各模态的贡献，提高模型性能并使其适应更复控记忆网络的delta_attention模块来探索模态间动态。MulT采用定向成对跨模态注意力间中，并促进融合过程。Self_MM利用多模态对象的整体标签来学习单模态对象的情感标[0120]基于文本中心的方法：BBFN专注于双模态融合，并充分平衡不同模态对的贡态的特征，其中bert_base_chinese用于CH_SIMS和CH_SIMSv2，bert_base_uncased用于单模态标签进行预训练。对于MOSI和MOSEI，考虑到数据规模，本实施例将CH_SIMS和CH_果。由于CH_SIMS和CH_SIMSv2中模态重要性的分布更均匀，因此它们比MOSI和MOSEI更复可以观察到每种模态的重要性在CH_SIMSv2中分布均匀，而在MOSI中文本模态的重要性更