CN114694076B 基于多任务学习与层叠跨模态融合的多模态情感分析方法 （浙江理工大学）

基于多任务学习与层叠跨模态融合的多模本发明属于自然语言处理领域。技术方案层叠跨模态特征融合模块，进行特征融合与提模态的特征，有效识别复杂场景下的多模态情2步骤1)将原始视频拆剪为视频片段，标记该视频片段步骤2)将步骤1)提取的文本、音频和视觉特征首先输入至步骤3)将步骤2所得的多模态高层特征与单模态高层特征进行拼接后，通过多层感知步骤2a、为了使单模态特征在跨模态融合之前能学习其步骤2b、将步骤2a所得单模态隐藏层特征利用层叠跨模态特征融合模块进行特征融模态transformer网络用于将输入的两个模态特征层叠跨模态特征融合模块的具体步骤是：先将文本模态隐藏再将新得到的语言特征作为主模态，视觉特征作为辅助模态，输2.根据权利要求1所述的基于多任务学习与层叠跨模态融合的多模态情感分析方法，步骤1d、从30Hz的视频片段中提取图像帧，并使用MTCNN人脸检测算法提取对齐的人33.根据权利要求2所述的基于多任务学习与层叠跨模态融合的多模态情感分析方法，v]，先将其输入至长短期记忆网络，得到隐藏层特征，Xmh＝LSTMm(Xm)，其中Xmh∈Rbatch4.根据权利要求3所述的基于多任务学习与层叠跨模态融合的多模态情感分析方法，态高层特征Ftfinall、Fafinall、Fvfinall，先将Xth、Xah、Ftfinall、Fafinall输入门控跨模态h的最后一个时间步特征输入至多层感lhvhlfinallvfinall输入门控跨模态transformer网络，得到多模态融5.根据权利要求4所述的基于多任务学习与层叠跨模态融合的多模态情感分析方法，步骤2b-1-1、门控跨模态transformerαQuery为key为Values为利用辅助模态β对目标模态α进行多头注意力引导，得到引导后的融合特征其公4步骤2b-1-2、门控跨模态transformer网络在传统跨模态tran中加入了门控机制；通过将目标模态与辅助模态所对应的高层特征进行余弦相似度对比，得到相似度similarαβ作为残差连接的门控，指导跨模态transformer融合，得到新特征最后将输入前馈网络并进行按层规范化,得到本层跨模态融合特征作为下一层transformerlayer的目标模态输入；"为对应第i维的特征值，cos()函数用于求两个输入特征的余弦相似度，LayerNo6.根据权利要求1所述的基于多任务学习与层叠跨模态融合的多模态情感分析方法，征Fmultifinall与单模态高层特征Ftfinall，Fvfinall进行拼接，得到补充后的多模态高层特征5的多模态情感分析方法，通过将不同模态的特征依次输入多个层叠的门控跨模态[0002]多模态情感分析是一项新兴的深度学习技术，不仅应用6内包含三个长短期记忆网络(LSTM),以进行模态内交互，得到具有上下文语义信跨模态transformer网络用于将输入的两个模态特征[0021]层叠跨模态特征融合模块的具体步骤是：先将文本模态7h的最后一个时间步特征输入至多层感Query为key为进行按层规范化,得到本层跨模态融合特征作为下一层transformerlayer的目标模8word(")与为对应第i维的特征值，cos()函数层特征Fmultifinall与单模态高层特征Ftf模态的特征依次输入多个层叠的门控跨模态trasnformer网络进行融合，解决了现有的多9[0052]如图1所示，本发明实施例提供的一种基于多任务学习与层叠跨模态融合的多模[0057]对于音频模态，使用LibROSA音频工具包提取与情绪和说话语气相关的33维帧级hvfinallthahtfinallafinall输入至门控跨模态transformer网vfinall输入至门控跨模态transformer网Values为其中是映射[0076]transformer为了强化目标模态的特征信息,通过残差连接的方式使原目标模态控，指导跨模态transformer融合得到最后将输入前馈网络并进行按层规范化,得与为对应第i维的特征值，cos()函数用于求两个输入特征[0081]步骤3：将步骤2b所得的多模态高层特征Fmultifinall与单模态高层特征Ftfinall，[0089]实验所选用的数据集为中文多模态情感分析数据集SIMS，相比MOSI(Zadehet线模型MULT，MSGC在该数据集上的的二分类准确率与F1值分别提高了类准确率与F1值分别提高了2.42％与2.73三分类准确率与F1值分别提升了2.06％与[0101]MSGCw/olate-fusion&gate:将MSGCw/olate-fusion的基础上删除了跨模态[0102]MSGC-concat:将MSGCw/olate-fusion&gate的层叠transformer结构更换为拼[0104]表2给出了SIMS数据集上模块组合的消融实验结果。实验结果显示完整的MSGC模型的实验效果最好,缺少不同模块会对实验结果造成不同影响。对于MSGCw/olate-为跨模态融合时残差连接的门控，可以更好的融合不同模态的特征。此外，w/olate-fusion&gate与MSGC-concat的区别在于，MSGC-concat并未采用层叠的transformer结构，上，w/olate-fusion&gate的性能要明显高于于MSGC-concat，这进一步说明了层叠[0108]单模态高层特征(文本高层特征Ftfinall、音