CN119295994B 一种基于跨模态注意力的多模态情感分析方法 （西南石油大学）

一种基于跨模态注意力的多模态情感分析涉及一种基于跨模态注意力的多模态情感分析用于将单模态上下文特征和跨模态交互特征进果。本发明能够更准确的反映说话者的情感倾2所述跨模态交互层对所述单模态上下文特征进行跨模态特征交互，获对交互的两个单模态上下文特征之间互相采用低阶信号进行重构，计算所述拼接特征的注意力分布，并将所述注意力分布VT和bVT分别表示特征拼接后的映射矩阵和偏置项；计算所述拼接特征的注意力分布，并将所述注意力分布对所述模态内部相关特征进行过滤处理后，获取两两交互的特征的模态注意力特征，3经过固定维度的一维卷积将所述文本特征向量、语音特征向量、视用多头注意力机制对所述上下文特征进行强化，并计算所述上下文特征的查询索引相似将所述多头注意力机制的输出进行拼接，获取输出结果，并利用α,键(key)和值(value)来自辅助模态β,Bg,、分别是对于所述多模态融合特征输出所述情感分析结果456模态α,键(key)kp=xp"xn和值(value)来自辅助模态β,B、分别是对应的权重矩阵，分别表示目标模态α和辅助模态β的序列特[0027]基于所述联合特征，利用自注意力机制获取两两交互的特征的模态内部相关特7得到的特征向量，SelfVT为文本_视觉模态注意力特征，SelfAV为视觉_语音模态注意力特TA为语音_文本模态注意力特征，F1为经过全连接层对拼接得到的特征向量进行整[0035]本发明针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融合[0041]图5为本发明实施例的不同跨模态注意力层数对模型的影响结果，其中，(a)为8[0052](5)输出层：对上下文特征和跨模态联合特征进行拼接，经过全连接层后送至[0053]本实施例针对多模态情感分析中存在的不同模态间语义特征差异性导致模态融9每一帧说话人的面部动作单元，提取35个肌肉运动单元,获取到每个视频序列的文本、音进行跨模态之间的特征融合，以文本(ZT)和视觉(ZV)为例通过辅助模态的低阶信号不断强化目标模态来增强两种模态间的语义相关性，获取到模态信息增强后的双模态特征再利用多模态融合层的特征融合方法获取到富含语义相关性的双模态联模态α,键(key)kn-XOBS,和值(value)来自辅助模态β,B、"i,、"i,分别是对应的权重矩阵，分别表示目标模态α和辅助模态β的序列特[0075]对模态内部相关特征进行过滤处理后，获取两两交互的音一文本特征输入到多模态融合层，获取文本一视觉模态注意力特征态注意力特征，F1为经过全连接层对拼接得到的特征向量进行整合得到的多模态融合特[0082]下面结合图1图3对本发明提出的一种基于跨模态注意力的多模态情感分析方法V分别表示最终输出具有上下文时序信息的文本、视觉特征再利用复合融合模块中的特征融合方法获取到富含语义相关性的双两两跨模态交互，得到文本一视觉模态注意力特征SelfVT，视觉一语音模态注意力特征[0100]步骤2.3：拼接全部注意力头获得完整的输出结果，利用层归一化(Layer=ze",ze",z,e"分别表示最终输出具有率不同，在时间序列上绝大部分都是未对齐数据，跨模态转换器(Cross＝Modal=Transformer,＝CM)考虑了不同时间序列之间的相互作用，解决了在多模态融合过程中的数据未对齐的问题。目标模态α和辅助模态β,每个模态(未对齐)序列特征分别表示为和其中L和d表示序列长度和特征维度。从β模态到α模态的潜在适应表示为如下所示：模态α,键(key)和值(value)来自模态β,B,分别是对应的权重矩阵，源模态β以低阶信号对目标模态α的特征信息进行重构，通过键/值进行交征同时也获取到由文本模态强化视觉模态后的视觉特征通过激活函数tanh将Softmax函数计算注意力分布矩阵att1，再将得到的注意力分布矩阵和多模态特征融合的[0112]其中，表示向量的拼接操作，WVT和bVT分别表示特征拼接后的映射矩阵和偏置接层对拼接得到的特征向量进行整合得到的多模态融合特征，WR和bR是激活函数ReLU的初准确率约提升了3.5充分说明基于注意力融合策略的多模态融合方法更能捕获不同模[0133]跨模态交