CN116434023B 基于多模态交叉注意力网络的情感识别方法、系统及设备 （上海大学）

基于多模态交叉注意力网络的情感识别方本发明公开了一种基于多模态交叉注意力向量和文本情感标签向量输入至训练好的多模2获取目标图像文本对；所述目标图像文本对为待识别的图像文本对包括目标图像数据以及所述目标图像数据对应的目标文特征包括文本预训练特征；所述图像情感标签向量是通过把图像数据输入到预训练好的将所述目标图像文本对的图像特征、文本特征、图像情感标签向量所述多模态交叉注意力网络模型包括视觉注意力模型、文本注意力模所述视觉注意力模型用于根据图像特征和图像情感标签向量确定图所述文本注意力模型用于根据文本特征和文本情感标签向量确定文所述图像指导文本的注意力模型用于根据文本特征和图像情感标签向量确定由图像所述文本指导图像的注意力模型用于根据图像特征和文本情感标签向量确定由文本所述特征融合模型用于将所述视觉注意力模型输出的图像加权特征、所述分类器用于根据融合特征分类得到相应的2.根据权利要求1所述的一种基于多模态交叉注意力网络的情感识别方法，其特征在构建样本数据集；所述样本数据集包括多个样本根据所述样本数据集训练多模态交叉注意力网络模型，得到训练好3.根据权利要求1或者2所述的一种基于4.根据权利要求1或者2所述的一种基于多模态交叉注35.根据权利要求3所述的一种基于多模态交叉注意力网络的情感识别方法，其特征在将输入的图像从RGB格式转换成HSV格式，并利用色调－饱和度二将输入的图像送至预训练的ResNet50中，并将从预训练的ResNet将卷积特征以及与卷积特征尺寸相同的H_S颜色特征、纹理特征和形状特征在通道方6.根据权利要求4所述的一种基于多模态交叉注意力网络的情感识别方法，其特征在7.根据权利要求1所述的一种基于多模态交叉注意力网络的情感识别方法，其特征在将所述视觉注意力模型输出的图像加权特征、所述文本注意力8.根据权利要求1所述的一种基于多模态交叉注意力网络的情感识别方法，其特征在4所述多模态交叉注意力网络模型包括视觉注意力模型、文本注意力模所述视觉注意力模型用于根据图像特征和图像情感标签向量确定图所述文本注意力模型用于根据文本特征和文本情感标签向量确定文所述图像指导文本的注意力模型用于根据文本特征和图像情感标签向量确定由图像所述文本指导图像的注意力模型用于根据图像特征和文本情感标签向量确定由文本所述特征融合模型用于将所述视觉注意力模型输出的图像加权特征、所述分类器用于根据融合特征分类得到相应的5更新的记忆网络来获取图像文本的深层语义特征。Huang等人提出基于注意的模态门控网像文本对包括目标图像数据以及所述目标图像数据6[0015]所述图像指导文本的注意力模型用于根据文本特征和图像情感标签向量确定由[0016]所述文本指导图像的注意力模型用于根据图像特征和文本情感标签向量确定由加权特征以及所述文本指导图像的注意力模型输出的由文本指导的图像加权特征进行融量是通过把文本数据输入到训练好的Bert模型7[0026]所述图像指导文本的注意力模型用于根据文本特征和图像情感标签向量确定由[0027]所述文本指导图像的注意力模型用于根据图像特征和文本情感标签向量确定由加权特征以及所述文本指导图像的注意力模型输出的由文本指导的图像加权特征进行融指导图像的注意力模型)。其中两个单模态注意力模型利用模态数据的互补性分别学习不[0034]图1为本发明实施例提供的一种基于多模态交叉注意力网络的情感识别方法的流为本发明实施例提供的NVTD训练集的准确度趋势图；图3(b)为本发明实施例提供的MVSA_[0037]图4为本发明实施例提供的一种基于多模态交叉注意力网络的情感识别系统的结8[0044]Bert：BidirectionalEncoderRepresentationfromTransformers，双向[0050]如图1所示，本发明实施例提供的一种基于多模态交叉注意力网络的情感识别方述目标图像文本对包括目标图像数据以及所述目标图像数据对应的目标[0052]步骤200：对所述目标图像文本对进行处理，得到所述目标图像文本对的图像特9图像的注意力模型用于根据图像特征和文本情感标签向量确定由文本指导的图像加权特[0057](2)根据所述样本数据集训练多模态交叉注意力网络模型，得到训练好的多模态像情感标签向量、文本情感标签向量和样本情感标签。其中，以情感标签向量y∈{love,colortexture义的属性来表示纹理特征，得到图像的纹理特征Iltexture=[coar,cont,dire]eR3,其中，coar表示粗糙度(coarseness)，cont表示对比度(contrast)，dire表示方向度1[0069]选择预训练的ResNet中的全连接层前的最后一个卷积层提取的特征作为卷积特c个特征进行处理。首先分别对mcolor,mtexture,mshape进行不同的卷积操作得到变换后的具体如下所示：到该图像的特征为R=fr1,r2,…ri…rn}EW⃞",具体如下所示：像从RGB格式转换为灰度格式，其次利用Hu不变矩的计算公式得到灰度格式图像的形状特卷积阶段结束的卷积特征作为不可解释性隐式特征。上述特征具有不同的物理意义和尺向量，本发明使用词嵌入技术将单词嵌入到向量空间，得到输入的文本的词向量t=具体如下所示：[0087]利用预训练好的双向Transformer的编码器提取输入的文本的高阶特征向量作为[0090]对于给定文本T，将文本可解释性显式特征和文本不可解释性隐式特征进行拼接得到该条文本的特征为S=fs1,S2…sj…sien}E具体如下所示：显式特征词。提取出的文本可解释显示特征词被输入预训练的Bert模型以获取其特征表模型由两个独立的单模态注意力模型(视觉注意力模型和文本注意力模型)以及两个跨模[0098]对于输入的图像M，使用ResNet模型得到其情感标签对情感标签查找[0099]对于输入的图像M，将图像特征R和图像情感标签向量eimg输入到视觉注意力模型用注意力函数得到注意力得分其次使用softmax函数计算注意力权重最后获得注[0103]其中weR是可学习的参数向量，都是可学习算注意力权重最后获得注意力的输出也即文本加权特征veRlenxdim,整个过程如下[0111]其中weR是可学习的参数向量，都是可学[0113]图像指导文本的注意力模型主要是通过图像情感标签学习对情感更有贡献的文注意力得分9",其次使用softmax函数计算注意力权重最后获得注意力的输出也即由[0120]文本指导图像的注意力模型主要是通过文本情感标签学习对情感更有贡献的图[0121]将融合得到的图像特征R作为查询向量和值向量，文本情感标签向量etext作为键。首先采用注意力函数得到注意力得分9",其次使用softmax函数计算注意力权重f",最后获得注意力的输出也即由文本指导的图像加权特征整[0122]gf"=(w")"tanh(w'r+w⃞ev像指导的文本加权特征K和由文本指导的图像加权特征Z。首先将上述4个注意力机制获得的特征先变换到同一维度，其次再按照逐像素按位相加方式进行融合，得到融合特征[0128]H=[(WU(UZ)W2]B[W(KBV)W,)].[0136]L=-ylog$+(1-y)log(1-)].[0140]本发明提出的方法在NVTD数据集上进行多模态情感分类，在MVSA_Multiple数据中使用的评价指标是Accuracy和F1_sc[0151]本发明提出方法和基线方法实验结果如表3所示，其中MCAN表示本发明提出的方识别模型，Bert的表现在准确率指标上超过BiLSTM达1.6％。对于图像情感识别模型，上超过HSAN接近3超过DSN1.3％。MCAN相比Bert在准确率上提高了5.67这也说明了[0157]把各模型的性能在NVTD和MVSA_Multiple数据集上对比发现，文本情感识别模型BiLSTM和Bert在MVSA_Multiple数据集上的表现不如新闻数据集，这主要是因为新闻数据了文本对学习图像特征的辅助作用。显然我们提出的模型能够充分利用图像和文本的特[0159]本发明提出的方法在两个数据集的训练集的准确度趋势如图3所示。早期停止方Bert在大型数据集上具有更大的学习能力。经过跨模态交互学习，图文特征的互补性使[0165]如图4所示，本发明实施例提供