CN115408517B 基于知识注入的双注意力网络的多模态讽刺意图识别方法 （中国科学院软件研究所）

号基于知识注入的双注意力网络的多模态讽本发明提供了一种基于知识注入的双注意力网络的多模态讽刺意图识别方法，该方法包数据内容的隐性上下文信息对原始表示进行扩2基于所述待识别数据内容的隐性上下文信息，对所始表示j"针对每一图片或文本中的事件描述，生成不同类型的推理知识基于所述单词原始表示uf""组成的文本特征映射HT片特征映射HI、以及所述常识推理表示HM,R，计算所述待识别数据内容与所述推理知识之间的关联矩阵CM；基于所述关联矩阵CM，获取所述单词原始表示uf""与所述对象原始表示vy"的文本带基于所述增强表示与所述增强表示计算单词上下文感知表示ug"与对象上下文"上下文感知表示和情感状态上下文感知表示9":使用双注意力网络分别对所述单词原始表示uf"、所述对象原始表示vy"以及所述单词上下文感知表示ug"、所述对象上下文感知表示y"进行注意力计算，获取原始表示与针对原始表示与上下文感知表示的注意力计算结果，通过比对文本和图片间的差异，得到原始跨模态对比表示和上下文感知跨模基于所述原始跨模态对比表示和所述上下文感知跨模态对比表3象原始表示vy",包括：将视觉特征表示rj组成的对象序列输入双向门控循环神经网络，并将所述表示作为与所述对象原始表示"的文本带有隐性上下文信息的表示和图片带有隐性示与对象级表示":在所述单词原始表示uf""与所述对象原始表示v""分别相加所述词级表示与所述对象级表示",得到表示af与表示将所述增强表示具体为事件前关系类型的增强表示事件后关系类型的增强表示意图关系类型的增强表示w;根据所述增强表示所述单词原始表示uf""与所述增强表示计算单词上下文感知表示u";根据所属增强表示得到单词情感状态上下文感知表示u"。4将文本完整表示u(K+1)与图片完整表示v(K+1)作为原始表示的注意力根据所述联合记忆向量m(K)与所述单词原始表示uf"",计算所述双注意力网络中前馈':":基于所述注意力权重对所述单词原始表示uf""加权求和，得到文本完整表示u原始跨模态对比表示其中，表连接所述原始跨模态对比表示和所述上下文感知跨模态9.一种电子装置，所述电子装置包括存储器5[0002]基于多模态信息的讽刺表达是通过使用与图片中比喻场景相反的文本来达到含的特征表示，并基于这些信息精准定位讽刺描述区域进行语义差异识别是亟待解决的问别方法，利用知识增强的多维度注意力模块将隐性上下文知识注入到多模态输入表示中，[0008]分别对所述文本中的单词i与所述图片中的对象j进行编码，得到单词原始表示":6象原始表示v""进行扩展，得到单词上下文感知表示u"与对象上下文感知表示y":[0010]使用双注意力网络分别对所述单词原始表示uf""、所述对象原始表示vj"以及所述单词上下文感知表示u"、所述对象上下文感知表示y"进行注意力计算，获取原始表[0018]将视觉特征表示rj组成的对象序列输入双向门控循环神经网络，并将所述表示感知表示y",包括：之间的关联矩阵CM；本带有隐性上下文信息的表示和图片带有隐性上下文信息与所述表示的增强表示与增强表示[0024]基于所述增强表示与所述增强表示计算单词上下文感知表示u"与对象7表示和情感状态上下文感知表示u",所述对象上下文感知向量表示oy"包括：对象的表示j"的文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示包[0026]基于所述关联矩阵CM与所述常识推理表示HM,R，使用注意力机制形成推理知识的词级表示与对象级表示";[0027]在所述单词原始表示uf""与所述对象原始表示v""分别相加所述词[0029]将所述增强表示具体为事件前关系类型的增强表示事件后关系类型[0030]根据所述增强表示所述单词原始表示uf""与所述增强表示,计算[0031]根据所属增强表示WT,得到单词情感状态上下文感知表示u"。[0040]根据所述联合记忆向量m(K)与所述单词原始表示uf",计算所述双注意力网络中':8[0042]基于所述注意力权重对所述单词原始表示uf""加权求和，得到文本完整[0045]进一步地，所述基于所述原始跨模态对比表示和所述上下文感知跨模态对比表[0051](2)设计的双注意力网络，可以通过多次迭代利用文本和图片注意力机制精准定[0052](3)本发明相比较于已有的方法具有更高的性能，同时双注意力模块结合注入的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方9配层对包含隐性上下文的多模态场景的差异进行建模，有助于提高讽刺识别的整体性能，成的三类关系的推理为：before：[beinafamilyroo、putonherschool[0061]在双注意力交互模块中，文本和图片注意力机制通过3次交互式迭代获得文本和[0073]对于每张图片I，使用预训练的目标检测器——FaseterR_CNN从图片中检测出D该对象的相关性a;,并形成特定于该对象的文本表示然后将与视觉特征表示rj执行元[0088]利用视觉_文本事件推理器VisualCOMET为输入的文本和图片提供场景状态上下文和情感状态上下文两个维度的常识知识推理。VisualCOMET使用预训练的自回归语言模型GPT_2作为生成模型，给定一个图片或者事件的描述，可生成出关于before、after和intent三个关系类型的推理知识，即事件前后(场景状态上下文)以及场景中人物的意图L为推理知识的句子长度。[0091]基于不同视角的常识知识推理，设计知识感知注意层，形成多维度知识感知多模态表示。首先利用每个知识推理查询文本或者图片中每个元素并计算其相关性，将文本或图片中的元素与知识推理对齐。具体地说，给定多模态特征表示HM(文本特征映射或图片特征映射)和常识推理表示始表示相加获得文本带有隐性上下文信息的表示和图片带有隐性上下文信息的表示[0097]由于事件推理器VisualCOMET会为文本和图片生成多个候选推理知识。为了关注状态上下文感知的文本表示u"和图片表示",量的注意权重来衡量文本中每部分涉及讽刺[0121]与文本注意力机制的计算过程相同。首先利用两层前馈神经网络和softmax函数计算