CN116861367B 一种融合知识图谱的跨模态情感分析方法和装置 （浙江大学）

一种融合知识图谱的跨模态情感分析方法本发明公开了一种融合知识图谱的跨模态练模型从图像中提取文本形式的图像字幕和图第一多模态知识图谱和知识图谱扩展成传递图模态知识图谱中的三元组进行序列化展平得到该方法和装置使得在多模态情感分类任务中取2采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多模态知识图通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本将第二多模态知识图谱中的三元组进行序列化展平得到序列化三采用可视化矩阵对序列化三元组进行结构信息的补充，其中可视化矩阵通过定[m])＝softmax(θLinearDropout(H[m]))[m])表示基于H[m]预测情感分类标签y的概率分所述预训练模型采用图片场景图提取模型，将图片转化成具有结构化信3将码序列化三元组、描述文本以及图像字幕中每部分都转换为嵌入在编码器中，对于通过文本标志位标记的文本通过文本6.一种融合知识图谱的跨模态情感分析装置所述第一多模态知识图谱构建模块用于采用预训练模型从图像中提取文本形式的图所述掩码模板构建模块用于从描述文本中提取需要情感分析的目标主体所述知识图谱构建模块用于通过预训练模型将描述文本转换成文本所述第二多模态知识图谱构建模块用于通过实体节点对齐的方式将第一多模态知识识图谱和知识图谱中的两节点的文本语义相似度大于设定阈值，则将两个节点合并为1个所述结构信息补充模块用于将第二多模态知识图谱中的三元组进行序列化展平得到所述结构信息补充模块还用于采用可视化矩阵对序列化三元组进行结构信息的补充，所述情感分析模块用于利用包括编码器、解码器以及全连接层的情感分[m])＝softmax(θLinearDropout(H[m]))[m])表示基于H[m]预测情感分类标签y的概率分序时实现权利要求1_6任一项所述的融合知识图谱的跨模4[0003]文献Xu,N.,Mao,W.,Chen,G.:Multi_interactivememorynetworkforaspectbasedmultimodalsentimentanalysis.In:AAAI.pp.371_378.AAAIPress(2019)和文献Ju,X.,Zhang,D.,Xiao,R.,Li,J.,Lsentimentanalysiswithauxiliarycross_modalrelationdetection.In:EMNLP(1).pp.4395_4405.AssociationforComputationalLinguistics(2021)公开的技术方案Vision_languagepre_trainingformultimodalaspect_basedsentimentanalysis.In:ACL(1).pp.2149_2159.AssociationforComputationalLinguistics(2022)、Wang,J.,Liu,Z.,Sheng,V.S.,Song,Y.,Qiu,C.:Saliencybert:Recurrentattentionnetworkfortarget_orientedmultimodalsentimentclassification.In:PRCV(3).LectureNotesinComputerScience,vol.13021,pp.3_15.Springer(2021)公[0005]鉴于上述，本发明的目的是提供一种融合知识图谱的跨模态情感分析方法和装[0006]为实现以上发明目的，实施例提供的一种融合知识图谱[0007]采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多模态知5[0010]通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和[0017]当第一多模态知识图谱和知识图谱中的两节点的文本语6)＝softmax(θLinearDropout(H[m]))[m])表示基于H[m]预测情感分类标签y的概[0028]为实现上述发明目的，实施例提供的一种融合知识图谱[0029]所述第一多模态知识图谱构建模块用于采用预训练模型从图像中提取文本形式[0031]所述知识图谱构建模块用于通过预训练模型将描述文本转换成文本层面的知识[0032]所述第二多模态知识图谱构建模块用于通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本[0033]所述结构信息补充模块用于将第二多模态知识图谱中的三元组进行序列化展平[0035]为实现上述发明目的，实施例提供的一种融合知识图谱述处理器执行所述计算机程序时实现上述融合知识图谱的跨模态7[0046]步骤1，采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多征后，将全局特征转换成为文本形式的图像字幕，其中，图片转文本的模型可以为文献]VinyalsO,ToshevA,BengioS,etal.Showandtell:Aneuralimagecaptiongenerator[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.20FranciscoMassa,GabrielSynnaeve,NicolasUsunier,AlexanderKirillov,andSergeyZagoruyko.2020.End_to_EndObjectDetectionwithTransformers.arXiv:Shi,J.,Zhang,H.:Unbiasedscenegraphgenerationfrombiasedtraining.In:文献K.Tang,H.Zhang,B.Wu,W.Luo,andstructuresforvisualcontexts.InCVPR,2019.公开的8[0050]步骤2，从描述文本中提取需要情感分析的目标主体，并为目标主体构建掩码模MaoJ,ZhangY,etal.Unifiedvisual_semanticembeddings:Bridgingvisionandlanguagewithstructuredmeaningrepresentations[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019:6609_6618公开ImprovingVisual_SemanticEmbeddingswithHardNegatives.InProceedingsof[0054]步骤4，通过实体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递采用可视化矩阵对序列化三元组进行结构信信息的多模态知识图谱转化成了一个展平的序列。相关性的定义规则为：(1)输入编码器的序列化三元组中，同一个三元组中的元素彼此可[0061](a)编码器结合可视化矩阵编码序列化三元组、描述文本以及图像字幕以得到输9)＝softmax(θLinearDropout(H[m]))[m])表示基于H[m]预测情感分类标签y的概体节点对齐的方式将第一多模态知识图谱和知识图谱扩展成传递图像和文本联系的第二[0071]基于同样的发明构思，实施例还提供了一种融合知识图谱的跨模态情感分析装[0072]步骤1，采用预训练模型从图像中提取文本形式的图像字幕和图像层面的第一多[0073]步骤2，