CN114996502B 一种联合图文匹配和视觉推理的多任务学习模型、视觉常识推理方法及计算机设备 （天津理工大学）

一种联合图文匹配和视觉推理的多任务学本发明公开了一种联合图文匹配和视觉推训练；然后对视觉常识推理原始数据集进行处提高了模型对多样化的视觉内容和高级文本语2S6：通过参数共享实现图文匹配和视觉常识推理的L＝L1+λ1Lg_sim+λ2Ll_s2.根据权利要求1所述的一种联合图文匹配和视觉推理的多任务学习模型的构建方S1-1：对训练数据中的每一个问题，及其对应的图片和四个选项，提取其问题特征qeRoa,图像特征oeROO,和选项特征fr,r,r2,r3},riERr,这里Dq,Do,Dr代表特征的维器f(·;θ)将句子中的每个单词的嵌入表示和它所对3.根据权利要求2所述的一种联合图文匹配和视觉推理的多任务学习模型的构建方S2-2：使用交叉熵损失函数对基于融合后的特征和选项特征的视觉常识推理进行约L1=-iyilog(f(⃞;ri)),ie{0,1,2,4.根据权利要求1所述的一种联合图文匹配和视觉推理的多任务学习模型的构建方3S3-2：为实现所需要的图像和文本描述索引号的5.根据权利要求4所述的一种联合图文匹配和视觉推理的多任务学习模型的构建方网络进行调整，将输入图像的分辨率提高到512×512，用两个不同的CNN进行处理:FasterRCNN在ImageNet上预训练，采用自下而上注意力机制和ResNeXT-101(32×8d)在Instagram上预训练，联合嵌入空间的维数设为1024；使用预提取的对象特征作为区域特t→y,,和6.根据权利要求5所述的一种联合图文匹配和视觉推理的多任务学习模型的构建方S5-1：通过步骤S4-1提取到图像的像素级特征以后，S5-2：通过步骤S4-2提取到图像的区域特征以后47.根据权利要求1-6任一项所述的一种联合图文匹配和视觉推理的多任务学习模型的的概率，然后根据s4提取图像的局部特征和全局特征,将提取好的全局特征和局部特征按照步骤S5的方法进行图像和文本的局部对齐和全局对齐并且计算出图像和文本的相似度，联合图文匹配和视觉推理的多任务学习模型的构建方法的执行指令代码或存储程序代码、或者权利要求7所述的视觉常识推理的执行指令代码或5和图文匹配模型取得了丰硕的进展。但是视觉常识推理任务仍是一个具有挑战性的问题，练的基于Transformer的模型，但是很少有研究人员将视觉推理任务和图文匹配任务联合学习从而得到更具判别力的特征表示对于视觉常识推理任务是十图文匹配和视觉推理的多任务学习方法来提高视觉常识推理模型的特征学习和理解推理6特征和局部特征按照步骤S5的方法进行图像和文本的局部对齐和全局对齐并且计算出图者所述的视觉常识推理方法的执行指令代码或存储[0018](1)本发明提出了一个联合图文匹配和视觉推理的多任务学习模型，提高了模型[0020](3)本发明将通过图文匹配和视觉推理进行联合训练从而双向促进，这进一步提[0023]图1为本发明提出的联合图文匹配和视觉推理的多任务学习模型的框架图，所述特征qeR"a,图像特征oeROO,和四个选项特征fr,r,r2,r3》,r;ER。这里Dq,Do,Dr代表特7f(·;θ)将句子中的每个单词的嵌入表示和它所对[0030]步骤S2-1：将步骤S1-2得到的两个联合嵌入表示送入多层感知机MLP中进行概率[0040]步骤S4，如图1中的图文匹配模块部分所示，提取图像的像素级特征作为全局特8t→fy,,和d2是特征维度。[0045]然后将输出的视觉特征集和文本特征集通过视觉和文本聚合器fasterRCNN提取ROI特征作为局部特征，实现图像中关键对象和文本描述中重点单词的局9L1是视觉常识推理的损失函数，Lg_sim是整个图像和整个句子之间的对比损失函数，Ll_sim是图像区域和单词之间的对比损特征和局部特征按照步骤S5的方法进行图像和文本的局部对齐和全局对齐并且计算出图像和文本的相似度，最后根据交叉熵损失函数和三元排序损失函数得出视觉常识推理结者所