CN119418168A 基于元学习的多模态关系抽取方法及系统 （北京交通大学）

本发明提供一种基于元学习的多模态关系22.根据权利要求1所述的基于元学习的多模态关4.根据权利要求1所述的基于元学习的多模态关系抽取方法计模型S2RDepthNet来获得整个图片的深度图。然后我们从每个对象对应的区域获得单独3"和处理模块，用于利用预先训练好的关系预测模型对获取的文本图象对进行处8.一种非暂态计算机可读存储介质，其特征在于，所述执行如权利要求1_6任一项所述的基于元学习的多模态器存储的计算机程序，以使电子设备执行实现如权利要求1_6任一项所述的基于元学习的45而忽略尾部关系的识别。[0003]现有的多模态关系抽取方法主要是通过图像目标对象区域和文本实体之间的有[0004]综上，现有的多模态关系抽取方法主要依赖大量带注释6到的视觉特征和文本特征进行多模态信息的分层交互，将视觉特征和文本特征进行拼接，7"和"分别代表文本和视觉的特征表示；[0023]PGI模块重新定义了文本和视觉的headMt和headMV的自注意力计算：[0027]处理模块，用于利用预先训练好的关系预测模型对获取本特征进行拼接，得到初步的融合特征；通过计算文本token和图像特征的相似度，执行token_wise层的跨模式交互，得到最终的融合特征；将融合后的特征输入到主干网络述程序指令执行如第一方面所述的基于元学习的多模态8[0032]多模态关系抽取(Multi_modalRelationExtraction)：集成了视觉信息来丰富文本关系分析，利用文本和视觉线索对实体之间的语义关系进行检测和分类，对于每个潜引入多模态上下文学习结合大语言模型(ChatGPT)生成尾部类的语言描述。该策略为尾部语和科学术语)具有与本发明所属领域中的普通技术人员的一般理9的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进决尾部关系的稀疏性问题，本发明提出了一种基于元学习的多模态关系抽取方法及装置获取待预测的文本图像对；利用预先训练好的关系预测模型对获取的文本图象对进行处token_wise层的跨模式交互，得到最终的融合特征；将融合后的特征输入到主干网络[0054]使用ViT的第一层作为视觉编码器提取图片特征Hv，而BERT的第一层作为文本编[0058]使用深度估计模型S2RDepthNet来获得整个图片的深度图。然后我们从每个对象[0063]PGI模块重新定义了文本和视觉的headMr和headMV[0070]其中和分别代表文本和视觉通过对尾部关系的训练实例的有限监督进行微调。过首先计算采样关系实例上的训练损失的梯度并使用基于梯度的优化算法(SGD)反向传播准监督学习来微调模型参数，方法是使用尾部关系类别的监督实例进行多个梯度下降步估计模型S2RDepthNet来获得整个图片的深度图。然后从每个对象对应的区域获得单独的[0101]其中和分别代表文本和视觉的特征表示。PGI模块重新定义了文本和视[0134]步骤3_1：对输入的图像和文本数据，利用不同的编码器提取它们的模态特定特[0156]本实施例3提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介到的视觉特征和文本特征进行多模态信息的分层交互，将视觉特征和文本特征进行拼接，到的视觉特征和文本特征进行多模态信息的分层交互，将视觉特征和文本特征进行拼接，到的视觉特征和文本特征进行多模态信息的分层交互，将视觉特征和文本特征进行拼接，现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0169]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程