CN119494957A 一种基于图像标题对齐和生成的开放词汇实例分割方法 （北京大学）

一种基于图像标题对齐和生成的开放词汇本发明公布了一种基于图像标题对齐和生的损失函数包含图像标题对齐损失和图像标题型预测出的图像标题和图像真实标题进行对比22)利用多层变换器解码器提取图像中所有把所有物体的潜在特征和图像标题中表示物体的名词进行对4)根据图像特征和物体的潜在特征生成图将图像特征和所有物体的潜在特征输入另一个多层变换器解码通过梯度下降算法学习到图像标题的每一个单词与图像内容的6)根据物体的潜在特征和类别词汇的相似度预测得像标题对齐模块具体是基于面向开放词汇目标检测的卷积神经网络方法OVR_CNN或面向开3将图像标题中包含LVIS数据集类别名称和其同义词的单词将抽取出的名词与通过多层变换器解码器抽取出的潜在物体特征一起计算对齐损失4[0002]实例分割(InstanceSegmentation)是计算机视觉领域的一项核心任务，是对图识到检测器中。同时，一些工作将开放词汇分类和检测/分割的学习分解为两个阶段的流5用预训练视觉语言模型VLMs作为模型的一部分，避免了对内存和计算复杂度的成本消耗。图像标题对齐和生成的开放词汇实例分割模型，简称为CGG(CaptionGroundingand像内容和预测出来的物体特征去预测图像标题，再可以有效促进CGG模型在面向开放词汇的实例分割任务上的准确度指标显[0016]4)根据图像特征和潜在物体特征生成图像标题，跟真实的图像标题计算损失函[0024]相比于现有在开放词汇实例分割方向上效果最好的方法XPM(Open_vocabularyinstancesegmentationviarobustcross_modalpseudo_labeling)，在COCO数据集上6了一个基于图像标题生成任务的训练方式，即让CGG根据图像内容和预测出来的物体特征去生成一句描述图像内容的自然语言(即图像标题[0036]输入一张图像以及图像的真实标题。首先利用视觉骨干网络ResNet_50(Deep[0038]将提取出的特征输入到多层变换器解码器(Transformerdecoder)中，提取出图7像中所有潜在物体的特征。多层变换器解码器的Query为一串随机初始化的向量，key和[0040]把所有潜在物体的特征和图像标题中表示物体的名词进行对齐配对。比如题中的所有词，而只配对表示可见物体的名词，因为其他词不能在图像中找到一个对应的函数(来自Open_vocabularyobjectdetectionusingcaptions)，通过梯度下降算法，CGG学习到将物体的类别和自然语言建立关系，CGG学到的不再是1或2的无意义的表示类别利用本发明模型能根据已经学会的自然语言和新颖类别词汇的联系判断出一个物体是否属于新颖类别。[0041]4)根据图像特征和所有潜在物体的特征生成图像标题，[0042]图像特征和所有潜在物体的特征输入另一个多层变换器解码器(Transformer[0046]将潜在物体特征和表示类别的词汇(基础类别词汇和新颖类别词汇)的特征做点掩膜，步骤6)得到了物体的类别预测，CGG将两个结果按照潜在物体特征的编号结合在一masktransformerforuniversalimagesegmentation。首先将其训练方式和测试方式8图1所示，将抽取出的名词与模型通过多层变换器解码器抽