CN119445124A 基于细粒度视觉-语言模型的遥感语义分割推理加速方法 （河海大学）

基于细粒度视觉-语言模型的遥感语义分割基于细粒度视觉语言模型的遥感语义分割推理的双塔视觉语言模型；将预训练得到的细粒度视觉语言模型权重迁移到二阶段推理加速框架计算大尺寸遥感图像测试样本中一系列小图像块的图像特征与目标类别文本特征的相似度分数，并设置阈值筛选出存在目标类别的小图像块；将筛选后的图像块输入遥感语义分割模型觉语言模型定位大尺寸遥感图像的稀疏目标区2步骤3，将步骤2中预训练得到的细粒度视觉一语言模型步骤4，将测试样本图像裁切成一系列带有重叠部分的小图像块，依次输入细粒度视步骤6，将步骤5中筛选后的图像块输入遥感语义分割模型模态大语言模型为每个样本图像Xi生成对应的全局图像文本描述利用信息检索与语言生成模型生成对应的全局图像标签⃞,=ftagf,tags,…,tag3,其中1≤n≤100；此筛去置信度得分低于σ的候选框，并应用非极大抑制合2.1构建细粒度对比学习框架。使用一个基于卷积神经网络的图像编码器Eimage对每个对全局图像文本描述和全局图像标签提取全局文本特征和全局标签特32.3使用全局图像级损失和局部区域级损失之和Ltotal＝Lglobal+Lregion训练步骤2.1细粒3.2将步骤2预训练的图像编码器Eimage和文本编码器Etext权重迁移至二阶段推理加速4.1给定N(1≤N≤104)个样本的大尺度遥感图像数据集其中Xi表示第i个X⃞"=fpatch,,patchz,…,patchn}:将输入至步骤3视觉一语言模型的图像编码器Eimage得模型的文本编码器Etext提取文本特征t；4将步骤5筛选得到的M个小图像块，输入二阶段的分割推理模型中y"=fmask,,maskz,…,maskn}。最后将M个掩码合并还原成样本图像Xi原始56用多模态大语言模型为每个样本图像Xi生成对应的全局图像文本描述mum:利用信息检此外，利用图文对比预训练模型计算样本图像Xi与对应文本描述ywron的相似度分数，筛[0017]1.2对于区域级图像文本注释，利用高质量目标检测模型为每个样本图像Xi生成{tagf,tag⃞,…,tag}.筛去置信度得分低于σ的候选框，并应用非极大抑制(NMS)合并其中1≤n≤100。使用一个基于transformer的文本编码器Etext中对全局图像文本描述和全局图像标签提取全局文本特征和全局标签特征7[0026]3.2将步骤2预训练的图像编码器Eimage和文本编码器Etext权重迁移至二阶段推理的文本编码器Etext提取文本特征t。得到M(1≤M≤26)个需要分割推理的小图像块，记为的掩码图像，记为y"=fmask,maskz,…,maskw}。最后将M个掩码合并还原成样本图像Xi8[0039]图3是本发明基于细粒度视觉一语言模型的遥感语义分割推理加速方法的二阶段用多模态大语言模型为每个样本图像Xi生成对应的全局图像文本描述yapron,利用信息检索与语言生成模型生成对应的全局图像标签ftagf,tagf,…,tag》,其中1≤n≤100；9[0053]1.2对于区域级图像文本注释，利用高质量目标检测模型为每个样本图像Xi生成ftagf,tag⃞,…,tag}.筛去YM置信度得分剩余的框。利用多模态大语言模型为筛选后的候选目标其中1≤n≤100。使用一个基于transformer的文本编码器Etext中对全局图像文本描述和全局图像标签提取全局文本特征和全局标签特征[0063]3.2将步骤2预训练的图像编码器Eimage和文本编码器Etext权重迁移至二阶段推理X⃞=fpatch,patchz,…,patchr}:将输入至步骤3视觉一语言模型的图像编码器Eimage得到得到M(1≤M≤26)个需要分割推理的小图像块，记为fpatch,,patch,…,patchn}.的掩码图像，记为y"=fmask,maskz,…,maskw}