CN114693952B 一种基于多模态差异性融合网络的rgb-d显著性目标检测方法 （安徽理工大学）

一种基于多模态差异性融合网络的RGB-D显本发明提供一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，属于图像显著索RGB和Depth模态之间的差异性分析显著性在合网络融合跨模态特征用于捕获完整的显著目标。本发明包括以下几个步骤：(1)采用Swin方式融合RGB和Depth特征生成Fusion流；(3)使用三流差异性监督机制获取模态之间差异性；联聚合解码器对融合的跨模态特征进行显著性21)利用深度学习中的SwinTransformer网络作为RGB和Depth编码器用于提取RGB和Depth图像的层次化视觉特征，其中，SwinTransformer编码器由四个基本的Swin2)跨模态双向融合模块用于初步融合跨模态SR):公式(5)4)探索三流差异性监督机制去生成RGB显著性预测图和Depth显著性预测图和预测的显著目标分割图并设计一个差异性监督模块，利用5)将得到的级联聚合解码器的第二层特征和第一层特征进行聚合，在利用sigmoid激32.基于权利要求1所述一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，3.基于权利要求1所述一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，4.1)利用交互式方法分别增强RGB特征和Depth特征，使用增强Depth特征，使用4著目标并完整地分割出来。面对这一问题，深度图像(Depthmap)被使用到显著性检测领目前，大多数的RGB-D显著性目标检测方法通过整合RGB特征和Depth特征获取增益信息去提升显著性检测的性能。但是，这些方法大多是利用无差别地融合方式去整合RGB特征和[0005]针对上述所提出的问题，本发明设计一种基于多模态差异性融合网络的RGB-D显著性目标检测方法，利用RGB模态和Depth模态之间的差异性分析给出场景的显著性目标。[0006]针对以上提出的问题，本发明提供一种基于多模态差异性融合网络的RGB-D显著5标注的显著目标分割图像SGT和人工标注的显著目标边缘分割图像[0010]2.本发明利用深度学习中的SwinTransformer网络作为本发明的主干网络用于提[0011]2.1分别构建两个基于SwinTransformer的编码器提取RGB特征和Depth特征，其中，SwinTransformer编码器由四个基本的SwinTransformerblock组成，其定义如下所[0015]2.2基于步骤2.1，可以得到RGB和Depth编码器的输出，分别记作，RGB特征[0016]3.基于步骤2所生成的RGB和Depth特征，本发明设计一个跨模态双向融合模块[0020]3.2将步骤3.1所生成的增强RGB特征和Depth特征se通过连接操作进行融[0024]4.1基于步骤2中的SwinTransformer所生成的RGB特征构建三流差异性6[0027]4.2基于步骤2中的S特征输入到级联聚合解码器之前，本发明利用ASPP技术强化Depth特征的感受野，增强[0030]4.3基于步骤3所生成的跨模态融合特征使用获取到的四个融合特征，[0032]5.基于步骤4所述的和融合RGB特征和Depth特征。[0033]5.1利用交互式方法分别约束RGB特征和Depth特征，具体而言，使用约束7将该级联聚合解码器结构嵌入三流差异性监督机制和最后的显著[0041]6.1级联聚合解码器采用自顶向特征，最后，利用sigmoid激活函数用于级联聚合解码器的对底层特征，得到最终的预测[0045]7)通过本发明预测出来的显著图Spre与人工标注的显著目标分割要从多模态数据之间的差异性角度出发，提出一种新颖的基于多模态差异性融合网络的模态对于显著性的理解和推理，并通过提出的多模态差异性融合模块整合多模态的差异[0048](1)本发明采用SwinTransformer作为编码器提取RGB和Depth特征，基于Swin8的实例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他标注的显著目标分割图像SGT和人工标注的显著目标边缘分割图像[0059]2.本发明利用深度学习中的SwinTransformer网络作为本发明的主干网络用于提[0060]2.1分别构建两个基于SwinTransformer的编码器提取RGB特征和Depth特征，其中，SwinTransformer编码器由四个基本的SwinTransformerblock组成，其定义如下所[0064]2.2基于步骤2.1，可以得到RGB和Depth编码器的输出，分别记作，RGB特征[0065]3.基于步骤2所生成的RGB和Depth特征，本发明设计一个跨模态双向融合模块[0069]3.2将步骤3.1所生成的增强RGB特征se和Depth特征SE通过连接操作进行融9[0073]4.1基于步骤2中的SwinTransformer所生成的RGB特征构建三流差异性[0076]4.2基于步骤2中的S特征输入到级联聚合解码器之前，本发明利用ASPP技术强化Depth特征的感受野，增强[0079]4.3基于步骤3所生成的跨模态融合特征使用获取到的四个融合特征，[0081]5.基于步骤4所述的三流差异性和融合RGB特征和Depth特征。[0082]5.1利用交互式方法分别约束RGB特征和Depth特征，具体而言，使用约束将该级联聚合解码器结构嵌入三流差异性监督机制和最后的显著[0090]6.1级联聚合解码器采用自顶向特征，最后，利用sigmoid激活函数用于级联聚合解码器的对底层