CN115272268B 一种基于深度估计的rgbd图像显著性检测方法 （河北工业大学）

KR20220029335A,2022.03.08一种基于深度估计的RGBD图像显著性检测本发明为一种基于深度估计的RGBD图像显著性检测方法，利用深度估计用RGB特征生成估2构建编码器—解码器网络：所述编码器包括RGB和深度的双流主干网络、深度估计模16rgb主干网络、VGG_16depth主干网络，用于提取RGB图像的外观特征和深度图的空间特征；VGG_16rgb主干网络提取到的各个尺度的RGB特征经过深度估计模块进行深度估计，各个尺度的原始深度特征和各个尺度的估计深度特征fa:利用深度融合模块将原始深度图Do和估计深度图De这两个深度流的相应尺度的深度特所述解码器为n个显著性检测解码器串联构成，每个显著性检测解码器Decoderi在相对构建好的编码器—解码器网络进行损失计算，用于基于深度估计的RGBD显著性检深度估计模块包括卷积单元Conv6和多个依次串联的深度估计解码器DED，DED的数量为n+输出连接多个依次串联的深度估计解码器DED，来自VGG16rgb主干网络的不同尺度的RGB特征通过跳跃连接集成到相应尺度的深度估计解码器DED中，最后一个多个深度估计解码所述深度估计解码器DED包括两个串联的ConvBR单元，上一个深度估计特征和VGG16rgb主干网络的相应尺度的RGB特征经级联操作后输入到两个串联的为原始深度图提取的某尺度的深度特征fod和对应尺度的估计深度图中提取的深度特征所述交叉模态融合模块包括两条路径，每条路径均包括一个空间注意力图、一个3度特征fd进行逐元素加法操作输出获得深度增强特征fd'；某尺度的融合深度特征fd输入到一个空间注意力图SAd中，空间注意力图SAd的输出与相应尺度的RGB特征fr进行逐元素乘法操作处理后的结果，再与相应尺度的RGB特征fr进行逐元素加法操作输出获得RGB增强特征fr'；深度增强特征fd'和RGB增强特征fr'分别经过一个ConvBR3单元处理后的两个输出分别三个ConvBR3单元处理后获得RGBD融合特征frd，即为交叉模态融合模块CFM的输出；所述深度融合模块的数量、交叉模态融合模块的数量均与VGG16rgb主干在VGG16rgb主干网络最后一个块后增加了一个Conv6单元，它解码器DED，来自VGG16rgb主干网络的不同尺度的RGB特征(i＝1,2,3,4,集成到相应尺度的深度估计解码器DED中，并以自U型底向上的方式集成不同尺度的RGB特深度估计解码器得到的不同层次的中间估计深度图以最大尺度的深度估计解码器DEDv6(f身(2),训练时采用SmoothL1损失函数计算不同层次的中间估计深度图D:与原始深度图Do的4D0)(8),将原始深度图Do和估计深度图De分别送入到VGG16depth主干网络分别提取不同尺度的深将上述第四步获得的不同尺度的深度特征fod和fed输入到一个深度融合模块DEM中，在表示元素乘法,[,]表示级联操作；r和融合深度特征fd：将上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd利用在空间注意力的分别提取上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd的空间注意力f;=fr+fr&SAad(15),fu=fu+fu&SAr(16),得到两个模态的增强特征后，分别利用元素加法和元素乘法进行融5BR3(fx)(17),BR3(fs)(18),总损失Ltotal结合了第三步中深度估计损失Ld和第八步中显著性损失Ls，如下公式(21)1_4任一项所述的基于深度估计的RGBD图像6[0001]本发明的技术方案涉及图像数据处理领域,具体地说是[0004]本发明提供了一种基于深度估计的RGBD显著性检测方法，本发明利用提取的RGB特征；VGG_16rgb主干网络提取到的各个尺度的RGB特征经过深度估计模块进行深度估获得各个尺度的原始深度特征和各个尺度的估计深度特[0010]利用深度融合模块将原始深度图Do和估计深度图De这两个深7[0011]相应尺度的RGB特征和融合深度特征利用交叉模态融合模块进行自适应融[0012]所述解码器为n个显著性检测解码器串联构成，每个显著性检测解码器Decoderi[0014]所述深度估计模块包括卷积单元Conv6和多个依次串联的深度估计解码器DED，输出特征re和VGG16rgb主干网络的相应尺度的RGB特征经级联操作后输入到两个串联输入为原始深度图提取的某尺度的深度特征fod和对应尺度的估计深度图中提取的深度特度特征fd进行逐元素加法操作输出获得深度增强特征fd'；[0018]某尺度的融合深度特征fd输入到一个空间注意力图SAd中，空间注意力图SAd的输出与相应尺度的RGB特征fr进行逐元素乘法操作处理后的结果，再与相应尺度的RGB特征fr进行逐元素加法操作输出获得RGB增强特征fr'；[0019]深度增强特征fd'和RGB增强特征fr'分别经过一个ConvBR3单元处理后的两个输出[0020]深度融合模块的数量、交叉模态融合模块的数量均与VGG16rgb主干网络所输出的8U型底向上的方式集成不同尺度的RGB特征(i＝1,2,3,4,5)和不同尺度的深度估计解码器DED输出特征(i＝1,2,3,4,5)，六个深度估计解码器得到的不同层次的中图以最大尺度的深度估计解码器DED输出特征对应的中间估计深度图⃞=DED(f9)(4),DO)(8),[0042]将原始深度图Do和估计深度图De分别送入到VGG16depth主干网络分别提取不同尺9[0047]将上述第四步获得的不同尺度的深度特征fod和fed输入到一个深度融合模块DEM[0052]将上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd利用交叉模态融合模块CFM在空间注意力的引导下交叉增强，接着将RGB特征fr和融合深度特征fd这两个模态的特征分别利用元素加法和元素乘法进行融合，并将两种融合方式得到的特征进行融[0053]分别提取上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd的空间注[0059]fx=fa+fu&SA,(16),不同融合方式的交叉增强特征连接在一起，利用卷积操作自适应加权这两种特征，得到RS(fa)(17),[0063]fz)(18),终的显著性预测结果图S；具体设置有与VGG16rgb主干网络所输出的RGB特征的尺度数相同[0069]为了衡量上述第七步获得的不同尺度显著性图Si与真值G之间的差异，训练时采[0075]通过不断缩小Ltotal的大小进行网络的训练，采用随机梯度下降法优化总损失及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，[0083](2)本发明采取的是基于深度估计的方法，融合原始深度图和估计深度图中提取[0084](3)本发明利用深度融合模块将估计深度图与原始深度图在通道注意力的引导下[0095]提取RGB图像I的RGB特征fr→获得估计深度图De→计算深度估计的损失→从原始深度图Do和估计深度图De中分别提取深度特征fod和fed→融合深度特征fod和fed→融合RGB特征fr和融合深度特征fd→获得最终的显著性预测结果图S→计算显著性检测的损失→计算总损失Ltotal→完成基于深度估计的RGBD显[0096]本发明中的两种模态分别是RGB模态和深度模态，原始深度图和估计深度图两者[0097]本发明的网络结构如图3所示，RGB图[0098]接着，将原始深度图Do和估计深度图De各自单独输入同一个VGG_16depth主干网[0100]然后，相应尺度的RGB特征和融合深度特征利用基于空间注意力机制的交叉[0102]图4为深度估计模块DEM的结构示意图，包括卷积单元Conv6和多个依次串联的深感受野；最后一个3×3卷积层的输出连接多个依次串联的深度估计解码器DED，来自VGG16rgb主干网络的不同尺度的RGB特征(i＝1,2,3,4,5)通过跳跃连接集成到相应尺度输出特征和VGG16rgb主干网络的相应尺度的RGB特征经级联操作后输入到两个串联置六个深度估计解码器DED，来自VGG16rgb主干网络的不同尺度的RGB特征(i＝1,2,3,4,5)通过跳跃连接集成到相应尺度的深度估计解码器DED中，并以自U型底向上的方式集成其中六个深度估计解码器得到的不同层次的中间估计深度图D:,深度估计模块DEM的输出操作，深度融合模块(DFM)的输入为原始深度图提取的某尺度的深度特征fod和对应尺度的出与级联操作的输出进行逐元素乘法操作获得深度融合模块(DFM)的输出，即获得融合深[0106]图6为交叉模态融合模块CFM的结构示意图，所述交叉模态融合模块CFM包括两条个空间注意力图SAr中，空间注意力图SAr的输出与相应尺度的融合深度特征fd进行逐元素度增强特征fd'；[0107]某尺度的融合深度特征fd输入到一个空间注意力图SAd中，空间注意力图SAd的输出与相应尺度的RGB特征fr进行逐元素乘法操作处理后的结果，再与相应尺度的RGB特征fr进行逐元素加法操作输出获得RGB增强特征fr'；[0108]深度增强特征fd'和RGB增强特征fr'分别经过一个ConvBR3单元处理后的两个输出[0109]深度融合模块(DFM)的数量、交叉模态融合模块CFM的数量均与VGG16rgb主干网络U型底向上的方式集成不同尺度的RGB特征(i＝1,2,3,4,5)和不同尺度的深度估计解码器DED输出特征(i＝1,2,3,4,5)，六个深度图以最大尺度的深度估计解码器DED输出特征对应的中间估计深度图D:作为估计深v6(f身)(2),[0120]f=DED(f)(4),De=D:(6)D0)(8),[0130]将原始深度图Do和估计深度图De分别送入到VGG16depth主干网络分别提取不同尺[0135]将上述第四步获得的不同尺度的深度特征fod和fed输入到一个深度融合模块DEMfod][0140]将上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd利用交叉模态融合模块CFM在空间注意力的引导下交叉增强，接着将RGB特征fr和融合深度特征fd这两个模态的特征分别利用元素加法和元素乘法进行融合，并将两种融合方式得到的特征进行融[0141]分别提取上述第一步得到的RGB特征fr和第五步得到的融合深度特征fd的空间注