CN116543155B 基于上下文级联和多尺度特征细化的语义分割方法及装置 （海南大学）

基于上下文级联和多尺度特征细化的语义本发明公开了一种基于上下文级联和多尺上下文信息和细化空间细节时更好的平衡分割2将骨干网络处理后的特征图输入所述上下文级联模块，将各级不同将骨干网络处理后的特征图输入所述多尺度特征细化模块通过通道将所述低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图在将所述深度融合的特征图输入上采样模块，通过上采样后得到其中，所述将骨干网络处理后的特征图输入所述上下文级联所述骨干网络处理后的特征图进入所述上下文级联模块通过通道压缩所述不同扩张率组合的密集级联扩张卷积模块获取各自的具有不同感受野的多尺度特征所述上下文级联模块将各级所述不同感受野的多尺度特征图级联后得到具有局部特将所述骨干网络处理后的特征图在所述上下文级联模块中经过通道压缩后进行全局所述上下文级联模块通过短期密集级联的方式，将具有全局特征表所述四条分支以并行方式分别通过不同扩张率的深度可分离卷积，丰36.根据权利要求1或4所述的方法，其特征在注意力指导的低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图，上下文级联模块，用于将骨干网络模块处理后的特征图通过多尺度特征细化模块，根据注意力机制实现高维4[0003]全卷积网络FCN问世以来，就将语义分割带到了一个全新的方向，跟以往方法不[0009]将骨干网络处理后的特征图输入所述多尺度特征细化模[0010]将所述低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征5次进行多次不同扩张率的深度可分离卷积和通道递减，提取特征图中不同尺寸目标特征，[0014]所述上下文级联模块将各级所述不同感受野的多尺度特征图级联后得到具有局[0015]将所述骨干网络处理后的特征图在所述上下文级联模块中经过通道压缩后进行征图和所述具有全局特征的多尺度上下文信息的特征图，将高维特征与低维特征进行整积神经网络中，所述卷积神经网络包括基于上下文级联和多尺度特征细化的语义分割网6尺度特征细化的语义分割方法及装置，基于上下文级联模块(ContextCascadeModule，[0035]图2是本发明实施例提供的一种图像分割的处理方法中密集级联扩张卷积模块[0036]图3是本发明实施例提供的一种图像分割的处理方法中上下文级联模块(CCM)流神经网络中，所述卷积神经网络包括基于上下文级联和多尺度特征细化的语义分割网络(CCMFRNet)，其中，CCMFRNet用于实时语义分割，它主要由骨干网络、上下文级联模块(ContextCascadeModule，CCM)、多尺度特征细化模块(Multi_scaleFeature7图像分辨率将不会再降低，图像分辨率统一保持为原图分辨率1/8大小，继续进行语义提(CCM)包括三个不同扩张率组合的密集级联扩张卷积模块(DenseCascadeDilated的原图分辨率1/8大小的特征图记为特征图输r",上述操作可以8提取中等尺寸目标语义信息的特征图，记为具体的操作可以通过公式3进行表4}d2＜d3＜d4[0059]第二级操作：第一级的输出特征图在经过第二个3×3深度可分离卷积第二级的输出特征图第二级的操作可以用下9[0061]第三级操作：第二级的输出特征图在经过第三个3×3深度可分离卷积得到第三级的输出特征图第三级的操作可以用下述公式到四级操作级联后的特征图上述操作可以用公到并输出通道数为Cr的多尺度特征图其拼接融合后的多尺度特征图通道数与原[0081]3、将骨干网络处理后的特征图输入所述多尺度特征细化模块通过通道切分及卷用注意力对低维多尺度空间特征图进行约束，使其可以自主选择的对噪声信息进行抑制，[0089]4、将所述由注意力指导的低维多尺度空间特征图和所述具有全局特征的多尺度上下文信息的特征图在所述多尺度特征细化[0092]MFRM使用深度可分离卷积和一个简单的长跳跃连接，减少了内存占用和计算开[0094]最后通过上采样层(UL)将输出的深度融合后的特征图直接上采样到原始输入图[0098]上下文级联模块201，用于将骨干网络模块处理后的特征图通过级联操作将各级不同感受野的输出特征图进行通道融合，获取具有全局特征的多尺度上下文信息的特征[0