CN114445430B 轻量级多尺度特征融合的实时图像语义分割方法及系统 （暨南大学）

轻量级多尺度特征融合的实时图像语义分本发明提出一种轻量级多尺度特征融合的像语义分割网络模型中保证模型的精度和准确2取-合并瓶颈模块包括若干个依次连接的分离-提S2：将待处理图像输入所述图像语义分割网络，图像将所述第一特征图与原始的待处理图像进行并行拼接，将拼所述分离-提取-合并瓶颈模块采用分离特征通道提取初将第二特征图输入第一个分离-提取-合并瓶颈3×3的深度可分离卷积层和经过一个3×3的深度可分离空洞卷积将两个卷积操作结果进行合并，然后将合并结果经过一个3所述分区-融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信所述特征融合模块将多尺度特征图、通道信息特所述多尺度注意力解码器基于融合特征图进行图像精度恢复，得到图像语义分割结2.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在和3×3的深度可分离空洞卷积层的输出端均依次连接有3.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在分区-融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信息，得到将所述分离-提取-合并瓶颈模块中第一个分离-提取-合并瓶颈结构输出的特征图A输入分区-融合通道注意力模块后分别进入全局注意力生成支路对输入全局注意力生成支路的特征图A1进行全局平均池化并学习特征图A1的通道权征图A2的k个区域分别进行全局平均池化并学习k个区域的平均池化值，得到特征图A2的局3将所述全局通道信息和所述局部通道信息进行加权融4.根据权利要求3所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在所述特征融合模块对多尺度特征图、通道信息特征图和5.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在将待处理图像输入初始化模块，待处理图像经过一个步长为2的3×3的标准卷积层进6.根据权利要求1所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在将待处理图像经过卷积层进行卷积操作，得到第一特征将所述第二特征图进行下采样后输入第一分离-提取-合离-提取-合并瓶颈模块中的第一个分离-提取-合并瓶颈结构的输出特征图传输至第一分将所述第一融合特征图进行一次下采样后输入第二将所述第一融合特征图和第二融合特征图输入所述多47.根据权利要求6所述的轻量级多尺度特征融合的实时图像语义分割方法，其特征在将特征图F11经过一个1×1标准卷积层进行卷积操作，得到特征通道数为C1的特征图F12，将特征图F21经过一个1×1标准卷积层进行卷积操作后得到特征通道数为C2的特征图其中，表示Sigmoid激活函数，表示深度可分离卷积层的逐点卷将多尺度注意力特征图Mmam和特征图F33进行像素级别的相乘，并对F33的空间特征信息。8.轻量级多尺度特征融合的实时图像语义分割系统，应用于权利要求1-7任一项所述并瓶颈模块包括若干个依次连接的分离-提所述分离-提取-合并瓶颈模块采用分离特征通道提取待处理图像特征图的多尺度特所述分区-融合通道注意力模块提取并融合初始特征图的全局通道信息和局部通道信所述特征融合模块将多尺度特征图、通道信息特5所述多尺度注意力解码器根据融合特征图进行图像精度恢复，得到图像语义分割结6域的应用也越来越深入和广泛。图像语义分割是将图片中每个像素点分类到对应的类别，[0003]现有的许多基于深度卷积神经网络的图像语义分割模型通常是通过使用更深的离-提取-合并瓶颈模块包括若干个依次连接的分离-多尺度特征图；所述分区-融合通道注意力模块提取并融合初始特征图的全局通道信息和[0010]第二个方面，本发明提出一种轻量级多尺度特征融合的实时图7取-合并瓶颈模块包括若干个依次连接的分离-提取-合并瓶颈结构。所述初始化模块对待[0020]图8为实施例4中在Cityscapes数据集上评估不同语义分割网络的综合准确率与[0021]图9为实施例4中部分现有语义分割网络与LMFFNet-3-8在Cityscapes数据集的分[0022]图10为实施例4中另一部分现有语义分割网络与LMFFNet-3-8在Cityscapes数据8[0032]所述分离-提取-合并瓶颈模块采用分离特征通道提取待处理图像特征图的多尺[0033]所述分区-融合通道注意力模块提取并融合初始特征图的初始特征图的全局通道[0036]通过分离-提取-合并瓶颈模块提取图像的多尺度特征、分区-融合通道注意力模9[0038]本实施例在实施例1提出的轻量级多尺度特征融合的实时图像语义分割方法的基根据需求自定义待处理图像的分辨率，在待处理图像输入到网络前，会将图像放缩到提前辨率为512×1024。将待处理图像输入初始化模块，待处理图像经过一个步长为2的3×3的标准卷积层进行卷积操作，将原始的输入图像的尺寸减少一半，并将输出的特征图的通道数扩大到32，然后将卷积操作连续经过两个3×3的标准卷积层进行卷积操作，提取上下文（FFM-A1并行拼接模块将第一特征图与原始的待处理图像进行并行拼接得到第二特征样，得到通道数为3的降采样图像信息。将通道数为3的降采样信息作为补偿信息与第一特数提取更多有用的信息。卷积层和3×3的深度可分离空洞卷积层的输出端均依次连接有PReLU激活层和BN层，在每括全局注意力生成支路和局部注意力融合支路，所述分区-融合通道注意力模块提取并融[0046]将所述分离-提取-合并瓶颈模块中第一个分离-提取-合并瓶颈结构输出的特征图A输入分区-融合通道注意力模块后分别进入全局注意力生成支路和局部注意力融合支模块时，特征融合模块都引入了分区-融合通道注意力模块来提取特征图在通道上的重要[0053]本实施例在实施例2提出的轻量级多尺度特征融合的实时图像语义分割方法的基[0058]本实施例中，所述分离‑提取‑合并瓶颈模块包括第一分离‑提取‑合并瓶颈模块意力模块包括第一分区‑融合通道注意力模块和第二分区‑融合通道注意力模块；所述特征[0060]将所述第二特征图经过下采样模块进行一次下采样处理后输入第一分离‑提取‑将第一多尺度特征图、第一通道信息特征和经过4倍下采样的原始的待处理图像进行通道[0061]将所述第一融合特征图经过下采样模块进行一次下采样处理后输入第二分离-提取-合并瓶颈模块，第一融合特征图经过N个分离-提取-合并瓶颈结构进行多尺度特征提征融合模块将第二多尺度特征图、第二通道信息特征和经过8倍下采样的原始的待处理图[0064]将特征图F11经过一个1×1卷积层进行逐点卷积，得到特征通道数为C1的特征图[0067]将所述特征图F12和特征图F23进行通道方向上的拼接，然后将拼接结果经过一个finmwcm()表示深度可分离卷积层的逐点卷积，表示深度可分离卷积层的深度卷积，fea()表示对若干个双线性上采样得到与多尺度注意力特征图Mmam尺寸一致的特征图F33。最后通过多尺度注意[0074]第一融合特征图和第二融合特征图已经包含了足够的信息来恢复原始的待处理数大小为0.09M的基础上很好地恢复的[0077]本实施例在实施例3提出的轻量级多尺度特征融合的实时图像语义分割方法的基[0082]当使用Cityscapes数据集和CamVid数据集对LMFFNet进行训练时，采用随机尺度[0092]表2在Cityscapes数据集上使用贝叶斯优化搜索SEM-BBlock中不同M和N值的实[0098]如表2所示，M和N两个参数分别表示LMFFNet中SEM-BBlock1和SEM-BBlock2中SEM-B的数量。本实施例利用贝叶斯优化算法自动确定SEM-BBlock1和SEM-BBlock2的最LMFFNet能够在参数和精度之间做出最适当的权衡。因此，设置M=3和N=8来构建设置参数α分别控制SEM-BBlock1和SEM-BBlock2中SEM-B的数量M和N，探索参数α对非瓶颈结构Non-bt-1D、LEDNet的瓶颈结构SS-nbt和DABNet的DAB模块来代替LMFFNet中的建的语义分割网络具有74.3%mIoU的精度，但参数规模最大。与其它4个瓶颈相比，使用[0112]为了探究FFM-B的数量对网络的影响，本实施例在LMFFNet中使用了不同数量的深层特征融合生成多尺度注意力特征图会对语义激活产生干扰，影响了解码器的特征恢一步观察LMFFNet的性能变化。对比实验结果如表9所示，将FFM添加到“Base”网络构成取得了更好的平衡。[0134]如表10所示，本实施例的LMFFNet-3-8在Cityscapes数据集上的分割精度比现有[0135]如表11所示，表11给出了LMFFNet-3-8与其他最为流行的模型在Cityscapes数据在未进行预训练的情况下仅获得70.4%mIoU，且SwiftNet的模型大小是LMFFNet-3-8的10理速度和参数量三者中获得比其他网络更好的权衡。表11还给出了每个模型推理速度和[0136]此外，本实施例在CamVid数据集上评估了模型在两种分辨率图像上的性能。在[0137]表13展示了各个网络在Cityscapes和CamVid数据集的召回率、精确率和F1-[0138]为了验证LMFFNet-3-8的稳健性，本实施例还在KITTI和WildDash2数据集上对其进行了评估。本实施例使用在Cityscapes数据集中训练过的模型，分别对KITTI数据集和WildDahs2数据集进行预测。结果如表14和表15所示，在KITTI数据集中，LMFFNet-3-8的[0139]如图8所示，图8中的(a)为在评估Cityscapes数据集上评估不同语义分割网络在估不同语义分割网络的综合准确率与参数量的性能结果对比图，与现有技术框架相比，[0140]如图9和图10所示，图9为部分现有语义分割网络与LMFFNet-3-8在Cityscapes数据集的分割效果可视化对比图，图10为另一部分现有语义分割网络与LMFFNet-3-8在Cityscapes数据集的分割效果可视化对比图，从图9和图10中的方框框出部分可见，体均有较好的分割，而其他网络通常会直接忽略这些物体或者把这些物体误分成其它类别，这从实际的分割可视化方面证明了LMFFNet-3-8相比于目前流行的语义分割网络的优它网络一样直接把行李箱也当成人的一部分，这说明了LMFFNet-3-8能够清晰地确定物体灯等较小尺度的目标也有良好地分割，这进一步说明了LMFFNet-3-8非常适合车道场景下[0142]综上所述，LMFFNet以1.35M的参数量在Cityscapes数据测试集上达到75.1%的[0143]本发明提出的图像语义分割方法，能够在参数量相对较小的轻量级LMFFNet模型Speed实现图像的实时语义分割。[0145]请参阅图12，本实施例提出一种轻量级多尺度特征融合的实时图像语义分割系瓶颈模块2包括若干个依次连接的分离-提[0147]所述分离-提取-合并瓶颈模块2采用分离特征通道提取待处理图像的多尺度特[0148]所述分区-融合通道注意力模块3提取并融合初始特征图的全局通道信息和局部[0149]所述特征融合模块4将多尺度特