CN114693924B 一种基于多模型融合的道路场景语义分割方法 （南京航空航天大学）

一种基于多模型融合的道路场景语义分割本发明公开了一种基于多模型融合的道路多分类预测及二分类预测，形成初步分割结果多分类模型在原有的HRNet基础上在特征融合的22)分别对所述多分类模型及二分类模型进行3)使用最优权重值对道路场景图像进行多分类4)对步骤3)中二分类预测形成的初步分割结果5)将步骤3)中多分类预测形成的初步分割结果图及步骤4)中处理后的分割结果图进12)基于DeepLabV3+的编解码结构搭建二分类模型；所述二分类模型输出对道路类别41)利用opencv库中的morphologyEx函数对步骤3)输出的二分类预测图片进行闭运42)利用opencv库的findContours函数提取出步骤41)输出的43)对步骤42)输出的图片中的道路类别的点集进行提取；利用opencv库中的融合层；所述上采样/下采样层的输入端与上一层中每个子网络的多分辨率单元的输出端所述基于改进的高分辨率网络中各个子网络的最后一个特征融合单元增加转置卷积3意力具体为对特征融合单元所输入的尺寸为W×H×C特征图输入全局平均池化层，输出的基于deeplabv3+编解码结构搭建的二分类模型包括：编码器和22)利用增强后的数据集对搭建的多分类模型和二分类模型进行端到端的训练，获取采用cityscapes数据集，其中数据集包含34个类别，利用独热编码方法将上述操作中备份的多分类模型初始数据集中的真实语义分割图像转换为二分类真4将多分类模型数据集中的原始图像输入多分类模型进行图像语义分割下降方法并利用Adam优化器迭代更新网络参数，每次迭代时利用余弦退火策略调整学习将二分类模型数据集中的原始图像通过二分类模型的骨干网络ShuffleN所述损失函数采用Sigmoid函数结合二分类交叉531)将步骤2)中的到的多分类模型最优权重值加载到多分类模型，将待检测的道路场32)将步骤2)中的到的二分类模型最优权重值加载到二分类模型，将待检测的道路场6为语义分割的主流方法。最初的深度学习方法应用于图像分割就是基于图像块的分类算7[0014]5)将步骤3)中多分类预测形成的初步分割结果图及步骤4)中处理后的分割结果[0017]12)基于DeepLabV3+的编解码结构搭建二分类模型；所述二分类模型输出对道路样层和加法融合层；所述上采样/下采样层的输入端与上一层中每个子网络的多分辨率单[0021]所述基于改进的高分辨率网络中各个子网络的最后一个特征融合单元增加转置觉注意力具体为对特征融合单元所输入的尺寸为W×H×C特征图输入全局平均池化层，输出的尺寸为1x1xC数据再经过两个全连接层，最后经过Si浅层特征信息作为二分类模型的输出，所述多尺度特征信息由空洞空间金字塔单元提取，所述浅层信息由特征信息提取单元的浅层部8以及融合单元；所述浅层转置卷积层的输入端与所述第一个Shufflenet单元的末尾连接，积层和一个双线性插值采样层，卷积层的输入端与空洞空间金字塔池化单元的末尾连接，[0030]22)利用增强后的数据集对搭建的多分类模型和二分类模型进行端到端的训练，[0033]将上述操作中备份的多分类模型初始数据集中的真实语义分割图像转换为二分9割图像的真实值，为预测值，即多分类模型的预测值经过上述Softmax函数所得到的结洞空间金字塔池化单元得到特征图，再经过编码器上采样及跳跃链接后进行语义分割预n为二分类模型的预测值经过上述sigmoid函数得到的数值。[0054]31)将步骤2)中的到的多分类模型最优权重值加载到多分类模型，将待检测的道Argmax函数将所述多分类预测图像转换为单通道的多分[0055]32)将步骤2)中的到的二分类模型最优权重值加载到二分类模型，将待检测的道[0057]41)利用opencv库中的morphologyEx函数对步骤3)输出的二分类预测图片进行闭[0059]43)对步骤42)输出的图片中的道路类别的点集进行提取；利用opencv库中的[0061]将步骤4)中得到的图像后处理的二分类预测结果与步骤3)得到多分类模型预测[0067](1)本发明的多分类模型在原有的HRNet基础上在特征融合的部分添加了视觉注[0068](2)本发明利用二分类模型去解决道路场景语义分割中道路类别识别精度和识别[0070](4)本发明在二分类神经网络预测之后增加了后处理环节，进一步增加了对道路[0078]参照图1所示，本发明的一种基于多模型融合的道路场景语义分割方法，步骤如[0081]12)基于DeepLabV3+的编解码结构搭建二分类模型；所述二分类模型输出对道路3、4个子网络的最后一个特征融合单元进行去除；在每个特征融合单元引入视觉注意力网络中的特征图尺寸依次为上一个子网络的1/2，特征图的通道数为上一个子网络的2倍；[0085]所述基于改进的高分辨率网络中各个子网络的最后一个特征融合单元增加转置能力；所述视觉注意力具体为对特征融合单元所输入的尺寸为W×H×C特征图输入全局平均池化层(GlobalAveragePoolingLayer)，输出的尺寸为1x1xC数据再经过两个全连接[0095]22)利用增强后的数据集对搭建的多分类模型和二分类模型进行端到端的训练，[0098]将上述操作中备份的多分类模型初始数据集中的真实语义分割图像转换为二分n为二分类模型的预测值经过上述sigmoid函数得到的数值。[0119]31)将步骤2)中的到的多分类模型最优权重值加载到多分类模型，将待检测的道Argmax函数将所述多分类预测图像转换为单通道的多分[0120]32)将步骤2)中的到的二分类模型最优权重值加载到二分类模型，将待检测的道[0122]41)利用opencv库中的morphologyEx函数对步骤3)输出的二分类预测图片进行闭[0124]43)对步骤42)输出的图片中的道路类别的点集进行提取；利用opencv库中的[0125]5)将步骤3)中多