CN113902915B 一种基于低光照复杂道路场景下的语义分割方法及系统 （江苏大学）

AU2020103901A4,2021.02.11一种基于低光照复杂道路场景下的语义分本发明公开了一种基于低光照复杂道路场驶仿真平台和生成对抗网络分别进行合成数据建了不同的低光照数据集；本发明在SFNet网络低光照场景下的分割性能，主要通过改进的Resnet50+结构作为骨干网络进行特征提取，在每一个Resnetblock引入通道-空间注意力机制率不同造成的差异引入特征对齐模块FAM，该模块可以学习高层低分辨率特征到浅层高分辨率线方法预训练语义分割网络从而提高系统的安2所述的低光照数据集构建模块，用于获取复杂的低光照道路场景图低光照数据集包括基于仿真平台合成虚拟数据和真实场景数据风格转化后的数据，其中，基于仿真平台合成虚拟数据是利用仿真平台CRALA所采集的低光照数据，所述真实场景数据风格转化后的数据是使用CycleaGAN算法对现有的白天数据集CitySacpes进行低光照风所述的语义分割网络模块用于获取最后的标签图，即按照像素所属类别标签，得到像素级别的分割结果；该模块采用改进的Resnet50+作为骨干特征提取网所述的离线端对端训练模块用于根据像素级标注图片，对搭建的语义所述的车载摄像头实时分割模块，通过车载摄像头获取实时的道路场所述语义分割网络模块中：编码器部分包括改进的骨干网络部分和金字塔池化部分，在逐层降低图片分辨率的同时获得更高层的特征图，并通过PPM扩大感受野得到全局的上原始图片经过该语义分割网络模块的编码器和解码器之后，且最后一层卷积通道数为类别数的分割头部分得到初始的所述多尺度语义分割网络的注意力模块在训练时引入另外一个尺度图片作为网络模pp3分别表示3×3和1×1卷积。2.根据权利要求1所述的一种基于低光照复杂道路场景下的语义分割系统，其特征在经过4个阶段使得在提取高层语义特征的同时分辨率降低到原图1/32，最后为了获得更抽编码器的网络结构选取Resnet50作为骨干网络，并仅使用R3.根据权利要求2所述的一种基于低光照复杂道路场景下的语义分割系统，其特征在于，所述Residualblock+主要是在原始残差块的第三个权重层后引入通道注意力和空间道注意力模块学习通道注意力图并与原特征图相乘得到特征zeRO,通道经过通道注意力机制优化的特征Z再作为输入，送入到空间注意力机制中学习空间注意力图AseR,并与优化后的特征Z相乘得到最后的输出空间注意力图表示如下：示对输入X在空间上进行最大池化，池化后的F(·)表示池化后送入的网化，池化后的f'g(z)eR;:f”max(·)表示对输入Z在通道上上进行最大池化，池化后4.根据权利要求1所述的一种基于低光照复杂道路场景下的语义分割系统，其特征在4点间的坐标变换以上下文信息对齐上采样的高层特征并融合浅层特征进而获得具有丰富给定相邻层级不同分辨率大小的特征图和并分别将ppeB,"的每个位置Pl-1根据Offl-1的偏移量映射到Xl的空最后通过对位置Pl进行双线性差值近似得到Pl-1的像素值，并与原始的Xl-1相加得到最S1通过自动驾驶仿真平台和生成对抗网络分别进行合成数据采集和良好光照下的数S2使用Pytorch深度学习框架搭建语义分割的神经网络结构，低光照数据集图像作为该步骤中的训练方法利用多GPU的小批量梯所述S2中，语义分割的神经网络模型采用改进的SFNet-N算法实现，包括改进的差块中引入空间维度和通道维度的注意力机制以最大限度的融合上下文信息进而增强像(1)softmax函数：将经过神经网络预测的长度为k的输出向量映射为另一个向量并将5将S1构建好的数据集送入S2搭建好的神经网络模型进行端对端的训S3使用车载摄像头获取低光照道路场景实时图像，6.根据权利要求5所述的一种基于低光照复杂道路场景下的语义分割方法，其特征在CycleCitySacpes：该数据集使用CycleaGAN算法对基于白天良好光照下采集的7.根据权利要求5所述的一种基于低光照复杂道路场景下的语义分割方法，其特征在6驶等领域都取得了巨大的进步，尤其是无人驾驶汽车的感知能力呈现了指数级别的增长。[0003]目前的CNN算法(如Deeplab系列或HRNet-OCR)能够以较高的准确度执行分割任块和SFNet中的流对齐模块具有很大的相似性。一般分割算法还会在推理时使用多尺度方7进行合成数据采集和良好光照下的数据风格迁移工作，从而构建了不同的低光照数据集。集所需的时间和巨大的标签成本以及本实验室硬件资源的限制，利用仿真平台CRALA采集有的权威白天数据集CitySacpes低光照风格[0009]所述的语义分割改进算法SFNet-N模块用于获取最后的标签图，即按照像素所属的运动方向，在尽可能保留细节的同时逐层恢复图像的高分辨率避免像素的细节丢失问[0011]所述的车载摄像头实时分割模块，就是通过车载摄像头获取实时的道路场景图[0012]本发明基于低光照复杂道路场景下的图片语义分割方法采用的技术方案是依次[0013]步骤1)通过自动驾驶仿真平台和生成对抗网络分别进行合成数据采集和良好光[0016]步骤4)利用得到的低光照数据集对搭建的语义分割深度学习算法网络框架进行8[0019]步骤6)用预训练好的权重对实时获取的低光照道路场景图像进行分类并定位不[0020]针对步骤1)中低光照场景的数据缺失问题，因此需要通过自动驾驶仿真平台CRALA和生成对抗网络分别进行合成数据采集和良好光照下的数据风格迁移工作，构建不[0034]如图2所示，语义分割神经网络总体框架图，编码器部分由改进的骨干网络(Resnet50+)和金字塔池化(PPM)组成，在逐层降低图片分辨率的同时获得更高层的特征最后通过由多个卷积层组成的且最后一层卷积通道数为类别数的分割头部分得到初始的9pp分别表示3×3和1×1卷积。[0042]如图3所示，编码器部分主要是由通过多次卷积操作提取图像高层次特征的骨干[0045]残差块的核心思想主要是通过跳跃连接实现特征由输入到输出的恒等映射，如注意力模块学习通道注意力图并与原特征图相乘得到特征zeRC"。通道注[0049]经过通道注意力机制优化的特征Z再作为输入，送入到空间注意力机制中学习空间注意力图4eR,并与优化后的特征Z相乘得到最后的输出空间注意力图A,eR的详细结构可以表示如下：[0053]如图5所示，特征对齐模块学习相邻层级不同分辨率的特征图之间的像素变换偏pp[0061]其中N(pl)表示Pl的四个近邻上下文值，Wp为点p和近邻位置间距离所估计的权重[0062]如图6所示，低光照场景下语义分割流程图，包括低光照数据集构建，改进的[0064]步骤1)低光照数据集构建：我们利用仿真平台CRALA采集本实验所需的低光照数[0066]CycleCitySacpes：该数据集使用CycleaGAN算法对基于白天良好光照下采集的[0067]步骤2)使用SFNet-N算法分割对采集的低光照图片进行训练。该方法主要由改进[0069](1)softmax函数：将经过神经网络预测的长度为k的输出向量映射为另一个向量[0071]