CN115223130B 基于改进YOLOv5的多任务全景驾驶感知方法与系统 （南京理工大学）

基于改进YOLOv5的多任务全景驾驶感知方基于改进YOLOv5的多任务全景驾驶感知方法与干网络由将YOLOv5主干网络中C3模块替换为反2采用YOLOv4的图片预处理方法对车载摄像头采集的视频中每一帧图像进行图片预处利用改进YOLOv5的主干网络提取所述输入图像的特将所述改进YOLOv5的主干网络得到的特征图输入到颈字塔池SPP网络和特征金字塔网络FPN得到的特征图与所述改进YOLOv5的主干网络得到的将所述经空间金字塔池SPP网络和特征金字塔网络FPN得到的特征图中底层特征图输所述利用分支网络进行车道线检测和可行驶区域分割包括：将所述经空间金字塔池SPP网络和特征金字塔网络FPN得到的特征图中底层特征图在分支网络中经过三层上采样W×H×2的特征图表示输入图像中每个像素点对于可驾驶区域对应背景的概率，用来预测征图中每个特征点有两个取值，用这两个取值分别表示该特征点相应像素点有目标的概述图片预处理还包括将所述车载摄像头采集的视频中每一帧图像从宽度×高度×通道数为1280×720×3的图像调整成宽度×高度×通道数为640第一个反转残差瓶颈模块为CSPI_1，由卷积组件第二个反转残差瓶颈模块为CSPI_3，由卷积组件第三个反转残差瓶颈模块为CSPI_3，由卷积组件3所述利用改进YOLOv5的主干网络提取所述输入所述特征图out1，为预处理图片经过Focus操作后又经过Conv、CSPI_1操作，再经过所述特征金字塔网络FPN中，由空间金字塔池SPP网络输入的特征图经过反转残差瓶颈模所述高层特征图f3经过上采样，再与所述特征图out2进行Concat操作得到的特征图，所述中层特征图f2经过上采样，再与所述特征图ou7.一种基于改进YOLOv5的多任务全景驾驶感车道线检测模块，用于完成车道线检测任务，将车可行驶区域分割模块，用于完成可行驶区域分9.一种基于改进YOLOv5的多任务全景驾驶感知设备4区域分割和车道线检测结合在一起，并提出了上下文张量来融合分支网络之间的特征地5[0008]采用YOLOv4的图片预处理方法对车载摄像头采集的视频中每一帧图像进行图片[0009]利用改进YOLOv5的主干网络提取所述输入图像的特征，得到特征图；所述改进间金字塔池SPP网络和特征金字塔网络FPN得到的特征图与所述改进YOLOv5的主干网络得[0012]将所述经空间金字塔池SPP网络和特征金字塔网络FPN得到的特征图中底层特征宽度×高度×通道数为1280×720×3的图像调整成宽度×高度×通道数为640×384×3的6络FPN中底层特征图f1在分支网络中经过三层上采样层后，恢复成大小为W×H×4的特征域作为可行使区域分割的结果；另一个大小为W×H×2的特征图表示输入图像中每个像素7差瓶颈模块（CSPI_x模块把YOLOv5主干网络中原有的C3模块替换为反转残差瓶颈模块。[0049]图4为本发明实施例的输入图片经过主干网络时特征图的大小和通道数变化示意8[0055]实验机器操作系统版本为CentOSLinuxrelease7.6.1810，CPU型号为Hygon[0059]本发明采用YOLOv4的图片预处理方法对车载摄像头采集的视频中每一帧图像进帧图像从宽度×高度×通道数为1280×720×3的图像调整成宽度×高度×通道数为640×x模块）。反转残差瓶颈模块（CSPI_x模块）由x个反转残差瓶颈组件结构（Invert9倍高维空间、3倍高维空间和4倍高维空间时的网络推理速度，当维度扩展到2倍高维空间[0071]特征图out1，为预处理图片经过Focus操作后又经过Conv、CSPI_1操作，再经过Conv、CSPI_3操作后成为（80×48×128[0077]本发明的颈部网络中采用了空间金字塔池SPP网络和特征金字塔网络FPN组成颈FPN主要作用是解决物体检测中的多尺度问题，在基本不增加原有网络模型计算量的情况[0079]SPP网络使卷积神经网络能够输入任意大小的图片，在卷积神经网络的最后一层层特征图f3大小为20×12×256最后输出到检测头。40×24×256再经过Conv操作后得到中层特征图f2大小为40×24×128最后输出到特征图f1大小为80×48×256最后输出到检测头。[0090]本发明的检测头中采用了路径聚合网络PAN。路径聚合网络是一种自下而上的特[0093]因为FPN的底层具有较强的语义信息和利于定位的高分辨率信息，将经空间金字[0095]特征金字塔网络FPN中底层特征图f1在分支网络中经过三层上采样层（即经过了[0096]本发明的分支网络最终将大小为W×H×4的特征图切分成两个大小为W×H×2特征图。其中一个大小为W×H×2的特征图表示输入图像中每个像素对于可驾驶区域对应背个大小为W×H×2的特征图表示输入图像中每个像素对于车道线对应背景的概率，用来预89.276.591.570.526.211.089.377.291.571.126.09.1检测速度达到了9.1ms/frames。实验数据结果表明本发明提出的基于改进YOLOv5的多任换。反转残差瓶颈模块（CSPI_x模块）是由x个反转残差瓶颈组件结构组成，x为自然数。[0124]计算机可读存储介质可以包括在使用期间可由计算机系统访问