CN116704236B 一种基于混合注意力机制的目标检测方法 （重庆大学）

本发明涉及基于混合注意力机制的目标检MS-YOLOv5基础上进行的改进；MS-YOLOv5以中的几个模块进行替换；以MS-YOLOv5为基础模2S2：构建多尺度道路场景目标检测模型MSAT-YOLOv5，所述MSS21：所述MS-YOLOv5将基于通道重组的轻量化逆瓶颈残差模块shuffle_res2net_s与将改进的多尺度空洞空间金字塔池化模块Imp_ASPP与YOLOv5中的空间金字塔池化模对于第2-4个分支以不同采样率的深度可分离空洞卷积并行采样获取不同尺度的图像将改进后用于改善小目标检测性能的模块CONV_NS用于替换YOLOv5网络中的下采样模所述改进后用于改善小目标检测性能的模块CONVS22：将MS-YOLOv5为基础模型，MS-YOLOv5主干网络中的每个CSP_Bottle2Neck中的shuffle__res2net__s结构都替换为ATTShuffle__res2net__s结构，定义为CSPAT_所述ATTShuffle_res2net_s包括：所述ATTShuffle_res2net_s输入特征图为X∈RC通过卷积核大小为1×1的卷积操作进行特征信息的融合和通道维度的降维，然后采用CA(.)注意力机制操作，最后将经过注意力增强过的特征图与最开始的输入特征图进行元素3将混合注意力机制MSCA与MS-YOLOv5中的路径聚合网络PANeii∈(1,2,将经过Softmax处理后得到的输出与前面4个深度可分离空洞卷积的输出特征图进行最后将4个输出特征图进行元素级别的相加融合，并与最开始的输入特征图进行元素计算出训练集中每张图片中各个类别的数量，之后根据4鲁棒性，进而提高方法的检测准确率。YOLOv5方法在Neck网络之前，主干特征提取网络[0005]虽然YOLOv5方法采用SPP模块利用不同尺寸的池化层进行特征提取，可以使不同5标检测模型MS-YOLOv5基础上进行s与YOLOv5主干特征提取网络中CSP_BottleNeck里的残差结构进行替换，定义为MSL_[0013]将改进的多尺度空洞空间金字塔池化模块Imp_ASPP与YOLOv5中的空间金字塔池[0014]将改进后用于改善小目标检测性能的模块CONV_NS用于替换YOLOv5网络中的下采的shuffle_res2net_s结构都替换为ATTShuffle_res2net_s结构，定义为CSPAT_合并到Pedestrain类别中，对数据集中的所有图片进行标准化操作，最后得到Car、[0021]所述ATTShuffle_res2net_s输入特征图为X∈RC×H×W，经过分层的特征信息的提ii∈[0029]将经过Softmax处理后得到的输出与前面4个深度可分离空洞卷积的输出特征图[0030]最后将4个输出特征图进行元素级别的相加融合，并与最开始的输入特征图进行6[0034]对于第2-4个分支以不同采样率的深度可分离空洞卷积并行采样获取不同尺度的[0048]本发明以改进的MS-YOLOv5为基础框架(baseline)对其进行改进，为了改善拥堵混合注意力机制MSCA并将其与MS-YOLOv5的路径聚合网络PANet进行融合。通过对KITTI数出MSAT-YOLOv5进一步提升了对小尺度目标的检测能力，同时改善了拥堵场景下存在漏检的情况。最终MSAT-YOLOv5，在测试集上的精度(Map(@.5))为88.66较MS-YOLOv5(baseline)提高了1.21％。每个类别都有一定提升，分别提升了Car(0.65％)，Cyclist5.4在保证整体精度提升的情况下，对小尺度小样本数量的目标的精度也有所提升，7标检测模型MS-YOLOv5基础上进行s与YOLOv5主干特征提取网络中CSP_BottleNeck里的残差结构进行替换，定义为MSL_[0064]将改进的多尺度空洞空间金字塔池化模块Imp_ASPP与YOLOv5中的空间金字塔池[0065]将改进后用于改善小目标检测性能的模块CONV_NS用于替换YOLOv5网络中的下采的shuffle_res2net_s结构都替换为ATTShuffle_res2net_s结构，定义为CSPAT_[0070]具体的，S1中预处理是指：将现有数据中的Misc和DontCare类别去掉，将Van，合并到Pedestrain类别中，对数据集中的所有图片进行标准化操作，最后得到Car、8[0072]所述ATTShuffle_res2net_s输入特征图为X∈RC×H×W，经过分层的特征信息的提[0077]对MS-YOLOv5的主干网络中的每个CSP_Bottle2Neck进行改造，用ATTShuffle_res2net_s与YOLOv5主干特征提取网络中CSP_BottleNeck里的残差结构进行替换，即只在ii∈[0084]将经过Softmax处理后得到的输出与前面4个深度可分离空洞卷积的输出特征图[0085]最后将4个输出特征图进行元素级别的相加融合，并与最开始的输入特征图进行元素级相加实现对原始特征图的注意力加权操作，防止因网络深度增加而导致梯度消散，9[0094]对于第2-4个分支以不同采样率的深度可分离空洞卷积并行采样获取不同尺度的[0101]原ASPP模块的参数量为2644480，改进后的多尺度空洞空间金字塔池化Imp_ASPP卷积操作。通过后续实验证明，利用CONV_NS模块替换YOLOv5方法框架中的下采样卷积模[0115]采用目前应用较多的交通道路场景数据集KITTI数据集，证明融合了各个改进模块的MSAT-YOLOv5在交通道路场景中检练图片和7518张无标注信息的测试图片。本发明使用7481张带有标注信息的图片进行实[0120]由于本发明的实验数据集是基于VOC数据集的格式制作的，为了评价所设计出来[0132]本发明实验采用KITTI数据集中的2D目标检测子数据集，将数据集按trainval:[0134]按照提出的ATTShuffle_res2net_s的结构图，将其中的ATTention模块利用目前并将替换好后的ATTShuffle_res2net_s结构按照所介绍的融合策略，与MS-YOLOv5的主干[0137]从上表可以看出，将目前计算机视觉领域内几种常见的注意力机制方法融入到样的数据采样手法，导致Car类别的精度有所下降，但是在本发明提出的ATTShuffle_颈残差结构的最终结构，在测试集上的精度(Map(@.5))为87.67较baseline提高了[0139]实验结果如表3所示，从实验结果可以看出提出的MSCA注意力机制融入到路径聚的精度下降，恢复到了和YOLOv5方法差不多的水平。同时另外两个类别(Cyclist、(Map(@.5))为88.66较baseline提高了1.21％。每个类别都有一定提升，分别提升了[0142]将提出的MSAT-YOLOv5和改进的道路场景目标检测方法进行对比。与原版的度小样本数量的目标的精度也有所提升，Cyclist提升了8.59Pedestrain提升了边列为MS-YOLOv5的检测效果图。对本章前面提出的几种MS-YOLOv5方法还存在的改进地本数量小尺度目标(Cyclist、Pedestrian)的检测精度还有提升的空间。3)当出现遮挡情