CN116245860B 一种基于超分-yolo网络的小目标检测方法 （福州大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN116245860B(65)同一申请的已公布的文献号学城乌龙江北大道2号福州大学(72)发明人陈丹羊淼海谭钦林哲柯寅(74)专利代理机构福州元创专利商标代理有限公司35100专利代理师郭东亮蔡学俊(54)发明名称一种基于超分-yolo网络的小目标检测方法本发明提出一种基于超分-yolo网络的小目标检测方法，以yolo网络作为基础网络架构，与超分模块相结合并加入位置注意力机制、自注意力机制以及引入递归空洞卷积模块，包括以下步骤；步骤一、采集图像并对图像进行预处理生成原图；步骤二、以超分拟合网络与经过改进后的yolo目标识别网络联接，构成超分-yolo网络模型，对原图处理并输出分辨率更高的超清图像，再对该超清图像进行提取特征、目标框回归分类与物体检测识别等操作，得到被识别的图像，形成训练用数据集；步骤三、训练小目标物体检测模型；步骤四、将训练好的模型用于小目标物体检测；本发明可以通过更大的感受野获取更多的获取目标物体图像图像预处理成等宽的小正方形制作样本，添加像素级标签输入到带有超分拟合结构的yolo网络识别出物体并进行评分得出最终检测结果21.一种基于超分-yolo网络的小目标检测方法，其特征在于：所述方法以yolo网络作为基础网络架构，与超分模块相结合并加入位置注意力机制、自注意力机制以及引入递归空步骤一、采集图像并对图像进行预处理生成原图；步骤二、以超分拟合网络与经过改进后的yolo目标识别网络联接，构成超分-yolo网络模型，对原图处理并输出分辨率更高的超清图像，再对该超清图像进行提取特征、目标框回归分类与物体检测识别操作，得到被识别的图像，形成训练用数据集；步骤四、将训练好的模型用于小目标物体检测；所述步骤二中，超分拟合网络是特征提取网络与超分线性拟合网络组合而成，原图经过超分拟合网络输出分辨率更高的超清图像；具体包括：步骤2-1、所述超分拟合网络由超分特征提取网络Encoder与超分线性拟合网络LIIF组合而成；超分特征提取网络Encoder采用递归空洞卷积获取原始图像的浅层特征，再连接一个残差组进行深度特征提取，然后再采用亚像素卷积的方式进行上采样，最后通过一个卷超分线性拟合网络先对经超分特征提取网络获得的特征张量进行展开，将隐特征的局部近邻对齐并进行特征丰富处理，然后对展开变换后的特征进行解码操作，生成超清图像；步骤2-2、将生成的超清图像送至改进后的yolo目标识别网络进行特征提取，再将提取到的特征经过网络头部模块进行特征融合处理，得到大、中、小三种尺寸的特征，融合后的特征被用于预测目标种类和位置，最后输出检测结果；所述改进后的yolo目标识别网络，其改进点在于，改进点一、使用三个卷积层通过前向传播输入到Hornet,组合成新的架构ConvHB,并用ConvHB模块代替原yolo骨干网络b空间交互建模方式；改进点二、用卷积层Conv和VisionTransformer模块ViT连接形成新的CViT模块，通过引入上下文信息以提高对于小目标物体的检测；改进点三、引入位置注意力机制以突显小目标物体位置信息，将特征X输入卷积核大小为1×W和H×1的两个卷积层，分别生成A和B两个向量；在A和B之间进行一个矩阵乘法的操作，并用一个softmax层来获得位置注意力图S;将原特征X乘上位置注意力图S,进而和特征X进行元素求和，生成最终增强后的特征图Y;最后将位置注意力机制WZ模块移植到目标识别主干网络的最后一层当中；所述步骤三包括以下步骤；步骤3-1、参数初始化设置：在训练过程中，图像大小调整为Hi×Wi;训练次数、初始学习速率和批量大小也设置为a、b和c;采用余弦退火学习率调整方法调整学习率b;选择Adam作为优化器以使数据集更快得到最优值；在训练阶段，进行随机裁剪，随机亮度，随机旋转的图像增强操作；3损失值最小的模型；体表述如下：式中，使用CIOUloss计算矩形框损失，置信度损失lossrect与分类损失lossclc都用BCEloss计算，即以带1og的二值交叉熵损失进行计算；所述改进后的yolo目标识别网络，其主体采用改进的yolov7网络架构，包括输入Input、骨干网络Backbone、头部Head,将超清图像经过四个CBS模块后，送入到带有空洞递2.根据权利要求1所述的一种基于超分-yolo网络的小目标检测方法，其特征在于：所述步骤一包括以下步骤；步骤1-1、图像获取：将相机摆放至特定位置，再通过相机获取小物体图像，即带有小目标物体的图像；步骤1-2、图像切割：根据拍摄到带有小目标物体的图像，使用双线性插值将所有图像以图像中的每个像素点为中心填充成小正方形，即对图片的每一个像素进行扩充处理；步骤1-3、样本集制作：将上一步带有小目标的小正方形图像手动添加像素级标签，制作成小目标样本集。4一种基于超分-yolo网络的小目标检测方法技术领域[0001]本发明涉及小目标物体检测领域，尤其是一种基于超分-yolo网络的小目标检测方法。背景技术[0002]小目标检测一直是目标检测领域的一大难点，尽管在过去几年内，目标检测的算标极易丢失。小目标检测已成为计算机视觉中最具有挑战性的任务之一。此外，用于小尺寸目标检测的大规模基准测试数据集仍然不够全面。[0003]随着深度学习的深入研究，基于卷积神经网络的目标检测算法也得到了长足进展，特别是面向大、中目标的检测算法，基本能满足各种场景下的需求。小目标在现实生活中也大量存在并且具有着广泛的使用前景，例如在遥感图像处理、无人机导航、自动驾驶、医学诊断，人脸识别等多个应用领域中发挥了巨大作用。由于小目标本身尺度小在图像中所含信息量较少，容易造成目标模糊、细节特征不明显，从而制约着小目标检测性能的进一步发展。[0004]基于深度学习的小目标检测方法，是在双阶和单阶算法基础上加以完善的。双阶段方法将检测问题分为两步走，首先筛选出一些可能存在的候选区域，然后针对每个候选区域，进行目标特征提取。这种方法效率相对较低，无法满足实时性要求。而单阶段与双阶段算法目标检测流程有所不同，可以进行端到端检测，无需进行候选区的筛选，运行速度更[0005]中国专利申请号为：CN202110618368.4,名称为：一种红外图像超分辨率及小目标检测方法。该方法是一个通过可见光图像辅助红外图像的超分辨率重构算法，基于可见光图像的超分辨率技术来提高原始输入的红外图像的图像分辨率；将分辨率提升后的红外图像输入到所设计的生成对抗网络中，在所设计的生成器中，可以直接将原始图像输入到设计的网络中，结合提取到的高层特征和低层特征，尽可能保证图像细节纹理特征的完整性。该方法由于引用生成对抗网络，训练过程漫长，易消耗大量资源，且单方面从红外像图像出[0006]中国专利申请号为：202210736078.4,名称为：一种轻量化小目标检测方法。该方法是一种轻量化小目标检测方法，通过对待检测图像进行增强、缩小、内嵌到增强图像中，再采用基于RetinaTarget的小目标检测网络进行目标检测，可实现对近距离大目标和远距离小目标的同时检测。此方法将小图片嵌入到大图像中，使用特征增强在将图像进行放缩的时候，图像会损失部分原有细节，出现模糊的图像时容易出现漏检的情况。发明内容[0007]本发明提出一种基于超分-yolo网络的小目标检测方法，可以通过更大的感受野获取更多的物体特征信息，应用于小目标检测时，可以有效实现小物体的提取。5[0008]本发明采用以下技术方案。[0009]一种基于超分-yolo网络的小目标检测方法，所述方法以yolo网络作为基础网络架构，与超分模块相结合并加入位置注意力机制、自注意力机制以及引入递归空洞卷积模块，以凸显小目标位置信息，增强细节特征；包括以下步骤；[0010]步骤一、采集图像并对图像进行预处理生成原图；[0011]步骤二、以超分拟合网络与经过改进后的yolo目标识别网络联接，构成超分-yolo网络模型，对原图处理并输出分辨率更高的超清图像，再对该超清图像进行提取特征、目标框回归分类与物体检测识别等操作，得到被识别的图像，形成训练用数据集；[0012]步骤三、训练小目标物体检测模型；[0013]步骤四、将训练好的模型用于小目标物体检测。[0014]所述步骤一包括以下步骤；[0015]步骤1-1、图像获取：将相机摆放至特定位置，再通过相机获取小物体图像，即带有小目标物体的图像；[0016]步骤1-2、图像切割：根据拍摄到带有小目标物体的图像，使用双线性插值将所有图像以图像中的每个像素点为中心填充成小正方形，即对图片的每一个像素进行扩充处[0017]步骤1-3、样本集制作：将上一步带有小目标的小正方形图像手动添加像素级标签，制作成小目标样本集。[0018]所述步骤二中，超分拟合网络是特征提取网络与超分线性拟合网络组合而成，原图经过超分拟合网络输出分辨率更高的超清图像；具体包括：[0019]步骤2-1、所述超分拟合网络由超分特征提取网络Encoder与超分线性拟合网络LIIF组合而成；超分特征提取网络Encoder采用递归空洞卷积获取原始图像的浅层特征，再连接一个残差组进行深度特征提取，然后再采用亚像素卷积的方式进行上采样，最后通过一个卷积层重建放大的特征，获得特征张量；[0020]超分线性拟合网络先对经超分特征提取网络获得的特征张量进行展开，将隐特征的局部近邻对齐并进行特征丰富处理，然后对展开变换后的特征进行解码操作，生成超清图像；[0021]步骤2-2、将生成的超清图像送至改进后的yolo目标识别网络进行特征提取，再将提取到的特征经过网络头部模块进行特征融合处理，得到大、中、小三种尺寸的特征，融合后的特征被用于预测目标种类和位置，最后输出检测结果。[0022]所述改进后的yolo目标识别网络，其改进点在于，[0023]改进点一、使用三个卷积层通过前向传播输入到Hornet,组合成新的架构ConvHB,并用ConvHB模块代替原yolo骨干网络backbone的ELAN模块，降低了运算复杂度，形成高有效的空间交互建模方式；[0024]改进点二、用卷积层Conv和VisionTransformer模块ViT连接形成新的CViT模块，通过引入上下文信息以提高对于小目标物体的检测；[0025]改进点三、引入位置注意力机制以突显小目标物体位置信息，将特征X输入卷积核大小为1×W和H×1的两个卷积层，分别生成A和B两个向量；在A和B之间进行一个矩阵乘法的操作，并用一个softmax层来获得位置注意力图S;将原特征X乘上位置注意力图S,进而和6特征X进行元素求和，生成最终增强后的特征图Y;最后将位置注意力机制WZ模块移植到目标识别主干网络的最后一层当中。[0026]所述步骤三包括以下步骤；[0027]步骤3-1、参数初始化设置：在训练过程中，图像大小调整为Hi×Wi;训练次数、初始学习速率和批量大小也设置为a、b和c;采用余弦退火学习率调整方法调整学习率b;选择Adam作为优化器以使数据集更快得到最优值；在训练阶段，进行随机裁剪，随机亮度，随机旋转的图像增强操作；[0028]步骤3-2、开始训练：将训练[0029]步骤3-3、更新参数：采用的损失函数包括三部分：矩损失；输出损失值最小的模型。式具体表述如下：[0033]式中，使用CIOUloss计算矩形框损失，置信度损失lossrect与分类损失lossclc都用BCEloss计算，即以带1og的二值交叉熵损失进行计算。[0034]所述改进后的yolo目标识别网络，其主体采用改进的yolov7网络架构，包括输入Input、骨干网络Backbone、头部Head,将超清图像经过四个CBS模块后，送入到带有空洞递[0035]本发明将yolo网络作为基础网络架构，提出与超分模块相结合，并加入位置注意力机制、自注意力机制以及引入递归空洞卷积模块；更能凸显小目标位置信息，增强细节特征；由于残差块能融合多尺度的感受野，因此该方法可以通过更大的感受野获取更多的物体特征信息；本发明小目标检测方法应用到小目标检测时，可以有效实现小物体的提取。[0036]相较于现有技术，本发明具有[0037](1)本发明提出了一种基于超分-yolo网络的小目标检测方法，实现了对小目标物[0038](2)设计了用以凸显小目标位置的位置注意力机制，能够容忍其它因素对目标的干扰，提高了检测的鲁棒性。[0039](3)设计了超分的网络架构，能够有效结合目标识别网络，提高小目标物体的识别[0040](4)采用多重残差块融合多尺度的感受野，结合上下文信息，有效确定目标物体的位置信息。附图说明[0041]下面结合附图和具体实施方式对本发明进一步详细的说明：[0042]附图1是本发明完成图像采集、超分和识别的流程示意图；[0043]附图2是本发明所述的SR-yolo的网络结构示意图；[0044]附图3是本发明所述的超分网络结构示意图；7[0045]附图4是图2目标识别网络结构的补充示意图；[0046]附图5是本发明所述的位置注意力机制结构示意图。具体实施方式[0047]下面结合附图，对本发明的技术方案进行具体说明。[0048]如图所示，一种基于超分-yolo网络的小目标检测方法，所述方法以yolo网络作为基础网络架构，与超分模块相结合并加入位置注意力机制、自注意力机制以及引入递归空洞卷积模块，以凸显小目标位置信息，增强细节特征；包括以下步骤；[0049]步骤一、采集图像并对图像进行预处理生成原图；[0050]步骤二、以超分拟合网络与经过改进后的yolo目标识别网络联接，构成超分-yolo网络模型，对原图处理并输出分辨率更高的超清图像，再对该超清图像进行提取特征、目标框回归分类与物体检测识别等操作，得到被识别的图像，形成训练用数据集；[0051]步骤三、训练小目标物体检测模型；[0052]步骤四、将训练好的模型用于小目标物体检测。[0053]所述步骤一包括以下步骤；[0054]步骤1-1、图像获取：将相机摆放至特定位置，再通过相机获取小物体图像，即带有小目标物体的图像；[0055]步骤1-2、图像切割：根据拍摄到带有小目标物体的图像，使用双线性插值将所有图像以图像中的每个像素点为中心填充成小正方形，即对图片的每一个像素进行扩充处[0056]步骤1-3、样本集制作：将上一步带有小目标的小正方形图像手动添加像素级标签，制作成小目标样本集。[0057]所述步骤二中，超分拟合网络是特征提取网络与超分线性拟合网络组合而成，原图经过超分拟合网络输出分辨率更高的超清图像；具体包括：[0058]步骤2-1、所述超分拟合网络由超分特征提取网络Encoder与超分线性拟合网络LIIF组合而成；超分特征提取网络Encoder采用递归空洞卷积获取原始图像的浅层特征，再连接一个残差组进行深度特征提取，然后再采用亚像素卷积的方式进行上采样，最后通过一个卷积层重建放大的特征，获得特征张量；[0059]超分线性拟合网络先对经超分特征提取网络获得的特征张量进行展开，将隐特征的局部近邻对齐并进行特征丰富处理，然后对展开变换后的特征进行解码操作，生成超清图像；[0060]步骤2-2、将生成的超清图像送至改进后的yolo目标识别网络进行特征提取，再将提取到的特征经过网络头部模块进行特征融合处理，得到大、中、小三种尺寸的特征，融合后的特征被用于预测目标种类和位置，最后输出检测结果。[0061]所述改进后的yolo目标识别网络，其改进点在于，[0062]改进点一、使用三个卷积层通过前向传播输入到Hornet,组合成新的架构ConvHB,并用ConvHB模块代替原yolo骨干网络backbone的ELAN模块，降低了运算复杂度，形成高有效的空间交互建模方式；[0063]改进点二、用卷积层Conv和VisionTransformer模块ViT连接形成新的CViT模块，8通过引入上下文信息以提高对于小目标物体的检测；[0064]改进点三、引入位置注意力机制以突显小目标物体位置信息，将特征X输入卷积核大小为1×W和H×1的两个卷积层，分别生成A和B两个向量；在A和B之间进行一个矩阵乘法的操作，并用一个softmax层来获得位置注意力图S;将原特征X乘上位置注意力图S,进而和特征X进行元素求和，生成最终增强后的特征图Y;最后将位置注意力机制WZ模块移植到目标识别主干网络的最后一层当中。[0065]所述步骤三包括以下步骤；[0066]步骤3-1、参数初始化设置：在训练过程中，图像大小调整为Hi×Wi;训练次数、初始学习速率和批量大小也设置为a、b和c;采用余弦退火学习率调整方法调整学习率b;选择Adam作为优化器以使数据集更快得到最优值；在训练阶段，进行随机裁剪，随机亮度，随机旋转的图像增强操作；输出损失值最小的模型。式具体表述如下：[0072]式中，使用CIOUloss计算矩形框损失，置信度损失lossrect与分类损失lossclc都用BCEloss计算，即以带log的二值交叉熵损失进行计算。[0073]所述改进后的yolo目标识别网络，其主体采用改进的yolov7网络架构，包括输入Input、骨干网络Backbone、头部Head,将超清图像经过四个CBS模块后，送入到带有空洞递[0074]本例中，超分网络结构如图2中的超分拟合网络部分，由特征提取网络Encoder与超分线性拟合网络LIIF组合而成。[0075]特征提取网络Encoder采用递归空洞卷积获取原始图像的浅层特征，再连接一个残差组对图像进行深度特征提取，然后再采用亚像素卷积的方式进行上采样，最后通过一个卷积层Conv重建放大的特征。如图3所示。[0076]超分拟合网络(LIIF)首先经过对特征提取后的张量进行展开，目的是将隐特征的局部近邻对齐并进行了特征丰富，然后对展开变换后的特征进行解码操作，输出超清图像。[0077]本例中，目标识别网络主体采用改进的yolov7网络架构，将经过超分拟合网络得到的超清图像输入到改进的yolov7网络。yolov7网络主要包含了输入(Input)、骨干网络[0078](1)将超清图像经过四个CBS模块后，送入到带有空洞递归卷积的ConvHB模块，该模块替换了原来的ELAN模块，降低了运算复杂度并且有效的实现了空间交互建模。[0079](