【《基于改进SSD的水下光学图像感兴趣目标检测算法分析案例》7300字】

基于改进SSD的水下光学图像感兴趣目标检测算法分析案例目录TOC\o"1-3"\h\u15668基于改进SSD的水下光学图像感兴趣目标检测算法分析案例 1142781.1SSD目标检测算法 1132481.2改进的SSD网络结构模型的构建 2323021.2.1SEB模块 280661.2.2DSCB模块 5180751.2.3改进的SSD_MV2模型 6187541.3实验与结果分析 8199431.3.1目标检测算法的性能比较 8319651.3.2基础网络SEB模块扩张系数对模型性能的影响 10207961.3.3DSCB模块对网络模型性能的影响 11在复杂的水下环境中，可见度低和颜色偏差导致图像质量普遍较差；除此之外，小目标和目标聚合的问题导致可提取的信息较少，难以取得满意的结果。在以往基于深度学习的水下目标检测研究中，大部分研究主要集中在利用大型网络提高检测精度；导致模型体积大，参数多，检测速度慢；因此，海洋环境下目标检测技术的应用需要更好的实时性和轻量级性能。本章中，将在SSD原有算法的基础上，通过自适应卷积层来对过去传统的卷积层和池化层进行替换处理，同时于特征图通道加权过滤层中添加另外两个模块，一是卷积层，二是全连接层，从而设计一种能够被广泛使用在水下目标检测领域中的新型网络模型。1.1SSD目标检测算法SSD(SingleShotMulti-boxdetection)算法通过CNN提取特征的方式来完成类别概率预测过程以及未知回归过程等，从而有利于达到一步检测的目的。本文在图1.1中展示了基于SSD水下目标检测实际原理：(a)检测图(b)8x8特征图(c)4x4特征图图1.1SSD目标检测原理图在图片输入之后，首先通过CNN提取特征的方式获取得到尺度不一的特征图；在所有的像素点处嵌入４个尺度不一的锚框，通过小卷积核来对于所有框的种类以及具体坐标情况进行计算；对锚框的结果以及真实数据之间的匹配度情况进行分析，同时让正确的框变成正样本，除此以外的所有的框全部是负样本。另外预测不同尺度特征图后的SSD，以进一步对大小不一的目标进行预测。本节在图1.2中展示了SSD的整体网络结构，在该结构中，主干网络中主要嵌入了VGG16，其次还在主干网络后边嵌入了卷积层，基于各个尺度来完成特征提取，最终获取得到尺度不一的特征图，同时基于此，完成预测特征图后边过程。图1.2SSD网络结构示意图与传统的FasterR-CNN相比来说，在检测速度方面更胜一筹，能够通过锚框机制以及多尺度预测的方式来保证较佳的检测精度。另一方面，SSD算法却又在较小目标的检测效果不佳。1.2改进的SSD网络结构模型的构建水下目标的种类多样，本节主要利用改进SSD-MV2基础网络以及新型的附加特征来进行网络特征提取模块的提取工作，保证水下光学图像目标检测的效果。本文用ResNet卷积神经网络代替SSD的VGG卷积神经网络作为目标检测的基础网络，基于IRB模块添加通道可选择组件，设计了一个通道可选择的新型的轻量化特征提取模块(SEB)；为了提高网络模型的检测速度，还添加了深度分离可变形卷积模块(Depth-wiseSeparableConvolutionBlock，DSCB)，该模块能够使得网络模型的特征提取能力显著提升，还能够在某种程度上减少网络模型参数量，增加检测速度。在此基础上，得到了一种新的基于SSD的目标检测网络模型，新的网络模型对水下光学图像目标具有更好地适用性。1.2.1SEB模块在水下光学图像目标检测领域中，出于对目标检测模型检测高精度的考虑，本课题基于IRB模块设计了可以被用在轻量化特征提取领域中的通道可选择的新型的SEB模块，具体图像被展示在图1.3中。在该模块中，添加了通道可选择组件，其能够通过注意力机制的方式来对通道数据进行合理分析与检测，以进一步增强网络性能结构，且并不显著增加计算成本，通道可选择组件卷积核可变形组件利用卷积核形变准确捕捉目标特征来提高网络的性能。根据图1.3的结构图像能够发现，SEB模块主要采取了传统的反残差络结构，实施的战略是先进行“扩张”后进行“压缩”，在该结构中主要包括了扩张层、通道可选择组件以及可变形卷积组件，在这里，主要被用来对特征通道扩张的输入；可变形卷积组件能够利用学习卷积核形态来完成水下感兴趣目标特征的提取过程；通道可选择组件能够利用学习权重的方式来对所有信息通道进行有效选择；压缩层的功能主要在于压缩特征通道，使其数量保持同输入特征之间的一致性。图1.3SEB和SDB模块示意图在所有的输入特征，与分别为输入特征内的尺度大小、输入特征的通道数。而输入特征到达SDB模块中的支路网络，其中一个网络的功能主要在于提取水下感兴趣目标特征并进行有效选择；另一个网络的功能主要在于让输入特征处于一个常数值，同时将得到的结果同上一个网络中涉及到的输出特征值进行相加处理。在下侧支路网络中所涉及的输入特征会经过扩张层，通过如下所示的公式来计算得到输出特征值：（4-1）在这里，D和分别被用来表示原始输入特征、扩张层后的特征，卷积核大小控制在，卷积核数量为。于可变形卷积组件内添入输出特征，通过以下公式计算得到输出特征：（4-2）（4-3）在这里，主要指的是为中心计算得到的可变形卷积组件输出特征，和被用来表示指的是卷积核权重以及内的坐标枚举，，指的是的偏移量。计算期间，并非对卷积核的形状进行改变，应该全面重新整合所有的输入特征，达到卷积核的形变的目的。具体而言，通过标准卷积的方式获取最终的输出特征。一般来说，都是一个小数，而图像中所涉及到的非整数的坐标是非常难以使用的。必须利用双线性插值方式来计算得到与该坐标4个特征点的距离以确定该点的数值（4-4）在该公式中，主要指的是Oh.距离最近的4个特征点，主要指的是的系数，计算的主要来源是偏移量。可变形卷积组件可以将输入图像涉及的边沿特征全部保存下来，从而有效实施零填充(zero_padding)填充。从理论的角度来看，在填充某一个的过程中都应该超过卷积核尺寸特征图，同时还要保证实现可变形卷积组件的有效计算。一旦填充，特征图内的有效特征点也会显著减少，那么双线性插值重构特征图则将出现非常多的各种有用信息。在这之后，输出特征还将被添加到通道选择组件中，对应的输出特征数学公式可以表示成：（4-5）（4-6）在这里，主要指的是经过通道选择后对应的通道特征,指的是通道选择系数，；是全局池化函数，输出的特征维度可以通过来进行表示；主要指的是第1全连接层，输出的特征维度可以通过来进行表示，并且d通常为16；指的是第2全连接层，输出的特征维度通过来表示；softmax()指的是归一化指数函数。通道压缩，计算公式如下所示：（4-7）式中，表示通道压缩后的特征。由以上各式，最后可以得到SDB模块的输出特征数学表达式：（4-8）主要指的是SDB模块的输出特征，，特征图尺寸可以通过来进行表示，其通道数主要指的是。1.2.2DSCB模块对于传统的卷积神经网络来说，其内部的卷积核的几何结构非常固定，保持不变。举个例子，可以通过等宽等高的正方形卷积核，对几何变换建模的能力进行有效约束。一般来说，可变形卷积网络模型能够基于卷积神经网络发挥作用，但其在几何变换建模方面却面临诸多问题。设计新方法，也就是通过添加学习的偏移量，将其嵌入式标准卷积核上，增强采样网络的自由变形性。在可变形卷积核中，所有的元素皆基于相关原则完成偏移，并且采样的坐标出现了显著的改变，那么进一步增强卷积神经网络内部几何变换建模能力，有利于增强水下目标的识别检测水平等。由于可变形卷积可以促进卷积网络的运行时间的增加与延长，并且各种复杂场景特征提取过程中会面临诸多问题，所以本课题设计一种深度分离可变形卷积。在该可变形卷积中主要通过嵌入偏移卷积的方式来达到标准卷积核变形学习的目的。实际偏移卷积期间，通常会涉及普通的标准卷积，但本课题中涉及到的深度分离可变形卷积，能够有效分离卷积空间与通道，一方面能够从某种程度上减少模型参数，以进一步提升模型的鲁棒性以及特征提取能力;另一方面还能够提升模块运行的速度以及模型运行速度。深度分离可变形卷积的步骤如下:基于输入特征图，通过深度可分离卷积的方式来完成数据的采样过程，并计算得出上所以有像素点对应的偏移量接着通过双线性插值算法来计算获取所有像素点偏移的像素量，也就是说，通过卷积核上产生形变以进一步实现不固定形状采样；基于输入特征图上，通过偏移量的卷积核来完成可变形卷积的过程，也就是说，加和计算所有权中的采样值。假定输入特征图尺寸可以通过来进行表示，数量可以表示成，深度卷积核大小可以表示成，数量可以表示成，那么在深度可分离卷积的基础上所获取到的特征图应该保持大小不变的形状，那么这便是，数量为2，输出主要为输入特征图x上的所有像素点所对应的偏移量，其并非整数，应该通过双线性插值算法来确定偏移量的偏移像素量。通过双线性插值算法，可以保证最终所得到的像素偏移量的精准性，也能够同时反向传播网络。基于偏移像素量的输入特征图，以进一步完成卷积操作，上述操作类似于基于原始特征图上通过引入可变形的卷积核的方式来完成卷积过程。具体公式如下所示：（4-9）在这里:指的是输出特征图所有的像素点位置；指的是卷积核权重矩阵;指的是矩阵中的每个权重值;指的是二维双线性插值核;指的是利用深度卷积学习获取的随机偏移量;表示的是映射至输入特征图x所对应的整体空间坐标情况。图1.4深度分离可变形卷积根据图1.4，基于输入层特征映射，通过深度可分离卷积计算出偏移采样特征情况，接着利用双线性插值算法来集中处理偏移量的采样点出去，因为有些卷积核以及原卷积核在变形之后能够表现出一致的空间分辨率，同时在扩张维度高度类似，那么最终所获取得到的输出偏移域及输入映射应该在空间分辨率上保持一致，也就是N个二维通道也存在N个二维偏移量，网络模型训练期间，梯度主要利用双线性运算来达到反向传播的目的，并且通过共同学习原卷积核以及偏移卷积核的方式能够计算得到输出特征的权值参数量。与可变形卷积相比来说，深度分离可变形卷积参数量明显减少，且在运行速度方面拥有更大的优势，网络变得更加稀疏，提升了特征提取能力。本文基于ResNet-50网络模型做了系统优化，提出了改善后的可变性卷积替换标准卷积，以增强模型的特征提取能力，通过最少的模型参数来增强模型检测的实时性与精度。1.2.3改进的SSD_MV2模型SEB依据IRB，增添了通道可选择组件，在通道可选择组件中涉及到两个全连接层，因此计算成本明显减少。由于DSCB模块中的可变形卷积组件新增双线性插值计算和两个卷积层计算成本相对较高。出于对SSD-MV2模型综合性能的考量，在基础网络中嵌入了轻量化的SEB模块，所以附加特征提取网络可以通过DSCB模块来提升目标适应性。图1.5改进的SSD-MV2目标检测模型改进的SSD-MV2由基础网络，候选框生成，特征提取网络以及卷积预测所共同组成。在网络结构方面，MobileNetV2SEB高度类似于MobileNetV2，也可以通过SEB模块对IRB模块进行取缔处理。就改进SSD的目标检测网络模型来说，在特征提取网络中完成图像输入过程，通过深度可分离可变形卷积的方式来进一步增强网络提取能力，将4个卷积层引入到网络后端中，同时通过选择ResNet-50后端中的res4f、res5c以及模型最后的4个卷积，从而构造为6个卷积层，以进一步方便后续的检测。其特征图尺寸陆续减小，对于你这个不一样的预测锚框。res4f中的特征图所有像素点均包含了4个锚框;res4f中的对应特征图所有像素点均包含了6个锚框。同样的，第三、第四个卷积层中的特征图所对应的所有像素点均包括了6个锚框，最后2个卷积层中包括了4个锚框。在锚框大小生成规则方面，高度类似于原始SSD一样。能够基于目标特征信息完整这一重要基础来提升模型的多样性并减少模型计算量与模型结构，进一步增强模型的检测使用效果与几何模型的建模能力，提升复杂特征提取能力，增强水下目标检测速度与进度。特征提取网络涉及到提取6个尺度的特征，但在MobileNetV2SEB内Conv14以及Conv19通常被界定成是特征提取网络内的以下两种特征层，分别是第1特征层以及第2特征层，所对应的输入特征图大小分别是38x38以及19x19，所对应的输出特征图大小分别是19x19以及10x10；第3、第4、第5和第6尺度特征层分别指的是Conv20_1、Conv20_2、Conv20_3以及Conv20_4，这些输入特征图大小分别如下所示：10x10、5x5、3x3和2x2，输出特征图尺寸为5x5、3x3、2x2和1x1。Conv20_1、Conv20_2、Conv20_3和Conv20_4四个卷积层通常被叫做是附加特征提取网络，在特征区分度方面远远超过了基础网络内所涉及到的Conv14以及Conv19特征层，能够更有利于检测水下感性目标。由于最后1个特征提取层Conv20_4对应的输入特征图的大小是2x2，且有效特征点较少，因此Conv20_4主要通过SEB模块来实施，其他部分如Conv20_1，Conv20_2以及Conv20_3都涉及SDB模块。候选框的生成区域主要按照预先定义的尺度以及纵横比的参数来确定候选框，这些候选框的数量与大小之间都存在一定的差异；但对于卷积预测部分来说，主要用来判断所有候选框内目标的具体种类以及坐标情况，同时通过非极大值抑制算法来优化处理候选框内目标。无论是改进的SSD-MV2基础网络，还是附加特征提取网络涉及的模块参数，都遵循了SSD-MV2模块相关原则，具体来说，基础网络内通过引入先扩张后压缩的方法，但是在附加特征提取网络模块中，主要涉及先压缩后扩张的方法，因此出于对SEB模块内第1个和最后1个卷积层被认定成是扩张层以及压缩层的考虑，在附加特征提取网络模块中依然通过先压缩后扩张的方法，根本目的在于让其在通道数方面等同于SSD-MV2，同时还能够有效节省计算成本。本课题中收集到的SSD-MV2附加特征提取网络Conv20_1，其初始通道以及扩张系数分别是1280与0.2，但Conv20_2的初始通道以及扩张系数分别是512与0.25，Conv20_3对应值分别是256与0.5。但是无论是可变形组件，亦或通道可选择组件，皆不过多影响输入特征尺寸、通道数等，并且压缩层的卷积核的大小主要是1x1，在压缩系数方面，所对应的值分别是5，4以及2，在输出通道数量方面，对应的值分别是1280，512和256。1.3实验与结果分析本节设计以下试验来提升算法优越性能。在实验过程中，选择了以下几种定量评价指标，第一是mAP，第二是参数大小，第三是平均检测时间。在实验之前，首先对水下柔性目标图像做进一步的标注处理，设计数据集。在本实验中，水下生物模型目标共计6种，利用网络模型训练的方法以及测试结果的方法来就DD-SSD模型在检测水下目标方面的情况进行分析，探讨准确性以及实时性等。还通过引入了GPU训练以及CUDNN等方法来提升处理速度，计算机中的CPU以及GPU分别是corei7处理器以及GTX1070。结合公开数据集ImageNet来预训练所得到的改进的特征提取网络模型，接着通过自制水下目标数据集对来全面训练改进SSD的水下目标检测模型，分析检测过程，确定速度与精度等。依据公开数据集VOC，来完成单层以及多层附加卷积层等的检测操作，从而增强算法的有效性。1.3.1目标检测算法的性能比较本实验比较分析SSD-MV2，SSD-MV2SEB与本文改进的SSD目标检测方法公开数据集VOC中的不同点。SSD-MV2中涉及到的基础网络的特征提取模块主要表示成IRB，相比来说，在附加特征提取网络中，所对应的特征提取模块可以表示成IRB。但是在SSD-MV2SEB的基础网络中，通过特征提取模块来形成SEB，于附加特征提取网络内采用的特征提取模块可以表示成SEB。另外，基础网络IRB模块以及SEB模块的扩张系数全部都是4；在SSD-MV2IRBD的基础网络内，使用的特征提取模块表示成SEB，在附加特征提取网络中，使用到特征提取模块是IRBD，对应的扩张系数也是4，IRBD主要指的是IRB模块内添加了可变形卷积模块；本文方法的基础网络的特征提取模块为SEB，附加特征提取网络为DSCB模块。对迭代500次之后检测模型的VOC测试数据集检测精度以及检测时间等情况进行分析并列举在表1.2中。表1.2目标检测模型性能比较从表1.2可以发现，本课题中所使用方法得到的检测进度明显比其他的方法高出很多，与SSD-MV2、SSD-MV2SEB以及SSD-MV2DSCB等方法相比来说，分别高出的比重达到了3.04%，2.19%以及1.31%，在模型参数方面也高出很多，分别高出的值达到了1.7MB3.9MB和0.1MB，围绕运算时间层面进行分析发现高出的值分别是6.66ms，3.85ms和0.34ms。对于通道可选择组件和卷积核可变形组件而言，运用于检测水下光学图像改进目标领域中时，就两种模块间能够起到一定的促进作用，但明显增加了计算成本。如果以检测精度来看，本文方法更适合基于水下光学图像感兴趣目标检测任务。为了更直观地说明本文方法对水下光学图像目标的检测效果，利用改进的SSD模型对水下感兴趣目标进行检测，结果如图1.6所示图1.6改进的SSD-MV2对海洋生物的目标检测结果1.3.2基础网络SEB模块扩张系数对模型性能的影响本课题中通过调控扩张系数，研究了改进的SSD-MV2基础网络SEB模块显著影响网络模型性能的情况。研究结果提示，于改进的SSD-MV2附加特征而言，其在调控网络Conv20_1，Conv20_2以及Conv20_3期间对应的扩张系数分别通过2，4，6和8来进行表示。在迭代500次之后，在表1.3列出了研究结果。表1.3基础网络扩张系数对SSD-MV2SDB性能的影响扩张系数检测精度参数大小检测时间297.8311.713.66497.8811.913.86698.0317.913.90898.3621.411.12根据表1.3的结果能够清晰发现，基础网络SEB模块扩张系数增加之后，明显提升了改进SSD-MV2模型整体检测精度。尤其是扩张系数为8对应的检测精度甚至为98.36%。在基础网络扩张系数增加的同时，改进SSD-MV2模型参数也日趋提升，请模型参数在扩张系数为8的一度飙升至21.4MB。但是相比来说，改进的SSD-MV2网络模型在检测时间方面却