【《高分辨率图像SDD目标检测的实现分析案例》8600字】

高分辨率图像SDD目标检测的实现分析案例目录TOC\o"1-3"\h\u1492高分辨率图像SDD目标检测的实现分析案例 1115711.1基于MultiCut的数据增强 1109261.1.1基于MultiCut的图像裁剪 1175141.1.2基于MultiCut的边缘处理算法 3148151.2基于MultiMix的图像融合 7260981.3基于细菌数据集的高分辨率图像检测的实验与分析 12325341.3.1细菌数据集的特征 12213771.3.2基于细菌数据集的消融实验 14202011.4AirbusShip卫星遥感图像的检测的实验与分析 18基于MultiCut的数据增强基于MultiCut的数据增强一共分为两步，其一对高分辨率的数据图进行裁剪，经过裁剪部分位于图像边缘的目标会随裁剪而丢失，因此，MultiCut对此部分目标进行边缘处理，以保证目标的完整性。基于MultiCut的图像裁剪裁剪细菌数据集是本文在数据增强方面的重要创新点之一，不同于火车底部数据图的裁剪，MultiCut引入了边缘处理算法，该算法可以有效避免被裁减后的小目标丢失。为什么引入MultiCut？很少有人会去直接训练尺寸特别大的图像，他们会选择图像切割的方法，将图片的尺寸近似于卷积神经网络输入图像的大小。本文采用随机裁剪的方式，从一张大尺寸的图片中截取一部分，如图4-1所示。从图中可以看出，我们从一张3027×2048的图像上，截取了大小为532×390的一部分。在同比例的条件下，被截取图像的目标更加清晰可见。很明显，532×390的宽高比更加利于卷积神经网络的训练。这是我们研究MultiCut的充分条件。除此之外，从图中还可以看出，经过随机切分，会导致部分目标也被切分。这样一来就会造成特征的缺失，从而导致训练出现欠拟合的现象。MultiCut可以通过特征修补，来弥补缺失的特征。这是我们研究MultiCut的必要条件。图4-1研究MultiCut的充分必要条件。MultiCut并不会像它的名字一般复杂。经过MultiCut剪切之后我们会得到新的特征值。对于其他类似细菌这样的数据集，需要考虑每张图的宽高比是否都一样，如果都一样则可以直接使用MultiCut，否则需要将所有的图片进行归一化。基于我们数据集的优点，每张图像的宽高都一样，我们不需要做归一化处理，可以直接使用MultiCut。在MultiCut中，它首先将原来的大图像切成更适合训练的小图像。确保每个小图是相同的大小,MultiCut均匀裁剪高分辨率图像，将其分成N行和M列。本文通过调整N和M这两个参数来控制小尺寸图像的数量。因此,通过裁剪,我们将获得N×M个小图,一个小尺寸图像在整个大图的位置我们用chip_ij表示，i表示在第i行，j表示在第j列，其中i∈(0N−1)和j∈(0M−1)。分别用W和H表示原始大尺寸图像的宽度和高度，则得到的图像芯片宽度为W/M像素，高度为H/N像素。为了简化符号，我们设w=W/M和h=H/N。此外，切割也会改变特征点的位置。具体来说，对于原始图像中给定的特征点(x,y)，其在所获得芯片中对应的位置x'=x−xw其中，∙表示向下取整。图4-2直观地展示了上面的切割过程，将一张分辨率为3072×2048的大尺寸细菌图像按顺序分为16个小尺寸图像，每个chip的宽度为768，高度为512。从图中可以看出，一些切割边缘的目标会被引入的切割破坏完整性，因为它们被分割成两个或四个图像chip，但在原始图像中是完整的。图4-2MultiCut的直观描述。图4-3通过目标越界和没有越界的对比，给出了越界目标在细菌数据图中的特性。如图所示，记f_w'表示特征框在数据图A中的左上角横坐标，f_h'表示特征框在数据图A中的左上角纵坐标，AB图4-3目标越界和没有越界的对比。图4-4目标越界的所有情况。基于MultiCut的边缘处理算法判定越界：并不是所有的特征box都如图4-4中的A所示。当b、c不在同一块区域，则边缘框有越界行为。我们就以QUOTEcc的位置来判断框属于那种越界。由图16B可以看出，MultiCut将特征图进行切分，重新定义成4个不同的特征框。4个特征框的特征类型不变，比如原来的框是细菌A，则切分后的四个小框还是细菌A。我们的特征框以小目标为主，因此那么做对我们的定位不会有任何的影响，对分类的影响可以忽略不计。图4-5给出了所有的越界可能。图4-5三种存在的越界形式，其中，我们以2×2的MultiCut为例，蓝色框表示目标的边缘框。为了处理这些目标不完整的问题，需要在相应的小图像中为损坏的目标构建两个或四个新的标签。为此，我们设计了一种边缘处理算法来快速构建这类SDD目标的新标签，该算法嵌入到MultiCut中。根据输入网络定义参数（N×M）的大小，判定高分辨率图像下的特征点对应在小尺寸图像的位置信息，记为fxfx',其中，(x,y)是高分辨率图像的特征点，(x’,y’)是对应小图上等价于(x,y)的特征点，w和h表示小尺寸图像的宽高，W和H表示高分辨率图像的宽高，i和j我们将根据图4-5详细描述边缘处理算法，该算法被用于PASCALVOC格式的数据集，其中每个大尺寸图像对应唯一的标签文件，每个目标对应两个特征点。算法分为以下几步:第一步：在指定的大尺寸图像的标签中，给出算法的输入项:objectk的两个特征点(x1,y1)，x2第二步：判断输入目标属于是否存在越界行为，当高分辨率图像被切割后，出现图4-5中A的情况，a,c两个点经过切割仍处在同一个小尺寸图像中，则objectk中的特征点可以直接由object第三步:从图4-5中B可以看出a，c不在同一小尺寸图中,objectk出现了横向越界，目标被分成了两部分，其中a和g确定一个新的目标objectd和c确定一个新的目标objcet_2第四步:从图4-5中C可以看出a，c不在同一小尺寸图中,objectk出现了纵向越界，目标被分成了两部分，其中a和e确定一个新的目标objectobjectf和c确定一个新的目标objcet_2第五步:从图4-5中D可以看出a，c不在同一小尺寸图中,objectk出现了横纵两部分的越界，目标被分成了四部分，其中a和b确定一个新的目标objectobjectg和c确定一个新的目标objcetobject其中f和d确定一个新的目标object_3objectb和c确定一个新的目标objcet_4第六步：将最后得到的object_1，object_2，图4-6给出了MultiCut在整个网络上的细节描述。从图中可以看出，A为我们标记好的完整图像，每张图的大小都是固定且唯一的。在进入网络训练之前，进行一次MultiCut，MultiCut算法得到的图片大小比例也是固定且唯一。因此，细菌数据虚拟增加了。最后在检测网络中计算被MultiCut处理之后图像特征。图4-6MultiCut在输入网络前的应用基于MultiMix的图像融合MultiMix的必要性。虽然通过裁剪细菌数据集已经可以直接输入网络训练，但是在精准度上仍然有更大的改善效果。其中求解预测目标和真实目标之间的误差采用经验风险最小化（ERM），一个数据集中的图像属于离散分布，记fx为连续分布的预测目标，y为连续分布的真实目标，f(xη)为一张图的预测目标，Ermf其中n表示数据集中图像的总数，Pδ表示经验分布。图像融合式最常见的数据增强方式，例如，Mixup[20]作为经典的融合算法，在数据增强方面有很好的实验效果。记xη,xμ为给定待融合图像，yη，yMixup=x=其中，x表示融合后的图像，y表示融合后的标签。由融合得到的新数据集特征服从邻域分布，将（26）式得到的结果带入到（25）式得到邻域分布，则邻域分布的期望误差l为Vrmf其中Pv替换了Pδ，v表示邻域分布,然而这种方法真的适合密集数据集吗？基于以上理论分析，本文随机取了800张MultiCut的结果图进行mixup实验，按照（25）式的思想进行融合，其中α=0.5，则λ~β0.5,0.5，平均图4-7Baseline与Mixup图4-8看出，多个目标叠加在一起，这会导致卷积神经网络难以检测目标和识别背景。这是我们不能直接使用Mixup的必要条件。图4-8基于mixup的图像融合由于我们的数据过于密集，甚至有些图单张就超过100个特征。我们在做融合时只保留一张图的特征标签，另一张做背景加强。本文提出一种新的融合方式BaseMix，该方法随机融合两张不同的图像，在融合之前计算两张图像对应标签中目标数量，其中目标较少的图像标签将被BaseMix舍弃，则基于BaseMix的图像融合为BseMix=x其中λ取随机数，分别取值为0.6、0.7和0.8。将（28）式的计算结果代入（27）式，求解该融合策略下的领域风险损失l。基于此，本文分别对其做了相关实验并绘制了它们loss折线分布图，如图4-9所示。从图中可以看出，λ=0.7收敛好于基线，λ=0.8和基线持平，λ=0.5和λ=0.6低于基线。由此可知引入图像融合还是有必要的。因此，在像细菌这种密集数据集中，融合系数λ~βα,α图4-9Baseline与λ=0.5,λ=0.6,λ=0.7以及为了达到更好的融合效果，本位在BaseMix的基础上，提出了MultiMix。从图9中的试结果可知，当λ取值在(0.6,0.8)之间,loss的收敛达到了理想的结果。为了保证大多数的λ取值在[0.6,0.8]，λ~βα1,α2且α1:α2=7:3。记(xμ,q,yμ,q)为参与融合图像中拥有目标最多的图像和标签，xMultiMix=x=λxη+ξc=1其中，σ和ξ是常系数，ξ∈[0.05，0.1]，σ决定融合几张小图。将（29）式带入到（27）式所计算出的期望风险即为MultiMix的预测误差。针对细菌这种数据集,本文提出了关于MultiMix的领域分布,并计算该分布下的期望风险。由MultiMix给出的领域分布为fx本文在MultiCut中，没有对参数N×图4-10以N×M=4×4为例，展示MultiMix的两种融合结果。其中MultiMix融合MultiCut中的一行小图，即融合4张分辨率为3072×2048图像，其中的a、b、c、d代表MultiCut中一行中M列的图像，Res1、Res2和Res3分别表示MultiMix融合后的结果图。从图中可以看出，MultiMix融合M/σ张小图4-10MultiMix图像融合实例。左侧为待融合图像，其中图d.包含42个目标，在4张图中包含目标最多，因此，在σ=1时，Res3.保留了d.中目标，a、b、c做了其背景。与之相同，当σ=0.5时，a.包含了41个目标，在四张图中目标次多，因此，Res1.保留了a.的目标，b.做了其背景，Res2.保留了d.中目标，c做了其背景。鉴于此，为了扩充数据集，本文将MultiMix的融合结果图和MultiCut裁剪后小图混合在一起。因此，本文在计算期望误差时，既涵盖领域风险又保留了经验风险的预测结果，即本文的贡献EVm。记a=nn+m,b=mEVmf其中a+b=1，由训练图像的数量决定。为了直观展示本文在数据增强上的贡献，本文仍然以MultiCut的两个参数N×M=4×4为例，在图4-11中给出了MultiCut-MultiMix的数据增强过程。MultiMix的融合并不唯一，我们直接融合MultiCut结果下的某一行。我们的融合并不是随机的，我们将最多的特征保留了下来，少量的特征作为背景。我们以4张图为例，首先计算出一行中特征最多的图片给它乘以系数λ，剩下的三张乘以系数ξ,依次和第一张进行融合。如果系数σ等于2，则选取特征最多的前两张，依次做融合。如果M=2或者M=3，我们的图4-11MultiCut-MultiMix的数据增强过程。基于细菌数据集的高分辨率图像检测的实验与分析在本节中，本文首先分析了细菌数据集的特点，然后详细说明了本文的数据增强方法的有效性。基于YOLO框架下的多骨干CSPDarknet53、Darknet53、CSResnext50和DenseNet201、Darknet19，对细菌和空客船舶数据集进行消融实验，验证MultiCut和MultiMix。在本节中，本文以细菌数据集为例，详细说明本文提出的数据增强的方法在检测网络中的实现。首先分析了细菌数据集的特征。基于CSPDarknet53、Darknet53、Resnext50、DenseNet201、Darknet19的多个backbones，我们进行了大量的剥蚀实验，验证MultiCut-MultiMix可以有效地帮助这些网络提高细菌数据集的检测精度。细菌数据集的特征数据特征分析。由于细菌数据集只有55幅图像，并且目标的数量都在很大的范围内，这会导致在训练中出现过拟合、定位不准确、分类不准确等问题。高分辨率的细菌图像大小相同，为图像预处理提供了方便。从细菌数据集的大小来看，受帧数(FPS)影响较小，适用于GTX1660s、GTX1070等性能较低的GPU训练。数据集处理困难。这些图像的目标分布不规则且密集，无法通过特征的相关性进行补充识别。基于这些特征，在一幅图像中大约有数千个SDD目标需要进行标记，这就对分类标记提出了很高的要求。基于卷积神经网络(CNN)的[14]，[20]-[25]算法不能直接训练数据集，因此对图像预处理有更多的要求。目标数量统计。表6列出了细菌数据集中的三种目标，并对每种目标的总数、最大值、最小值和平均面积进行了统计。如表6所示，与杆菌（Bacillus）和菌团（Microflora）相比，球菌（Cocci）比较清晰，最大面积、最小面积和平均面积值相差不大。然而，Bacillus和Microflora有许多视觉上难以区分的分布，这可能会影响分类的性能。如表7所示，图像和类的训练和测试量被划分为7:3，因此本文的训练任务都是按照这个比例进行的。图4-12为细菌数据集中的所有目标，其中蓝色框为芽孢Bacillus类，红色框为Microflora，紫色框为Cocci。以下检测边缘框将基于此标准。表6.列出了三个类别及其平均面积、最大面积和最小面积。类名个数平均面积最大面积最小面积杆菌菌团球菌16300390469312901004325115194051940867019220280表7.训练与测试的比例划分。训练测试比例杆菌菌团球菌总数109292723506147075371118118766766.7:3.37.0:3.07.5:2.56.9:3.1图4-12细菌数据集中的目标表示MultiCut。网络的训练图像基于N×M的MultiCut,epoch由N×M确定，其中epoch=K×N×M,K为细菌图像的总数。为了不添加冗余特征，我们的训练图像不需要重叠，但测试图像有15%的重叠，以保证目标的完整性。具体来说，在测试处于裁剪边缘处的目标边缘框时，只需要保留检测到的特征点，并将其恢复到大尺寸图像，通过非最大抑制(non-maximumsuppression,NMS)去除多余的目标边缘框。我们实验验证了第3.1节的2×2和4×4多切应用在许多骨干网络。MultiMix。网络训练结合基于MultiMix的结果图像与未融合的扩展到细菌数据集。具体来说，为了保证λ的范围尽可能接近[0.6,0.8]，我们设α1=7和α2=3，其中λ~β(α1，α2)，λ的平均值为0.7。ξ值分布在检测网络。众所周知，two-stage网络比one-stage网络更精确，但它有很高的过拟合概率，在SDD目标检测中尤其严重。通过实验验证，Fastr-cnn[24]和Fasterr-cnn[25]两阶段网络占用了更多的训练时间，并且没有检测到任何东西。为了解决这一问题，验证本文的数据增强方法，我们选择YOLOv3[20]作为典型的one-stage网络来训练细菌数据集。在[14]中，Alexey改进了YOLO框架，并结合了许多相关算法，达到了最好的目标检测精度。表8列出了Darknet53和CSPDarknet53直接训练细菌数据集的结果，平均精度(mAP)作为衡量标准。从表格中可以看出两个检测网络都没有达到预测的精度。表8.基于Darknet53和CSPDarknet53骨干网络，直接训练细菌数据集所得到的检测结果。骨干网络mAPDarknet53CSPDarknet5340.57%17.04%训练细节:我们以YOLO为例，Darknet53或CSPDarknet53作为骨干，YOLOv3作为头部，保留了一些参数。具体来说，保持初始学习率、动量值和衰减值不变，以保证网络的随机梯度下降(SGD)能够顺利迭代20000次。基于细菌数据集的消融实验通过与Cutout、CutMix、CutBlur和Mixup的对比实验，验证了该方法的有效性。所有相关数据同化实验都是基于MultiCut，以避免无法直接训练的大尺寸图像。首先对两组不同参数的多切算法进行了验证，并在最佳算法的基础上对每种算法进行了验证。然后，我们在多个骨干上进行了实验，并采用每个类的平均精度(AP)作为评价指标。基于Darknet53主干网络的数据增强性能检测。本实验在YOLO框架上进行，输出由YOLOv3检测算法完成，输入图像大小为416×416。实验证明，以4×4参数为基准，采用2×2和4×4参数的MultiCut算法可以提高细菌目标检测的准确性。基于Baseline，我们还添加了四种主流的像素级方法，包括Cutout、CutMix、CutBlur和Mixup，以证明它们的检测性能。在细菌目标上，它们不仅不能达到本身的增强能力，还阻碍训练。因此，破坏图像的完整性和混淆图像会降低准确性，甚至更糟。然而，MultiMix避免了这些缺点和更有利的细菌目标检测。具体来说，我们的实验证明了MultiMix的σ=0.5和σ=1，这两者在检测性能上都有显著的高基线。此外，如表9所示，与基线相比，最明显的增强是MultiMix对Microflora目标的AP提高了近21.01个百分点，而其他两个目标也有所提高。最后，图4-13直观地展示了五种数据增强方法对细菌目标的检测精度。在图4-13中，我们列出了Darknet53加入主流数据增强方法和MultiMix后的检测结果。其中，CutMix和CutBlur在SDD目标检测方面的性能优于Mixup和Cutout，但它们在定位时忽略了很多目标，存在很多分类错误。最后一行，基于MultiMix的网络准确地检测出每个目标，这表明保持图像的完整性可以有效地增强特征信息，提高神经网络的鲁棒性。表9.基于骨干网络Darknet53，MultiCut-MultiMix与其他四个主流的数据增强方法对比。方法杆菌的AP菌团的AP球菌的APDarknet53+MultiCut(2×2)Darknet53+MultiCut(4×4)(Baseline)Darknet53+MultiCut(4×4)-CutOutDarknet53+MultiCut(4×4)-CutMixDarknet53+MultiCut(4×4)-CutBlurDarknet53+MultiCut(4×4)–Mixup(α=0.5)Darknet53+MultiCut(4×4)–MultiMix(σ=1)Darknet53+MultiCut(4×4)–MultiMix(σ=0.5)78.43%90.17%71.28%73.15%79.80%79.81%94.28%95.11%26.60%60.48%31.66%36.25%49.74%50.01%80.89%81.49%91.22%97.35%87.21%89.40%91.64%91.78%97.83%98.67%图4-13基于Darknet53骨干网络，MultiMix与主流的数据增强方法做对比。在图的最后一行，两个明显的球菌类被检测到。结果表明，MultiMix增强了数据的表达，起到对网络中的softmax分数优化效果。表10.基于骨干网络CSPDarknet53，MultiCut-MultiMix与其他四个主流的数据增强方法对比。方法杆菌的AP菌团的AP球菌的APCSPDarknet53+MultiCut(2×2)CSPDarknet53+MultiCut(4×4)(Baseline)CSPDarknet53+MultiCut(4×4)-CutOutCSPDarknet53+MultiCut(4×4)-CutMixCSPDarknet53+MultiCut(4×4)-CutBlurCSPDarknet53+MultiCut(4×4)–Mixup(α=0.5)CSPDarknet53+MultiCut(4×4)–MultiMix(σ=1)CSPDarknet53+MultiCut(4×4)–MultiMix(σ=0.5)62.72%77.91%75.78%76.20%77.49%77.56%85.61%94.28%24.92%44.81%30.78%36.13%41.82%42.13%71.03%80.89%63.72%90.94%92.28%90.29%91.76%91.84%96.24%97.83%基于CSPDarknet53主干网络的数据增强性能检测。与其他backbones不同，CSPDarknet53是基于改进后的YOLO算法的更深层次的神经网络，输入图像的大小是608×608。在CSPDarknet53中，我们进行了与Darknet53相同的消融实验。从表10的结果可以看出，虽然该网络的准确率低于Darknet53，但仍可以用于验证细菌目标。具体来说，与Cutout、CutMix、CutBlur和Mixup相比，MultiMix无疑可以提高CSPDarknet53上的检测性能。基于多个主流主干网络的数据增强性能检测。基于以上实验，我们在CSResnext50、DenseNet201、Darknet19三种不同的骨干网络上对MultiMix进行了准确的估评。表11列出了这些网络的检测结果，与主流的数据增强方法相比，MultiMix在每个目标上都取得了更高的精度，在微生物区系中尤为明显。从表11可以看出，MultiCut和MultiMix作为一种新的数据增强方法，在不同的网络中发挥着重要的作用。换句话说，MultiCut和MultiMix非常适合学习使用SDD目标区域的信息，并在细菌数据集上从这些信息中聚合特征。表11.基于骨干网络Darknet19、CSResnext50、DenseNet201下的MultiCut-MultiMix与其他四个主流的数据增强方法对比。骨干网络方法杆菌菌团球菌Darknet19MultiCut(4×4)(Baseline)MultiCut(4×4)-CutOutMultiCut(4×4)-CutMixMultiCut(4×4)-CutBlurMultiCut(4×4)-Mixup(α=0.5)MultiCut(4×4)-MultiMix(σ=0.5)72.38%49.26%46.27%54.63%55.78%80.08%32.10%16.25%2