【《优化方法对YOLOv3模型性能的影响分析案例》6200字】

优化方法对YOLOv3模型性能的影响分析案例目录TOC\o"1-3"\h\u28784优化方法对YOLOv3模型性能的影响分析案例 )假设有N个类别需要检测，一个检测了M张图片，对于每一个类别C，初始时，取类别C的真实值数量n为0，计算其AP值的流程如下：（1）对于每张图片，需要统计属于类别I的目标数量，累加到真实值n上。然后，对于图片上属于类别C的所有预测框，计算其与图片上类别C的真实框的IOU，取其中最大一个为该预测框的IOU。设定一个门限值，如果预测框的IOU没有超过门限，此时就为FP的情况，记录预测框对于类C的分数S；如果超过了门限，这时就是TP，记录预测框对于类C的分数S。需要注意的是，如果有多个预测框对应一个真实框，那么得分最高的为TP，其余为FP。（2）将M张图片统计完成后，可以得到类别C的真实值n，得到每张图片的TP，FP值及分数S，将TP，FP，C组成一个数据组，假设共有k个数据组（数据组数量为预测框数量）。将这k个数据组按分数S的大小关系排序，每次去除分数最大的数据组（第一次不去除任何数据组），依据公式(5-1)和(5-2)计算P和R值。（3）依据类别I的真实值数量n，n等分从0到1，得到n个R值，为了与步骤（2）里的R值区分，这些R值用Recall表示，而步骤（2）计算出来的R值继续用R表示。这些Recall的P值取步骤（2）中计算出来的大于Recall的最小R值的P值。将这些P值累加后取平均，即为类C的AP值。最后，计算出N个类的AP值后，取平均，就可以得到模型的mAP值。探究YOLOv3模型性能本文训练模型选用的硬件平台配置如下：CPU为英特尔的E5-2678v3，GPU则是英伟达的GTX1080Ti，共64GB内存。系统则是Ubuntu16.04操作系统，使用到的部分软件库以及功能组件如下表5-1所示。表5-1训练型时用到的主要软件库及功能组件（部分）名称版本功能CUDA10.0GPU并行计算架构cuDNN8.0深度学习加速软件库Pytorch1.8.0深度学习框架Opencv4.1.2计算机视觉计算软件库Scipy1.4.2高级科学计算软件库Seaborn0.11.0可视化软件库………准备好模型和数据集，在训练平台上进行训练。一共训练300个轮次（epoch），优化器选择SGD（StochasticGradientDescent，随机梯度下降），学习率设置为从0.01开始，以余弦函数衰减策略减到0.001，同时结合动量（momentum）法，动量值设置为0.9。在模型训练时，跟踪模型的损失函数，按3.1.1节所述的YOLOv3的损失函数的3部分进行记录。将记录的结果绘制成图像，如图5-3所示。图5-3模型训练损失函数从图5-3可以看出，预测框损失在20个轮次左右开始出现收敛趋势，并在接近300个轮次时收敛，分类损失则是在25个轮次附近就到达了收敛状态，置信度损失同样也在接近300个轮次时收敛。因此，选择训练轮次为300次可以满足模型收敛完毕的要求为了评估模型性能，按照5.2.1节所述的计算mAP的方法，对于训练完毕的模型，在测试集上计算其mAP，其结果如表5-2所示。数据显示，Car类检测的mAP达到了0.979，这一数值较为理想。Cyclist类检测的mAP为0.878，比之于Car类，精度要有所不如，不过仍处于可以接受的范围。然而，Pedestrian类检测的mAP只有0.798，这个数值不太理想，可以预见会有Pedestrian类漏检的情况出现。造成这种情况的原因是：一是Car类在数据集中的目标数量最多且目标尺寸较大，无论从数据规模还是从训练的难易程度上都要更容易达到较好的检测结果。Cyclist类的目标数量相对来说也不少，且自行车的特征较为明显，因此训练完后的检测精度尚可。但是Pedestrian类在数据集中的数量较少且大多为小尺寸的目标，无论是从数据规模还是训练难易程度上来说，检测精度不理想都是可预见的。表5-2模型mAP计算结果总体mAPCar类mAPPedestrian类mAPCyclist类mAP0.8850.9790.7980.878探究先验框参数设计对YOLOv3模型性能的影响前文提到，先验框参数的设计对于模型精度有着重要的影响。本文为了提高模型的检测精度，围绕着先验框参数的设计进行了实验探究。通过在3.2.2节所提出的聚类算法来计算数据集目标框的聚类中心，得出结果后，将聚类中心按照其可以组成的矩形的面积的大小顺序排列，作为优化后的先验框参数。表5-3统计了优化前后的先验框参数。表5-2先验框参数对比先验框类型先验框参数优化前先验框(28，21)，(40，31)，(55，45)，(68，31)，(80，62)，(103，44)，(137，73)，(194，116)，(311，180)优化后先验框(13，39)，(21，52)，(13，114)，(32，71)，(51，93)，(34，245)，(76，134)，(102，217)，(162，308)按照表5-2中优化后的先验框参数，在训练平台上训练模型，训练参数设置与前述实验时相同，即优化器选择SGD，学习率从0.01以余弦函数衰减策略减到0.001，动量值设置为0.9，并训练共300个轮次。在训练中，记录损失值，得到图像如图5-4所示。分析图像，对于三个部分的损失函数，在优化了先验框参数之后，预测框损失的趋势与优化前相同，但是其收敛时的损失值要小于优化前；同样的，置信度损失函数的趋势也与优化前相同，同时在最终收敛的损失值上，也小于优化前；而分类损失在优化先验框参数前后，几乎相同。图5-4优化先验框参数前后模型训练时损失函数对比分析出现这种情况的原因是：优化先验框参数可以使得预测框的位置和大小更准确，但是对于框内目标的分类而言，不会有提升，因此，损失函数在优化先验框参数前后表现为预测框损失和置信度损失收敛于更小的值而分类损失几乎不变。模型训练完毕后，在测试集上对训练好的模型计算mAP，并将结果与优化先验框参数前的结果进行对比，结果如表5-3所示。分析表中数据，证明了先验框参数的设计对于模型的精度有着影响。优化先验框参数后，模型检测的mAP来到了0.931，相比之优化参数前的0.885，一共提高了4.6%。分别看检测的三类物体，其中，Car类检测的mAP优化先验框参数前为0.979，优化先验框参数后为0.980，没有变化；Pedestrian类优化后mAP为0.849，而优化前数值为0.798，提高了5.1%；对于Cyclist类，优化前的mAP为0.878，优化后则来到了0.964，提升幅度为8.6%。Car类的检测精度没有提升，是因为在优化先验框参数前，其检测性能就比较理想了，提升空间较小。Car类和Pedestrian类的提升则证明了可以通过优化先验框参数来提高训练后的模型精度。表5-3先验框参数优化前后检测结果对比总体mAPCar类mAPPedestrian类mAPCyclist类mAP优化前0.8850.9790.7980.878优化后0.9310.9800.8490.964探究数据增强训练对YOLOv3模型性能的影响为了进一步提高模型性能，本文将采用前文提到的数据增强的方法来扩充数据集规模，进行训练。数据增强方法选用的是叠加高斯噪声，改变图像对比度，以及调节图像色温。如图5-5所示，是原数据集图像的示例。图5-5KITTI数据集图片示例取1/3的图像加入高斯噪声，噪声的高斯分布参数选择上，取均值为0，方差在10到25之间随机取值。再取1/3的图像进行图像对比度的改变，将原图的对比度调节为原来的0.5倍到1.5倍之间。最后的1/3的图像采用改变色温的处理方式，在1100K到20000K之间调节，当色温在1100K到4000K时，色调会明显偏暖，而当色调在10000K以上时，会明显偏冷色调。图5-6数据增强结果示例对数据集进行上述的图像处理后得到一个新的数据集，然后将之与原数据集合并，得到一个更大的数据集。在训练平台上，在合并后的数据集上训练模型，此时模型的先验框参数选择优化后的，同时各个训练参数与前述的相同，也就是选用SGD优化方法，学习率衰减策略为余弦衰减，从0.01减到0.001，动量为0.9，一共训练300轮。训练时记录下来的损失函数如图5-9所示，根据图像可知，预测框损失函数在数据增强前后趋势相同，损失函数最终的收敛值也接近；分类损失函数则在数据增强前后几乎一致；置信度损失则在数据增强后，其最终的收敛值有一个小幅的下降。图5-7数据增强前后损失函数对比训练完成后，在原测试集上计算模型的mAP，并与数据增强前的结果进行对比，结果显示在表5-4中。对比结果显示，数据增强前后，模型检测的总体mAP提升有限，不到1%。仔细分析各类目标的结果发现，对于Car类和Cyclist类，在数据增强手段应用前后，检测精度没有明显变化，但是对于Pedestrian类，数据增强后，mAP提高了1%。分析原因，是因为在原数据集中，Pedestrian类的数量不足，因此数据增强后模型对于Pedestrian类的检测精度依然有着不错的提升。表5-4数据增强前后结果对比总mAPCar类mAPPedestrian类mAPCyclist类mAP数据增强前0.9310.9800.8490.964数据增强后0.9340.9790.8580.965探究SPP模块对YOLOv3模型的影响本文对于空间SPP模块对于模型精度的影响进行了探究，由于数据增强前后模型精度的提升不明显，因此在这里依然采用原数据集进行训练。模型的训练参数选择与前述保持一致，依然选用SGD优化器，学习率从0.01，按余弦函数衰减策衰减，直到0.001，动量值依然选用0.9，同样地训练300个轮次。训练期间的损失函数记录如图5-10所示，在引入SPP模块后，预测框损失函数和分类损失函数下降趋势更快，但是最终地收敛值没有明显变化；而置信度损失函数在加入SPP模块后，最终收敛于更小值。图5-8加入SPP模块前后损失函数对比模型训练完成后，在测试集上分析模型精度，并将结果与优化先验框参数后的模型的检测结果进行对比，结果如表5-5所示。结合表中数据，可以看出引入空间金字塔模块后，在优化先验框参数的基础上，模型的总体mAP提升了1%，来到了0.941。分别看不同类的检测结果，可以看出Car类以及Cyclist类的检测精度没有提高，但是Pedestrian类的mAP从0.849提升到了0.878，提升幅度为2.9%。显然，作为典型的小尺寸目标，Pedestrian类的检测精度因为引入了空间金字塔模块而得到了提高，这一结果是符合预期的。表5-5加入SPP模块前后结果对比总mAPCar类mAPPedestrian类mAPCyclist类mAP加入SPP模块前0.9310.9800.8490.964加入SPP模块后0.9410.9790.8780.964探究MLCL模块对YOLOv3模型性能的影响本文对于MLCL模块对于模型精度的影响进行了探究，数据集选择原数据集。在训练参数的选择上，使用SGD优化方法，学习率衰减策略为余弦函数衰减策略，从0.01衰减到0.001，使用大小为0.9的动量值，一共训练300个轮次。训练期间的损失函数记录如图5-11所示，在引入MLCL模块后，预测框损失函数能收敛于更小的值；分类损失函数下降趋势更快，但是最终的收敛值没有明显变化；而置信度损失函数在加入MLCL模块后，最终会收敛于更小的值。图5-9加入MLCL模块前后损失函数对比模型训练完成后，在测试集上分析模型精度，并将结果与优化先验框参数后的模型的检测结果进行对比，列在表5-6中。从表中数据可以看出，加入MLCL模块后，模型的总体mAP达到了0.945，相较于优化先验框参数后的结果，提高了1.3%。具体分析各个类别，Car类和Cyclist类的mAP没有明显提升，而Pedestrian类的mAP从0.849提升到了0.887，提升幅度为3.8%。结果可以证明，MLCL模块对于模型的多粒度表达能力有着提升。表5-6加入MLCL模块前后结果对比总mAPCar类mAPPedestrian类mAPCyclist类mAP加入MLCL模块前0.9310.9800.8490.964加入MLCL模块后0.9450.9800.8870.967实验结果汇总将各个模型最终的检测精度统计到表5-7中，由表中数据可知，在采用多种方法的尝试后，模型的检测精度有着不错的提高。模型的检测的总mAP最高达到了0.945，对于不同的类别，Car类的mAP最高达到了0.980，而Pedestrian类的mAP最大为0.887，Cyclist类检测的mAP最大值为0.967。仔细分析结果，发现Car类的mAP在优化前后没有变化，原因是Car类在数据集中的目标数量最多且目标尺寸较大，因此达到一个较高的mAP要容易很多。而Pedestrian类的情况与Car类恰好相反，数据规模不大而且目标往往尺寸较小。因此，可以看到本文采取的各种优化方法对于Pedestrian类的检测能力提升较大，最大的增幅到达了8.9%。Cyclist类的检测精度也在优化前后有了明显的提高。表5-6实验结果汇总总mAPCar类mAPPedestrian类mAPCyclist类mAP未优化0.8850.9790.7980.878优化先验框参数0.9310.9800.8490.964数据增强0.9340.9790.8580.965加入SPP模块0.9310.9790