【《基于迁移学习的小样本电力设备检测分析案例》8600字】

基于迁移学习的小样本电力设备检测分析案例目录TOC\o"1-3"\h\u9423基于迁移学习的小样本电力设备检测分析案例 122621.1基于迁移学习的多尺度网络电力设备检测必要性分析 1205401.2基于改进型SSD卷积神经网络的智能变电站电力设备检测模型 3173531.2.1采用迁移学习融合多尺度网络 3244081.2.2基于小目标的多尺度特征预测框设计 5286011.2.3基于惩罚因子的Soft-PNMS算法 611121.2.4基于改进型SSD卷积神经网络算法实验结果 8267241.3改进算法模型评价 11156111.4基于FasterR-CNN和YOLOv3的算法电力设备检测对比实验 131.1基于迁移学习的多尺度网络电力设备检测必要性分析迁移学习[73-74](transferlearning)的本质在于将源域学习到的特征迁移到目标数据集上。其方法是从已知环境中学到的知识来帮助学习新环境中的任务。当没有足够的标记数据去训练模型或需要训练新模型去执行其他任务时，都可以利用迁移学习。迁移学习具有较强的自适应能力，能够利用已经存在的相关任务域中带有标记的数据去处理更加复杂的任务，它尝试在源域中学习源任务，将其获得的知识应用于目标域，以此来解决目标域的任务。相比于传统的方法，模型具有更加广泛的应用价值，并且对不同目标数据集均能取得同样良好的效果。迁移学习的核心关键点在于对数据集的精准把握，通过对目标数据集特点的深层次分析，来决定迁移学习的训练方式以及需要迁移哪些语义特征层到新的目标数据集中。基于网络的深度迁移学习方式，能够将其他数据源训练得到的模型，经过部分修改和完善，在类似的目标任务领域得到复用，一定程度上解决了数据量不足的问题，使模型具有更为广泛的应用价值[75]，因此，此方法可以较好地学习现有小样本智能变电站电力设备数据集的特征，缓解了因训练数据过少而造成的分类精度不高等问题。如第三章所述，电力设备图像检测的主要难点为，当处于复杂场景时，需要检测的设备周边均有遮挡物和不同类型的干扰信息，这部分的干扰信息用传统的方法很难去除。如在套管的周边通常会有数根不规则环绕的导线，其背后也会有不同背景干扰。传统的方法，如传统的随机森林分类器，基于Canny算子BP神经网络分类器，支持向量机(supportvectormachine，SVM)，等算法对这种具有复杂场景的图像其检测识别的普遍置信度不高，并且速度较慢，无法适应实时巡检这一要求。本文使用的电力设备检测数据集最重要的特点在于类别较为接近，因此需要识别算法具有较高的精准度，其次采集到的电力设备图像分辨率不一，有超高清的图像其分辨率可以达到4000×5000，也有低清图像，如分辨率为300×400的图像，部分图像人眼也只能模糊识别。电力设备图像和自然图像或者其他图像最大的差别在于，自然图像没有太多的关联信息。而对于电力图像而言，因为部分设备如套管和绝缘子的相似性较高，所以关联信息的提取显得非常重要。比如大部分套管可以分为穿墙套管和变压器套管。然而这两类套管图像信息差距较大，并不能很好地提取共同特征。针对这一问题，传统的卷积神经网络对此效果均没有较好的解决办法。对于单一尺度即单一分辨率图像，需要对传统的卷积神经网络超参数进行微调[76]。但是对于特定数据集如小目标较多的电力数据集而言，微调效果往往不大。其根本原因在于网络结构从图像中提取到的信息并不充足，对于不同像素级别的图像所提取的信息单一，容易造成模型泛化能力较差，损失函数难以收敛问题。对这一问题最好的解决办法是利用基于迁移学习的多尺度网络。同一张图像，采用合适的迁移学习训练策略，用不同尺度的卷积核去处理图像不同尺度与层次的特征层。从卷积神经网络的高层视角来看，输入多尺度网络的一张图像可以变化为多个不同像素级别的图像。例如，对于网络输入1000×2000×3的一张图像，多尺度网络处理的不仅仅是这样的一张图像，从高层视角来看，可以认为处理的是1000×2000的一张图片以及多张低分辨率图片。同时在训练集进入网络之前，会对图像进行随机水平翻转、随机裁剪和颜色变换，以此最大程度上降低或者是减少图像分辨率对网络的影响，也更利于获取小目标训练样本。迁移学习训练策略如下：(1)将源域数据集进行预处理，对模型进行预训练，保存预训练模型。(2)采用多种迁移学习训练策略，根据需要提取预训练模型不同参数，进行层迁移。(3)将小样本数据训练集利用仿射变换进行增强，加载预训练模型，用不同大小的卷积核进行多尺度特征提取，更改模型权重参数重新训练。1.2基于改进型SSD卷积神经网络的智能变电站电力设备检测模型 SSD原算法对于小样本小目标的检测效果不佳，其根本原因是网络随机初始化参数太多，在随机梯度下降到一定程度时将陷入局部最优解，这时无论是减小学习率还是增加单次处理图片的数量，都无法很好地解决这个问题[77]。为此对于网络部分结构进行了以下改进。1.2.1采用迁移学习融合多尺度网络基于深度迁移学习的电力设备检测最重要的便是迁移学习。迁移学习的本质在于将源域学习到的特征迁移到目标数据集上，使得目标数据集同样能够有良好的效果。核心关键点在于对数据集的深入分析，以及目标数据集特点的深层次分析。本次使用的电力设备检测数据集最重要的特点在于类别较为接近，需要算法具有较强的辨识能力。其次电力设备的图像分辨率不一，对于单一尺度图像，需要对网络超参数进行微调。但是对于特定数据集，如本次实验采集的电力数据集而言，微调往往效果不明显。因此需要引入迁移学习：第1阶段：对经过数据增强以及相应变换的原始图像，利用基于大数据集预训练之后的模型提供的权重参数进行初始化。将预训练模型参数进行层迁移，加载预训练模型除最后全连接层Conv11_2之外的所有模型参数和权重，重新训练完整的全连接模型。第2阶段：加载第1阶段训练好的全连接层权重，采用层冻结等方法微调卷积网络的部分关键层或整个模型，具体过程如图4-1所示。图4-1迁移学习执行流程图图像信息由最初的读取层进入网络，经过层层卷积，感受野越来越大，初始的图片信息尺度不断变化，越接近低层网络，特征图分辨率越大，感受野越小，图像的细节信息越多，这对于电力设备小目标的检测尤为重要[78]。SSD原算法提出融合不同尺度的特征层进行预测，提高了模型在不同场景下的泛化能力，其中包含细节信息最多的特征层为Conv4_3层，仅仅只依赖此特征层提取的小目标特征明显不足。因此需要有更多电力设备小目标信息能够被提取出来，多尺度网络中低层特征层的数量还需要进一步增加[79]。考虑训练时间以及测试时间，将Conv4_2加入多尺度网络，并将其默认框预测比例更改为{1:1，1:2，2:1}。基于此本文重新选择来自Conv4_2，Conv4_3，Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2这7个不同层次的特征提取层，以此能够更好地检测整体样本中的小目标。这样对一张图片，不同尺度的卷积核去处理这张图像不同大小的特征层。但是需要明确的是，我们在迁移学习的过程中，常常会遇到在公开数据集训练以及测试效果非常好的网络，却在自己的数据集中效果不好。对于这个问题，我们的解决方案常常有这么以下几种，第一，深入理解网络的结构和算法，判断其是否和数据集的特点相匹配，第二，对于特定网络，找出损失函数无法下降的原因，调整超参数使得网络能够更好的进行训练。第三，根据数据集本身的特点，对网络结构进行调整和改进。同时，网络应用也需要特别注意，在不同情况下所需要的指标往往不同，比如核心的两个深度学习评价指标为速度和准确率，大尺寸的图像输入确实会得到更多的信息，对于小目标的检测效果会更好，但在提高准确率的同时上降低了速度。卷积神经网络目前如果想对特定数据集取得较高的准确率，势必会在一定程度上降低模型的检测速度。而对于目前的电力设备检测而言，实时巡检是智能电力系统的性能要求之一。因此速度也是需要考虑的关键问题。在不断地提高准确率的基础上，也需要尽可能的提高模型的检测精度。这是一个博弈问题，需要不断地调整以适应不同的需求。另外一个迁移学习的重点在于对网络预训练模型参数的加载，我们知道，对于卷积神经网络而言，如果不加载预训练模型，让网络所有参数均随机初始化，进而去训练特定数据集，效果往往差强人意。其原因在于，预训练模型参数的加载如同增强了卷积神经网络泛化能力，对于一般图像而言底层特征的差距往往不大，均为线条、边缘、轮廓，等等信息，但是如果不加载，卷积层需要从头开始学习，其损失函数值一开始往往会很大。此外预训练模型的选择尽量和迁移数据集类别相似，这样底层特征更为接近，训练效果也会更好。对于我们的训练数据，因为没有大型的电力设备数据库，因此我们加载的是基于Imagenet大型数据库训练之后的权重文件。Imagenet数据集总共包含1400多万幅图片，涵盖2万多个类别。其中有超过百万的图片有明确的类别标注和图像中目标位置的标注。Imagenet大规模数据集是目前深度学习图像领域应用得非常多的一个数据集，关于图像的分类、定位、检测、识别等研究工作大多基于此数据集展开。1.2.2基于小目标的多尺度特征预测框设计SSD算法使用不同宽高比例的单独预测器来预测默认框中的对象类别属性和偏移量。在特征层任意一个特征单元选择不同数量，如K个原始默认框。一般情况下，网络低层默认框选取数量较多，高层默认框选取数量较少。为了加强小目标的检出率，同时增强对低分辨率图像的底层信息的获取，我们对网络的中低特征层默认预测框的数量进行更改，对Conv4_2、Conv4_3这两个特征层的每一个特征单元取6个默认框。本次电力设备数据集共计检测5类目标，每一个特征单元中的预测矩形框需要对5类目标的分数以及相对于原始默认框的4个偏移量进行计算。在特征图中的每个位置均需要设置(5+4)×k个预测器，因此对于m×n特征图会产生(5+4)k×m×n个输出。由于电力设备数据集中套管和绝缘子较多，且目标较小，长宽比相差不大，低层特征图感受野较小，更适合预测小目标。为了使生成的默认候选框更符合所需要检测的小目标绝缘子的标签值，将低层卷积层Conv4_3默认预测框的比例进行更改，由之前的{1:1，1:2，2:1}更改为{1:1，1.5:2，2:3}，高层特征图预测框比例不进行更改，整体改进如图4-2所示。调整之后的网络能够更好地符合电力设备的尺寸，进而能够更好地让网络进行学习和分析。图4-2改进前后默认框比例对比图1.2.3基于惩罚因子的Soft-PNMS算法基于卷积神经网络的检测算法在预测阶段生成大量的候选窗口和相应的窗口得分后，需要使用NMS算法根据窗口之间的交并比(intersectionoverunion，IoU)去除冗余窗口，获得最终的电力设备检测窗口。但是NMS算法的一个主要问题是其采用硬阈值筛选策略，当邻近检测窗口的IoU大于NMS阈值时，强制将其窗口分数设置为零。一旦两个电力设备之间存在部分相互遮挡情况时，候选目标窗口重叠的IoU大于预先设定的NMS阈值，便会将低分数目标直接抑制，造成漏检。针对以上问题，BodlaN，SinghB，ChellappaR等在2017年ICCV上提出Soft-NMS算法，算法前期的思想与NMS相同，对所有预测框按照置信度分数大小进行排序，选出具有最大分数的预测框，遍历剩余预测框计算其与最大分数预测框的交并比，将所有预测框分数送入高斯或是线性函数，重新进行打分。对于交并比较低的预测框，施加较小的惩罚因子，对于交并比较高的预测框施加较大的惩罚因子，更新置信度分数。因此这一方法使得筛选进行得更加连续柔和，可以有效避免漏检。公式(4-1)为SoftNMS算法与NMS算法的通式表达，当f(I(bM，bi))=0时便由SoftNMS退化为NMS算法。其中bM代表所有预测框中置信度打分最高的预测框，而bi代表其余预测框中的第i个预测框，si代表这些预测框中第i个预测框的置信度得分，I(bM，bi)为计算最大分值预测框与其余预测框的交并比。(4-1)式(4-2)为线性惩罚函数即SoftNMS-linear，对大于阈值的预测框通过线性函数进行惩罚，惩罚因子随着交并比的变大而增加。(4-2)但是此时仍旧存在两个问题，首先还需要手工设定阈值，其次当重叠窗口交并比超过阈值时，会造成置信度突变。因此需要选择线性平滑函数进行惩罚，并且当bi与bM重叠度较高时，bi的得分Si应受到显著惩罚，据此提出了式(4-3)的高斯惩罚函数即SoftNMS-gaussian，对于任意预测框的分数均应送入惩罚函数进行打分。(4-3)由图4-3可以看到，当IoU取值范围较大如[0.7,1]时，高斯惩罚力度减弱，并且当IoU取值为1时，惩罚力度未达到最大，容易造成对目标的误检。因此提出一种全新的SoftPNMS算法，将非线性惩罚函数式(4-4)作为NMS函数的惩罚因子。(4-4)图4-33种不同惩罚函数的函数图像随着窗口之间交并比IoU值的增加，SoftPNMS相应的惩罚权重会越大，且函数在整个重叠取值区间连续且避免了SoftNMS-linear突变情况的发生，惩罚权重更加平滑合理。改进型SSD整体模型如图4-4所示。改进型SSD模型对小样本数据集具有较强的自适应能力，主要体现在以下4方面：(1)引入迁移学习，将预训练模型进行层迁移，设计不同的对照组，根据不同小样本数据集的特点加载不同的模型参数和权重，选择不同的卷积层，采用层冻结等方法微调卷积神经网络，能够对不同的小样本数据集均有良好的效果。(2)对多尺度网络进行改进，添加多尺度网络卷积层，以此能够更好地适应小样本电力设备数据集，提高网络低层信息的容纳比例。(3)根据小样本数据集的不同特点，设计不同尺度的预测框比例，本次小样本数据集中套管和绝缘子较多，由此调整预测框比例更好地适应此目标数据集。(4)提出基于惩罚因子的Soft-PNMS算法，替换网络原本的Soft-NMS算法。能够增强检测精度，避免漏检和误检，从而得到对小样本数据集较好的测试精度。1.2.4基于改进型SSD卷积神经网络算法实验结果因没有大型的智能变电站电力设备数据集，所以首先在大型数据集VOC2012中进行预训练，得到预训练模型。对于预训练的超参数，选择设置Adam优化器，并设置dropout=0.4，learningrate=0.0002，batchsize=16，重新训练时，加载除全连接层以外所有卷积层权重参数，使用原有SSD算法模型以及改进型SSD算法模型训练迭代5万次对比效果如图4-5所示。由图4-5可知，对于SSD原算法而言，在电力设备图像上平均置信度较低，部分小目标存在错检和漏检，底层权重参数的学习较为困难，无法使网络有优异的表现。改进后SSD算法提高了电力设备的检测置信度，能够检测出原有算法难以检测出的小目标。对于小样本领域迁移学习，一般采用层冻结(excludescopes)的方法，尝试着移除部分卷积层的训练权重。因为SSD网络的核心层在多尺度卷积层提取特征运算，因此移除Con4_2，Conv4_3，Conv7，Conv8_2，Conv9_2，Conv10_2，Conv11_2这6个多尺度卷积层的预训练参数，让这6个卷积层的预训练参数随机初始化。重新训练结果如图4-6所示。对比图4-6、4-5可以得出结论，采用层冻结的迁移学习方式，移除部分关键卷积层训练权重使其参数随机初始化之后，模型漏检了部分套管和绝缘子等小目标，相对于之前加载预训练权重的方式，其目标置信度有所下降。由此可以得出结论，当训练数据集为小样本且样本中存在较多小目标时，不宜采用多层冻结的迁移学习训练策略。图4-4基于小样本迁移学习的SSD改进模型图4-5SSD算法(第1列)与SSD改进算法(第2列)电力设备检测对比图图4-6部分卷积层预训练参数随机初始化训练效果图1.3改进算法模型评价为了更加全面地评价模型质量，因此定义平均漏识别率ηm如式(4-5)所示，平均误率ηf由式(4-6)所示，平均精准度(meanaverageprecision，mAP)3项指标。其中目标识别成功的个数定义为aij，目标识别成他类别(不包括背景)的个数定义为bij，目标识别为背景的个数定义为cij，i指的是第几张图片，j指的是第几类目标，N为测试集数量，M为目标类别总数。(4-5)(4-6)表4-1不同方案对于5类电力设备的精准度对比名称套管电流互感器螺帽绝缘子油枕mAP本文方案0.940.890.830.960.940.91方案10.630.500.450.670.530.56方案20.820.780.740.870.690.78方案30.890.830.750.860.780.82表4-2不同方案对于5类电力设备的漏识别率对比名称套管电流互感器螺帽绝缘子油枕mAP本文方案0.0410.0220.0280.0110.0120.023方案10.0810.0620.0710.0650.0450.065方案20.0720.0480.0650.0420.0370.053方案30.0680.0380.0590.0410.0280.047表4-3不同方案对于5类电力设备的误识别率对比名称套管电流互感器螺帽绝缘子油枕mAP本文方案0.0410.0220.0280.0110.0120.023方案10.0810.0620.0710.0650.0450.065方案20.0720.0480.0650.0420.0370.053方案30.0680.0380.0590.0410.0280.047本文的方案为改进型SSD_300-finetune，而方案1为SSD_300-exclude_scope，方案2为SSD_300-finetune，方案3SSD_512-finetune。从表4-1可知，使用改进后的SSD模型，底层信息增强，提高了各类电力设备的精准度，总体平均精准度提高13%。对于小目标如套管，相较于改进前精准度提高20%，从表4-2、4-3可知，相比于原算法，改进后算法电力设备的平均漏识别率降低3%，平均误识别率降低4。使用改进后的SSD算法模型，优化调整部分超参数之后效果如图4-7所示。图4-7基于改进SSD算法调整部分超参数效果图SSD卷积神经网络为了能够扩大感受野，更好地利用特征图，利用空洞卷积算法进行了部分优化。使得经过池化层之后特征图能够包含更多的信息，分辨率更高，有利于小目标的检测。但是因为尺寸变化无法适应后续网络，因此利用空洞卷积，改变卷积策略，从而能够实现多尺度的图像检测。基于VGGnet的SSD神经网络的最大特点在于对512×512的输入图像有着较高的准确率，原因在于输入较大的尺寸图像，卷积核能够提取的信息更多，低层卷积层的信息越丰富，高层抽象出来的小目标特征也就越准确。针对这一问题，分别实验了SSD300即模型改变为300×300的输入，以及SSD512即模型改变为512×512的输入。由表4-2可以发现对于电力设备小目标数据集，相对于SSD300模型的测试结果，SSD512模型都具有更高的平均精准度和更低的平均漏检率、平均误检率。预训练模型参数的加载增强了卷积神经网络泛化能力。一般图像的低层特征差距往往不大，但是如果不加载预训练模型参数，卷积层需要从头开始学习，损失函数数值一开始往往会很大。此外预训模型的选择尽可能和迁移数据集类别相似，这样底层特征接近，训练效果会更好[80]。1.4基于FasterR-CNN和YOLOv3的算法电力设备检测对比实验FasterR-CNN在之前的FastR-CNN算法基础上进行了较大的改进，利用RPN网络取代FastR-CNN的SelectiveSerch部分，将提取候选框部分与原始网络分开，形成一个独立的特征提取网络。将候选区域特征与原始图像对应部分进行比对，最终输入到softmax分类器中，对每一个候选框进行打分和分类。FasterR-CNN和之前的工作相比，最大的不同在于创新地利用RPN网络对特征层进行了提取候选框操作，减少了区域提取的工作量，利用特征层与图像层的相互配准以及反向传播算法不断迭代降低损失函数。合理迭代次数的选择对FasterR-CNN算法损失函数的数值影响较大，过少的迭代次数往往会使网络无法充分学习到所需要的特征，在迭代的过程中无法找到全局最优解。因此会在梯度下降的时候，往往不沿着全局的最大梯度方向下降，容易陷入某个局部最优解中。然而过多的迭代次数会使网络发生过拟合现象，失去泛化能力，只对特定的图像有较好的效果，无法在其他数据集上表现出同样令人满意的效果。由于上述原因，需要为此针对智能变电站中的电力设备数据集设计了不同的迭代次数以及dropout等超参数如表4-4。优化调整超参数以后检测电力设备数据集结果如图4-8所示。可以看到调整超参数以后，识别准确率较高，但是训练时间与测试时间均较长。YOLOv3算法在PascalTitanX上处理608×608图像速度可以达到20FPS，在QijieZhao等的M2Det文章中[81]，大量的对比实验表明YOLOv3在较短时间内，检测精度较高，模型训练效果最佳。YOLOv3算法在进行预测框配准时，每个真实先验值只比对一个预测框，降低了所需要处理的数据量。在电力设备图像上的结果如图4-9所示，通过实验发现对于电力设备图像，YOLOv3算法识别目标的准确度较低。主要原因有3点：1）数据集中小目标较多且类别接近；2）训练图像尺度不一；3）底层特征层提取信息困难且损失较大，网络并不能对各种分辨率的图像数据集有很好的自适应能力。YOLOv3算法并不能从不同尺度图像中很好地提取相同的特征。虽然对低分辨率图像有很好的自适应能力，但是对于像素级别达到4000×5000以上的小目标居多的高清图像，进入网络的图像会被直接归一化到416×416，提取后续特征较为困难。针对于这个问题，后续工作需要进行改进。表4-4设定不同的迭代次数及超参数dropout比例最大迭代次数学习率mAP0.2300000.0020.650.2500000.0020.710.4300000.0020.840.4500000.0020.890.6300000.0020.750.6500000.0020.77图4-8FasterR-CNN算法调整超参数后结果图图4-9YOLOv3算法调整超参数后结果图下表为对比实验模型评价：表4-5不同算法对于电力设备的平均精准度、平均漏识别率、平均误识别率以及平均测试时间名称mAPηmηf平均测试时间/s本文方案0.910.0230.0040.63方案10.560.0650.0130.64方案20.780.0530.0080.63方案30.820.0470.0060.69方案40.750.038