【《太阳能电池板缺陷检测的算法网络设计案例》3200字】

太阳能电池板缺陷检测的算法网络设计案例目录TOC\o"1-3"\h\u17016太阳能电池板缺陷检测的算法网络设计案例 1165321.1数据集制作 115261.2改进的yolov4模型 4241591.2.1yolov4算法简介 4257071.2.2SKnet注意力机制 6188481.2.3SKnet模块的嵌入式设计 711241.3实验与结果分析 9255021.3.1网络训练与测试 9274741.3.2改进yolov4模型的效能评估和分析 10首先从BaiduAIStudio获取光伏板缺陷的数据集，对其图像进行预处理，并对其进行手工标记，初步分为‘缺陷’、‘灰尘’二类,将数据集作为输入数据传入改进后的yolov4模型。模型收敛后在测试集上验证模型的准确率。光伏板缺陷检测的具体流程如下。图1.1光伏板缺陷检测流程图1.1数据集制作（1）图像标注本课题使用‘labelimg’标注工具进行标注，使用方框对要检测的目标进行标注，并对目标进行分类命名，图像标注示意图如图所示。图1.2标注示意图在图像中使用矩形框框选出目标图片，对有缺陷的部位标记defect,没有缺陷的部分暂且统一称作dust，实验一共标注了728张图片。（2）信息提取信息提取是将图像的标注信息转换为计算机可以识别的信息，‘labelimg’标注的728张图片生成了相应的XML文件，文件中记录了标注位置的类别、坐标、图片尺寸信息，示意图如下，将提取的XML文件以CSV表格形式汇总，CSV表格存储信息示意图如下所示。图1.3标注信息示意图表1.1光伏板图像CSV信息示意图filenameWidthHeigthClassXminYminXmaxYmaxCel0001.png300300defect6411484192Cel0001.png300300dust1448215496其中，Width、Hight对应光伏板的宽和高，class对应检测目标的类别，Xmin、Ymin、Xmax、Ymax分别对应四个定点坐标的值。制备数据集本文是基于yolo模型进行试验，需要将图片和XML格式转换成voc数据集，以下是voc数据集的示意图。图1.3voc数据集示意图1.2改进的yolov4模型1.2.1yolov4算法简介Yolov4是yolov3的改进版，是一种实时性很强的单阶段检测模型，其在yolov3的基础上添加了很多的trick，主要包括如下内容，主干特征提取网络在原来的Darknet53网络的基础上，结合了CSPnet算法的思想，提出了CSPDarknet，颈部由yolov3的FPN（特征金字塔网络）融合了SPP（空间金字塔池化层），提出了PANet（路径聚合网络），其将骨干网的深层特征向浅层传输，有效改善了FPN网络容易丢失浅层信息的问题。分类回归层沿用了yolov3的模型，另外在训练过程中加入了一些小技巧，如Mosaic数据增强、LabelSmoothing平滑、CIOU、学习率余弦退火衰减等，激活函数选用了Mish激活函数。特征结构如下。图1.4Yolov4结构特征图在特征提取阶段，yolov4提取多层特征进行检测，分别提取位于中间层，中下层，底层三个特征层的信息，三个特征层的shape分别为（76，76，256）、（38，38，512）、（19，19，1024）。输出层的shape为（19，19，75），（38，38，75），(76,76,75),最后一个维度的组成公式是3*（20+4+1），其中3是三个先验框，20是类别，4和1代表x_offset、y_offset、h和w、置信度。输出的结果经过一个解码的过程就可得到预测框的位置，然后通过非极大值抑制（NMS）对预测框进行筛选，选出一个最合适的框进行输出。常用的非极大值抑制方法有soft-NMS、WeightedNMS、DIOU-NMS、等，在此做一个简单的介绍，对于目标检测任务来说，NMS是一个必须的过程，其作用是对目标检测的结果进行冗余去除操作，即基于一个固定的距离阈值进行贪婪聚类，大于阈值的删除，小于阈值的保留。Soft-NMS是针对一些密集场景中NMS会直接将两个重叠度很高的GT直接去掉其中置信度较低的，这会带来漏检，对此作出的改进，改进的方法是将置信度改为Iou的函数，具有较低的值而不至于从排序列表中删去ADDINEN.CITE<EndNote><Cite><Author>李景琳</Author><RecNum>145</RecNum><DisplayText><styleface="superscript">[45]</style></DisplayText><record><rec-number>145</rec-number><foreign-keys><keyapp="EN"db-id="pwx2wzft2vdzwletaaux5axs9vzwsz2s0dep"timestamp="1615293399">145</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>李景琳</author><author>姜晶菲</author><author>窦勇</author><author>许金伟</author><author>温冬</author></authors></contributors><auth-address>国防科技大学计算机学院;</auth-address><titles><title>基于Soft-NMS的候选框去冗余加速器设计</title><secondary-title>计算机工程与科学</secondary-title></titles><periodical><full-title>计算机工程与科学</full-title></periodical><pages>1-10</pages><keywords><keyword>可重构计算</keyword><keyword>目标检测</keyword><keyword>非极大值抑制</keyword></keywords><dates></dates><isbn>1007-130X</isbn><call-num>43-1258/TP</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[45]，数学公式如下（1.1）WeightedNMS认为得分最大框未必是最精确的，冗余框也有可能是定位良好的，在此思想下WeightedNMS对坐标进行加权平均，加权的对象包括M自身以及IOU>NMS阈值的相邻框。数学表达式如下。（1.2）加权的权重，表示得分与IoU的乘积。DIOU-NMS认为若相邻框的中心点离得分最大框的中心点越远，越有可能是冗余框，基于此，提出了用DIOU代替IOU作为评价标准ADDINEN.CITE<EndNote><Cite><Author>王乃洲</Author><Year>2020</Year><RecNum>146</RecNum><DisplayText><styleface="superscript">[46]</style></DisplayText><record><rec-number>146</rec-number><foreign-keys><keyapp="EN"db-id="pwx2wzft2vdzwletaaux5axs9vzwsz2s0dep"timestamp="1615293698">146</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>王乃洲</author><author>金连文</author><author>赵清利</author><author>梁添才</author></authors></contributors><auth-address>华南理工大学;广电智能安全研究院;</auth-address><titles><title>基于Diou-Yolov3的车型检测</title><secondary-title>电子技术与软件工程</secondary-title></titles><periodical><full-title>电子技术与软件工程</full-title></periodical><pages>148-150</pages><number>04</number><keywords><keyword>目标检测</keyword><keyword>车辆类型检测</keyword><keyword>深度神经网络</keyword></keywords><dates><year>2020</year></dates><isbn>2095-5650</isbn><call-num>10-1108/TP</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[46]。数学表达式如下。（1.3）由公式可以看出当时，DIoU退化为IoU,此时的DIOU-NMS和传统的IoU效果一致。2、当时，此时大部分中心点不与M重合的框都被保留了。该改进对于密集场景有较好的效果。1.2.2SKnet注意力机制SKnet是SEnet的改进版，SEnet注重于对通道执行注意力机制，而SKnet着重于对卷积核执行注意力机制，让网络自行选择适合自己的卷积核，结合本课题研究的内容，因为光伏板的缺陷没有规则，且光伏板缺陷与灰尘，油渍等目标具有一定相似性，哪怕是用肉眼有时也不好区分，所以本课题首先提出了引入SKnet注意力机制的想法，采用让网络自行选择卷积核大小的方式，来提升模型的检测效果。SKnet的结构图如图所示。图1.5SKnet结构图网络主要由三部分组成，分别为Split、Fuse、Select。Split部分是对输入图片经过不同大小的卷积核进行卷积的过程，这里有多个分支，分别对输入图片进行卷积操作。Fuse部分将特征图按每部分的权重进行求和，求和公式如下，（1.4）U通过全局平均池化（GAP）生成通道统计信息，得到的Sc维度为C*1（1.5）特征Z（维度为d*1）是由全连接生成的，是RELU激活函数，B表示批标准化（BN），z的维度为卷积核的个数，W的维度为，d代表全连接后的特征维度，r为压缩因子。（1.6）（1.7）Select是根据不同权值的卷积核重新得到特征图的过程。通过softmax计算每个卷积核的权重。1.2.3SKnet模块的嵌入式设计在小目标检测任务中，随着网络结构的不断加深，小目标的特征也在逐渐减弱，因此对于小目标检测任务，容易造成目标的漏检、错检。SKnet是对不同图像使用的卷积核权重不同，既对不同的图像动态使用不同大小的卷积核。考虑到光伏板缺陷大小各异，没有固定的尺寸，所以采用SKnet与CSPDarknet53相结合的想法提升网络的精度，但在实际应用中，将SKnet嵌入网络的哪个位置更有效始终没有一套成熟的理论。本文就SKnet模块插入网络的不同位置进行研究，分别在骨干层、颈部、头部三个区域分别嵌入SKnet注意力机制模块，由于SKnet注意力模块本身是针对卷积核的注意力机制，因此我们将SKnet注意力模块分别嵌入到上述三部分中的每一特征融合区域（即Add、concat层后以及模型检测头之前）。基于此产生了三种基于yolov4的改进模型，本文称之为YOLOv4-SKnet-A、YOLOv4-SKnet-B、YOLOv4-SKnet-C，分别对应将SKnet插入骨干层、颈部、头部三种情况。下面将详细介绍SKnet模块的插入设计。网络的骨干层结构如下所示：图1.6yolov4主干特征提取网络本文将SKnet嵌入csp模块concat层和resunit模块的add层之后，示意图如下所示：图1.7YOLOv4-SKnet-A同理，分别将SKnet嵌入颈部的concat层之后和检测头之前，示意图如下所示：图1.8YOLOv4-SKnet-B图1.9YOLOv4-SKnet-C1.3实验与结果分析本实验模型训练使用的硬件平台为Intel(R)Xeon(R)Silver4110CPU,NVIDIAGeForceRTX2080Ti11GGPU,软件使用windows系统，python3.7,PyTorch1.2.0深度学习框架。本实验首先从2600张图片中随机标注728张图片，按训练集和测试集9:1的比例进行划分。1.3.1网络训练与测试本实验采用准确率P，召回率（Recall）、F1分数、mAP，四项指标来评价网络的性能ADDINEN.CITE<EndNote><Cite><Author>李红光</Author><RecNum>148</RecNum><DisplayText><styleface="superscript">[47]</style></DisplayText><record><rec-number>148</rec-number><foreign-keys><keyapp="EN"db-id="pwx2wzft2vdzwletaaux5axs9vzwsz2s0dep"timestamp="1615294040">148</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>李红光</author><author>于若男</author><author>丁文锐</author></authors></contributors><auth-address>北京航空航天大学无人系统研究院;北京航空航天大学电子信息工程学院;</auth-address><titles><title>基于深度学习的小目标检测研究进展</title><secondary-title>航空学报</secondary-title></titles><periodical><full-title>航空学报</full-title></periodical><pages>1-19</pages><keywords><keyword>目标检测</keyword><keyword>深度学习</keyword><keyword>小目标检测</keyword><keyword>数据集</keyword><keyword>算法应用</keyword></keywords><dates></dates><isbn>1000-6893</isbn><call-num>11-1929/V</call-num><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[47]，MAP用于多标签图像分类任务的评价，是多类目标检测任务中评价模型整体优劣的重要指标。各项指标的表达式如下（1.8）（1.9）（1.10）式中，表示检测正确的个数；表示检测错误的个数；代表漏检的个数；c代表分类数，AP代表单目标类别的检测精度，其中。实验输入图片的尺寸为416*416，学习率为0.001，每50次迭代后将学习率衰减为