2024光伏电站红外图像监测系统

光伏组件红外图像监测系统2024目录绪论 1研究背景及意义 1光伏组件故障检测国内外研究现状 2基于数学模型检测国内外研究现状 2基于智能检测国内外研究现状 3基于红外图像检测国内外研究现状 4主要研究内容 5论文结构安排 5光伏组件故障检测系统总体方案设计 7光伏系统发电原理 7太阳能电池发电原理 7光伏组件故障原理 7光伏热斑红外成像特征 8系统总体设计方案 8系统各功能模块设计 9图像采集部分介绍 9地面服务部分介绍 10本章小结 20基于FasterR-CNN的光伏组件故障检测算法 21主要框架 21FasterR-CNN基本原理 21基于SwinTransformer的光伏热斑识别 26实验数据集建立 30光伏红外图像采集 30光伏红外图像标注 31光伏数据集增强 32实验过程与结果分析 33评价指标 33实验环境与训练参数设置 34实验结果和分析 34本章小结 37基于特征融合和注意力机制的热斑检测 39主要框架 39多尺度热斑特征融合方法研究 39基于注意力机制的热斑检测 43实验结果和分析 45不同特征融合网络实验结果 45不同注意力机制实验结果 46不同模型对比实验 48消融实验 49本章小结 50光伏组件故障检测系统开发与实现 51系统体系结构设计与开发环境 51软件结构 51开发环境介绍 52数据库设计 52功能实现与界面展示 57登录功能 57视频检测功能 57图像检测功能 58系统运行展示 60系统测试 61系统测试流程 61系统功能性测试 62本章小结 64总结与展望 656.1总结 656.2展望 6511绪论危机[1]20世纪末开始，新能源技术逐渐在各个国家引起了广泛重视[2]可以进行光伏发电，并且对环境无污染。因此太阳能越来越受到各个国家的重视。出台一系列政策和举措对光伏发电行业进行支持和鼓励，促进了光伏产业的发展。2022[4]光伏组件的日常维护与故障检测十分有必要。时恶劣的气候环境会危害到维修人员的健康。有着十分重要的意义[5]。33件故障检测方法大致可分为数学模型检测、智能检测和红外图像检测。基于数学模型检测国内外研究现状应用中，并且故障定位能力差，误判率较高。基于智能检测国内外研究现状度上都有着比较大的优势。PAGEPAGE5很难得到保证。基于红外图像检测国内外研究现状不需要额外安装大量传感器来获取光伏组件的电气参数，节约了电站成本。如下：FasterR-CNN热斑故SwinTransformer从实际出发对光伏电站日常运维进行分析，调研了现有的光伏故障检测系统，确并对系统各模块进行功能性测试。本文的具体组织结构如下:主要研究内容以及组织结构。FasterRCNNFasterR-CNN基本结构，然后分析了卷积神经网络的缺点和介绍TransformerFasterR-Swin光伏组件故障检测模型，最后在自制光伏数据集上进行实验，通过与VGG16、Resnet50等网络进行对比实验和展示识别结果证明本模型提取热斑特征能力更强。FasterR-SwinBiFPN结构来实现浅层特征与深层特征双CBAM热斑故障检测上的优越性。QTcreator个模块的运行效果进行展示。最后对系统的功能性测试与非功能性测试进行阐述。第六章：总结与展望，对本文所做工作的总结，以及将来继续需要完成工作的展望。PAGEPAGE7光伏组件故障检测系统总体方案设计替传统人工巡检方式实现对光伏组件的故障检测。太阳能电池发电原理P-N结为基础的半导体材PNNPPNPPN2-1所示。图2-1太阳能电池工作原理图Fig.2-1Schematicdiagramofsolarcelloperation光伏组件故障原理0.5V无法满足负载的要求。在实际应用中将nm个太阳能电池通过一定的串并联结构进行搭建形成一个光伏组件，以S（sispaalllry）结2-2SP所示。IoutI1I2In光伏组件的输出电压等于每一支路的电压如式（2-2）所示。

（2-1）m m mt,iV2,iVm,i

（2-2）光伏组件的输出功率为输出电流和输出电压之积如式（2-3）所示。n moutoutIoutIii,n

（2-3）图2-2光伏组件结构Fig.2-2PVmodulestructure度达到一定程度时，就会损坏组件的结构，这种现象称为热斑故障。光伏热斑红外成像特征由热斑故障成因可知热斑故障处会产生高温因此在红外图像下热斑处的亮度高于正2-3所示。光伏组件中个别太阳能电池片局部发热产生热斑，容易导致光伏组件这一部分被遮挡，因此热斑故障大多数分布在光伏组件的边缘处。

图2-3热斑红外图像Fig.2-3Hotspotinfraredimage光伏组件故障检测系统目的是实现对光伏电站中光伏组件健康状态的分析，并能及时PAGE4GPS定位模块组成，地面服务部分由用户交互模块、故障检测图2-4系统整体框图Fig.2-4Blockdiagramoftheoverallsystem图像采集部分介绍M3003Kg以上，搭载机载处理器、GPS6050KM/h630KM，同时提供多种接口，支持硬件扩展。GPS定位模块GPS芯片的支持下，可以将无人机当前所处位置的经纬度坐标添加到拍摄到的每一帧光伏组件红外图像中，为日后的故障排查和定位提供了关键依据。红外相机模块640×4808-1225Hz以便规划出一条覆盖整个电站且能够以最佳角度识别光伏组件的拍摄数据路线。无线通信模块4GSDK集到的数据。地面服务部分介绍Windows10Pycharm作为软件开发的集成开发环境，编PythonPyQt5OpenCV库对图GPUMySQL2-1所示。表2-1硬件配置Tab.2-1Hardwareconfiguration设备CPU内存GPU操作系统PCInterCorei932GBGeForceRTX2080Win10用户交互模块应的操作。本系统图形用户界面具有以下功能：登录注册界面。操作，否则需要重新输入。图像预处理界面。噪声去噪等处理，然后将处理后的图像送入故障检测模块中进行检测。概略全景重构界面。后续进行统计和分析。故障检测界面。可选择不同的算法对采集到的视频或图片加载到检测模型进行故障检测，并在UI界面上显示分析结果为故障的光伏组件添加GPS信息，实现故障的准确定位。数据分析界面。PAGEPAGE11出等一系列后续操，为光伏电站维护人员提供重要的参考信息。图像处理模块比度低、失真和畸变的问题，本模块主要对图像进行去噪处理和畸变矫正。畸变矫正其算法步骤如下：Step1：打印一张棋盘格，如图2-5所示，并贴在平坦的面板上；图2-5棋盘格图片Fig.2-5CheckerboardpictureStep2：使用相机在不同姿态、不同角度、不同尺度下对棋盘格拍摄图片，根据经验以10~20张图片为宜；Step3：根据Harris特征在图片中检测棋盘格内角点的坐标，并进一步检测棋盘格内角点的亚像素坐标，亚像素坐标检测效果图如图2-6所示；Step4：设置棋盘格内角点的三维坐标，可取0,0,0、（0,0,1）⋯（0,M,N）；Step5：根据内角点的三维坐标和二维坐标利用解析解估算方法计算出内参和畸变参数。2-6亚像素坐标系下角点检测图Fig.2-6Cornerpointdetectionimageinsubpixelcoordinatesystem相机畸变主要有两类:径向畸变和切向畸变。其中，径向畸变是由于相机透镜自身对2-7点进行径向畸变校正。（a）正常图像 （b）桶型失真 （c）枕形失图2-7径向畸变Fig.2-7Radialdistortion2-8可以不进行畸变矫正，以避免算法的额外开销。图像去噪

（a）原始图像 （b）畸变校正和裁剪后的结果图图2-8畸变校正Fig.2-8Distortioncorrection和像素间相似度程度。在双边滤波中，输出像素点的像素值如式（2-4）所示。k,lf(k,l)i,j,k,l)g(i,j)

k,li,j,k,l

（2-4）�����处的像素值;�i���域核和值域核的乘积。定义域核定义如式（2-5）所示。(ik)2(ijl)2(d(i,j,k,l)e

)d22d

（2-5）值域核定义如式（2-6）所示。PAGEPAGE13(r(i,j,k,l)e

)f(i,jf(i,j)f(k,l)2r

（2-6）最终结果如式（2-7）所示。(w(i,j,k,l)e

(ik)2(ijl)2d22d

)f(i,jf(i,j)f(k,l)2r

（2-7）2-9和纹理等细节特征。系统管理模块

（a）原图 （b）滤波图图2-9双边滤波处理效果Fig.2-9Processingeffectafterbilateralfilter本模块针对不同的用户设置具体功能，并且赋予不同的权限，来保证系统稳定运行。系统的用户分为普通用户和系统管理员两大类如图2-10所示。日志导出、图表打印等权限。权限。图2-10系统管理模块结构图Fig.2-10Architecturediagramofsystemmanagementmodule故障检测模块2-11所示。至于模型的详细结构和检测精度本文将在第三章和第四章进行讨论和分析。图像拼接模块

图2-11故障检测模块流程图Fig.2-11Flowchartoffaultdetectionmodule2-12图2-12不完整光伏组件图像Fig.2-12IncompletephotovoltaicmoduleimagePAGEPAGE15SIFT[46]（Scale-invariantfeaturetransform）2-13SIFTRANSAC图像的变化关系，最后通过融合得到拼接后的图像。特征点检测

2-13图像拼接流程Fig.2-13Flowchartofimagestitching所示:G(x,y,)

1

(x2y2e22

（2-7）L(x,G(x,I(x,y) （2-8）其中G(x,y,)是高斯核函数，L(x,y,)是对应值尺度处理下的尺度图像，其中I(x,y)是原图像。将高斯金字塔中相邻两层图像进行差分如图2-14所示，得到在同以一尺度空间中检测到的极值点，DOG（DifferenceofGaussian）函数如式（2-9）所示，其中k为两相邻尺度空间的权重值。D(x,y,)(G(x,y,k)G(x,y,))I(x,y)L(x,y,k)L(x,y,)（2-9）图2-14高斯差分金字塔Fig.2-14Gaussiandifferencepyramid像素点进行比较，以确定其在图像域和尺度域中是否比周围的相邻点更大或更小，如图2-15所示。图2-15极值点检测示意图Fig.2-15SchematicdiagramofextremumdetectionpointsHessian点的位置，从而更好地满足实际应用的需求如。Hessian矩阵如式（2-10）所示。H[DxxDxy

Dyx]Dyy

（2-10）PAGEPAGE17HHessianDxx、Dxy、Dyx、Dyy为相邻点的差分。设和H的两H的迹(HDet(H公式如式（2-11）和（2-12）所示。Tr(H)DxxDyy

（2-11）Det(H)Dxx

2

（2-12）xy假设令r，则可以求出阈值T如式（2-13）所示。xy(H)2TDet(H)

()2

(r1)2r

（2-13）可以看出T和rTH为一个关键点描述子。特征点匹配2-16所示。图2-16特征点匹配Fig.2-16FeaturepointmatchingRANSAC（Randomampleconsensus）过滤出错误的匹配，最后利用正确匹配点对计算两幅图像之间的单应矩阵，用于计算仿射变换。图像融合f1(xyf2xy1和融2f(x,yf(x,y的计算如式（214）所示。其中1和201之间取值，且有121。f(x,y)

f1(x,y)

ω(x,y)

(x,y)

(x,y)f1(x,y)(ff)

（2-14）(x,y)f1(x,y) 2 2 1 2f (f

(x,y)f2通过上述步骤可以将分散的多张连续红外图片通过拼接将光伏支架完整进行展示如图2-17所示。（a）拼接前无线通信模块

（b）拼接后图2-17光伏红外图像拼接结果Fig.2-17TheresultofphotovoltaicinfraredimagestitchingTCP传输，TCP通信协议具有较高的可靠2-18所示。具体的连接流程如下：SYN=1seq=x连接。SYNACK=x+1SYN=1seq=y的数据包给客户端。SYNACKACK=1表示确认收seq=y+1的数据包，至此三次握手完成，双方开始正常通信。包（FIN=1）给服务端，告诉它自己的数据已经发送完毕，请求终止连接，此时客户端不发送数据，但还能接收数据。ACK包给客户端告诉它已经收到包了，此时还没有断开连接，而是等待剩下的数据传输完毕。完毕，表明可以断开连接。ACK包表明确认收到，等待一段时间，确保服务端不再有数据发过来，然后彻底断开连接。PAGEPAGE19数据存储模块

2-18TCP协议示意图Fig.2-18SchematicdiagramofTCPprotocol电站中的数据，数据库的详细设计本文将在第五章进行介绍。数据分析模块2-2GPS2-3GPS坐标和光伏电站的全景图可以大致找到故障组件所在区域，再通过组件的编号2-19所示。故障定位完成后生成的报告通知光伏电站工作人员及时排查故障，保障光伏电站的正常运营。表2-2图像检测结果Tab.2-2Imagedetectionresult组件编号XY状态111.6432.18Normal273.7834.65Normal3116.2333.47Normal……2-2（续）1981143Spot……641225.89631.28Normal651307.07633.71Normal2-3GPS坐标Tab.2-3GPScoordinatesofinfraredimage图像编号GPS坐标(X)GPS坐标(Y)是否存在热斑V1-1112.148807532.7096522NV1-2112.751928332.7498776NV1-3113.533087633.1381282N……V1-22124.0122962636.9287551Y……V1-34132.893321239.6208040NV1-35133.253517340.2336346N

图2-19故障定位示意图Fig.2-19Schematicdiagramoffaultlocation原理，后续内容将围绕这些方法详细展开。PAGEPAGE21FasterR-CNN的光伏组件故障检测算法FasterR-CNNVGGResNet结构，TransformerFasterR-Swin改进模型。通过在自定义的3-1loss损失函数计算得到的坐标回归参数对候选目前主流的检测模型主要分为以YOLO[47-50系列为代表的单阶段检测模型和以R-CNN[51,52]系列为代表的两阶段检测模型。由于光伏红外图像中目标数量众多，为了尽可FasterR-CNN[53]作为基础模型进行光伏组件故障检测。本章SwinTransformer作为特征提取网络建立特征点之间依赖关系。图3-1目标检测任务整体框架Fig.3-1OverallframeworkofobjectdetectiontaskFasterR-CNN基本原理FasterR-CNN主要由四个部分组成：特征提取网络、RPN网络、RoIpooling和检测网络。FasterR-CNN首先利用主干网络对待检测的图像进行特征提取得到特征图，RPN网络在利用特征图生成数量众多锚框（Anchor）AnchorAnchorRPNRoIpooling缩放FasterR-CNN测流程如图3-2所示。特征提取网络

图3-2FasterR-CNN结构图Fig.3-2ArchitecturediagramofFasterR-CNN当前主流的特征提取网络主要是用卷积神经网络[54（ConvolutionalNeuralNetworks,CNN）来提取输入图像的特征。CNN是一种非全连接的神经网络，由卷积层、可以被看作是一种高度自适应的滤波器，能对给定的特征进行自动提取，对于平移、缩放等变化有很强的鲁棒性。在R-CNNVGG16[55]3-313个卷积层、5个3135个卷积组，每个卷积组后面跟着一33551/433个77卷积核感受野大小一样，参数量减少了约1/2。2242243大小的输入图像在经过5个卷积组后得到775124096维的全连接层和一层1000维Softmax层中输出每个类别的概率值。图3-3VGG16结构图Fig.3-3VGG16architecturediagram理论上卷积网络层数越深能从输入图像中提取到的特征越丰富，但是VGG网络通过PAGEPAGE2319层后，梯度反向传播过程变得困难，使ResNet[56]3-4x在经过堆积层结构后其学习到H(xF(x)H(xxF(x)+x。由此可以看F(x0时，这意味着堆叠层始终能够学习到新的特征，并在原有特征的基础上F(x)0图3-4残差模块示意图Fig.3-4SchematicdiagramoftheresidualmoduleResNet有两种残差结构如图3-5所示，图3-5（a）用在网络层数较少的网络如ResNet-18/34，该残差块包含两个33Relu3-5（b）通过使用两个11卷积进行降维和升维操作，减少了计算量。

（a） （b）3-5残差模块两种结构Fig.3-5TwostructuresofresidualmoduleRPN是一种全卷积网络，FasterR-CNN是使用RPN代替选择性搜索算法，并且让RPN和FasterR-CNN共享网络参数，不但减少了候选框数目而且提高了候选框的质量。输入图像通过前面介绍的特征提取网络后得到特征图，RPN在特征图上用33的窗口进kAnchor4k2k2kAnchor所框选的区域是否存在检测目标。边框回归层输出4kk个(x,y,w,hRPNk设置为三种尺度和三种比例{1:1，1:2，2:1}9Anchor3-6所示。图3-6RPN网络结构示意图Fig.3-6SchematicdiagramofRPNnetworkstructureRPN（groundAnchor（Intersectionoverunion，IoU）Anchor3-7IoU计算如式（3-1）所示。图3-7IoU示意图Fig.3-7SchematicdiagramofIoUIoUABAB

（3-1）AAnchor，Bgroundtruth，IoU用来衡量两个边界框的相似性，通常情况groundtruthIoU0.7groundtruthIoU小于0.3Anchor20000anchor2000anchorIoU找到包含目标的检测框，但是还是存在PAGEPAGE25（Non-MaximumSuppression，NMS）。其图3-8NMS过程示意图Fig.3-8SchematicdiagramofNMSLSoftmax函数可以得到分类损失值，利用smoothL1RPN所示。L({p},{t})1L

(p,p*)1

p*L

(t,t*)

（3-2）i i N

clsi

cls i

Nregi

iregiiLclslog(pi)

（3-3）L (t,t*)smooth

(tt*)regii

L1ii0.5x2

iif|x

（3-4）smoothL(x)

（3-5）1 x|0.5

otherwiseii其中：pi}为目标分类层的输出，{ti为平衡权重对损失值进行归一化，使得总网络损失函数计算过程能够均匀考虑两种损失函数。pi表示第i个Anchorp*0ti表示模型预t*表示第iNclsbatchNregAnchor位置的个数。iiRoI池化RPNRoI度。RoI3-9所示，通过把特征图分割成33、22、11个单元，采用最大池化操作进行降维，生成固定尺寸的数据维度。检测网络

图3-9RoI池化示意图Fig.3-9SchematicdiagramofRoIpooling检测网络的作用是对目标进行更详细的分类，并且进一步调整预测框的坐标。与RPN损失函数类似检测网络损失同样由分类损失和回归损失组成其公式如下所示：L(p,u,tu,v)L

(p,u)

(tu,

（3-6）(p,u)logpu

（3-7）L(tu,v)

(tuv)loc

i{x,y,w,h}

i

（3-8）psoftmaxpp0pkuv表tugroundtruth平衡分类损失和回归损失之间的权重。SwinTransformer的光伏热斑识别幅图像的全局认知，将热斑特征和一些背景杂质特征混淆，容易造成热斑的误检。因此本章将视觉Transformer[57结构引入FasterR-CNN模型中，搭建基于视觉Transformer的光伏热斑识别模型。近年来，Transformer在计算机视觉任务中取得了良好效果[58-63]。TransformerPAGEPAGE27征与特征之间的相对关系，从而提取到更富的特性信息。SwinTransformer[64]FasterR-CNN的特征提取网络，SwinTransformer3-10嵌入模块、PatchMerging模块TransformerSwinTransformerTransformer并发处理、

图3-10SwinTransformer结构图Fig.3-10ArchitecturediagramofSwinTransformerTransformer模型的最小输入单位。而在计算机视觉领域输HWCTransformer。嵌入4大小为44482242243shape为565648，相当于将输入光伏红外图像中每44大小的像素区域作为一个Token56LinearEmbedding1大小为1196的卷积核将每个图像块线性映射到一维向量中。由加上位置编码（PositionEmbeding）。PatchMerging

图3-11Token模块示意图Fig.3-11SchematicdiagramofTokenmoduleSwinTransformerMerging层进行下采样，在不丢失特征的情况下使特征图通道数变为原NN4N/2N/2的特4C4C2C3-12所示。Transformer模块

图3-12PatchMerging模块示意图Fig.3-12SchematicdiagramofPatchMerging3-13所示，TransformerMulti-Head（Multi-LayerPerceptron，ShiftedWindowsMulti-HeadSelf-Attention，SW-MSA)三LayerNormalization，LN)，使输入分布稳定，降低内部协变量漂移的影响。

图3-13Transformer模块结构图Fig.3-13ArchitecturediagramofTransformermodule解决这个问题，SwinTransformer之间的自注意力机制，大大降低了模型的运算量。Q(Query)K(Key)之间相关性实现特征的动分别乘以WqWkWvPAGEPAGE29得到查询值Qq2,qnKk2,kn和提取到的信息Vv2,vn为其查询值为qiSelf-Attention的最终输出依赖其余niqikj表示Tj对对Softmax01wj，则wjvj表示Ti最终的输出值。用矩阵表示自注意力机制如公式（3-9）所示，其中d为缩放因子起调节作用。QKTAttention(Q,K,V)softmax( dk

（3-9）QKV公式（3-10）和公式（3-11）所示：1 MultiHead(Q,K,V)Concat(head,,headO （3-101 headAttention(QWQ,KWK,VWV) （3-11）i i i iSwin-B模型窗口大小77Stage1中多头自注意力的个数为4，则WMSA3-14所示。首先输入大小为965656大小的特征图经过11卷积后映射为28856563个965656依次作为Q、K、V。然后，根据公式（3-10）Rearrange作特征图大小调整与输入尺寸一致。图3-14基于窗口的多头自注意力Fig.3-14Window-BasedMulti-HeadSelf-Attention移动窗口注意力机制内部进行计算，造成了窗口与窗口之间无法进行信息传递的问题。SwinTransformer模块，来进行窗口的移动并再次计算自注意力机制，实现35aL层的-MA4个44L+1SW-MSA99个窗口内进行自注意力的计算实现了图（a）4所有窗口产生交互。窗口注意力机制 (b)移动窗口注意力机图3-15移动窗口注意力示意图Fig.3-15SchematicdiagramofShiftedWindowsMulti-HeadSelf-Attention移动窗口注意力计算如式（3-12）、式（3-13）、式（3-14）和式（3-15）所示。WMSA(LN(zl1))

（3-12）zl(LN())

（3-13）ˆl1SWMSA(LN(zl))z

（3-14）zl1MLP(LN(ˆl1))ˆl

（3-15）是第l1SW-MSAMLPzl是第lW-MSA通过MLPMLP的作用是对特征图进行非线性映射，增强模块的非线性表达能力。光伏红外图像采集1057785张178607640×512513-1PAGEPAGE31所示。

3-1光伏红外图像示例Tab.3-1Exampleofphotovoltaicinfraredimage目标 示例 拍摄照片数量1214227331784120光伏红外图像标注LabelImgVOCXML文件，3-163-17所示。相比与只标注光伏组件上高亮的故障区域，本文的高亮区域识别为故障。3-16标注软件界面Fig.3-16Interfaceofannotationsoftware3-17光伏数据集标注方式Fig.3-17Annotationmethodforphotovoltaicdatasets光伏数据集增强3-1819953-2所示。图3-18数据集增强Fig.3-18DatasetsaugmentationPAGE2光伏红外图像数据集Tab.3-2Datasetsofphotovoltaicinfraredimage数据集电站样本数数据扩充电站1214642电站2273819训练集电站3178534总计6651995测试集电站41200FasterR-CNN3.3Backbone来提取光伏组件的特征比较，涉及的主干网络包括VGG16、Resnet50、GoogLeNet[65]、ResNext50[66]SwinTransformer。评价指标在目标检测中常用精确率（Precision，P）、召回率（Recall，R）评价模型的好坏。的可能性越低。精确率和召回率计算如式（3-16）和（3-17）所示：precisionRecall

TPTPTP

（3-16）（3-17）TPFNTP表示正样本被模型预测出来的个数。FP表示负样本被模型预测为正样本的个数。TN表示负样本被模型预测出来的个数。FN表示正样本被模型预测为负样本的个IoUIoU0.5TPFP。10.90.9才认为检测正确，这样的话大部分目标很难0.1（meanPrecision，mAP）来对模型进行评价。AP值反映了待检目标中某一类别的精度，是将所有如式（3-18）所示。1AP0PRdr

（3-18）APmAP均精度，反映的是分类器对所有类别的检测效果，其公式如式（3-19）所示。NNAP(n)mAPn1 N

（3-19）准确率和召回率是一对矛盾的度量，为了能够综合考虑这两个指标引入F1-score如s0结果最差。F12precisionrecallprecisionrecall

（3-20）实验环境与训练参数设置本文所有模型在训练时所使用显存24G的NVIDIARTX3090显卡，开发环境为Ubuntu18.04系统，编程语言Python3.8，开发工具为PyCharm，实验模型基于PyTorch1.5深度学习框架进行搭建。ImageNet-1K输入的图像缩放成统一尺寸大小，进行标准化处理，并采用随机翻转策略，当概率超过0.5SGDepoch200，batchsize40.00550epoch0.33倍。加入动量可以加快收敛速度，权重衰减系数作0.90.0005。实验结果和分析3.2loss3-19100收敛，200次迭代完成后损失曲线最终达到收敛。3-19loss曲线Fig.3-19Losscurveduringtraining模型训练完成后使用保存的权重在测试集120张图片进行测试，将IoU阈值设置为PAGEPAGE350.750.75以上时候预测为正例，统计每一个目标预测P-R曲线，其中图(aP-R曲线，图(bP-R曲线，通过公式(3-1877.893.6%P-R曲线看P-R曲线下降幅度比较小，表明模型对光伏组件检测性能较好。(a)热斑故障P-R曲线 (b)正常组件P-R曲图3-20热斑故障的P-R曲线Fig.3-20P-RcurveofhotspotfaultmAP3-21所示，mAPepoch100次迭代后mAP85.7%。图3-21训练和测试集上的mAP曲线Fig.3-21ThemAPcurvesontrainingandtestingsetsSwinTransformer特征提取能力，本文通过使用不同的特征提取网络替换FasterR-CNN200次迭代3-33-3Swin-BFasterR-CNN骨干网络提取特征相比于FasterR-CNN原始骨干网络VGG16VGG16Swin-B斑故障的准确最高，可以得出相比于卷积神经网络提取目标特征，Transformer网络提取目标之间关系的建模方式可以加强模型对小目标的感知能力，更有利小目标的定位。表3-3 不同特征提取网络检测结果对比Tab.3-3ComparisonofdetectionresultswithdifferentfeatureextractionnetworksBackboneSpotNormalmAPFLOPsResNet5069.4%91.8%80.6%7.95GVGG1667.7%88.2%78.0%12.52GGoogLeNet68.5%90.2%79.4%5.53GResNext5070.2%92.4%81.3%10.27GSwin-B77.8%93.6%85.2%6.83G3-22Swin-B3-23FasterR-CNN模型在热P-R曲线，VGGP-R5Swin-BP-R标轴围的面积最大，对热斑故障检测效果最好。3-22backbone准确率对比Fig.3-22Accuracycomparisonofdifferentbackbones3-23backboneP-R曲线Fig.3-23P-RcurvesforhotspotfaultswithdifferentbackbonesPAGE243-253-243-25所示的热斑故障都被识别出来3-24热斑漏检情况Fig.3-24Misdetectionofhotspot3.4本章小结

3-25热斑检测结果Fig.3-25HotspotdetectionresultsFasterR-CNNVGG-16ResNet网络进行对比分析，得出卷积神经网络存在建模效率低和缺乏全局感受野等问题。接着介绍了TransformerSwinTransformerFasterR-CNN模型测试检测效果，用常用的目标检测算法SwinTransformerFaster要求，需要对模型进行改进，从而引出第四章内容。PAGEPAGE39基于特征融合和注意力机制的热斑检测伏电站场景下的目标检测有效性。4-1SwinTransformer图4-1检测模型整体框架Fig.4-1Overallframeworkofthedetectionmodel多尺度热斑特征融合方法研究FasterR-CNN模型中，RoIPooling只在最后一层特征图上执行来生成候选框特征金字塔网络特征金字塔网络（FeaturePyramidNetwork[67]，FPN）是一种用于解决深度神经网络中多尺度物体检测和分割问题的算法。FPN是通过构建由多个不同尺度特征图组成的金采用横向连接的方法，在网络的不同层之间建立连接，过使用卷积和上采样等手段来提高特征图的分辨率使其可以在低层特征图中添加高层特征图的信息来增强低层4-2Ci是第i层的特征图且大小为Ci1为融合的特征图。可以看出相比较于只使用

图4-2FPN结构图Fig.4-2ArchitecturediagramofFPNFPN4-3FPNFPN添加了一个额外的自下而上的聚4-3（b）所示。FPN结构进行了补充，该网络采用双向融合，缩短检测的效果比FPN算量变得更大。双向特征金字塔网络BiFPN4-3（c）所示，是由谷歌大脑团队在EfficientDet[69]目标检测算法中首次提出。（a）FPN （c）BiFPN图4-3不同种类的特征融合网络Fig.4-3DifferenttypesoffeaturefusionnetworkstiFPN删除只有一个输入边的节点减少网络计算量并且加入了跳跃PAGEPAGE41以通过权重来使不同层的特征图贡献不同。BiFPN采用快速归一化融合方法对不同层特征进行加权融合如式（4-1）所示。

wiIi

（4-1）ji wjjBiFPN结构第6层级的融合特征可用如式（4-2）和式（4-3）所示。6PConv(resize(F7))6

（4-2）w1w2Nonv(66ie(N5))6

（4-3）1 2 366N66是避FasterR-SwinBiFPN结构，来提高模型对小目标热斑故障的检测能力。BiFPN的热斑检测模型原FasterR-CNN模型在最后一个特征图上做检测，anchor设置为三种尺度642,1282,2562}和三种比例,,}据集中，热斑故障的像素大小范围在2020到3030之间，导致模型容易漏检小目标的FasterR-CNNBiFPN结构。Swin-B4-14Stage4816324张特征图进行双向融合后，在输出的不同尺度的特征图上预测不同尺度的目标，可以大幅度提高模型对多尺度目标检测性能。表4-1Swin-B网络结构Tab.4-1StructureofSwin-B

OutPutsize Structure name Conv1Conv1a

4856561285656

44,tide,padding0112,tide,padding0,LNiz.7dim12,had4,LN12)

2Stage1

12856

125,tide,padding0,Dropout(p0.，LN12)Conv2

2562828

425,tide,padding1,LN(256)西安理工大学电子信息硕士专业学位论文表4-1（续） iz.7dim25,had8,LN(256)

2Stage2

25628

151,tide,padding0,Dropout(p0.，LN(256)Conv3

5121414

451,tide,padding1,LN512)iz.7dim51,had16,LN512)

18Stage3

51214

11024,tide,padding0,Dropout(p0.，LN512)Conv4

102477

4102,tide,padding1,LN1024)iz.7dim1024,had32,LN1024)

2Stage4

10247

1204,tide,padding0,Dropout(p0.，LN1024) 本文的多尺度融合模块整体采用BiFPNSwin-B网络结构进行一定修改，4-4F1、F2、F3、F4481632P3N2N3N4是检测层。图4-4BiFPN结构图Fig.4-4ArchitecturediagramofBiFPNN4102477F4使用11卷积进行降维2倍的上采样得到5121414特征图C4C4和F3分别乘以权重1和2进dd融合得到大小为5121414P3P32倍上采样得到2562828C3C3F2分别乘以权重和add融合得到大小为2562828特征图P222倍上采样得到866特征图C22和F1分别乘以权重5和add融合得到大小为1285656N1；N12倍下采样得到6881，将2、P、1分别乘以权重、、dd融合得到大2562828N2；N22倍下采样得到5121414D2，将PAGEPAGE433、P、2分别乘以权重、、dd融合得到大小为51214143；N3进行最大池化操作得到51277N4。BiFPNN1N2N3N1anchors面积设置为162N3N4anchors面积分别设置为322、642和1282nhos的比例设置都为,,}。基于以上改进后43anchor12anchor9anchorBiFPN后能够将更多浅层细节特的检测能力。基于注意力机制的热斑检测[70]SENet[71]（SqueezeandExcitationNetworks）模型沿着空间维度压缩CBAM[72]特征，算法性能更优。CBAM原理4-5的每个位置赋予相应权重，以表达更有利于目标定位的特征信息。图4-5CBAM结构图Fig.4-5ArchitecturediagramofCBAM通道注意力模块结构如图4-6所示，同时使用MaxPool和AvgPool来对输入特征图的空间维度进行压缩，得到两个C11的特征图，将两个特征图输入到共享的全连接层，第一层神经元个数为C/rReLU后，再经过神经元个数为CMLP输出的两个特征向量进sigmoid4-4avgFFcavg

c和和

表示经过平均池化和最大池化操作后的特征。Mc(F)(MLP(AvgPool(F))MLP(MaxPool(F)))(W(W(Fc))W(W(Fc)

(4-4)1 0 avg 1 0 max图4-6CBAM通道注意力模块Fig.4-6CBAMchannelattentionmodule4-7大值和平均值得到两个HW1的特征图，将得到的两个结果沿通道方向拼接成HW2的特征图，然后使用77HW1特征图，最后将特征sigmoid乘以权重值得到输出特征层。算法流程如式(4-5)所示。sM(F)f77([AvgPool(F);MaxPool(F)]))s

(4-5)(f77([Fs

s,,

]))图4-7CBAM空间注意力模块Fig.4-7CBAMSpatialattentionmoduleBiFPN-CBAM的热斑检测模型CBAM是一个简单高效、即插即用的轻量级注意力模块，可以集成到任何网络中，CBAM4-8所示，在进行多尺度CBAMPAGEPAGE45

图4-8BiFPN-CBAM结构图Fig.4-8ArchitecturediagramofBiFPN-CBAM3.3.2bthsiz=40.005c200lossmAP4-9200mAP94.4%9.2%。64-9LossmAP曲线Fig.4-9LosscurveandmAPcurveofthemodel不同特征融合网络实验结果4-10所示，可以看出加入特征融合网络后无论是对热斑故模型加入Pt和iFPN67%103%8%，可以BiFPN网络对小目标热斑故障检测精度的提升远好于只进FPN网络，这是由于双向融合能更好的保留小目标特征信息。虽然和BiFPNBiFPN对热斑故障检测效果略好于BiFPN在进行特征图融合时引入权重，更好的平衡了不同尺度的特征信息。4-10不同特征融合网络的准确率Fig.4-10Accuracyofdifferentfeaturefusionnetworks所示，可以看出在加入特征融合网4-11(a4-11(bFPN4-11(c4-11(dBiFPN强。(a)FasterR-Swin (b)FPN检测结果(c)加入检测结果 (d)加入BiFPN检测结图4-11不同特征融合网络检测结果对比Fig.4-11Comparisonofdetectionresultswithdifferentfeaturefusionnetworks不同注意力机制实验结果为验证加入不同注意力机制模块后对热斑故障检测性能的提升，在模型加入融合网络PAGEPAGE47BiFPNSENetCBAM4-12CBAM比改进前CBAMCBAMSENetCBAM和最大池化的方法，提取到的特征更全面，更丰富，使模型更好的关注了热斑区域。图4-12不同注意力机制模型的准确率Fig.4-12Accuracyofdifferentattentionmechanismmodels4-13所示，在加入注意力机制后模型对4-13（c）4-13（d）CBAMSENetCBAM测结果更准确。(a)原始图像 (b)BiFPN检测结果(c)BiFPN+SENet检测结果 (d)BiFPN+CBAM检测结果图4-13不同注意力机制模型检测结果对比Fig.4-13Comparisonofdetectionresultswithdifferentattentionmechanismmodels不同模型对比实验SSD[73]、FasterR-CNNYOLOv4模型进4-14所示。不同模型的运算时间和识别准确率对比如表4-2所示。图4-14不同模型mAP曲线对比Fig.4-14ComparisonofmAPcurveswithdifferentmodels表4-2不同模型实验对比Tab.4-2Comparisonofdifferentmodelexperiments模型SpotNormalmAP运算时间(s)FasterR-CNN69.4%91.8%80.6%0.155SSD74.3%92.5%83.4%0.094YOLOv483.8%96.3%90.1%0.068Ours91.5%97.2%94.4%0.1824-144-2可以看出，改进后模型拥有最高的准确率，尤其在热斑故障检测FasterR-CNNSDDYOLOv4准确率的同时也保证了快速性，具备良好的实用性。F1-score120张测试集光伏红外图像上各模型统计4-3所示，热斑故障设置为检测目标时，TP表示为正确检测出来的热斑故障个数，FN表示未被检测出来的热斑故障个数，FP表示将正常组件检测为热斑故障个数，TN表示正常组件被正确检测的个数。表4-3识别结果统计Tab.4-3Recognitionresultstatistics模型TPFPFNTNFasterR-CNN35684248SSD37464250YOLOv440334251Ours42014254PAGEPAGE49得到表4-3统计的数据后，根据3.4.1小节评价指标计算公式可以得到各模型查准率、查全率和F1-score，结果如表4-4所示。表4-4各模型热斑检测结果对比Tab.4-4Comparisonofhotspotdetectionresultswithdifferentmodels模型精确率召回率F1-score漏检率FasterR-CNN85.4%81.4%0.83418.6%SSD90.2%86.0%0.88014.0%YOLOv493.0%93.0%0.9307.0%Ours100%97.7%0.9882.3%4-4FasterR-CNNSSDYOLOv414.6%9.8%F1-score0.9882.3%。由以热斑故障识别困难的问题，并且与其它模型相比具有一定的优越性。消融实验4-5所示，由表第四行可以看出在FasterR-Swin单独加入CBAM模块对模型整体检测性能提升不大，0.6%0.7%，这是因为特征图经过多次下采样操作到最后输出层时丢失了很多小目标的信息，使得CBAM模块很难发挥作用。可以看出单独加入BiFPN4.3%、5.2%11.8%anchor使得模型能检测到的小目标数量增多，性能CBAMBiFPNCBAM4-15所示，可以看出本文提出的方法在热斑检测方面取得良好的效果。表4-5消融实验结果Fig.4-5ResultsofablationexperimentSwin-BBiFPNCBAMP(%)R(%)APspot(%)APnormal(%)85.4%81.4%69.4%91.8%√91.1%87.5%77.8%93.6%√93.7%89.2%81.3%94.2%√88.3%84.7%72.6%92.5%√√95.4%92.7%89.6%96.1%√√90.5%86.3%78.4%94.3%√√94.5%91.4%87.9%95.4%√√√100%97.7%91.5%97.2%

图4-15光伏组件红外图像检测结果Fig.4-15ResultsofphotovoltaicmoduleinfraredimagedetectionFasterR-Swin模型进行改进来提升模型对小目标热斑故障BiFPN来进行双向特征融合，并且在不同尺度特征图上预测不同大够明显且容易受到背景的干扰从而导致模型难以识别出热斑故障的问题，通过引入CBAM模块对热斑故障进行特征增强，减少背景信息的干扰增强了模型的鲁棒性。最后F1-score够很好的进行光伏组件红外图像故障检测任务。PAGEPAGE51光伏组件故障检测系统开发与实现测试，并对测试结果进行分析。软件结构5-1所示。

图5-1光伏组件故障检测系统软件结构Fig.5-1Softwarestructureofphotovoltaicmodulefaultdetectionsystem中数据进行增、删、改、查操作。业务逻辑层图像拼接、故障定位等功能将处理后的结果反馈到表现层。表现层护。开发环境介绍QtCreator4.6.25-2GUI开发中增强了对象间通信的灵活性和安全性。QtC分函数都做了封装，拥有一套跨平台的类库和集成开发环境，编好的应用程序可以在Linux、Windows等不同操作平台上良好运行。数据库设计

图5-2Qt软件界面Fig.5-2InterfaceofQtsoftware据库可以将光伏组件故障检测系统中存储在硬盘上的大量数据按一定的规则和方法系统OracleMySQLSQLServer，其OracleSQLServer与其它数据库相比有APIPAGEPAGE53文使用MySQL作为光伏组件故障检测系统的数据库。概念结构设计E-R5-3所示。表结构设计

5-3E-R图Fig.5-3DatabaseE-Rdiagram对系统的不同数据表的属性、以及属性的参数进行详细的说明。用户信息表5-1所示。5-1用户信息Tab.5-1Userinformation字段名定义是否主键数据类型字段长度是否为空Account账号是Int10否Password密码否Varchar20否User_name用户名否Varchar20否Grade权限否Int4否Phone电话否Varchar20是检测信息表所示。5-2检测信息Tab.5-2Detectioninformation字段名定义是否主键数据类型字段长度是否为空Img_number图像编号是Int10否Phoen_date拍摄日期否Datetime8否PV_number组件个数否Int10否Fault_number故障个数否Int10否Lng经度否Double20否Lat纬度否Double20否巡检记录表5-3所示。5-3巡检记录Tab.5-3Inspectionrecord字段名定义是否主键数据类型字段长度是否为空Reg_date巡检日期是Datetime8否People_num操作员编号否Int10否Detect_res巡检结果否Int10否Fix_res维修结果否Int10否维修记录表和故障组件经纬度的信息，通过该表可以清晰查看电站维修进度。维修记录表结构如表5-4所示。5-4维修记录Tab.5-4Maintenancerecord字段名定义是否主键数据类型字段长度是否为空Fix_num维修编号是Int10否Alarm_date警报日期否Datetime8否Fix_date维修日期否Datetime8否Fix_people维修人员否Int10否Fix_lng故障经度否Double20否Fix_lat故障纬度否Double20否模型表该表主要存储了故障检测模型，管理用户可以进行加入新的模型、对现有模型进行修PAGE5

5-5模型信息Tab.5-5Modelinformation字段名定义是否主键数据类型字段长度是否为空Model_id模型名是Int10否Create_date创建日期否Datetime8是MT_acc训练准确率否Double10是MV_acc测试准确率否Double10是Train_param训练参数否Int10是Model_path存储路径否Varchar1024否Create_name创建人否Int10否参数配置表5-6所示。表5-6参数配置Tab.5-6Parameterconfiguration字段名定义是否主键数据类型字段长度是否为空Para_num参数编号是Int10否Batch_size批量大小否Int2否Optimizer优化器否Varchar20否Learning_rate学习率否Double10否Epoch迭代次数否Int10否Weight_ratio权重衰减否Double10是Drop_ratio丢弃率否Double10是Para_people配置人员否Int10是训练表5-7所示。5-7训练信息Fig.5-7Traininginformation字段名定义是否主键数据类型字段长度是否为空Train_id训练编号是Int10否Train_id训练参数否Int10否Train_people训练人员否Int10否Train_acc训练精度否Double10否Train_time训练时间否Datetime8否Train_process训练进度否Int10否Train_model训练模型否Int10否测试表该表主要用于记录每次算法模型的测试完成后的信息，主要包括模型id、测试参数、数据集id、测试准确率、测试时间、以及权重保存路径等字段，测试表结构如表5-8所示。5-8测试信息Fig.5-8Testinginformation字段名定义是否主键数据类型字段长度是否为空Test_id测试编号是Int10否Test_time测试时间否Datetime8否Test_people测试人员否Int10否Test_data测试数据集否Varchar1024否Test_acc测试准确率否Double10否Test_param测试参数否Int10否Test_model测试模型否Int10否Test_path权重路径否Varchar1024否数据集表该表主要用于存储模型训练和测试时的数据集的地址，数据集表结构如表5-9所示。5-9数据集信息Fig.5-9Datasetsinformation字段名 定义是否主键数据类型字段长度是否为空Data_id 数据集编号是Int10否Data_name 数据集名称否Varchar64否Data_path 数据集路径否Varchar1024否(10) 采集图像表该表主要用于存储无人机采集到的光伏图像，数据集表结构如表5-10