【《基于卷积神经网络的电力设备目标检测算法研究的国内外文献综述》8000字】

基于卷积神经网络的电力设备目标检测算法研究的国内外文献综述目录TOC\o"1-3"\h\u17665基于卷积神经网络的电力设备目标检测算法研究的国内外文献综述 1113321.1课题研究背景 123991.2基于深度学习的目标检测研究进展 380831.3电力设备图像目标检测领域研究现状 5250501.4深度学习研究工具介绍 69230参考文献 71.1课题研究背景随着我国经济的飞速发展，电网规模也迅速增长。而伴随着智能电网的不断建设和迅速发展，大量传感器、新能源设备的接入，以及相应的测量设备投入生产并使用，加剧了电网的复杂性，也给传统电网的运行带来了更多的不确定性。随着电网运行数据、电力设备监测数据、外部环境数据等不断增长，多维度、大体量、结构复杂、类型多样的电力大数据体系逐步形成。当前研究表明，以人工智能算法为核心的技术可以有效地解决大数据领域的诸多难题，通过对电力大数据的深度挖掘，提取高维特征，监测所需设备，以此更好地服务电网建设，为解决传统电力设备状态检测带来了新的分析思路和技术途径[1-3]。由于人工智能技术的蓬勃发展，人工智能在经济和科技方面的真正潜力逐渐显现，世界各国均开始重视人工智能的发展[4-5]。欧美等国家相继颁布了人工智能以及大数据相关的发展研究规划，美国政府也一直在研究人工智能在未来的发展和应用。2016年10月，美国政府率先发布了两份重要的研究报告，分别是《为人工智能的未来做好准备》以及《国家人工智能研究与发展策略规划》。我国也一直在进行人工智能领域的相关研究，早在2013年，中国电力信息化委员就已第一次发布了《中国电力大数据发展白皮书》。之后国务院在2015年发布了《促进大数据发展行动纲要》，旨在加大资源整合力度，从而大力发展大数据领域的相关产业。紧接着，国务院又在2017年7月发布《新一代人工智能发展规划》，目标是抢占人工智能领域技术高地。随后在2017年12月，工业和信息化部发布了又一重要计划，即《促进新一代人工智能产业发展三年行动计划（2018-2020）》。这些纲要和规划为建造世界一流的智能电网提供了大量关键技术储备，同时也为突破智能电网中的技术难点提供了切实可行的解决办法。同年，英国、法国也相继出台了国家级别的人工智能报告和规划。前者出台了《人工智能：未来决策制定的机遇和影响》，后者则颁布了《国家人工智能战略》。在“十四五”规划中，也将人工智能领域的创新性研究，作为前瞻性、战略性的国家重大科技项目予以支持。因此，智能电网的发展离不开人工智能相关技术支撑[6-7]。在传统电力以及能源相关领域，存在整合率低、互补性弱、安全隐患多等问题。如果能将与现代人工智能相关的大数据信息系统引入到这些传统行业中，则可以有效地改善电网以及其他相关行业的安全稳定性和可控性。截至2018年底，图1-1智能电网涵盖范围国家电网已发布关于智能电网的相关企业标准789项，参与编制智能电网的国家相关标准151项，参与编制智能电网的行业标准315项，主导立项国际智能电网标准68项[8-9]。这些标准主要涵盖了发电、输变电、配电、用电、调度，以及通信信息等领域，如图1-1所示。由此可见，对电力设备智能化、高精度的识别问题进行研究，具有深远的研究意义和应用价值。根据国家“十三五”期间电网建设的相关统计数据，截至“十三五”末，我国已具有超过118万公里的输电电路，输电线路总里程位居世界第一位，变电站数量也相应地不断增长。由于输电线路分散、自然环境恶劣、变电站位置偏远等，使得人力巡检成本高，花费时间较长，并且困难大，风险高。对于电网而言，输变电相关设备的安全稳定是电网安全运行的核心。定期对输变电设备以及相关线路进行巡检并且及时发现缺陷或不稳定因素，是有效避免电网以及相关企业发生严重安全事故的重要抓手。在智能化水平较低时，输变电相关设备的巡检工作往往只能依赖人工和有限的监控设备。人工巡检需要对巡检人员进行大量前期安全以及相应检测的培训，管理成本高昂，工作量大。一般情况下，巡检分为常规巡检和特殊巡检两种类型。常规巡检主要针对设备状态进行有效监测，强度不高。但如果在较为特殊的时期，如会议召开、重要考试等保电时期，人工巡检的难度较大且效率低，由此导致的危险性也在提高[10-12]。巡检的质量难以得到保证。而伴随我国电力系统对智能化、自动化、安全性的要求不断提高，电网运行迫切需要进行大规模人工智能巡检，以此对大量特定电力设备器件进行分析和检测。此外由于人工智能化、信息化建设的不断发展，计算机视觉技术越来越多地应用在电力设备的巡检和在线监测中[13-14]。智能变电站电力设备的运行检修，逐渐由传统的基于时间周期的预防性检修过渡为针对性更强的状态性检修模式。基于电力设备图像的目标检测，主要借助无人机、巡检机器人以及变电站内的固定摄像头等拍摄手段[15-17]。通过装备相应的可见光摄像头、红外摄像头以及高清摄像头，智能变电站可以将可见光图像、红外图像以及相应的视频传输到调度中心，从而进行自动化检测。而自动化检测系统需要首先对视频流图像进行智能化分析，提取出其中的电力设备部件，判定其类别并准确定位，才能为后续电力设备状态的智能解析奠定基础[18-19]。1.2基于深度学习的目标检测研究进展 人工智能(ArtificialIntelligence,AI)的最终目标是完全实现人类的认知能力，挑战并且解决那些对人来说很容易执行和描述，但是对于机器而言很难定量分析的问题。人工智能任务往往是通过提取任务中的有效特征集，经过机器不断学习，从而较好的解决相应的问题。深度学习作为机器学习领域一个新的研究方向。其在简单的概念上构造复杂的模型，比如前馈神经网络和多层感知机(MLF)[20]，每一次的输出都为下一次的输入提供了新的表示，而这些新的输入蕴含着一般情况下无法感知或者无法具体描述的变差因素。这便是机器逐渐具备智能的一个标志。简单来说，深度学习和经典的机器学习最大的差别在于，深度学习抽象出了额外的特征层。深度学习的历史[21]总共可以分为三大部分，第一部分是1930-1960年的控制论，第二部分是1970-1980年的联结主义，第三部分便是今天的深度学习网络。现代深度学习的前身是脑领域的神经网络，利用线性模型来分析，如随机梯度下降算法。线性模型的局限在于没有办法判定“异或”，这导致了神经网络的第一次大衰退。如今的脑类神经科学对深度学习的影响逐渐减弱，其原因是生物学并没有真正理解神经元是如何工作的，只是浅显地知道神经元之间通过递质传送信号，但是递质中包含了哪些组分并不清楚。而要获得大脑实际使用的算法，需要同时检测至少上万个神经元之间的活动，目前还无法做到。但是科学家仍然能从人脑的神经元构造获取一些灵感。比如科学家受到哺乳动物视觉系统的结构启发，研究并知晓了大脑在算法层面是如何工作的，研究这一领域的学科被称之为“计算神经科学”。但实际上深度学习和大脑的工作方式截然不同，前者利用的是应用数学，而后者则不完全是。第二次浪潮由联结主义构建，开始研究真正基于神经系统实现的认知模型。其中一个非常重要的算法思想是分布式表示，其核心思路是多个特征表示的集合来联合表征一个输入，另外一个广泛传播的算法思想是反向传播算法。二次浪潮失败主要是由于没有办法满足投资者不合理的需求，并且当时的计算机性能无法支撑大规模计算。但是在那段时间里，图模型以及核方法得到了很好的发展，也为后续深度学习的改进奠定了基础。第三次浪潮于2006年开始，Hiton设计的“贪婪逐层预训练”算法着眼于新的无监督学习，以及深度学习模型在小数据集上的应用。传统的特征学习过程与任务模型的学习过程都是去耦合的，在特征工程中，一般都会先采用主成分分析方法提取出最主要的特征，然后再输入到特定的机器学习模型中，这些特征与模型结合得不太紧密，因此并不一定能有效地提升模型的最终性能。如果将特征的表示学习和模型的预测分析学习有机地统一为一个整体，并构建一个端到端的学习算法，直接优化任务的总体目标，就可有效避免这两者学习准则的不一致性。从底层特征开始经过多次非线性变化得到的多重层次特征，可以增加特征的复用性，从而指数级地提升表示能力。因此深度学习的核心便在于构建较为符合现实深度需求的特征模型，这种深度往往意味着需要对相关原始数据进行多次非线性变换。因此，学界需要一种能够高效并且自动从数据中学习模型的方法，这便是深度学习，它经过多次多层次的特征变换，可以把原始数据抽象整理成更具理解性的特征表示，并且将这种特征表示输入到模型构建的预测函数中，从而得到最终结果。目前，深度学习主要采用的是卷积神经网络模型，这是因为卷积神经网络可以通过反向传播不断地降低误差，从而进行高效的训练。这使得深度学习具备了较强的非线性系统建模的能力，相比于浅层学习具有更优的性能。尽管深度学习被人们认为是最接近于人工智能的算法，但其依然缺乏很多重要且必备的能力。深度学习应当被人们认为是通向最终人工智能的一条可能实现的道路，而非包罗万象的解决方案。在2012年以前，目标检测主要是利用基于机器学习为相关理论基础的模型[22-23]，如Haar模型、LBP(局部二值模式)、HOG(梯度直方图)模型等手工设计特征。基于上述三个算法的目标检测速度较慢，并且检测精度较低。随后Felzenszwalb提出了基于滑窗的DeformablePartModel(DPM)[24]算法，Uijlings提出了基于目标区域提取SelectiveSearch[25]算法，Saunders提出了SupportVectorMachine(SVM)[26]模型，以及广为使用的方法DPM模型。通过SVM算法处理得到的HOG特征金字塔，其精准度有了明显提升。因此DPM算法连续三年获得CVPRVOC挑战赛冠军。但是DPM算法模型较为复杂，样本选取规则较多，当物体种类增多时，训练难度教大，并且检测精度降低。此后其他研究人员对DPM算法进行了一系列的改进[27-30]，但仍无法从根本上解决此问题。这些算法的特征提取能力远达不到相应的识别需求，模型的鲁棒性较低，因此无法对大规模图像数据进行分类和检测。在R-CNN[31]算法被提出之后，卷积神经网络有了突破性的进展，该算法大幅度地提升了特征的表达能力，并且由于深层特征以及特征融合均在同一模型中，从而实现了端到端的训练。因此，R-CNN算法在检测精度、算法鲁棒性上都取得了显著的提高，成为了当时最为出众的目标检测方法。随着后续的不断发展，原始的R-CNN算法在多方面被改进。一方面的改进是基于提取区域的优化算法，由于R-CNN算法要在图像上提取上千个候选区域，这是非常低效的，SPPnet[32]便是一种典型的改进算法，相对于R-CNN算法而言，其速度有了明显的提升。SPPnet算法引入了特征提取空间金字塔结构，提高了图像特征提取层的鲁棒性和适应性，能够检测各种不同分辨率的图像，其最突出的贡献便是从不同层次的特征层获取不同的信息来训练分类层，从而减少特征提取的难度。另外一方面的改进便是采用深度神经网络，不断地加深神经网络的层数使其有更好的效果，典型的代表方法是FasterR-CNN[33]。其将先前的SelectiveSearch替换成候选区域提取网络RPN网络，同时把RPN网络整合到FastR-CNN[34]中。这种方法对于中层特征的提取有着明显的效果。FasterR-CNN算法扩展了SPPnet算法，使得其能够微调所有特征提取层，做到端对端的减少损失函数并且提高了边界框回归的置信度。1.3电力设备图像目标检测领域研究现状在电力设备图像或者是视频流数据的识别检测中，目标检测算法是该任务实现的关键技术。同时在人工智能领域的分支即计算机视觉领域，目标检测也是一个重要的研究方向，是众多计算机视觉任务研究的基础。其主要内容是通过算法识别出图像中感兴趣的目标，准确地对每个目标的类别进行分类，并且给出相应的具体位置。近些年来，目标检测智能算法在无人驾驶、人脸检测以及目标实时检测等领域有较强的引领示范性。此外，伴随科学技术的不断发展、计算机硬件的升级以及相应算力的不断提升，出现了一系列以卷积神经网络为核心的检测算法。目标检测的精度和检测速度同时得到了大幅度提升。不断地扩展着计算机视觉的应用范围。在国外，电力系统的研究人员对基于图像识别技术的电力设备检测研究可以回溯到二十世纪九十年代，红外图像首次被用来识别电力设备，YamamotoKazuo等人在电力设备检测领域第一次采用配准融合算法，将可见光和红外图像进行配准融合，自适应检测配准融合图像中的输电线[35]。DeOliverira等人通过热成像图像来检测电力线故障，算法首先通过分割图像得到不同的检测区域，其次通过图像中不同温度差来找到电力线故障点[36]。LiZ等人加强了整体与部分信息的融合，更换并且使用核心算力组件提高算法效能[37-38]。SarabandiKamal等人借助输电线以及输电相关设备在雷达图像中特征较弱的特点，通过改进算法降低误检率[39-40]。在绝缘子检测方面，GuIreneY等人提出了一种综合利用直方图、边缘和模板等技术，对电力系统绝缘子的覆雪和倾斜进行在线检测的方法[41-42]。BolognaF等人提出了基于紫外和红外图像的检测方法[43]，该方法充分发挥了两种不同类型图像的优势。由此可见，上述算法主要针对电力输电线路以及绝缘子等零部件的状态识别上，并没有深入研究电力设备图像特性，缺乏对多种类、小样本、不同尺度图像自适应的识别方法研究。在国内，相关研究主要还是集中于理论分析以及工程初步应用阶段，并未形成系统性的方法论。文献[44]提出了一种基于最优阈值改进型Canny算子检测电力设备图像的算法，该算法取得了较为理想的边缘检测效果，但是未考虑复杂背景下最优阈值灰度分割法是否适应。文献[45-46]提出采用Hough变换对输电线路边缘进行检测，通过对比导线覆冰前后的厚度差来实现覆冰厚度计算，解决了实际工程问题，但模型仅对输电线路边缘进行检测，未对输电线路进行准确的定位。文献[47]提出了一种基于紫外图像的Canny边缘检测算法，效果显著，但是检测时间较长。文献[48]提出利用改进型分水岭模型实现电力设备的分类，通过Hsim函数来完成设备识别，对传统特征提取方法进行了改进，但采集数据集背景较为单一，未考虑到复杂背景下电力设备的检测。文献[49]引入动态自适应遗传算法来对模糊参数进行优化，针对电力设备部件的热异常部位图像质量进行增强，算法效果较好，但未对异常电力设备进行准确定位。深度学习相关算法利用高质量、大样本数据集对卷积神经网络进行训练，相比于传统图像处理方法，其特征提取能力更强、抗干扰能力更优。文献[50]提出利用改进型Canny算子来获取绝缘子表面水珠的边缘信息，其次提取相关特征量，最后建立基于BP卷积神经网络的绝缘子憎水性识别模型，识别效果显著，但是该模型有一定的局限性，无法迁移到其他电力设备检测模型中。文献[51]提出了基于q-φ图像特征的换流变压器缺陷诊断方法，在交直流复合电压作用下缺陷识别效果良好。文献[52]采用CNN卷积神经网络，将Softmax分类器更换为传统随机森林分类器(RF)，准确度有所提高，但对于小样本数据集，检测效果不如传统特征提取分类方法。以上方法均未研究基于小样本数据的电力设备检部件检测。目前智能电网发展迅速，而电网中AI的应用一直贯穿着整个行业发展。国内外学者利用人工智能相关技术对电力设备部件检测识别进行了大量的研究。传统图像处理方法将巡检图像的分类检测任务分为预处理如数据增强、特征提取、图像分割、目标定位等多个阶段处理，如图1-2。图1-2图像检测识别过程在电力设备检测与识别领域，国内外基于深度学习的高精度电力设备检测识别的研究少之又少。由于电力行业的特殊性与保密性，电力设备图像没有较好的公开数据集可以使用。通过无人机航拍以及地面高清可见光摄像仪等采集的图像数据分辨率不一，数据场景较为复杂，干扰信息较多，整体数据信息量远远不足以训练卷积神经网络。如何充分利用这些电力设备图像数据，从中挖掘出底层信息，并且将这些信息有针对性地进行提取和分析，从而应用到电力设备检测识别中，以得到较高的检测精度。因此基于小样本的高精度检测成为电力设备检测的难点问题。此外由于智能变电站中电力设备分类复杂且不易识别，干扰信息冗余且复杂，需要人工标记的信息众多，这些对于传统的机器学习[53]而言难度较大。目前，以深度学习和基于图像处理与识别为基础的计算机视觉得到了跨越式的发展[54-55]，其应用领域也越来越广泛。在特征提取方面，现阶段流行的卷积神经网络已经能够提供较传统特征学习方法更优的表征能力[56]并且能够有效缓解梯度消失。同时深度学习算法也在不断加强特征传播[57]，提高对目标的检测准确率、降低检测耗时[58-59]。上述研究都为基于深度学习的智能变电站电力设备自动化实时检测系统的建立打下了良好的基础。1.4深度学习研究工具介绍深度学习，是一种含有多个特殊结构的深层次神经网络结构。因为其高度的扩展性以及兼容性，在工程类各个领域都得到了广泛而深入的应用，如目标检测与图像分割，智能监控，文字音频检测与识别等。深度学习是一种对计算能力要求极高的算法，因此业界一般采用GPU来提高处理速度，扩展并行计算能力，并且用Cuda，Cudnn等进行加速运算。因此本实验的所有开发环境，均在GPU下进行。现今的深度学习的基本框架主要由C++、Python封装组合而成。业界公认的具有良好支持的主流框架有Caffe、Darknet、Tensorflow、Pytorch和Keras等。本文主要使用的框架为Tensorflow。TensorFlow是由谷歌大脑团队开发，可以使用计算图(ComputationalGraph，或称为数据流图DataFlowGraph)进行数值计算的开放源代码软件库。相比于上一代框架Disbelief，Tensorflow计算框架以及平台稳定性更高，不仅仅可用于机器学习、深度学习等领域的研究，还可以用于其他的任务。参考文献周念成,廖建权,王强钢等.深度学习在智能电网中的应用现状分析与展望[J].电力系统自动化,2019,43(04):180-191.贺兴,艾芊,朱天怡等.数字孪生在电力系统应用中的机遇和挑战[J].电网技术,2020,44(06):2009-2019.周孝信,陈树勇,鲁宗相等.能源转型中我国新一代电力系统的技术特征[J].中国电机工程学报,2018,38(07):1893-1904+2205.李彬,张洁,田世明等.智能电网用户域标准化最新进展及发展趋势[J].电力建设,2018,39(03):12-22.江秀臣,盛戈皞.电力设备状态大数据分析的研究和应用[J].高电压技术,2018,44(04):1041-1050.戴彦,王刘旺,李媛,颜拥,韩嘉佳,文福拴.新一代人工智能在智能电网中的应用研究综述[J].电力建设,2018,39(10):1-11.王钦,蒋怀光,文福拴,梅天华.智能电网中大数据的概念、技术与挑战[J].电力建设,2016,37(12):1-10.张晶,代攀,吴天京等.新一代智能电网技术标准体系架构设计及需求分析[J].电力系统自动化,2020,44(09):12-20.谢小瑜,周俊煌,张勇军.深度学习在泛在电力物联网中的应用与挑战[J].电力自动化设备,2020,40(04):77-87.翟永杰,王迪,伍洋等.基于骨架提取的航拍绝缘子图像分步识别方法[J].华北电力大学学报(自然科学版),2015,42(03):105-110.唐文虎,牛哲文,赵柏宁等.数据驱动的人工智能技术在电力设备状态分析中的研究与应用[J].高电压技术,2020,46(09):2985-2999.刘云鹏,许自强,李刚等.人工智能驱动的数据分析技术在电力变压器状态检修中的应用综述[J].高电压技术,2019,45(02):337-348.刘颖,胡楠,杨壮观,同东辉,胡畔.基于深度学习的电网监控视频中工作人员检测与识别[J].沈阳工业大学学报,2019,41(05):544-548.张宇航,邱才明,杨帆,徐舒玮,石鑫,贺兴.深度学习在电网图像数据及时空数据中的应用综述[J].电网技术,2019,43(06):1865-1873.陈启卷，毛慧和，肖志怀，等．便携式电力设备巡检装置[J]．电力系统自动化，2001，25(3)：61-63．王万国，田兵，刘越，等．基于RCNN的无人机巡检图像电力小部件识别研究[J]．地球信息科学学报，2017，19(2)：256-263．侯一民，邸建铭．改进的尺度不变特征转换精确图像匹配在电力设备目标定位中的应用[J]．中国电机工程学报，2012，32(19)：134-139．张文峰，彭向阳，陈锐民，等．基于无人机红外视频的输电线路发热缺陷智能诊断技术[J]．电网技术，2014，38(05)：1334-1338.万晓琪，宋辉，罗林根，等．卷积神经网络在局部放电图像模式识别中的应用[J]．电网技术，2019，43(06)：2219-2226．ZHANGZ,LYONSM,SCHUSTERM,etal.Comparisonbetweengeometry-basedandgaborwavelets-basedfacialexpressionrecognitionusingmulti-layerperceptron[C]//AutomaticFaceandGestureRecognition,1998.Proceedings.1998:454-459.MIESCHERF.ABriefIntroductionintoMachineLearning[J].ChaosCommunicationCongress,2004:825–836.李章维,胡安顺,王晓飞.基于视觉的目标检测方法综述[J].计算机工程与应用,2020,56(08):1-9.肖雨晴,杨慧敏.目标检测算法在交通场景中应用综述[J].计算机工程与应用,2021,57(06):30-41.FELZENSZWALBP,MCALLESTERD,RAMANAND.Adiscriminativelytrained,multiscale,deformablepartmodel[C]//ComputerVisionandPatternRecognition,2008.CVPR2008.IEEEConferenceon.2008:1-8.SaundersC,StitsonMO,WestonJ,etal.SupportVectorMachine[J].Computerence,2002,1(4):1-28.UIJLINGSJRR,SANDEKEAVD,GEVERST,etal.SelectiveSearchforObjectRecognition[J].InternationalJournalofComputerVision,2013,104(2):154-171.26P.F.Felzenszwalb,R.B.Girshick,D.McAllester,“Cascadeobjectdetectionwithdeformablepartmodels,”inComputervisionandpatternrecognition(CVPR),2010IEEEconferenceon.IEEE,2010,pp.2241-2248.P.F.Felzenszwalb,R.B.Girshick,D.McAllester,D.Ramanan,“Objectdetectionwithdiscriminativelytrainedpart-basedmodels,”IEEEtransactionsonpatternanalysisandmachineintelligence,vol.32,no.9,pp.1627-1645,2010.R.B.Girshick,P.F.Felzenszwalb,D.A.Mcallester,“Objectdetectionwithgrammarmodels,”inAdvancesinNeuralInformationProcessingSystems,2011,pp.442–450.R.B.Girshick.Fromrigidtemplatestogrammars:Objectdetectionwithstructuredmodels[J].UniversityofChicago,2012.GIRSHICKR,DONAHUEJ,DARRELLT,etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2014:580-587HEK,ZHANGX,RENS,etal.SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition[J].IEEETransactionsonPatternAnalysisMachineInte