CN120220005A 一种基于多环境的无人机巡检图像评估方法

(19)国家知识产权局地址330096江西省南昌市青山湖区湖滨东路666号电力公司调度大楼901-909室GO6V(72)发明人胡兵唐凯王松刘惟言汪庆文邱贞宇有限公司11246GO6V20/17(2022.01)GO6V10/764(2022.01)一种基于多环境的无人机巡检图像评估方法本发明提供了一种基于多环境的无人机巡巡检图像对轻量级双分类模型进行训练和适配，根据自适应图像评估机制对输入的巡检图像进输入图像输入图像查标准库阈值10%淘汰图清晰度、亮度判定人工复核合格标准数据集增加分类模型直接淘汰2通过无人机采集不同环境和天气下的线路巡检图像数据，构基于环境分类和天气分类，构建轻量级双分类模型，并对所输入无人机巡检图像数据，采用自适应图像评估机制，对所述将筛选不合格的巡检图像保存，进行人工复核，将复核通过后的将采集的图像进行环境和天气的标注，并根据不同的环境和天气分类输出分支；将采集的所述巡检图像数据抽样80%进行所述轻量级双分类模型的训练适3曝的巡检图像；所述精细判定为对通过初级过滤后的所述巡检图像进场景分类、获取阈值和多维度判定。8.根据权利要求1所述的一种基于多环境的无人机巡检图像评估方法，其特征在于，所述自适应图像评估机制还包括实时反馈机制，所述实时反馈机制对输入的所述巡检图像进行判定，当输入的所述巡检图像连续出现若干张不合格的巡检图像时，向无人机发送悬停质量，暂停巡检；所述实时反馈机制用于处理不同场景下的拍摄异常情况。9.根据权利要求1所述的一种基于多环境的无人机巡检图像评估方法，其特征在于，所述闭环优化机制包括在线学习机制，所述在线学习机制定期将人工复核所述巡检图像后的结果反馈至所述轻量级双分类模型，对所述轻量级双分类模型进行微调。10.根据权利要求1所述的一种基于多环境的无人机巡检图像评估方法，其特征在于，所述闭环优化机制还包括阈值动态更新机制，所述阈值动态更新机制通过滑动窗口算法，维护一个固定窗口大小的最新图像样本缓冲区，当新增数据亮达到窗口大小的10%时，重新计算标准数据库的分布参数。4技术领域[0001]本发明涉及电力线路无人机巡检技术领域，尤其涉及一种基于多环境的无人机巡检图像评估方法。背景技术[0002]随着电网智能化的发展，目前大量无人设备被投入到电力线路的巡检工作中。通过无人机拍摄的数字图像蕴含大量有价值的信息，为后续电力部件识别、缺陷检测提供主要信息来源。电力线路往往分布于高山、林区等复杂地形中，在电力巡检过程中，无人机拍摄的图像为可见光或者红外波段的光强图像，这类图像的清晰程度受外界环境的影响较于巡检任务大多在户外，光照强度大的白天可能导致图像曝光，而傍晚或夜间等低光照环境下，又会导致图像过暗；另外，由于无人机相对运动的复杂性和随机性，会导致拍摄图像图像数据规模庞大。[0003]因此，对数量规模庞大、质量场次不齐的巡检图像进行质量评价，筛选过滤掉质量不佳的图像必不可少。可以提高后续过程中目标识别、缺陷检测的准确率，减少模型误报，以及减少算力使用，对电网智能巡检有重大意义。[0004]现有的无人机巡检图像筛选方式主要有基于人工检查方式和基于算法模型的自动筛选方式。[0005]现有技术的问题主要涉及两点：首先，人工定期检查筛选方式，需专业人员目视筛查劣化图像(如模糊、过曝等),此方式耗费大量时间且效率低下，而且存在因视觉疲劳导致的漏检误检问题。[0006]其次，基于算法模型的自动筛选方式则存在环境适应性差，无法适应山地、平原等不同地形及晴雨雪等复杂天气下的图像特性差异，导致误判率高的问题。[0008]本发明的目的在于提供一种基于多环境的无人机巡检图像评估方法，解决了目前无人机巡检图像质量评估中存在的环境适应性查、人工依赖性强、复杂场景鲁棒性不足的问题。[0009]本发明提供的一种基于多环境的无人机巡检图像评估方法，采用如下的技术方一种基于多环境的无人机巡检图像评估方法，具体包括以下步骤：通过无人机采集不同环境和天气下的线路巡检图像数据，构建巡检图像的多维度标准数据库；基于环境分类和天气分类，构建轻量级双分类模型，并对所述轻量级双分类模型5建轻量级双分类模型，通过采集的电力线路巡检图像对轻量级双分类模型进行训练和适[0011]本发明采用环境-天气耦合的自适应图像质量评估阈值体系，可以通过统计学方将采集的图像进行环境和天气的标注，并根据不同的环境和天气进行分类组合，分类输出分支和天气分类输出分支；将采集的所述巡检图像数据抽样80%进行所述轻量级6双分类模型的训练适配，验证剩余20%的所述巡检图像数据。[0021]可选地，所述自适应图像评估机制包括两级判断机制，所述两级判断机制对输入的所述巡检图像数据进行初级过滤和精细判定；所述初级过滤基于巡检图像的亮度直方图，排除极端过暗或过曝的巡检图像；所述精细判定为对通过初级过滤后的所述巡检图像进场景分类、获取阈值和多维度判定。[0022]可选地，所述自适应图像评估机制还包括实时反馈机制，所述实时反馈机制对输入的所述巡检图像进行判定，当输入的所述巡检图像连续出现若干张不合格的巡检图像时，向无人机发送悬停质量，暂停巡检；所述实时反馈机制用于处理不同场景下的拍摄异常[0023]可选地，所述闭环优化机制包括在线学习机制，所述在线学习机制定期将人工复核所述巡检图像后的结果反馈至所述轻量级双分类模型，对所述轻量级双分类模型进行微调。[0024]可选地，所述闭环优化机制还包括阈值动态更新机制，所述阈值动态更新机制通过滑动窗口算法，维护一个固定窗口大小的最新图像样本缓冲区，当新增数据亮达到窗口大小的10%时，重新计算标准数据库的分布参数。[0025]本发明的有益效果为：一种基于多环境的无人机巡检图像评估方法，通过无人机采集不同环境和天气下的电力线路巡检图像，构建巡检图像的多维度标准数据库，基于环境和天气的不同分类，构建轻量级双分类模型，通过采集的电力线路巡检图像对轻量级双分类模型进行训练和适配，再根据自适应图像评估机制对输入的巡检图像进行高效快速的质量评估，利用闭环优化机制对所述轻量级双分类模型进行微调和迭代优化，实现阈值的动态更新演进，能够快速、智能、自动的筛选电力无人机采集的巡检图像，提高目标识别和缺陷检测的准确率，减少算力使用，大幅降低了响应延迟，为后续电力线路缺陷检测和故障诊断提供高质量的图像数据。本发明解决了无人机巡检图像质量评估中存在的环境适应性附图说明[0026]图1为本发明提供的基于多环境的无人机巡检图像评估方法流程示意图；图2为本发明的轻量级双分类模型架构示意图；图3为本发明的初级过滤流程示意图；图4为本发明的精细判定流程示意图；图5为本发明的模型迭代优化的流程示意图。具体实施方式[0027]为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举7的元件或者物件及其等同，而不排除其他元件或者物件。[0029]如图1所示，本发明实施例提供了一种基于多环境的无人机巡检图像评估方法，具体包括以下步骤：S1、通过无人机采集不同环境和天气下的线路巡检图像数据，构建巡检图像的多维度标准数据库；S2、基于环境分类和天气分类，构建轻量级双分类模型，并对所述轻量级双分类模型进行训练适配；S3、输入无人机巡检图像数据，采用自适应图像评估机制，对所述无人机巡检图像进行过滤和精细判定；S4、将筛选不合格的巡检图像保存，进行人工复核，将复核通过后的巡检图像输入到所述轻量级双分类模型中，采用闭环优化机制对所述轻量级双分类模型迭代优化。[0030]一种基于多环境的无人机巡检图像评估方法，通过无人机采集不同环境和天气下的电力线路巡检图像，构建巡检图像的多维度标准数据库，基于环境和天气的不同分类，构建轻量级双分类模型，通过采集的电力线路巡检图像对轻量级双分类模型进行训练和适配，再根据自适应图像评估机制对输入的巡检图像进行高效快速的质量评估，利用闭环优化机制对所述轻量级双分类模型进行微调和迭代优化，实现阈值的动态更新演进，能够快速、智能、自动的筛选电力无人机采集的巡检图像，提高目标识别和缺陷检测的准确率，减少算力使用，为后续电力线路缺陷检测和故障诊断提供高质量的图像数据。[0031]本发明采用环境-天气耦合的自适应图像质量评估阈值体系，可以通过统计学方法建立地形与气象联合影响下的质量评估标准。同时，本发明还采用了物理-深度学习模型混合判别方法，将图像处理特征与深度学习分类有机结合，利用动态阈值生成策略，通过正态分布参数动态调整判定标准，实现阈值的动态更新演进，并且基于无人机还可以实现边缘-云端处理机制，在无人机端完成80%无效数据过滤，减少80%带宽消耗，大幅降低了响应延迟。[0032]在一些实施例中，所述构建巡检图像的多维度标准数据库具体包括：将采集的图像进行环境和天气的标注，并根据不同的环境和天气进行分类组合，获取多维度标准数据库的原始图像集；计算每一种组合中每一张图像的拉普拉斯方差和亮度均值，形成数据集；[0033]进一步的，该标准数据库包括环境-天气矩阵采样、物理特征量化、动态阈值生成三个维度。环境-天气矩阵采样维度覆盖4类地形(山地/丘陵/平原/市区)×5类天气(晴/阴/雨/雪/雾)的完整组合，每种组合采集≥500张正常拍摄、画面清晰的原始图像；物理特征量化维度包括灰度拉普拉斯方差计算(反映图像清晰度)、HSV空间亮度均值(检测低光/过曝);动态阈值生成维度对每类环境-天气组合计算特征值的正态分布参数，选择正态分[0034]所述计算正态分布参数包括，计算每组数据集的拉普拉斯方差正态分布的均值和标准差，计算每组数据集的亮度的正态分布的均值和标准差。[0035]在一些实施例中，所述构建巡检图像的多维度标准数据库具体步骤可表示为：8i∈{山地，丘陵，平原，市区},j∈{晴天，阴天，雨天，雪天，雾天}。素点坐标对应的HSV空间亮度值。按环境-天气组合分组存储特征值，得到数据集9[0051]其中，α取0.9,μold为上一次使用的阈值，μcurrent为当前阈值。[0052]在一些实施例中，如图2所示，所述构建轻量级双分类模型，并对所述轻量级双分类模型进行训练适配包括，将轻量级模型YOLOv8作为主干模型，在所述轻量级模型YOLOv8的颈部并行设置环境分类输出分支和天气分类输出分支；将采集的所述巡检图像数据抽样80%进行所述轻量级双分类模型的训练适配，验证剩余20%的所述巡检图像数据。增加两个分类分支，并行输出环境分类(4类)和天气分类(5类)。将采集到的样本图像抽样80%用于模型的训练，剩余20%进行验证。在模型的训练中，使用针对性的数据增强策略。对于光照扰动因素，对训练图像做±30%亮度变化处理；对于雨雪等特定场景，模拟雨雪噪声，添加泊松噪声扩充训练数据集。[0054]为满足较低的计算需求和较快的推理速度，适配不同设备部署要求，对模型权重量化至INT8精度，满足不大于100MB内存占用。轻量级双分类模型架构基于YOLOv8改进，在输出的特征图经全局平均池化(GAP)、全连接层(FC)后输出分类结果。(1)模型输入尺寸：640×640×3(RGB图像);(2)经骨干网络输出多尺度特征：80×80×256(浅层特征：边缘/纹理);40×40×512(中层特征：部件级);(3)经特征金字塔网络(PAN-FPN)输出尺寸：20×20×256;(4)经全局平均池化(GAP)输出尺寸：1×1×256;(5)经全连接层(FC)后得到分类结果：1×1×4或1×1×5。[0057]进一步的，在一些实施例中，所述自适应图像评估机制包括两级判断机制，所述两级判断机制对输入的所述巡检图像数据进行初级过滤和精细判定；所述初级过滤基于巡检图像的亮度直方图，排除极端过暗或过曝的巡检图像；所述精细判定为对通过初级过滤后的所述巡检图像进场景分类、获取阈值和多维度判定。[0058]具体的，初级过滤基于图像亮度直方图排除极端过暗/过曝图像。首先将图像转换为HSV(色相、饱和度、明度)颜色空间，其中V通道直接[0059]平均亮度反应图像整体明暗程度，阈值范围μ∈[30,220],超过阈值范围则判定[0061]低亮度占比反应图像暗区像素比例，大度值为i的像素数量。[0064]高亮度占比反应图像亮区像素占比，大于30%则判定不合格[0066]其中，N为图像像素总数量，Phigh为高亮度占比反应图像暗区像素比例，H(i)为亮度值为i的像素数量。度直方图。基于亮度直方图，进行三个计算步骤：计算平均亮度、计算低亮度占比以及计算高亮度占比。对于平均亮度，如果其值在30到220的范围内，则判定图像为合格。对于低亮度占比，如果其值小于40%,则判定图像为合格，否则为不合格。对于高亮度占比，如果其值小于30%,则判定图像为合格，否则为不合格。整个流程通过这些计算和判断步骤，综合评估图像的亮度特性，以确定其是否符合特定的亮度标准。类通过将图像输入到双分类模型中得到图像的环境、天气类别；再根据环境、天气类别获取标准数据库中对应的拉普拉斯方差阈值和亮度阈值范围。阈值范围依据正态分布的3σ原则[0070]亮度合格判据公式为：[0072]其中，为拉普拉斯方差正态分布的均值，为拉普拉斯方差正态分布的标准[0073]最后计算输入图像的拉普拉斯方差和亮度值，通过对比标准数据库阈值判定图像是否合格。用双分类模型对图像进行分类识别，这一步骤旨在初步区分图像的类别或特征，为后续的方面查询标准拉普拉斯方差阈值，并据此对图像进行拉普拉斯方差判定，拉普拉斯方差常用于衡量图像的清晰度，通过与标准阈值对比，可判断图像在清晰度方面是否达标；另一方面查询标准亮度阈值，并基于该阈值进行亮度判定，以确定图像的亮度是否符合要求。最后，综合拉普拉斯方差判定和亮度判定的结果，若两者均达标，则判定图像合格；若其中任一判定不达标，则判定图像不合格。整个流程通过多步骤的分析与判定，全面评估图像的质量。[0075]进一步的，所述自适应图像评估机制还包括实时反馈机制，所述实时反馈机制对输入的所述巡检图像进行判定，当输入的所述巡检图像连续出现若干张不合格的巡检图像时，向无人机发送悬停质量，暂停巡检；所述实时反馈机制用于处理不同场景下的拍摄异常11[0076]实时反馈机制主要针对无人机拍摄过程中，在不同的场景下对可能出现的拍摄异常情况进行处理。当输入的巡检图像连续出现大于5张判定为不合格的图像时，向无人机发送悬停指令，暂停巡检等待人工介入，避免持[0077]具体的，所述闭环优化机制包括在线学习机制，所述在线学习机制定期将人工复核所述巡检图像后的结果反馈至所述轻量级双分类模型，对所述轻量级双分类模型进行微调。在线学习机制负责定期将人工复核结果(约10%淘汰图像标注集)反馈至模型微调。[0078]进一步的，所述闭环优化机制还包括阈值动态更新机制，所述阈值动态更新机制通过滑动窗口算法，维护一个固定窗口大小的最新图像样本缓冲区，当新增数据亮达到窗口大小的10%时，重新计算标准数据库的分布参数。阈值动态更新机制通过两类策略实现。一类是采用滑动窗口算法实现，维护一个固定窗口大小的最新图像样本缓冲区，当新增数据量达到窗口大小的10%时，重新计算标准数据库的分布参数。另一类通过记录图像筛选过S1,从省级无人机平台采集全省不同天气和不同环境下的电力无人机拍摄的线路巡检图像样本。[0082]S3,构建多维度标准数据库，覆盖4类地形(山地、丘陵、平原、市区)×5类天气(晴[0083]S31,计算每一组合中每一张图像的拉普拉斯方差、亮度均值，按照环境-天气组合分组存储特征值，形成数据集。[0084]S32,计算每个组合特征值的分布参数。[0085]S33,依据正态分布的3σ原则(覆盖99.7%正常数据),设定特征阈值范围。[0086]S34,记录每一组合图像特征阈值范围，保存至文件，形成标准特征数据库文件由于拉普拉斯方差值越大，图像清晰程度越好，所以该特征值只设置了最小值。lap_var_min为拉普拉斯方差最小值，brightness_min为亮度最小值，brightness_max为亮度最大值。环境天气山地雪天平原晴天[0089]S4,将步骤S2标注的数据集输入到轻量级双分类模型中迭代训练，得到一个可以识别环境类别、天气类别的分类模型。[0091]S6,根据S5计算结果进行初级筛选，同时满足平均亮度在[30,220]范围内，低亮度占比小于40%,高亮度占比小于30%则通过初级筛选。强反光过曝图像，计算得到高亮度占比60%,判定结果：不合格。[0093]S7,对通过初级筛选的图像进行精细判定，将图像输入到步骤S4训练好的分类模型中，识别图像的环境类别和天气类别。[0094]S8,查询标准数据库中，对应环境-天气类别的特征值阈值，包括拉普拉斯方差最[0095]具体的，以山地雪天为例，输入图像。计算图像特征值为lap_var=25.3,brightness=82,根据上表所示，进行(60,180),判定结果为：不通过(清晰度不达标)。[0096]S9,将不合格图片存入本地文件系统，定期(每月)选取10%进行人工复核，将复核后的图片输入到轻量级双分类模型中，进行微调训练，学习率调整为上次的1/2,迭代更新模型。模型训练的基础数据来源。接着，对采集到的样本进行筛选与标注，筛选的目的是去除不符合要求或质量不佳的样本，标注则是为每个样本添加相应的标签，以便模型能够学习到不同图像的特征和类别。[0098]随后，对筛选与标注后的样本进行数据预处理和数据增强操作。数据预处理可能包括图像的归一化、尺寸调整等，以确保数据的一致性和规范性；数据增强则通过亮度变[0099]在数据预处理和增强之后，使用这些处理过的数据以及部分原始标注数据(10%数据迭代训练)进行轻量级双分支模型的训练。10%数据迭代训练意味着在训练过程中，会不断循环使用部分数据来更新模型参数，逐步优化模型的性能。整个流程从数据采集、处理到模型训练，形成了一个完整的图像识别模型训练体系，旨在构建一个能够准确识别巡检图像的模型。[0100]S10,将合格的图片按类别存入步骤S2中的数据集。维护一个固定容量(N=2000)的数据集缓冲窗口，当新存入的数据达到窗口大小的10%时，重复步骤S3,重新计算特征的分布参数，实现动态调整图像特征标准阈值。[0101]S11,记录每次输入图像的判定结果，当连续5张图片判定不合格时，触发阈值重新[0102]一种基于多环境的无人机巡检图像评估方法，通过无人机采集不同环境和天气