CN116433647B 一种基于多任务学习的绝缘子图像质量评价方法及系统 （华北电力大学（保定））

一种基于多任务学习的绝缘子图像质量评本发明公开了一种基于多任务学习的绝缘编码，将得到的编码特征，输入到任务感知transformer解码器的任务交互块，捕获每个任实现对绝缘子故障诊断应用中对失真绝缘子组2采集高清绝缘子图像，通过添加具有等级划分的失真，利用客观基于所述绝缘子失真图像数据集，通过多尺度解耦的特征提取方式粒度特征进行融合后，通过编码器进行编码，将得到的编码特征，输入到任务感知在通过编码器进行编码的过程中，所述编码器为可变形混在通过任务感知transformer解码器进行解码的过程中，通过两个所述可变形混合器小型多层感知器sMLP由一个线性层和一个LayerNorm层在获取感知特征的过程中，基于所述交互特征，通过两个任务查询块，并行应用在进行质量标签标注的过程中，通过MDSI算法，对添加所述失在进行质量标签标注的过程中，对进行质量标签标注的所述高清绝缘子图像，通过在进行质量标签标注的过程中，依据失真等级，将标量质34高清图像，不需要高清图像的无参考图像质量评价算法(NoReferenceImageQualityAssessment,NR_IQA)在实际中被广泛使用。[0004]无人机采集的绝缘子图像可能由于恶劣天气影响、相机运动等情况出现图像降数据集的创建需要大量带有人类意见评分的图像，人工评分带来巨大的人力和时间消耗。目前一般基于卷积神经网络(CNN)的无参考质量评价算法通常直接学习图像到主观分数之5粒度特征进行融合后，通过编码器进行编码，将得到的编码特征，输入到任务感知[0014]优选地，在通过编码器进行编码前，将Resnet50网络的每层特征图的通道分成4Reshape模块，其中，残差模块分别将第一GELU激活+BatchNorm模块和第二GELU激活+6加入可变形混合器编码器模块和任务感知transformer解码器模块处理多任务学习问题，便于充分挖掘失真等级预测任务和质量评分预测任务之间的共享特征和各7块和任务感知transformer解码器模块来提升多任务学习能力，解决了当前技术中缺少可形混合器编码器模块和任务感知transformer解码器，提高质量评分预测任务和失真等级预测任务之间的交互能力。基于多任务学习的绝缘子图像质量评价方法的流程图如图1所[0038]首先利用高清绝缘子图像和客观全参考图像质量评价算法—MDSI进行分数标签[0039]基于多任务学习的绝缘子图像质量评价方法主要由多尺度特征提取网络、编码8[0053]任务感知transformer解码器包括一个任务交互块和两个任务查询块，分别用来[0054]任务交互块，由多头自注意力模块(MHSA)和小型多层感知器([0058]为了实现高效的任务交互，特征首先被投影到维度dk的查询(Q)、键(K)和值(V)[0066]任务查询块从预测的任务交互特征中分别解码任务1和任务2的感知特征，如图69得到的各分块的图像质量评分和失真等级取平均得到最终整幅图像的质量评分和失真等[0079](1)本发明首次构建了绝缘子失真图像数据集，对高清绝缘子图像进行不同模糊[0080](2)本发明脱离主观评分的方式，利用高性能的全参考图像质量评价算法来给每[0081](3)本发明构建了有效的细粒度特征提取和融合模块，充分考虑不同尺度失真的[0082](4)本发明还引入可变形混合器编码器模块，捕获与各个任务相关的更多信息区现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定理解为指示