CN114841972B 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法 （浙江大学）

基于显著性图和语义嵌入特征金字塔的输本发明公开了一种基于显著性图和语义嵌过构建嵌套U型网络，对数据集进行图像显著性检测；步骤4：通过Gridmask和随机擦除(Cut入的特征金字塔分类网络作为ResNet34分类的补充，用于无人机输电线路巡检图像中故障识22.1)对EL-ERSGAN超分辨率增广模型的生成器和鉴别器的损失函数进行定义，其公式别图像比虚假图像更真实的概率，DRa(xf,xr)表示鉴别图像比真实图像更虚假的概率，代表对处理批次中所有虚假数据进行的平均操作，xi代表输入GAN网络的低分辨率2.2)使用输电线路非小目标集合训练超分辨率增广模型EL-ERSGAN的生成器得到一个2.3)使用训练后的EL-ERSGAN模型对输电线路小目3)通过嵌套显著性检测网络U2-Net生成训练集图像的显著4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进行训特征增强金字塔模块，其输入为ResNet特征提取模块生成的深层语义嵌入模块，其输入为特征增强金字塔模块生成的融合特语义信息的低分辨率特征和具有丰富位置信息的深度特征融合模块，其输入为深层语义嵌入模块生成的低分辨率特征与高分辨率特35)实时获取输电线路巡检的目标图像数据，并作为2.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识3.根据权利要求1所述的一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识4基于显著性图和语义嵌入特征金字塔的输电图像分类模型对输电线路进行目标检测后的输出图像进行分类，以区分部件是否存在故[0004](1)引入超分辨率对抗生成网络对输电线路小尺寸目标进行数据增广与语义信息[0006](3)与现存的缺陷识别模型相比，本发明构建基于深度语义嵌入的增强特征金字[0008]本发明的目的在于提供一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法。通过EL-ESRGAN超分辨率增广算法，对输电线路小目标进行超分辨率图像生成；通过构建嵌套U型网络，对缺陷数据集进行基于显著性图的图像显著性检测，并引导[0009]本发明公开了一种基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方5[0013]4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进[0015]作为本发明的可选实施方案，步骤2)所述的经过EL-ERSGAN超分辨率增广算法进[0016]2.1)对EL-ERSGAN超[0020]2.2)使用输电线路非小目标集合训练超分辨率增广模型EL-ERSGAN的生成器得到[0021]2.3)使用训练后的EL-ERSGAN模型对输电线路小目标集合进行超分辨率图像增6具有丰富语义信息的低分辨率特征和具有丰富位置[0031]深度特征融合模块(DFF)，其输入为深层语义嵌入模块生成的低分辨率特征与高[0033]作为本发明的可选实施方案，所述步骤1)使用的数据集为输电线路绝缘子数据[0040](1)本发明采用EL-ESRGAN超分辨率增广算法，克服了现有技术中小目标信息缺图像清晰度和实例的可解释性，同时对复杂极端背景下的小目标数据增广提供了训练方[0041](2)本发明采用基于嵌套U型网络的图像显著性检测引导自适应缺陷数据增强的[0042](3)本发明采用基于深度语义嵌入的增强特征金字塔分类网络，克服了常规目标7[0052]图9为基于深度语义嵌入的增强特征金字塔分类网络的增强特征金字塔(EFPN)结[0053]图10为基于深度语义嵌入的增强特征金字塔分类网络的深层语义嵌入模块(DSE)[0054]图11为基于深度语义嵌入的增强特征金字塔分类网络的消缺实验中网络模型的[0060]4)将数据增广后的图像及其标签输入到深度语义嵌入的特征金字塔分类网络进和复杂的退化过程也极大的增加了训练的不稳定性。因此引入谱归一化来稳定训练动态，同时也有助于缓解GAN训练带来的超锐度和伪影，并在局部细节增强和伪影抑制之间实现8广算法能对不同类别的低分辨路输电线路目标进行有效的像素[0065]U型残差块网络(RSU)的结构参阅图6所示，其中L是编码器层数(默认为7)，Cin和池化和上采样操作替换成扩张卷积操作以保持所有特征图和输入特征图分辨率一致,其结间层通过张量拼接后再通过一个卷积核大小为3×3的卷积层和一个Sigmoid函数，以生成[0067]步骤3)使用嵌套U型网络U2-Net的显著性图引导图像增广，其算法的实现包含以[0069]b)计算grayscale中的灰度值中值θ,和灰度图中像素(i,j)的显著性值grayscaleij，通过公式binary＝{grayscaleij≥θ}i∈width,j∈height计算其是否为识[0070]c)对识别目标进行两次形态学膨胀计算s=(binary⃞B)$B,其中B为拓展保护区擦除算法，随机选择随机擦除的擦除区域比例s和擦除区域的纵横比rc，同时生成掩膜集[0073]步骤4)中基于深度语义嵌入的增强特征金字塔分类网络参阅图8所示。其中，以9[0074]深度特征融合模块(DFF)中，高层特征图特征处理通过两个残差块和一个旁路连接组成，残差块的配置如表1所示，每层卷积后连接一个批归一化层和一个非线性变换的在整体分类准确率方面，本发明提出的网络结构比基准网络ResNet34高3.44并在缺陷发现本发明提出的EFPN+DSE+DFF三模块组合方式，比其他模型在分类任务上表现更优异。将更多的背景因素与识别目标进行解耦，对分类准确率本来较低的缺陷集提升效果更明