CN115526864B 基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法 （郑州轻工业大学）

号基于改进的特征金字塔网络和度量学习的本发明公开了一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，在ResNet50网络中加入可变形卷积DC和卷积注意COCO数据集上预训练改进的特征金字塔网络FPN，将训练后的网络参数和网络模型迁移到钢利用改进的FPN网络进行特征提取和定位，得到特征图ROI输入RepMet网络，利用多模态网络结构和DML嵌入模块的特征向量计算钢轨缺陷分类21.一种基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测方法，其特征在(1)在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征金字可变形卷积DC为给卷积操作每个点加上一个可学习的偏移量ΔPn，通过偏移量学(2)在MSCOCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络参数(4.3)计算特征矢量Ei与特征向量Eij之间的距离，表示经过FPN提取的i类在嵌入特征矢量Ei与各模态特征向量Eij的距离，这些距离用来计算给定ROI在每个类i在各模态j中的2.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测33.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测4.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测i与Eij之间的距离计算公式：5.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测6.根据权利要求1所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺陷检测4基于改进的特征金字塔网络和度量学习的钢检测铁路检测方法，包括采用传统图像处理方法和利用卷积神经网络(convolutional5况下迁移学习的应用问题进行了探讨。Vinyals等人提出了利用一样本学习的匹配网络去征稀疏的问题。Lv等人提出了一种结合注意机制的少样本学习方法，采用CNN提取图像特人提出基于扩展特征金字塔网络模型的PCB缺陷检测算法，骨干由ResNet_101的一部分构提出了一个金字塔特征融合和全局上下文注意网络。Yang等人提出一种基于多尺度SSD网[0011](1)在ResNet50网络中加入可变形卷积DC和卷积注意模块CBAM，得到改进的特征[0012](2)在MSCOCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络[0013](3)对钢轨表面缺陷数据集利用改进的FPN网络进行钢轨表面缺陷特征提取和定用多模态网络结构获取ROI特征以得到对应的特征向量，再通过计算各个模态代表与嵌入6[0021]F'=M。(F)8F,[0022]F"=M,(F')8F'[0028](4.3)计算特征矢量Ei与特征向量Eij之特征矢量Ei与各模态特征向量Eij的距离，这些距离用来计算给定ROI在每个类i在各模态j7[0047]如图1所示，本发明所述的基于改进的特征金字塔网络和度量学习的钢轨表面缺[0048](1)构建改进的特征金字塔网络(featurepyramidnetwo在ResNet50的卷积层中加入卷积块注意[0051]F'=M.(F)8F,8基础，进行FPN设计。在不同尺度的特征图中使用FasterRCNN中的区域建议网络(region9[0071]训练过程中，使用预测边框和实际边框的重叠率IOU为阈值，划分正样本和负样[0072](2)在MSCOCO数据集上预训练改进的特征金字塔网络FPN，然后将训练后的网络[0074]MSCOCO数据集是微软构建的一个数据集，COCO中的图片包含了自然图片以及生练学习到的网络参数和模型迁移到钢轨表面缺陷检测模型中，以此作为缺陷特征提取部DML)方法，用于分类和小样本检测的模型。将输入图像经过FPN得到图像感兴趣区域[0080]一方面，特征向量通过DML嵌入模块输出矢量E，这个模块由几个具有批标准化i是经过卷积操作后的特征图。[0086]DML嵌入模块E由3个全连接层组成，并且每个全连接层后都加上ReLU激活函数进到特征矢量Ei＝E(Fi)∈Re，之后可以利用相同的非线性结构提取所有ROI特征信息的共同此处与RepMet相同均使用前景概率对背[0098]分类识别部分的损失函数采用嵌入损失函数和交叉熵损失函数这两个损失函[0103]嵌入损失函数Lem和交叉熵损失函数LCE之和Lt＝Lem+LCE对小样本缺陷分类识别的陷检测识别。据集中每类抽取1个样本(1_shot)或5个样本(5_shot)进行训练。评价标准选用准确率分类性能。另外，为了更好地体现网络与传统深度学习在性能上的差异，一般采用43.5649.4268.2048.7063.1150.4465.3256.9068.8058.7073.42[0113]对本发明模型使用消融实验，以验证本发明的改进部分对整体模型性能的影31.4540.2758.0271.7248.5361.0157.1369.8456.9869.2158.7073.42[0119]CBAM是本发明模型中重要的组成部分，为了研究注意力他少样本检测方法包括RepMet网络更高。同一网络在5_way5_shot情况下比5_way1sho