CN113674247B 一种基于卷积神经网络的x射线焊缝缺陷检测方法 （河北工业大学）

US2021089807A1,2021.03.25一种基于卷积神经网络的X射线焊缝缺陷检本发明为一种基于卷积神经网络的X射线焊据集中所有焊缝图片标注焊缝标签；建立AF-网络模块采用残差网络(ResNet)与特征金字塔网络(FPN)结构，并在残差网络(ResNet)与特征金字塔网络(FPN)之间引入高效卷积注意力模2建立包含不同种类焊缝缺陷的焊缝图像数据集，数据集中所有焊缝图片标注焊缝标建立AF-RCNN模型，AF-RCNN模型包括主干网络模块差网络(ResNet)与特征金字塔网络(FPN)之间引入高效卷积注意力模块，以增强网络对不所述高效卷积注意力模块包括顺次连接的通道注意力模道注意力模型为：输入特征图F为残差网络C5层输出的特征图F，首先经过平均池化所述空间注意力模型为：首先将通道注意力特征图F'进行最大池化MaxPool和平均池后经过一个卷积层将其减小为一个通道，再经过Sigmoid函数激活生成空间注意力特征图MS，最后将该特征图MS与最初输入的通道注意力特征图F'相乘以输出最后的高效卷积注意F"=MS(F')8F'(1.13)3采集焊缝缺陷X射线原始图片，原始图片的大小为3000*10利用lableimg软件进行人工标注焊缝标签，并保存为P入第二个和第三个卷积层，第三个卷积层的输出和原始输入x做残差，得到残差模块的输焊缝图像输入到C1层经过卷积、池化和Relu函数激活下采在C5层的输出特征图F之后引入了高效卷积注意力模块，高效卷积注意力模块分为通4所述特征图F"将作为特征金字塔网络(FPN所述RPN网络生成预测框和多个感兴趣区域，同时获得缺陷目标的真实位置信息对网gt分别表示预测框和真实框的面积；b和bgt分别表示预测框和真实框的中心5无损检测技术最常用方法之一，研究人员在X射线焊缝缺陷自动检测方面进行了大量研[0004]目前基于深度学习的目标检测算法包括单阶段和双阶段两种模式。SSD和YOLO算因素，检测精度相对较低；或者设置卷积深度过深反而造成小目标缺陷特征信息的丢失，缺陷信息丢失，增强信息学习能力，本发明采用残差网络(ResNet)与特征金字塔网络6位置回归模块；所述主干网络模块采用残差网络(ResNet)与特征金字塔网络(FPN)结构，络对不明显缺陷和小目标特征的学习能力，同时引入CIOU损失函数，增强瞄框的定位能[0015]利用lableimg软件进行人工标注焊缝标签，并保存为PascalVO差模块；所述残差模块包括三个依次连接的卷积层，输入x经第一个卷积层和Relu激活函7[0024]在C5层的输出特征图F之后引入了高效卷积注意力模块，高效卷积注意力模块分为通道注意力模块C和空间注意力模块S，焊缝缺陷经过通道注意力模型生成的特征细化[0025]所述特征图F"将作为特征金字塔网络(FPN)的P4层输入特征图，特征金字塔网络后的特征图分别与残差网络(ResNet)的相应特征层通过1×1卷积进行融合，在深层特征[0026]所述RPN网络生成预测框和多个感兴趣区域，同时获得缺陷目标的真实位置信息信息在通道和空间两个维度进行了特征信息增强并融合，改善了浅层目标信息的梯度消[0031]本发明采用双阶段AF-RCNN目标检测网络作为检测模型，相比单阶段目标检测网8目标检测结果APS达到了36.3提升4.8同时其检测速度为11.65FPS(FPS为平均每秒[0045]以下结合本发明中实施例附图对本发明的具体实施方案进行更完整更清楚地描中的实施例，本领域普通技术人员在没有任何创造性劳动前提下所获得的所有其他实施[0046]本发明为一种基于卷积神经网络的X射线焊缝缺陷检测方法，该方法用于焊缝缺为保证焊缝数据集的充分性和每类缺陷的多样性，首先利用滑动窗口的方式将每张原始9[0053]图3为AF-RCNN模型结构图，本发明所提出的AF-RCNN模型是AttentionFaster-模块、区域生成(RPN)模块和目标分类与位置回归(ROIHead)模块。其中主干网络模块是模块所生成的特征图像，随后通过锚点生成若干个区域候选框输入到ROIHead模块中进Head模块对每一个候选区域进行目标分类来确定目标类别，同时采用非极大值抑制方法[0055]图4为AF-RCNN模型的主干网络模块结构图。主干网络模块是采用残差网络灰度值数字信息，然后经过残差网络(ResNet)虑到焊缝缺陷小目标信息在深层卷积神经网络学习过程中会出现信息丢失等现象，将高S意力模型生成的特征细化学习之后生成通道注意力特征图MC，MC与特征图F融合生成F'作[0061]附图8为高效卷积注意力模块的计算结构图，其中通道注意力特征图生成过程如F'=U:(F)8F(1.11)[0071]附图8所示空间注意力特征图生成过程激活生成空间注意力特征图MS，最后将该特征图与最初输入特征图F'相乘F"=MS(F')8F'(1.13)的相应特征层通过1×1卷积进行融合，在深层特征信息的基础上增加网络浅层特征信息[0077]所述RPN网络生成预测框和多个感兴趣区域，同时获得缺陷目标的真实位置信息[0078]采用CIOU损失函数用于预测框回归与定位的损失函数。IOU是指缺陷目标真实框gt分别表示预测框和真实框的高度。卷积操作生成特征图，特征图经过通道和空间注意力模型进一步特征提取生成注意力特深层和浅层特征信息的作用。FPN网络进一步融合后生成的特征图送入RPN以生成预测框和多个感兴趣区域，同时获得缺陷目标的真实位置信息对网络的感兴趣区域的大致位置[0087]输入测试集焊缝缺陷图片至步骤(2)中训练的AF-RCNN模型中，图片大小统一为[0088]为了证明本发明方法的先进性，利用本申请制作的VOC数据集分别对比不同网络APS仅有24.9％。本发明引入高效卷积注意力模块及主干网络模块改进后的最终网络模型AF-RCNN算法检测效果提升显著，其mAP达到了85.4相较于Faster-RCNN算法效果提升验结果表明AF-RCNN模型对小目标的关注度更高，检测能力更强，整体检测水平得到了显[0092]附图9和10分别为所有类别的P-R曲线和小目标检测结果的P-R曲线，横坐标是召明所提出AF-RCNN模型在整体检测和小目标检测检测准确率达到了94明显高于Faster-RCNN的88且其余缺陷准确率都在95％以上。[0096]附图11是部分缺陷检测结果可视化对比图，传统Faster-RCNN算法在检测小目标