CN114429445B 一种基于MAIRNet的PCB缺陷检测与识别方法 （南京师范大学）

号一种基于MAIRNet的PCB缺陷检测与识别方法本发明公开了一种基于MAIRNet的PCB缺陷最终输出缺失元器件定位信息并在待检测图像色环电阻种类及定位信息和焊点缺陷类别及定位信息；输出裁剪后的PCB极性元器件待检测图像与模板图像，构建一种PCB元器件极性判别方行汇总显示。本发明能够检测识别出PCB表面常2S2：将训练集中的待检测图像和模板图像全部输入到S3：将测试集中的PCB图像输入搭建和训练好的基于MAIRNet的PCB缺陷检测与识别模S4：利用步骤S3中输出的极性元器件定位情况对待检测图像与模板图像进行裁剪筛所述步骤S3中基于MAIRNet的PCB缺陷检测与识别模型的搭建方法包括A2：对多种不同尺度的特征图进行PCB元器件目标检测与识别，目标所处的边界框boundingbox位置信息目标对应的类别信息，类别信息包含目标元器件的具体类别以及缺B2：在逆残差网络的基础上增加了一种多维注意力模块，C1：将经过多维注意力增强神经网络输出的5层特征图输入到3D2：对于图像配准后的待检测图像与模板图像进行图像灰度化操像形态学处理，采用腐蚀膨胀操作进一步减少PCB背景环境对元器件缺失区域定位带来的D5：对于步骤D4中进行图像形态学处理后的差分二值图进行像素D6：对于步骤D5中筛选出的最大连通区域进行矩形框标注，并将述步骤C2中广义交并比函数GIoU的具体计述步骤C3中焦点损失函数FocalLoss的具体计述步骤S4中PCB元器件极性判别方法包括E1：对输入的PCB极性元器件待检测图像进行预处理，使用ORE2：对于图像配准后得到的PCB极性元器件待检测图像与PCBE4：对于步骤E3中得到的PCB极性元器件差分灰度图进行图像二4E6：将步骤E5中筛选出的最大连通区域输入到极性检测模块述步骤B1中MAIRNet的主体是一个由17个逆残差模块构建的逆残差网络，每一个逆残差模所述步骤B2中多维注意力模块的具体操作为：通过每一个逆残差模块的次分解为两个通道的特征矩阵，对两个通道的特征矩阵分别使用1×1卷积和Sigmoid激活函数进行激活，得到的两个通道的特征矩阵与逆残差模块输出的原始特征矩阵进行合并，所述步骤B3具体为：将17个多维注意力模块优化的逆残差模块分为。述步骤S5中通过搭建用户软件系统界面进行5缺陷种类。当前基于深度学习的目标检测与识别技术没有针对PCB缺陷搭建的特定神经网6测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标[0010]S3：将测试集中的PCB图像输入搭建和训练好的基于MAIRNet的PCB缺陷检测与识[0012]S5：对获取的缺失元器件定位信息与PCB图像上的标注情况、元器件极性接插情行图像形态学处理，采用腐蚀膨胀操作进一步减少PCB背景环境对元器件缺失区域定位带7确定元器件目标所在区域，使用广义交并比函数GIoU(GeneralizedIntersectionover[0042]E3：对于PCB极性元器件待检测灰度图与PCB极性元器件模板灰度图进行图像差[0043]E4：对于步骤E3中得到的PCB极性元器件差分灰度图进行图像二值化处理，得到[0045]E6：将步骤E5中筛选出的最大连通区域输入到极性检测8[0046]进一步地，所述步骤B1中MAIRNet的主体是一个由17个逆残差模块构建的逆残差被分为两个通道进行平均池化操作，平均池化后的两个通道的特征矩阵分别进行连接及1阵再次分解为两个通道的特征矩阵，对两个通道的特征矩阵分别使用1×1卷积和Sigmoid。9种等价形式的修改均落于本申请所附权利要求所限定[0063]本发明提供一种基于多维注意力增强神经网络(MAIRNet)的PCB缺陷检测与识别测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标[0067]S4：将测试集中的PCB图像输入训练好的基于MAIRNet的PCB缺陷检测与识别模型于逆残差网络中的每一个逆残差模块进行优化，得到多维注意力模块优化的逆残差模块。进行平均池化操作，平均池化后的两个通道的特征矩阵分别进行连接及1×1卷积，使用两个通道的特征矩阵，对两个通道的特征矩阵分别使用1×1卷积和Sigmoid激活函数进行确定元器件目标所在区域，使用广义交并比函数GIoU(GeneralizedIntersectionover行图像形态学处理，采用腐蚀膨胀操作进一步较少PCB背景环境对元器件缺失区域定位带[0099]E3：对于PCB极性元器件待检测灰度图与PCB极性元器件模板灰度图进行图像差[0100]E4：对于步骤F3中得到的PCB极性元器件差分灰度图进行图像二值化处理，得到[0102]E6：将步骤F5中筛选出的最大连通区域输入到极性检测