CN115587993B 一种基于ai与机器视觉算法的口罩焊点缺陷检测方法 （中科芯集成电路有限公司）

一种基于AI与机器视觉算法的口罩焊点缺本发明公开一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，属于口罩缺陷检测领模型将焊点ROI区域进行有效提取，进而输送给主设计的SJDD1和SJDD2算法，对焊点ROI图像进2步骤1：将相机直接采集的包含口罩的Ori图像传入预步骤2：使用预先训练好的深度学习目标检测模型YOLOv5对P步骤5：分别使用预先训练好的深度学习语义分割模型Mask_Inceptionv4及设计的传统机器视觉算法对焊点ROI图像进行缺陷检测，包括基于设计的统机器视觉算法SJDD2对焊点ROI图像进行压穿将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在一起作将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一起作将CAN网络模型的第三层卷积结果通过concat的方式与第六层卷积结果拼接在一起作所述基于设计的传统机器视觉算法SJDD1对焊点ROI图像进行缺陷检测的处理过程包（a）对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、到位于焊点ROI区域中心位置，且面积、矩形度均满足要求的未被焊过的耳带目标OBJ_所有未被焊过的耳带区域中进行查找，如果存在X轴方向位于唯一耳带目标OBJ_CENTER的所述基于设计的传统机器视觉算法SJDD2对焊点ROI图像进行缺陷检测的处理过程包（a）对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_R、3然后将提取的区域图像送入预先训练好的MLP分类器进行处理，判断该区域是否存在压穿所述步骤1中深度学习图像增强改进模型CAN++的训所述步骤2中深度学习目标检测模型YOLOv5的训基于深度学习目标检测模型YOLOv5对Proc图像进行处理，得到Pr步骤5_2：基于深度学习的分类模型Inceptionv4对焊点4所述步骤5中深度学习语义分割模型Mask_RCNN的训所述步骤5中深度学习分类模型Inceptionv4的训要求的深度学习分类模型Inceptio5[0003]任意规格的口罩都存在焊点，焊点是将耳带固定于成型强改进模型CAN++进行亮度提升噪点减少处理，输出一张与Ori图像尺寸一致的处理后的模型Inceptionv4及设计的传统机器视觉算法对焊点ROI图像进行[0012]在一种实施方式中，所述步骤1中深度学习图像增强改进模型CAN++的改进方法[0013]将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在一[0014]将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一6[0015]将CAN网络模型的第三层卷积结果通过concat的方式与第六层卷积结果拼接在一[0016]在一种实施方式中，所述步骤1中深度学习图像增强改进模型CAN++的训练过程[0017](a)固定相机对不同的口罩样本进行图像采集，对同一个口罩样本分别在低曝光[0021](a)对图像增强改进模型CAN++处理过的口罩Proc图像使用标注工具labelme进行[0023](c)使用训练集对目标检测模型YOLOv5进行训练，使用验证集在训练过程中进行[0025]基于深度学习目标检测模型YOLOv5对Proc图像进行处理，得到Proc图像中所有[0031]在一种实施方式中，所述步骤5中深度学习语义分割模型Mask_RCNN的训练过程[0032](a)收集包含脏污区域的焊点ROI图像，使用标注工具labelme进行焊点上脏污区7[0035]在一种实施方式中，所述步骤5中深度学习分类模型Inceptionv4的训练过程包足要求的深度学习分类模型Inceptio[0039]在一种实施方式中，所述步骤5中设计的传统机器视觉算法SJDD1对焊点ROI图像[0040](a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_[0044](e)将步骤(d)筛选得到的耳带区域根据其在图像中的坐标及矩形度信息循环查找，找到位于焊点ROI区域中心位置，且面积、矩形度均满足要求的未被焊过的耳带目标到的所有未被焊过的耳带区域中进行查找，如果存在X轴方向位于唯一耳带目标OBJ_[0046]在一种实施方式中，所述步骤5中设计的传统机器视觉算法SJDD2对焊点ROI图像[0047](a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_8[0054]图1为本发明提供的一种基于AI与机器视觉算法的口罩焊点缺陷检测方法的流程[0062]以下结合附图和具体实施例对本发明提出的一种基于AI与机器视觉算法的口罩[0063]本发明提供一种基于AI与机器视觉算法的口罩焊点缺陷检测方法，流程图如图1[0064]步骤一：将相机直接采集的包含口罩的Ori图像传入预先训练好的深度学习图像增强改进模型CAN++进行处理，模型输出一张与初始Ori图像尺寸一致的处理后的Proc图[0066]CAN网络模型共包含8个卷积层，网络模型的输入与输出是尺寸完全一致的RGB三通道图像。将CAN网络模型的第一层卷积结果通过concat的方式与第四层卷积结果拼接在9一起作为第五层卷积的输入；将CAN网络模型的第二层卷积结果通过concat的方式与第五层卷积结果拼接在一起作为第六层卷积的输入；将CAN网络模型的第三层卷积结果通过[0068](a)固定相机对不同的口罩样本进行图像采集，对同一个口罩样本分别在2000us集进行测试，当测试结果在PSNR(PeakSignaltoNoiseRatio，峰值信噪比)、SSIM[0071]步骤二：使用预先训练好的深度学习目标检测模型YOLOv5对图像Proc进行焊点[0073](a)对共计10000张的图像增强改进模型CAN++处理过的口罩图像使用标注工具[0075](c)使用训练集对目标检测模型YOLOv5进行训练，使用验证集在训练过程中进行模型YOLOv5对图像Proc进行处理，可以得到图像Proc中所有焊点的中心点坐标{(x0,y0),[0078]步骤五：分别使用预先训练好的深度学习语义分割模型Mask_RCNN、分类模型[0079](5_1)基于深度学习的语义分割模型Mask_RCNN对焊点ROI图像进行语义分割，检[0084](5_2)基于深度学习的分类模型Inceptionv4对焊点ROI图像进行分类，得出焊点[0089](5_3)基于设计的传统机器视觉算法SJDD1对焊点ROI图像进行毛刺、耳带超出等[0091](a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_[0095](e)将步骤(d)筛选得到的目标根据其在图像中的坐标及找到位于焊点ROI区域中心位置，且面积、矩形度均满足一定要求的未被焊过的耳带目标[0097](5_4)基于设计的传统机器视觉算法SJDD2对焊点ROI图像进行压穿、脏污等缺陷[0099](a)对彩色的焊点ROI图像进行RGB三通道分离，得到三张单通道图像分别为ROI_