CN119417800A 基于深度学习的焊缝定位与缺陷检测系统及方法 （黄河科技学院）

基于深度学习的焊缝定位与缺陷检测系统本发明基于深度学习的焊缝定位与缺陷检标注，采用基于FPN网络结构的深度学习方法进2机器人运动控制卡通过控制运动轴实现工业机器人焊接，同时PLC触发单目相机同时触发2.基于深度学习的焊缝定位与缺陷检测系统，步骤3：基于深度学习的焊缝缺陷识别和定位，采用步骤1B：线结构光条纹中心线亚像素坐标提取：所述光条纹中心线亚像素坐标提取为提取线结构光条纹中心线，3所述焊缝特征点识别，首先使用最小二乘法拟合线结构光条纹中心线所述焊缝尺寸检测在提取焊缝特征点后，根据线结构光相机经过分配后进入ROIPooling层完最小化教师模型t和学生模型s计算得到的空间关联图之间的差异本项目采用常规的均方误差计算空间关联相似性损失LS，LS的计算过程可以公式化描述如4其中N表示特征图中的像素数量，和s;分别表示学生模型特征图和教师模型特征图一个通道关联相似性损失LC用来衡量教师模型和学生模型特征图中通道之间关联信息其中C表示特征图的通道数，c;和c;分别表示学生模型特征图和教师模型将语义分割任务看做逐个像素分离的像素级多分类任务，直接素位置的各类别输出概率作为软标签传递给学生模型，逐像素相似性损失函数LP定义如其中表示教师模型t在第i个像素位置预测出的类别概逐像素相似性损失的效果是使得学生模型更接近教师模型中数值将学生模型看做生成器，其目标是对于输入图像生成一个语义分割结5对于本项目提出的双关联蒸馏框架，总体损失函数由上文提到的四为了评价蒸馏前后学生模型在各个语义类别上的提升以及学生模型和教师模型在各其中，C表示类别数，F调和均值、平均交并比准确度评价指6[0001]本发明涉及焊缝定位、检测领域,尤其涉及[0003]焊缝的焊接质量的好坏对产品质量起着决定性的影响，等缺陷，焊缝上出现的焊接缺陷在降低美观的同时会严重影响工业产品的质量和使用性学习更好地应用于基于视觉的焊缝定位和缺陷检测成为了焊缝缺陷检测7高密度点云的高度信息Z坐标转换为图像像素灰度，点云的空间信息X和Y坐标转换为像素[0015]本发明具有如下有益效果:1)针对焊缝及焊缝缺陷的像素在图像中的占比非常络结构FPN以解决不同图像尺寸的目标检测问题，即将卷积神经网络的高维特征与低维特89其分割精度进行提升之后也在压缩模型上实现了分割精度[0039]所述焊缝特征点识别，如图7所示，首先使用最小二乘法拟合线结构光条纹中心[0043]需要根据缺陷位置的点云数据和深度图像，三维重建缺[0045]TsungYiLi等人在2017年提出了金字塔网络结构(FeaturePyramidNetwork，简[0046]FPN可以将卷积神经网络的高维特征与低维特征进行融合，使网络所包含的语义框在经过分配后进入ROIPooling层完成输出结部分成为核心网，也称骨干网，由预训练的网络组成，它的主要功能是生成各种特征图[0052]实施例五，在实施例二的基础上：所述步骤3基于双关联知识蒸馏实现模型的压后也就在学生模型上实现了分割精度和推理[0054]采用双关联蒸馏方法来充分地挖掘教师模型中蕴含的知识并将这些知识传递给保留每一个空间位置对应的c个通道中数值最大的值所对应的下标，因此整体分割结果的征提取能力就会和教师模型更加接近，提升了的特征提取能力有助于产生更好的分割结效果本项目采用常规的均方误差计算空间关联相似性损失LS，LS的计算过程可以公式化描征图中第j个空间位置和第i个空间位置之间关联程[0064]一个通道关联相似性损失LC用来衡量教师模型和学生模型特征图中通道之间关[0070]其中a'表示教师模型t在第i个像素位置预测出的类别概率，表示学生模型s在于最后的分割结果是由这些数值较大的类别概率决定的，因此二者的输出结果也更加接[0088]为了评价蒸馏前后学生模型在各个语义类别上的提升以及学生模型和教师模型