CN119006469B 基于机器视觉的基板玻璃表面缺陷自动检测方法及系统 （光测工业智能装备(南京)有限公司）

司基于机器视觉的基板玻璃表面缺陷自动检本发明提供一种基于机器视觉的基板玻璃利用部署在云端的缺陷检测模型对目标缺陷区2获取基板玻璃表面的多模态数据并进行预处理，所述多模态数将融合后的特征图输入到预先构建的图神经网络中，通过节点嵌入利用所述多任务学习网络同时完成对级联后的特征图中缺陷区域的分割和缺陷类型的初对分割后的疑似缺陷区域，利用预先训练好的目标检测对分割后的疑似缺陷区域，利用预先训练好的目标检测获取疑似缺陷区域图像，将疑似缺陷区域图像调整到固定尺将调整后的疑似缺陷区域图像输入到预先训练好的目标检测模型将增强后的目标特征图输入到检测头中进行缺陷目标检测，检将目标缺陷区域图像上传至云端，利用部署在云端的缺陷检测模云端服务器利用部署的特征提取模型对接收的缺将提取得到的多尺度高层语义特征向量输入至基于注意力机制的第根据输出的缺陷类型软标签作为监督信号，通过最小化第二模3将融合后的缺陷特征向量输入至训练好的第二模型集合中，结合将融合后的特征图划分为多个局部区域，每个局部区域对应图中的根据节点特征之间的相似度构建图的邻接矩阵，邻接矩阵的元同局部区域的图表示组成，通过最小化正样本对之间的距离和最大化负样本对之间的距采用图池化操作将节点的高层特征聚合为图级别的特征表示，提取缺i获取包含缺陷区域的类别信息和位置信息的带标注训练样本，并进行数据增强处理，将增强后的训练样本输入到目标检测模型中，所述目标检测模型包括特征提取网络、根据目标检测模型的预测结果和真实标签，计算预测框和真实框的4根据输出的缺陷类型软标签作为监督信号，通过最小化第二模对于每个特征通道，计算教师模型和学生模型在特征通道上提取的特征之间的差异，6.一种基于机器视觉的基板玻璃表面缺陷自动检测系统，用于实现前述权利要求1_5第一单元，用于获取基板玻璃表面的多模态数据并进行第二单元，用于将融合后的特征图输入到预先构建的图神经第三单元，用于对分割后的疑似缺陷区域，利用预先上传至云端，利用部署在云端的缺陷检测模型对目标缺陷区域的缺陷类型进行精准识别，5其中，所述处理器被配置为调用所述存储器存储的指令，以执行序指令被处理器执行时实现权利要求1至56包括基于图像处理的传统方法和基于深度学习的智能方法。传统方法通常利用图像滤波、测任务带来了新的机遇。基于深度学习的智能方法能够自动从大量数据中学习特征表示，[0005]本发明实施例提供一种基于机器视觉的基板玻璃表面缺[0008]获取基板玻璃表面的多模态数据并进行预处理，所述多模态数据包括图像数据、[0009]将融合后的特征图输入到预先构建的图神经网络中，通过节点嵌入和图卷积操7[0019]基于得到的图对比损失函数和图分类损失函数构建联合损失函数的计算公式如89[0064]图1为本发明实施例基于机器视觉的基板玻璃表面缺陷自动检测方法的流程示意[0065]图2为本发明实施例基于机器视觉的基板玻璃表面缺陷自动检测系统的结构示意[0068]图1为本发明实施例基于机器视觉的基板玻璃表面缺陷自动检测方法的流程示意[0069]S101.获取基板玻璃表面的力融合模块对对齐后的特征进行自适应加权融合，通过计算不同模态特征之间的相关性，[0074]S102.将融合后的特征图输入到预先实现节点特征的更新和传播。采用图池化操作将节点的高层特征聚合为图级别的特征表[0090]基于得到的图对比损失函数和图分类损失函数构建联合损失函数的计算公式如而不仅仅局限于局部像素级别的特征。拓扑特征图不仅包含了缺陷的局部纹理和边缘信不同尺度特征的融合；检测头采用了anchor_free的设计，直接预测目标的中心点和边界的目标缺陷区域图像。通过注意力机制能够自适应地增强对缺陷区域和特征通道的关注集合的预测结果与缺陷类型软标签之间的差异，使用交叉熵损失函数或KL散度损失函数，[0128]将融合后的缺陷特征向量输入至训练好的第二模型集合中，进行缺陷类型识[0139]图2为本发明实施例