CN114092411B 一种高效快速的双目3d点云焊点缺陷检测方法 （东华大学）

号一种高效快速的双目3D点云焊点缺陷检测本发明涉及一种高效快速的双目3D点云焊视觉系统来高效快速地采集焊点的视图1和视图2的点云，相较于单目视觉系统采集的3D点云焊速点特征直方图方法配准对齐后的点云和标准测技术，该技术通过全局特征预测焊点关键区2所述双目视觉系统是指：两个三角测距激光雷达位于所述待测样本所述采集的过程为：使用逻辑控制器控制两个三角测距激光雷达所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点征和所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进行切(3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征和zgi0作为分类器多层3xy1所述标准模板是指与待测印刷电路板的规格和焊点的位置分布保持一致的印刷电路板的45二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行(两者之间的距离为所述激光雷达对应的使用说明书中的正常工作时的扫描高度)；两个三角测距激光雷达以镜6[0011]所述采集的过程为：使用逻辑控制器(即PLC)控制两个三角测距激光雷达的开始采集待测样本的3D点云，再通过以太网传输两个三角测距激光雷达采集的数据到上位机[0013]所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成；视图1形成的3D点云由一个三角测距激光雷达采集得到，视图2形成的3D点云由另一个三角测距计为所述双目视觉系统，可以克服因三角测距激光雷达自身存在的采集数据不完全的缺视图2的印刷电路板部分的3D点云，记为最后使用快速点特征直方图将Y1或者与标准[0019](3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到[0023]对称函数对共享的多层感知机I的输出进行处理，得到X1和X2的全局特征(X1和X2点特征和所述关键区域是对该焊点的顶部对应的球形区域采用指数函数进7行切割得到；[0025]对于每个焊点而言，操作人员通常通过判断焊点顶部形状作为评判焊点质量(即通过掩码获取关键区域内的点特征来间接达到切割关键[0026](3.3)使用步骤(3.2)所得关键区域内X1和X2的点特征和作为分类其中，能够扫描到待测样本时的位置和不再扫描到待测样本时的位置均由试验确定(采用准模板是指与待测印刷电路板的规格和与待测印刷电路板上焊点的位置分布保持一致的[0035]如上所述的一种高效快速的双目3D点云8的点云进行配准定位焊点位置，而是先使用齐次坐标变换对视图1和视图2进行对齐操作，9知机分别提取视图1和视图2焊点的3D点云的点特征，然后使用对称函数(此处为最大值函和视图2焊点的3D点云的全局特征预测焊点的关键区域(此处关键区域指操作人员通常评[0060](1)本发明的一种高效快速的双目3D点云缺陷检测方法，所述检测方法采用双目[0061](2)本发明基于焊点3D点云的全局特征预测关键区域，通过提取关键区域的细节二者形成的直线与所述待测样本的印刷电路板部分所在的平面平行(两者之间的距离为所述激光雷达对应的使用说明书中的正常工作时的扫描高度)；两个三角测距激光雷达以镜[0073]所述采集的过程为：使用逻辑控制器(即PLC)控制两个三角测距激光雷达的开始采集待测样本的3D点云，再通过以太网传输两个三角测距激光雷达采集的数据到上位机[0076]所述待测样本的3D点云由视图1形成的3D点云和视图2形成的3D点云组成。视图1形成的3D点云由一个三角测距激光雷达采集得到，视图2形成的3D点云由另一个三角测距[0078](2.1)基于语义分割方法分别对视图1和视图2形成的3D点云进行分割获取属于印部分的3D点云记为Y2。具体为：通过构建语义分割的数据集，使用通用的语义分割模型[0079](2.2)基于齐次坐标变换将Y2与Y1对齐，得到与[0082]瓦=R+t:[0083](2.3)使用快速点特征直方图将Y1或者与标准模板配准获取每个焊点的位置信[0084]所述标准模板是指与待测印刷电路板的规格和与待测印刷电路板上焊点的位置[0086]假设Y1与标准模板分别为和并且通常Np≠Nq。点云P经过旋[0090]使用最小二乘法寻找使得上述距离最求的变换(R,t)。根据标准模板事先预知的焊点位置即可获得配准后的Y1的焊点的位置信[0095](3.1)先使用深度神经网络分别对该焊点的X1和X2进行点云到点特征的变换得到行检测，其具体过程如下：在工厂使用本发明方法的步骤(1)中构建的双目视觉系统采集257个塑料材质封装的印刷电路板的视图1和视图2的3D点云样本，其中每个印刷电路板包[0126]对上述采集的3D点云样本使用步骤(2)中所述3D模板匹配方法进行预处理，获得集对该采用的语义分割模型进行训练。分别将视图1和视图2的257个塑料材质封装的印刷印刷电路板的3D点云为输入，经过反向传播优化得到输入点云中属于印刷电路板的点云，[0128]然后分别将视图1和视图2语义分割获得的属于印刷电路板部分的点云进行步骤[0129]然后用步骤(3)中构建的基于细粒度分类的模型用于检测焊点缺陷，首先利用视没有缺陷的样本和592个有缺陷的样本，所述一个样本包括焊点的视图1和视图2两个3D点预测的准确率。从图中可以看出其测试集结果达到