CN119477925A 一种汽车零件的质量检测方法、装置、设备及介质 （天津天汽模志通车身科技有限公司）

本申请公开了一种汽车零件的质量检测方该方法采集汽车零件的表面图像和三维点云数鸟瞰图特征与点云鸟瞰图特征分别嵌入位置编后的点云鸟瞰图特征输入Transformer模型进行2采用正弦函数和余弦函数，为空间位置对齐后的视觉鸟瞰图特征与点云将位置编码后的视觉鸟瞰图特征与位置编码后的点云鸟瞰图特征输入Transformer模根据所述融合特征进行汽车零件的质量检测，获得质量检测结果；调整去噪后的表面图像的尺寸和分辨率，使调整将坐标归一化后的三维点云数据进行点云的对齐和旋转标准化，获将预处理后的三维点云数据输入Pointpillars网络，获得所述三维点云数据根据相机的内参数和外参数，依据公式A=K·[Rt]，获得仿射变换矩阵；其中，所3位置的位置编码，PE(i,2j+1)为纵向位置索引为奇数位置的位置编码，d为鸟瞰特征的中，PV为添加位置编码后的视觉鸟瞰图特征，P,为空间位置对齐后的视觉鸟瞰图特征，中，Pp为添加位置编码后的点云鸟瞰图特征，pn为空间位置对齐后的点云鸟瞰图特征，根据所述融合特征，使用具有多个检测头的深度学习模型对汽车零件进行质量检测，所述计算机用于根据汽车零件的表面图像和三维点云数据，采用权利要求1_6任一项所述的汽车零件的质量检测方法对汽车零件进行第一轨道和第二轨道设置在汽车零件的两侧；第一所述第一机械臂用于沿着第一轨道滑动，使相机拍摄汽车零件不同所述第二机械臂用于沿着第二轨道滑动，使激光雷达采集汽车零件不同位置4处理器执行时实现权利要求1_6中任一项所述的汽车零件的质5点云数据进行坐标归一化；将坐标归一化后的三维点云数据进行点云的对齐和旋转标准6鸟瞰图特征分别嵌入位置编码，具体包括：采用正弦函数和余弦函数，依据公式云鸟瞰图特征生成的位置编码。相机用于拍摄汽车零件的表面图像；所述激光雷达用于采集汽车零件的三维点云数据；所述计算机用于根据汽车零件的表面图像和三维点云数据，采用上述的汽车零件的质量检测方法对汽车零件进行质量检测。7械臂6。[0026]多模态融合感知技术的引入为汽车零件的质量检测提供了一种创新的解决方8[0032]步骤104：通过仿射变换，将视觉鸟瞰图特征与点云鸟瞰图特征进行空间位置对[0034]步骤106：将位置编码后的视觉鸟瞰图特征与位置编码后的点云鸟瞰图特征输入9[0042]其次，基于预处理后的表面图像，通过卷积神经网络模型进行视觉BEV特征的提[0046]步骤203：将调整后的表面图像输入ResNet，获得所述表面图像的视觉鸟瞰图特[0050]其次，基于预处理后的三维点云数据，通过深度学习模型进行点云BEV特征的提特征和点云BEV特征在空间中完成初步对齐。则上述步骤104可由以下步骤401~步骤402代[0059]步骤401：根据相机的内参数和外参数，依据公式A=K·[Rt]，获得仿射变换[0063]步骤501：采用正弦函数和余弦函数，依据公式和,为空间位置对齐后的视觉鸟瞰图特征与点云鸟瞰图特征分[0066]本申请另一个示例性的实施例中，利用Transformer网络将两种模态的特征进行。注意力权重矩阵，dx代表键向量k的维度，Attention(QK,v)为得到的注意力的值，softmax为归一化指数函数，K为键向量的转置，Frusion为融合特征。对齐后的视觉鸟瞰图特征进行线性变换后得到的彩色方块表示视觉鸟瞰图特征中不同空间位置的位置编码。多层感知机和融合特征Frusion之间的彩色方块表示对视觉鸟瞰图特[0078]3.本申请的汽车零件的质量检测方法具[0080]在一个示例性的实施例中，如图4所示，提供了一种汽车零件的质量检测装置包表面图像和三维点云数据，采用上述的汽车零件的质量检测方法对汽车零件进行质量检激光雷达2采集汽车零件不同位置和不同角度的三维的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储质量检测结该计算机程序被处理器执行时实现上述各方通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read_取存储器（StaticRandomAccessMemory，SRAM）或动态随机存取存储器（Dynamic[0087]本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数