CN119418258A 焊缝关键点识别方法、装置、设备、介质及程序产品 （湖南大学）

识别结果和深度图像确定焊接件的焊缝关键点焊接机器人准确到达焊缝关键点坐标位置进行2获取训练图像数据以及所述训练图像数据对基于所述训练图像数据和所述标注数据生成通过焊接机器人上的图像采集设备采集焊接件的深度图像和RGB图像，所述图像采集将所述RGB图像输入至所述目标识别模型进行焊缝关键点识别，基于识别结果和所述2.如权利要求1所述的焊缝关键点识别方法，其特征在对焊接机器人的图像采集设备进行手眼标定，获取手眼标定为所述图像采集设备的相机坐标系与所述焊接机器人的工具坐标系之间的坐标变换关系基于所述焊接机器人的控制参数获取位姿变换矩阵，所述位姿基于张正友棋盘格标定法获取图像采集设备中各摄像头通过标定后的图像采集设备分别从多个角度对焊接件进行图像采集，获得RGB图像数基于所述训练图像数据和所述标注数据生成根据所述初始集生成旋转矩阵，并基于所述旋转矩将所述初始集与所述第一候选集、所述第二候选集、所述第三候4.如权利要求3所述的焊缝关键点识别方法，其特征在于，所将所述RGB图像输入至所述目标识别模型进行焊缝关键点识别，获3获取所述深度摄像头与所述RGB摄像头之间坐标转换所需的目标转换矩阵，所述目标获取所述RGB摄像头的RGB内参矩阵以及所述深度基于所述RGB内参矩阵获取所述RGB摄像头下相机坐标系与像素坐标系之间的第一转根据所述深度内参矩阵获取所述深度摄像头下相机坐标系与像素坐标系之间的第二基于所述目标旋转矩阵、所述第一转换关系和所述第二转换关系获取所述RGB像素关获取所述深度摄像头下相机坐标系与世界坐标系之间的深度转换获取所述RGB摄像头下相机坐标系与世界坐标系之间的RGB转换矩阵，所述RGB转换矩基于所述深度旋转矩阵和所述RGB旋转矩阵确定所述深度摄像头与所述RGB摄像头之根据所述目标旋转矩阵、所述深度平移矩阵和所述RGB平移矩阵确定所述深度摄像头6.如权利要求1至5中任一项所述的焊缝关键点识别方法，包括以下至少一项：增加自适应混合池化模块至所述LAE模块，所述自适应混合池化模块包括最大池化层利用EXconv模块替换所述C2f层中的Bottleneck模块，所述EXconv模块由局部特征融在所述多个检测头模块前的C2f层的EXconv模块之后增加多尺度空间注意力模块，所将各检测头模块替换为共享卷积检测头模块，多个所述共享卷积检测4训练优化模块，用于基于所述数据集对所述改进后的原始识别模型进行训练和优化，图像采集模块，用于通过焊接机器人上的图像采集设备采集焊接件的深度图像和RGB于引导所述焊接机器人对所述焊接件上的焊缝键点识别程序配置为实现如权利要求1至6中任一项所述的焊缝关键点9.一种计算机可读存储介质，其特征在于，所述计10.一种计算机程序产品，其特征在于，所述计算机程序产品包括焊缝关键点识别程5获取训练图像数据以及所述训练图像数据对基于所述训练图像数据和所述标注数据生成通过焊接机器人上的图像采集设备采集焊接件的深度图像和RGB图像，所述图像将所述RGB图像输入至所述目标识别模型进行焊缝关键点识别，基于识别结果和6矩阵为所述图像采集设备的相机坐标系与所述焊接机器人的工具坐标系之间的坐标变换接机器人的基坐标系与所述工具坐标系之间集设备的相机坐标系与世界坐标系之间的坐通过标定后的图像采集设备分别从多个角度对焊接件进行图像采集，获得RGB图基于所述训练图像数据和所述标注数据生成根据所述初始集生成旋转矩阵，并基于所述旋转矩阵对所述初始集进行旋转处获取所述深度摄像头与所述RGB摄像头之间坐标转换所需的目标转换矩阵，所述获取所述RGB摄像头的RGB内参矩阵以及所述深度基于所述RGB内参矩阵获取所述RGB摄像头下相机坐标系与像素坐标系之间的第根据所述深度内参矩阵获取所述深度摄像头下相机坐标系与像素坐标系之间的基于所述目标旋转矩阵、所述第一转换关系和所述第二转换关系获取所述RGB像7[0009]可选地，所述获取所述深度摄像头与所述RGB摄像头之间坐标转换所需的目标转获取所述RGB摄像头下相机坐标系与世界坐标系之间的RGB转换矩阵，所述RGB转基于所述深度旋转矩阵和所述RGB旋转矩阵确定所述深度摄像头与所述RGB摄像根据所述目标旋转矩阵、所述深度平移矩阵和所述RGB平移矩阵确定所述深度摄增加自适应混合池化模块至所述LAE模块，所述自适应混合池化模块包括最大池利用EXconv模块替换所述C2f层中的Bottleneck模块，所述EXconv模块由局部特在所述多个检测头模块前的C2f层的EXconv模块之后增加多尺度空间注意力模关键点识别模块，用于将所述RGB图像输入至所述目标识别模型进行焊缝关键点坐标用于引导所述焊接机器人对所述焊接件上的焊缝8机程序配置为实现如上文所述的焊缝关键点识别方法[0018]图1是本发明实施例方案涉及的硬件运行环境的焊缝关键点识别设备的结构示意图3为本发明焊缝关键点识别方法第一实施例中改进后的原始识别模型的网络结图4为本发明焊缝关键点识别方法第一实施例中改进后的原始识别模型中各模块9[0022]如图1所示，该焊缝关键点识别设备可以包括：处理器1001，例如中央处理器口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真[0023]本领域技术人员可以理解，图1中示出的结构并不构成对焊缝关键点识别设备的[0025]在图1所示的焊缝关键点识别设备中，网络接口1004主要用于与网络服务器进行[0039]步骤S103：基于张正友棋盘格标定法获取图像采集设备中各摄像头的内参矩阵、[0043]步骤S104：通过标定后的图像采集设备分别从多个角度图4为改进后的原始识别模型中各模块的组成结构示意图，识别设备将图像数据输入至改[0060]C2f_EXconv模块可以是轻量化特征融合层，C2f_EXconv模块通过C2f模块和扩展卷积增强特征图的表达能力和感受野，C2f_EXconv模块可通过CBS模块、深度卷积层应混合池化模块，并加入可学习参数x，形成基于自适应混合池化的轻量化特征提取模块以结合平均池化的平滑特性和最大池化的显著特征增强能力。得到的特征图矩阵分别经过函数在各通道维度上计算注意力权重，确保每个特征点根据其重要性获得相应后，将得到的特征矩阵通过rearrange函数加入第五维度s，将原始维度（批量大小征图的维度重构为与上行分支匹配的五维结构。将得到的结果相乘后在第五维度上相加，改进的卷积特征提取模块EXconv替换原Bottleneck层，结合跨阶段局部特征融合模块C2f征图的通道划分为8个不同的头部，并在不同的头部中以不同的扩张率执行多尺度滑动窗该关键点的坐标不同，因此基于深度摄像头与RGB摄像头之间的关系转换矩阵将两者连接[0086]应当说明的是，焊缝关键点坐标可以是焊接机器人基坐标系（BaseCoordinate[0087]在一些实施例中，目标识别模型的输出可以是RGB图像在像素坐标系下焊缝关键导焊接机器人准确到达焊缝关键点坐标位置进行焊接，提升了关键点识别自主性和适应述RGB图像中像素坐标系下的RGB像素[0093]步骤S602：获取所述深度摄像头与所述RGB摄像头之间坐标转换所需的目标转换[0097]进一步地，为了准确地获取深度摄像头与RGB摄像头之间的转换矩阵，上述步骤步骤S6021：获取所述深度摄像头下相机坐标系与世界坐标系之间的深度转换矩所述深度摄像头与所述RGB摄像头之间坐标转换所需其中与为RGB摄像头下CCS坐标转换到WCS下所需的RGB旋转矩阵和RGB[0102]需要说明的是，第一转换关系可以是将RGB图像中同一关键点从像素坐标系转换第一转换关系：xxr,2)不同，但可用两摄像头之间的旋转矩阵R和平移矩阵T可将两者连接起来；再利用RGB摄像头下的内参矩阵可实现为彩色图每一像素点赋予本实施例通过将所述RGB图像输入至所述目标识别模型进行焊缝关键点识别，获得所述RGB图像中像素坐标系下的RGB像素关键点坐标；获取所述深度摄像头与所述RGB摄于所述目标旋转矩阵、所述第一转换关系和所述第二转换关系获取所述RGB像素关键点坐上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序焊缝关键点识别程序被处理器执行时实现如上所述的焊缝关键点识别[0112]本发明计算机程序产品具体实施方式与上述焊缝关键点识别方法各实施例基本数据采集模块10，用于获取训练图像数据以及所述训练图像数据对应的标注数关键点识别模块60，用于将所述RGB图像输入至所述目标识别模型进行焊缝关键度摄像头与所述RGB摄像头之间坐标转换所需的目标转换矩阵，所述目标转换矩阵包括目述手眼标定矩阵和所述位姿变换矩阵确定所述焊接件的焊缝移矩阵和所述RGB平移矩阵确定所述深度摄像头与所述RGB摄像头之间坐标转换所需的目增加自适应混合池化模块至所述LAE模块，所述自适应混合池化模块包括最大池利用EXconv模块替换所述Bottleneck层，所述EXconv模块由局部特征融合模块、导焊接机器人准确到达焊缝关键点坐标位置进行焊接，提升了关键点识别自主性和适应[0121]本申请提供的焊缝关键点识别装置，采用上述实施例中法可借助软件加必需的通用硬件平台的方