CN119407392A 融合大模型的焊缝识别方法、装置、电子设备及存储介质 （北京小雨智造科技有限公司）

本申请提出一种融合大模型的焊缝识别方2基于所述第一焊缝信息，确定所述目标工件中焊缝的起点位置，基于所述焊枪的线激光传感器，在所述起点位置进行焊缝识别基于所述第一焊缝信息和所述第二焊缝信息，对所述焊枪的焊接位置进基于所述第一焊缝信息确定第一焊接位置，并基于所述第二焊缝获取所述焊枪在焊接过程中的运动信息，所述运动信息包括所述焊枪的速度和加速获取所述第一焊接位置与所述焊接位置的第一距离平方，以及确定所述第一距离平方、所述第二距离平方，以及所述速度对所述优化函数进行优化处理，得到所述优化函数最小化时基于所述转换矩阵和所述起点位置，确定焊枪的焊接起点位置，3在所述焊枪焊接过程中，基于所述线激光传感器，实时采集基于所述第一焊缝信息、所述第三焊缝信息和所述优化函数，获模型识别模块，用于采集待焊接的目标工件的第一图像，并将优化模块，用于基于所述第一焊缝信息和所述第二所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1_8中任一项执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1_8中任一项所述的4[0009]为达上述目的，本申请第一方面实施例提出了一种融合[0010]为达上述目的，本申请第二方面实施例提出了一种融合5[0016]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0019]图1是根据本申请实施例所提供的一种融合大模型的焊缝识别方法的流程图，如6载电子设备、可穿戴设备、超级移动个人计算机（ultra_mobilepersonalcomputer，7[0033]图2是根据本申请实施例所提供的一种融合大模型的焊缝识别方法的流程图，如结构信息中提取焊缝的特征信息，并将提取到的特征信息与标准焊缝的特征信息进行对8速度和平均加速度作为焊枪在焊接过程中的速度和加P().表示第二焊接位置，表示第一焊接位置，P(i)表示目标焊接位置，F()ref,yref,zref)表示位置pref的坐标值，(xtarget,ytarget,ztarget)表示位置9[0060]图3是根据本申请实施例所提供的一种融合大模型的焊缝识别方法的流程图，如图像坐标系与机器人坐标系之间的转换矩阵，并使用转换矩阵对起点位置进行坐标系转[0073]示例性说明，图4示出的是使用本申请实施例所提供的方法构建的焊接系统的结[0075]控制中心通过向视觉感知模块发送图像采集指令，视觉视觉大模型对RGB图像进行焊缝识别，得到焊缝的语义信息和3D结构信息作为第一焊缝信型的焊缝识别方法的实施方式也适用于本申请实施例提出的融合大模型的焊缝识别装置，技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装连接部（电子装置便携式计算机盘盒（磁装置随机存取存储器（RAM只读存储器[0104]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步