CN119407796A 一种基于模型驱动的螺栓松动检测及自动复拧方法 （航天精工股份有限公司）

一种基于模型驱动的螺栓松动检测及自动本发明公开了一种基于模型驱动的螺栓松螺栓识别模型对所述图像中的螺栓位置进行识2基于预训练的深度学习螺栓识别模型对所述图像中机械臂基于所述复拧任务规划运动路径；所述机械臂基于所述复拧任务规划运动路深度学习螺栓识别模型的目标检测网络设置为YOLOv8，主干网络设置基于Labelbox标注所述扩展数据集中每张图像基于ORB特征点匹配算法对增强后的螺栓图像进行特基于计算将机械臂执行复拧任务过程分为k+计算得到第一阶段P1的最优姿态qp1和最后阶3;Pk+1阶段的最优根据目标位置p(x,y,z)及末端方向dirgoal，基于运动学逆运算得到机械臂的目标姿态群计算目标姿态群中所有姿态的机械臂雅各比矩阵Jgoal={Jg1,Jg2,…,Jgm}，及;;4[0005]有鉴于此，本公开实施例提供一种基于模型驱动的螺栓松动检测及自动复拧方深度学习螺栓识别模型的目标检测网络设置为YOLOv8，主干网络设置为CSPNet，5基于Labelbox标注所述扩展数据集中每张图像[0008]根据本公开实施例的一种具体实现方式，所述对所述基基于ORB特征点匹配算法对增强后的螺栓图像进行特[0011]根据本公开实施例的一种具体实现方式，基于优化算法对所述运动路径进行优基于计算将机械臂执行复拧任务过程分为k+1个阶段，每个阶段的起止负载区间为P1:[0,Teshift1]，P2:[Teshift1,Teshift2]…Pk:[Teshiftk-1,Teshiftk]，Pk+1:[Teshift2,计算得到第一阶段P1的最优姿态qp1和最后阶Pk+1阶段6获取机械臂的初始姿态qinit，获取目标螺栓的空间位置p(x,y,z)及目标复拧扭矩根据目标位置p(x,y,z)及末端方向dirgoal，基于运动学逆运算得到获取所有姿态各个关节的Tj-Te曲线，并沿Te坐标对比Tj与Tjlim，定义满足Tj在机械臂根据所述运动路径完成螺栓的复拧任务过程中，即时更新螺栓松动角了复拧信息更新策略及复拧姿态优化算法，能够以高精度的方式检测螺栓松动失效状态，[0019]图1为本公开实施例提供的一种基于模型驱动的螺栓松动检测及自动复拧方法流图2为本公开实施例提供的一种基于模型驱动的螺栓松动检测及自动复拧方法流图3为本公开实施例提供的一种基于模型驱动的螺栓松动检测及自动复拧方法技7图4为本公开实施例提供的一种基于图像处理的松动检测及角度计算方法示意图5为本公开实施例提供的一种基于ROS的机械臂运动学模型及路径规划过程示图7为本公开实施例提供的一种基于模型驱动的螺栓松动检测及自动复拧系统示图8为本公开实施例提供的一种结合机械臂运动控制的复拧信息更新策略示意方面可与任何其他方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。用除了本文中所阐述的方面中的一或多者之外的其他结构及/或功能性实施此设备及/或为实现工业生产过程的自动化和智能化提供了有效的技8[0028]图1为本公开实施例提供的基于模型驱动的螺栓松动检测及自动复拧方法流程的[0030]图3为与图1对应的基于模型驱动的螺栓松动检测及自动复拧方法技术路线示意螺栓图像，构建基础数据集；对所述基础数据集进行数据增强，得到扩展数据集；基于Labelbox标注所述扩展数据集中每张图像中螺栓的位置；将所述扩展数据集划分为训练9ORB特征点匹配算法对增强后的螺栓图像进行特征点提取和匹配；对比初始图像与实时图1)利用工业相机实时采集连接结构的图像，采集频率根据应用需求和工程经验并将这些点对对应的灰度值组合成特征描述子。ORB算法的优势在于其在保持高速度的同文件及Moveit规划器建立机器人模型，定义机器人模型中机械臂的物理属性和运动学参标姿态群qgoal中，选择所有符合力学[0054]在本发明实施例中，计算得到第一阶段P1的最优姿态qp1和最后阶段Pk+1的最优姿Pk+1阶段获取机械臂的初始姿态qinit，获取目标螺栓的空间位置p(x,y,z)及目标复拧扭矩根据目标位置p(x,y,z)及末端方向dirgoal，基于运动学逆运算得到获取所有姿态各个关节的Tj-Te曲线，并沿Te坐标对比Tj与Tjlim，定义满足Tj[0060]2)随后制定包含路径规划算法和执行指令的机械臂控制策略，旨在控制机械臂过逆动力学计算出各个关节的扭矩Tj。比较各关节的额定扭矩Tlim与实际扭矩Tj的关系，基于运动学逆运算得到机械臂的目标姿态群qgoal={qg1,qg2,…,qgm}，其中m为姿态逆解数逆矩阵；并通过逆动力学计算各个姿态下的关节负载Tjgoal={从第一阶段到最后阶段的姿态变化平滑且负载始终在安全范围内，最终得到从qp1到qp(k+1)在机械臂根据所述运动路径完成螺栓的复拧任务过程中，即时更新螺栓松动角度的动态变化要求复拧信息必须实时更新，以确保复拧操作与螺栓的实际松动状态同步。当机械臂到达预定目标点时，通过动态通信机制确保机械臂能够接收到最新的松动数据，其中fh＞fa，以确保动态变化的松动角度能够被及时监测。