CN116079732B 基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法 （哈尔滨工业大学）

基于激光跟踪仪和双目视觉混合引导的舱基于激光跟踪仪和双目视觉混合引导的舱2控制器根据激光跟踪仪获得的机舱位姿与六轴工业机器人基坐标系位姿控制重载自控制器根据六轴工业机器人基坐标系位姿和待装配组件的位根据采集的待装配组件图像和组件位姿测量视觉系统的位置信息进行特征提取和双控制器再根据待装配组件相对于所述夹持末端的位姿与机舱位姿控制夹持末端运动将位姿偏差解算为夹持末端的运动控制指令，再控制夹持2.根据权利要求1所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，所述组件架上设置粗定位凹槽，待装配组件放置在粗定位凹槽内，并3.根据权利要求1或2所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方六轴工业机器人在使用前进行六轴工业机器4.根据权利要求3所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，5.根据权利要求4所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，然后将激光跟踪仪的三个反射靶球依次安装在机舱架车的3通过所述六轴工业机器人基坐标系位姿和机舱位姿得到六轴工业机器人与机舱舱段6.根据权利要求5所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，根据六轴工业机器人基坐标系与组件位姿测量视觉系统的位姿根据六轴工业机器人末端法兰坐标系与装配引导视觉系统的位7.根据权利要求6所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，利用激光跟踪仪对组件架上的靶球进行测量8.根据权利要求7所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，根据机舱相对于目标安装位置的位姿关系与激光跟踪仪相对于机舱的位姿9.根据权利要求8所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，根据激光跟踪仪相对于目标安装位置的位姿关系与六轴工业机器人基坐标系相对于10.根据权利要求9所述的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，根据组件位姿测量视觉系统相对于待装配组件的位姿关系、六轴工业机相对于组件位姿测量视觉系统的位姿关系和六轴工业机器人末端法兰相对于六轴工业机再根据装配引导视觉系统相对于目标安装位置的位姿关系、六轴工相对于装配引导视觉系统的位姿关系和待装配组件相对于六轴工业机器人末端法兰的位4器人在进行装配时易出现激光跟踪仪断光或其他地面检测设备[0006](3)工业机器人夹持组件的精度无法保证：由于待装配组件放置在组件架上的定[0013](1)公开号为CN109895082A的专利公开了一套完整的设备装配控制系统，该系统利用双目视觉测量待焊接工件的特征点，机器人在调姿子系统的作用下运动至焊接位5[0014](2)公开号为CN112959325B的专利公开了一种大场景下的双移动机械臂协同加工[0015](3)文献“基于标定模型的机器人自动化装配定位误差补偿方法”针对KUKA运动学标定模型。它对分析出的34项几何误差采用L_M和L_S的混合算法进行误差参数辨法依赖于舱体位姿的精准测量和舱体CAD模型的精准建立，因此难以应用到导弹控制舱内前没有较为成型的自动化装配方案适用于舱6据采集的待装配组件图像和组件位姿测量视觉系统的位置信息进行特征提取和双目匹配，[0021]控制器再根据待装配组件相对于所述夹持末端的位姿与机舱位姿控制夹持末端轴工业机器人在使用前进行六轴工业机器人基坐标系标定；组件架在使用前进行位姿标轴工业机器人基坐标系标定为标定出机器人基坐标系与重载自动巡航车上三个靶球座坐业机器人基坐标系标定完成后，将多个待装配组件按预定位置安放在对应的粗定位凹槽[0027]根据本发明的基于激光跟踪仪和双目视觉混合引导的舱内组件装配方法，装配70.5mm的装配定位精度。2)采用激光跟踪仪灵活的构建六轴工业机器人基坐标系和舱段坐器人夹持内部组件运动到舱段上方，使目标装配位姿出现在装配引导视觉系统的视野内。[0033]本发明方法采用双目视觉和激光跟踪仪的混合导引方式引导机器人高精度自动部组件通过控制舱上方的开口高精度地安装到控制舱内部的支架上，其定位误差小于[0034]图1是本发明所述基于双目视觉和激光跟踪仪混合引导的舱内组件装配方法的流8制器再根据待装配组件相对于所述夹持末端的位姿与机舱位姿控制夹持末端运动到机舱据待装配组件相对于所述夹持末端的位姿与目标安装位置相对于所述夹持末端的位姿计9反馈的各种测量数据，并根据运行状态和测量数据对系统进行统一的控制调配。如图4所[0039]六轴工业机器人1可以在机器人控制柜(控制器)的控制下离线示教运行，也可在[0043]激光跟踪仪通过TCP/IP通讯方式将激光跟踪仪坐标系下的靶球坐标反馈回上位角度与AGV的运动指令)至PLC。PLC端采用Profibus总线实现与六轴工业机器人与AGV的通正式的装配环节。首次使用前需要进行的标定包含双目相机的内外参标定、两个视觉系统量安装在AGV上的三个靶球座的位置即可得到机器人基踪仪反射靶球依次安装在控制舱架车的三个靶球座上，利用激光跟踪仪获取控制舱的位的粗定位凹槽内；然后将激光跟踪仪的三个反射靶球依次安装在机舱架车的三个靶球座法兰相对于待装配组件的位姿；再根据装配引导视觉系统相对于目标安装位置的位姿关间位置不变的基坐标系标定算法解算出机器人基坐标系与激光跟踪仪之间的位姿关系而建立起坐标系{G}与激光跟踪仪坐标系{Laser}的位姿转换关系进而构建出坐标系{G}和{B}的转换关系：这样即使激光跟踪仪转站也能通过{G}坐标系快只需要在首次装配前进行。(2)机器人基坐标系与组件位姿测量视觉系统的位姿转换关系T,即双目视觉中眼在手下(eyetohand)的手眼标定。该标定只需要在首次装配前进制舱的CAD图直接获取。(6)工件架坐标系与激光跟踪仪坐标系之间的位姿转换关系rT,利用激光跟踪仪对安装在工件架上的靶球测量进行获取。该标定只需要在首次装配前进P2[0064]通过激光跟踪仪，测得三个靶球在{Laser}坐标系(激光跟踪仪坐标系)下的三维P3ryT可表示为：T:)T2＝222)T3＝333)T[0114]叉乘而丽作为坐标系{G}的Z轴正方向，那么{G}的Z方向的单位向量在[0117]叉乘作为坐标系{G}的Y轴正方向，那么{G}的Y方向的单位向量在觉系统的位姿关系"T,那么就可以计算出组件与机器人末端法兰的位姿关系H:配引导视觉系统测出目标位姿与视觉系统的位姿关[0132]CoppeliaSim是一款具有集成开发环境和物理引擎的动力学机器人模拟器。能够发明采用CoppeliaSim对组件的装配精度进行仿[0138]本实施方式采用一种混合的控制模式进行仿真，采用romoteAPI接口扩展Python[0139]服务器端主要通过设置有关解算器和编写sysCall_thread脚本实现以下三个功视觉系统左右两相机和组件位姿测量视觉系统左右两相机；4.编写image_process_on和目标位姿计算；5.编写grab和release方法，控制仿真抓取和释放组件；6.编写error_图像通过API接口读回Python客户端，客户端接收图像数据并保存。5)在Python客户端，系统图像的指令，Lua服务器端的mainscript主脚本相应，将左右两相机的图像读回得到的带入到image_process_on方法处理左右两相机的图像，计算得到机器人末端的目标位姿T.9)Python客户端通过robot_move方法将目标位姿通过API接口发送至Lua服务器端，Lua服务器端根据目标位姿通过运动学解算器解算各个关节角的补偿角度，户端通过error_process函数发送指令读取组件位姿，将此时的组件位姿与理论位姿相比一条刻线都是由一段灰度值为255且细长的像素点组成的。那么通过骨架提取可以很好的[0151]AOB=(A6D)N[AO(W-D)](二十八)是十字架。因此可采用如15所示的9个结构元素模板对骨架提取后的图像进行击中击不中r二乘法求解就可以求得目标坐标系{T}相对于相机坐标系[0169]仿真实验结果分析：按照上述的仿真流程及算法，在CoppeliaSim仿真平台和觉系统测得的舱段位置误差和舱段上四个点的误差曲