CN117901090B 一种持镜机器人视觉伺服方法及系统 （中山大学）

本申请公开了一种持镜机器人视觉伺服方解出持镜机器人的机械臂对应的各个关节角速2根据所述尖端中心的坐标与目标位置的坐标求解出所述持镜机器人的机械臂对应的根据各个所述关节角速度控制所述机械臂带动所述关节个所述器械预测框的几何中心对应一个所述器将各个所述器械预测框的几何中心的坐标确定为对应所述器械的尖u其中，表示第i个所述器械预测框的横坐标，表示第i个所述器械预测框的纵坐端中心的坐标与目标位置的坐标求解出所述持镜机器人的机械臂对应的各个关节角速度，根据所述器械的尖端中心的坐标与目标位置的坐标确定期望移动距或者，利用第一循环神经网络根据所述器械的尖端中在远程运动中心约束下根据所述期望速度确定所述机械臂的末3根据第一计算式求解出所述末端速度对应的所述关将所述期望速度输入所述第二循环神经网络，得到所述第二循ji=-(Y+t")T(Y(US+(I-V)U)-US+VU)环神经网络根据所述器械的尖端中心的坐标求解出所述机械臂对应的各个所述关节角速速度求解模块，用于根据所述尖端中心的坐标与目标位置的坐标求解运动控制模块，用于根据各个所述关节角速度控制所述机械臂带4个所述器械预测框的几何中心对应一个所述器将各个所述器械预测框的几何中心的坐标确定为对应所述器械的尖u其中，表示第i个所述器械预测框的横坐标，表示第i个所述器械预测框的纵坐9.一种计算机可读存储介质，所述计算机可读存储介质存5[0001]本申请涉及机器人控制技术领域，尤其涉及一种持镜机器人视觉伺服方法及系[0004]为实现上述目的，本申请实施例的一方面提出了一种持[0007]根据所述尖端中心的坐标与目标位置的坐标求解出所述持镜机器人的机械臂对[0010]利用经过预先训练的目标检测模型在所述图像中检测出一个或以上的器械预测[0011]将各个所述器械预测框的几何中心的坐标确定为对应所述器械的尖端中心的坐6[0031]ji=-(Y+t")T(Y(US+(l-V)U)-US+VU)-1JTA-1-1[0034]利用所述第一循环神经网络迭代求解第二计算式，求解得到各个所述关节角速7stip为所述关节镜的期望速度，为所述关节角速度；所述期望速度根据所述尖端中坐标确定得到。[0038]为实现上述目的，本申请实施例的另一方面提出了一种持镜机器人视觉伺服系[0050]图4为本申请实施例提供的基于持镜机器人速度级逆运动学求解模块求解期望关[0052]图6为本申请实施例提供的基于循环神经网络的持镜机器人速度级逆运动学求解[0053]图7为本申请实施例提供的基于循环神经网络的多约束的持镜机器人求解模块求8技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，[0062]本申请实施例提供的一种持镜机器人视觉伺服方法，涉及机器人控制技术领域。务器还可以是区块链网络中的一个节点服务器；软件可以是实现视觉伺服方法的应用等，9[0070]利用经过预先训练的目标检测模型在所述图像中检测出一个或以上的器械预测[0071]将各个所述器械预测框的几何中心的坐标确定为对应所述器械的尖端中心的坐中的多关节医疗器械自主识别与定位模块，该模块可以基于One-stage目标检测模型实现标检测模型可以得到预测框的中心(x,y),宽和高为[0096]进一步地，本实施例中S120可以包括两种实施方式，第一种实施方式可以包括[0116]具体地，本实施例中的S1231可以应用于持镜机器人中的关节镜约束模块和持镜关节镜连接件的线速度和角速度为[0125]又因为关节镜与连接件可以看为同一刚体，得到关节镜末端与连接件角速度相[0129]如此便可建立关节镜末端与连接件速度级关系,其中数D-H参数为一种描述机器人关节和连杆之间几何关系的方法，[0142]整体基于机械臂末端坐标系进行建模得到基于末端坐标系，各坐标系的对应关[0145]由于所用机械臂为6-DOF且全为旋转关节，可以得到雅[0148]6=on)-'se的转换。[0164]ji=-(Y+t")T(Y(US+(l-V)U)-US+VU)-1JTA-1-1镜规划的期望速度输出为持镜机器人关节角速度并由上位机acob代表该关节角空间到持镜机器人末端的雅可比矩阵。[0183]其中x=6,并取缔各矩阵下标方便进一步计算。dt为上位机与机械臂通讯时间μ,基于循环神经网络的二次规划解算结构可以提出：[0195]i=-(y+t")T(y(x+μ)-x)[0201]j=-(y+t")T(y(x+u)-x)[0205]i=-(Y+t")T(Y(US+(I-vn)-US+VU)[0206]根据循环神经网络多次迭代可最终获得x=,即机械臂各关节角速度。并通过镜机器人速度级逆运动学求解模块求解期望关节角的流程示意图可以[0209]利用所述第一循环神经网络迭代求解第二计算式，求解得到各个所述关节角速stip为所述关节镜的期望速度，为所述关节角速度；所述期望速度根据所述尖端中心的坐标确定得到。[0224]其中Jb为持镜机器人雅可比矩阵，R为对应旋转矩阵，为图像雅可比矩阵，"=[(1-nlb-win(p"-pf")[0240]最后根据循环神经网络多次迭代可最终获得x=6,即机械臂各关节角速度。[0241]基于循环神经网络的多约束的持镜机器人求解模块求解期望关节角的流程示意速度确定所述机械臂对应的各个所述关节角[0271]i=-(Y+t")T(Y(US+(I-V)U)-US+VU)-1JTA-1-1标确定得到。[0279]针对现有持镜机器人无法考虑冗余机器人所处工作环境与自身结构而产生的约本实施例提供了一种持镜机器人视觉伺服系统的应用经网络的逆运动学求解模块，上述两个模块均可以分别用于实现在远程运动中心RCM可以根据实际的需要选择其中的部分或者全部模块来实现本说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现