CN119501951A 一种基于视觉感知的夹持机械臂及其控制方法 （广西师范大学）

一种基于视觉感知的夹持机械臂及其控制本申请涉及一种基于视觉感知的夹持机械目标物特征解析等步骤来确定目标物的位置和并应用逆运动学算法得到相应的机械臂关节角2依据所述目标物的位置信息与姿态信息对机械臂的末端执行根据所述运动轨迹，利用机械臂逆运动学算法计算所述运动轨机械臂关节角度序列；基于所述机械臂关节角度序列，生成执行指令，所述执行指令将所述待识别图像输入至训练好的卷积神经网络，输出目标物的类别信息C＝{c1,其中，ci表示第i个可能的目标物类别，i＝1,2,…,n，其中，pk为目标物类别且有对应的优先级值，k＝1,S1：基于优先级最高的所述目标物的图像边界框坐S2：将所述相机坐标系中的坐标信息转换为世3ext表征相机相对于世界坐标系的旋转关ext表征相机相对于世界坐标系的平移关系；通过公式和计算S13：根据相机模型公式计算优先级最高的所述目标物在相机坐所述将所述相机坐标系中的坐标信息转换为世界坐标系中的坐标信得到优先级最高的所述目标物在世界坐标系中的位置坐标w所述计算优先级最高的所述目标物在世界坐标系中的姿态参数，作为所述姿态信息，qq前位置坐标和所述当前姿态参数确定的机械臂构型作为4以及对应的姿态参数s为轨迹点的数量，h=械臂的正运动学方程，利用所述预设的猜测值计算所述机械臂末端执计算所述正运动学方程在当前关节角度下的雅可比矩阵元素Jab表示所述末端执行器的第a个位置或姿态分量对第b个当所述末端执行器位置和姿态的误差的范数小于预设阈值∈时，满足收序列。运动轨迹规划模块，用于依据所述目标物的位置信息与姿态信息机械臂关节角度计算模块，用于根据所述运动轨迹，利用机械臂逆运动述运动轨迹中每个轨迹点对应的机械臂关节角度序列；5处理器执行时实现权利要求1至6中任一项所述的方A臂运动连杆底端与支撑基座固定连接，支撑基座一侧连接有用于驱动支撑基座绕支连接，B臂运动连杆一侧连接有用于驱动B臂运动连杆绕A链接关节轴线转动的B旋转驱动连杆上且位于D臂运动连杆远离C臂运动连6景中的工作效能与智能化水平的基于视觉感知的夹持7述计算机程序被处理器执行时实现如第一方面中的一种基于视觉感知的夹持机械臂及其[0032]参考图1，其出示了本申请提供的一种基于视觉感知的夹持机械臂的控制方法的8廓所围成圆形的圆心坐标来作为目标物在图像9实际工作区域的坐标系下进行的，所以需要通过预手段确定的转换矩阵)将图像中的位置坐标转换为实际工作区域中的位置坐标，这样才能[0053]S104、依据目标物的位置信息与姿态信息对机械臂的末[0054]具体的，路径规划的主要目标是要让机械臂的末端执行器能够从其当前位置安实际工作区域坐标系下的位置坐标作为末端执[0056]然后，结合目标物的姿态信息来确定末端执行器在到达目标位置时应具有的姿夹持时，其姿态也应该调整为与目标物表面平行且能够准确对准目标物的夹持部位的姿是这里的运动轨迹中的每个轨迹点所对应的位置和姿态)来反推求出机械臂各个关节应该[0068]在机械臂运动过程中，控制系统可以不断地监测各个关节的实际运动角度等参控制机械臂精确地移动到目标位置并夹持目标物。这项技术实现了对机械臂的精确控制，[0071]将待识别图像输入至训练好的卷积神经网络，输出目标物的类别信息C＝{c1，n}以及目标物在待识别图像中的边界框坐标信息B=其中，pk为目标物类别且有对应的优先级值，k＝1,[0075]CNN通过其卷积层自动提取图像中的各种特征。卷积层中的卷积核会在图像上滑通过全连接层将提取到的特征映射到目标物的类别信息和边界框坐[0078]边界框坐标信息用于确定每个目标物在图大型零件的类别在优先级列表中就会被赋予这些坐标将用于后续对目标物位置和姿态的解析以及末端执行器的运动路径，使其能够准确地到达目标物的位置并以合适的姿态进行夹持操位置和姿态信息(如旋转和平移)。通过外参矩阵与相机坐标系中的坐标进行矩阵乘法运[0095]可以通过计算这些特征点在世界坐标系中的坐标关系来确定目标物的姿态。比通过公式和计得到优先级最高的目标物在世界坐标系中的位置坐标(Xw，欧拉角转换公式，利用旋转矩阵计算出优先级最高的目标物在世界坐标系中ext。Rext通过其元素rij表征相机相对于世界坐标系的旋转关系，描述了相机在三维空间中的旋z表征相机相对于世界坐标系的平移关系，确定了相机在通过公式和来cc[0113]其中是外参矩阵Rext的逆矩阵，这个公式的作用是通过外参矩阵所描述的相(",oy",前位置坐标和当前姿态参数确定的机械臂构型作为起始重要基础。因为机械臂末端执行器在空间中的位置和姿态是由各个关节的角度共同决定2当前位置坐标和当前姿态参数确定的为的机械臂构型作为目标节点，在机械臂构型空间中搜索最优[0127]几何模型碰撞检测算法用于在路径规划过程中避免机械臂与工作区域内的障碍避免了机械臂在运动过程中与周围环境发生碰撞而造成损[0130]这些中间位置点和姿态参数详细地描述了末端执行器从起始位置到目标位置的[0133]根据机械臂的正运动学方程，利用预设的猜测值计算机械臂Jab表示末端执行器的第a个位置或姿态分量对第b个[0139]这些初始估计值为后续的迭代计算提供了一个起始点，[0140]利用机械臂的正运动学方程，将预设的猜测值(即当前的关节角度估计值是运动轨迹中该轨迹点实际期望的末端执行器位置和姿态(由路径规划得到)，而是通过当前关节角度估计值计算得[0143]这个误差向量准确地反映了当前计算得到的末端执行器状态与实际期望状态之xyz方向)上的偏差程[0144]雅可比矩阵J的元素Jab表示末端执行器的第a个位置或姿态分量[0146]使用迭代公式来更新关节角度的估计值，其中g是迭代使得关节角度估计值逐渐逼近能够使末端执行器达到实际期望位置和姿态的真实关节角使末端执行器达到与实际期望非常接近的位置和姿态。此时，将当前的关节角度确认为轨迹点h的机械臂关节角度序列。这个关节角度序列就是该轨迹点对应的机械臂关节应该达到的角度值，通过对每个轨迹点重复上述迭代计算过程，进行机械臂路径规划(采用A*算法结合碰撞检测)与逆运动学计算(通过迭代求解)来确定统实施例中的具体限定可以参见上文中对于一种基于视觉感知的夹持机械臂的控制方法[0157]运动轨迹规划模块204，用于依据目标物的位置信息与姿态信息对机械臂的末端运动轨迹中每个轨迹点对应的机械臂关节角度序列。v)为第j个目标物的边界框左上角坐标，为第j个目标识别出的类别信息C中筛选出优先级最高的目标物类别ctarget及其对应的边界框坐标其中，pk为目标物类别且有对应的优先级值，k＝1,通过公式和计[0172]根据相机模型公式计算优先级最高的目标物在相机坐标系得到优先级最高的目标物在世界坐标系中的位置坐标(Xw，[0176]基于欧拉角转换公式，利用旋转矩阵计算出优先级最高的目标物在2当前位置坐标和当前姿态参数确定的机[0184]关节角度估计单元，用于对于每个轨迹点h，将机械臂的关节角度设置为估计值[0187]雅可比矩阵J获取单元，用于计算正运动学方程在当前关节角度下的雅可比矩阵ab表示末端执行器的第a个位置或姿态分量对第b个关节角度确认为轨迹点h的机械臂关节角度序列。座1绕支撑基座1自身轴线转动的A旋转驱动件，A臂运动连杆2顶端通过A链接关节与B臂运臂运动连杆5一侧连接有用于驱动D臂运动连杆5绕C链接关节轴线转动的C旋转驱动件，机械手爪6固定安装于D臂运动连杆5上且位于D臂运动连杆5远离C臂运动连杆4[0195]夹持机械臂的设计原理是模仿人类手臂结构和运动，它由多个关节和连接器组[0197](2)链接关节；夹持机械臂的链接关节是用来连接夹持机械臂各个部分的旋转连[0200]基于视觉感知的夹持机械臂的控制系统由遥控产生无线信