CN110561432A 一种基于人机共融的安全协作方法及装置 （广东省智能制造研究所）

本发明公开了一种基于人机共融的安全协位置信息及运动信息建立作业空间安全等级动机器人作业空间动态规划的不同安全等级子作2获取机器人的末端坐标位置信息及运动信息，其中基于末端坐标位置信息及运动信息建立作业空间安全基于视觉感知系统采集协同作场景图像，并通过目标基于相邻帧图像序列中的作业人员的三维坐标信息获基于所述人机动态等效距离，以及对机器人作业空间动态获取所述机器人的作业空间的区域大小Xrmax×Yrmax，并将所述作业空间划分为M×N网若所述机器人所在网格的索引为(0,0)，则根据所述机器人基坐标系方向获得网格(i,计算末端坐标位置信息与网格中心的第一距离、机器基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息进行基于所述第一距离、机器人末端位置与网格中心位置基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业空间建立图像像素坐标与所述机器人基坐标系的映射关3通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下的三针对单目视觉感知系统采集的RGB图像采用VNect网络模型进行3D人体骨架姿态估计，针对双目视觉感知系统和深度视觉感知系统采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D业人员的三维坐标信息获得作业人员的第一运动信息，基于作业人员的三维坐标位置信确定所述作业人员的人体骨架关键点，计算根据相邻帧图像序列中的作业人员的人体的三维坐标信息，计算人体运动速度和方基于所述人体骨架关键点与机器人末端之间的最8.根据权利要求1所述的安全协作方法，其特征在于，所述基于所述人机动态等效距根据作业人员的三维坐标信息以及机器人作业空间安人员所在机器人作业空间中其对应安全等级的子作业空间区域，并基于人机动态等效距基于所述人机碰撞预测模型在线判断作业人员与机基于所述安全性针对所述机器人制定相应控制指令进基于作业人员与所述机器人协作过程的安全等级，针对所根据在线判断作业人员与所述机器人协作过程的安4作业空间划分模块：用于基于末端坐标位置信息及运5[0003]为防范人机协作碰撞风险，目前提出了速度和分离监控(SSM)的人机最小间距保行综合建模与协作安全碰撞预测的有效手段，急需综合考虑机器人与人的位置与运动信[0005]为了解决上述技术问题，本发明实施例提供了一种基于人机共融的安全协作方[0009]基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运动信6[0013]若所述机器人所在网格的索引为(0动信息以及划分的距离阈值将所述作业空间划分为[0017]基于机器人末端位置与网格中心位置的方向矢量与所述机器人的运动速度信息[0019]基于所述危险程度动态计算模型将所述作业空间划分为不同安全等级的子作业[0025]通过坐标转换矩阵将人体的三维图像像素坐标转换至人体在机器人基坐标系下[0027]针对单目视觉感知系统采集的RGB图像采用VNect网络模型进行3D人体骨架姿态[0028]针对双目视觉感知系统和深度视觉感知系统采集的RGB图像和深度图像，采用openpose对RGB图像进行检测获得2D人体骨架姿态，再将深度图像对应深度信息映射至2D7[0037]可选的，所述基于所述安全性针对所述机器人制定相应控制[0039]根据在线判断作业人员与所述机器人协作过程的安全等级生成8[0053]请参阅图1，图1是本发明实施例中的基于人机共融的安全协作方法的流程示意安全等级动态规划模型区域，以及将所述作业空间划分为不同安全等级的子作业空间区N网格区域，则每个网格区域的大小为若所述机器人所在网格的索引为(0,以所述机器人末端坐标位置信息为中心划分的距离阈值，并基于机9分为M×N网格区域，则每个网格区域的大小为假设机器人所在[0062]计算机器人末端坐标与网格(i,j)中心的距离dij＝||PijProbot||，方向矢量与机器人运动速度信息之间的夹角可计算得：[0073]S14：基于相邻帧图像序列中的作业人员的三维坐标信息获得作业人员的第一运ProbotN-1Probot[0077]根据相邻帧图像中作业人员的人体的三维坐标位置，计算人[0083]人体关键点nmin到机器人末端Probot的方向矢量为人体关键[0090]进一步的，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控业空间网格区域即为离机器人末端最近的人体关键点Brm在机器人作业空间网格区域，区域根据机器人的实时位置与运动信息，以及通过机器人作业空间安全等断人与机器人协作过程的安全等级safetyLevel生成相应的指令发送给机器人和报警装安全等级动态规划模型区域，以及将所述作业空间划分为不同安全等级的子作业空间区N网格区域，则每个网格区域的大小为若所述机器人所在网格的索引为(0,以所述机器人末端坐标位置信息为中心划分的距离阈值，并基于机态计算模型将所述作业空间划分为不同安全划分为M×N网格区域，则每个网格区域的大小为假设机器人所在网格的索[0112]计算机器人末端坐标与网格(i,j)中心的距离dij＝||PijProbot||，方向矢量i,与机器人运动速度信息之间的夹角可计算得：是为了考虑机器人运动过程中速度大小和方向对人机ProbotN-1Probot[0127]根据相邻帧图像中作业人员的人体的三维坐标位置，计算人[0133]人体关键点nmin到机器人末端Probot的方向矢量为ipr=BannBrobot,人体关键[0140]进一步的，所述基于所述安全性针对所述机器人制定相应控制指令进行安全控区域(inn断人与机器人协作过程的安全等级safetyLevel生成相应的指令发送给机器人和报警装[0156]本领域普通技术人员