CN110238831A 基于rgb-d图像及示教器的机器人示教系统及方法 （青岛理工大学）

基于RGB-D图像及示教器的机器人示教系统本发明涉及基于RGB-D图像及示教器的机器机实时采集物理工作环境的RGB图像和深度图示教单元将接收到的姿态数据作为当前运动所2强现实模块(42)设置虚拟场景中虚拟相机位置，并将虚拟机器人模型(43)叠加在RGB图像序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元2.根据权利要求1所述的基于RGB-D图像及示教完成后，对所述路径点进行编辑形成路径轨迹，上位3.根据权利要求1所述的基于RGB-D图像述姿态示教器(30)包括信号处理单元(31)以及与所述信号处理单元(31)连接的惯性测量4.根据权利要求3所述的基于RGB-D图像及示教器的机器述上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时5.根据权利要求1所述的基于RGB-D图像及示教36.根据权利要求5所述的基于RGB-D图像及示教器的机S310、将AR注册卡坐标系设置为虚拟场景和物理北天坐标系之间的齐次变换矩阵姿态示教器的基础坐标系下的姿态齐次坐标矩阵，Q,=M"*Q,将姿态示教器(30)在东北天坐标系下7.根据权利要求1所述的基于RGB-D图像述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟坐标系下的RGB相机位姿矩阵通过将RGB图像像素坐标(u,v)转换到深48.基于RGB-D图像及示教器的机器人示教方法，该方法采用权利要求1至8中任意一项S40、路径轨迹示教：位于物理工作环境中的教编程人员(70)在RGB图像上通过交互选择机器人末端执行器的路径点，根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路径点在虚拟机器人模型基础坐编程人员(70)操作示教并生成姿态数据，然后实时发送姿态数据至上位机(20)，上位机(20)按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态器人模型(43)各关节的旋转角度，在增强现实环境中驱动虚拟机器人模型(43)各关节运9.根据权利要求8所述的基于RGB-D图像及示教员(70)控制姿态示教器(30)及时调整RGB-D相机(10)出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标相机坐标系的转换矩阵出在AR注册卡坐标系下的RGB相机位姿矩阵通过将RGB图像像素坐标56[0001]本发明涉及基于RGB-D图像及示教器的机器人示教系统及方法和方法，属于智能或者操作示教盒驱动机器人末端到达目标路径点，存储该路径点作为机器人的编程轨迹。78北天坐标系之间的齐次变换矩阵M,姿态示教器的基础坐标系为东北天坐标系，设Q表示基础坐标系下的姿态齐次坐标矩阵。那么将姿态示教器在东北天坐标系下上选择路径点后，标定各路径点的RGB图像像素坐标(u,v)，通过RGB-D相机标定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,坐标系的转换矩阵册卡坐标系下的RGB相机位姿矩阵通过将RGB图像像素坐标(u,v)转换点在虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元实时接收姿态示9实环境中驱动虚拟机器人模型各关节运动，模拟物理机器人的工作过程的运动位置及姿定计算或者RGB-D相机出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的深度图像像素坐标系的路径点在深度相机坐标系下的位置(x,y,z)；标定深度相机坐标系计算出在AR注册卡坐标系下的RGB相机位姿矩阵通过将RGB图像像素坐[0034]图8为本发明示教系统的具体应用实例中将虚拟机器人模型放置于AR注册卡上的现实模块42根据RGB图像计算AR注册卡41相对于RGB-D相机10中RGB相机的转换矩阵所述转换矩阵M;是AR注册卡坐标系下的RGB相机位姿矩阵M;的逆矩阵，以该转换矩阵n;设置虚拟世界中虚拟相机位置，并将虚拟机器人模型43叠加在RGB图像上AR注册卡的位置编程人员70在RGB图像上交互选择所述机器人末端执行器的路径点。所述交互方式可以采虚拟机器人模型基础坐标系中的三维坐标的同时所述姿态示教单元45实时接收姿态示教将接收到的姿态数据记录当前运动所在路径点的三维坐标对应的的姿态数据(如图5所[0040]所述根据深度图像和RGB图像之间的变换关系，计算出机器人末端执行器的各路D相机10出厂参数计算出RGB图像像素坐标系相对于深度图像像素坐标系的转换矩阵为H，利用该转换矩阵H计算路径点在RGB图像上的坐标(u,v)对应的深度图像像素坐标(ud,vd)，深度相机坐标系到RGB相机坐标系的转换矩阵(所述标定方式可使用张正友标定方法，RGB图像和红外图像(因为深度图像对于棋盘格上的方格不可见，所以采用红外图像来代人模型基础坐标系下的三维坐标(X,Y,Z)。转换关系如下所示：[0041]请参阅图3，所述姿态示教器30包括信号处理单元31以及与所述信号处理单元31编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度和工姿态示教单元45将接收到的参数信息和姿态数据记录为当前运动所在路径点的姿态和参否与物理工作环境(即通过RGB-D相机10获取到的RGB图像所显示的物理工作环境)发生干册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册卡41的转换矩阵M",系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵M",使用此变换矩阵M;将物理机器人基础坐标系转换到世界坐标相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过将RGB图像像素坐标型基础坐标系下的姿态齐次坐标矩阵。那么将姿态示教器30在东北天坐标执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、[0056]本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在册卡41的位置，通过增强现实注册算法计算出RGB相机相对于AR注册上位机20以该转换矩阵设置虚拟世界中虚拟相机位置，将虚拟机器人模型43准确地放系中对应公共点集的坐标(公共点集中的点是在物理机器人基础坐标系和世界坐标系下分器人基础坐标下的坐标值)，然后采用基于正交矩阵的迭代法求解物理机器人坐标系到世界坐标系的变换矩阵M",使用此变换矩阵M;将物理机器人基础坐标系转换到世界坐标相机坐标系和深度相机坐标系间的映射关系。以选择的路经点为例说明映射关系建立过通过RGB-D相机10标定计算或者RGB-D相机10出厂参数计算出RGB图像像素坐标系相对于深的RGB相机位姿矩阵该RGB相机位姿矩阵即为RGB相机坐标系到AR注册卡坐标系下的转换矩阵，通过将RGB图像像素坐标(u,v)转换到深度图像像素坐标(ud,东北天坐标系之间的齐次变换矩阵姿态示教器型基础坐标系下的姿态齐次坐标矩阵。那么将姿态示教器30在东北天坐标执行器在虚拟机器人模型基础坐标系下路径点的三维坐标(X,Y,Z)；上位机20按顺序读取所述路径点在虚拟机器人模型基础坐标系中的三维坐标的同时所述编程人员70通过姿态示教器30的开关按钮输入单元33设置机器人末端执行器的运动速度、输入单元33将按钮设定的参数信息(所述参数信息包括机器人末端执行器的运动速度、工艺参数以及工作模式等)传送给信号处理单元31；参数信息和姿态数据经所述信号处理单物理机器人控制器60连接所述上位机20。上位机20根据所述仿真编辑验证后的路径轨迹、[0072]本发明一种基于RGB-D图像及示教器的机器人示教系统，通过示教编程人员70在[0073]本发明一种基于RGB-D图像及示教器的机器人示教方法，通过示教编程人员70在径轨迹和工艺参数按照物理机器人编程系统的指令格式生成代码，从而实现示教编程功