CN115890693B 一种基于沉浸式感知和仿生控制的移动排爆装置及方法 （北京机械设备研究所）

一种基于沉浸式感知和仿生控制的移动排本发明涉及一种基于沉浸式感知和仿生控通过无线通信模块发送至搭载在移动排爆机器排爆机器人上的云台和可变基线双目相机进行第一视场立体图像控制移动排爆机器人进行排2处理器，用于对所述操作人员脸部图像进行处理获得双眼眼球信通信模块将所述双眼眼球信息发送至搭载在所述移动排爆机器人所述双眼眼球信息包括双眼眼球位姿信息、双眼眼球距离以述双眼眼球位姿信息包括眼球实时中心坐标以及转动方位所述控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目所述控制器根据所述双眼眼球位姿信息对所述云台的角度进行闭环调所述控制器根据所述双眼眼球距离对所述可变基线双目相机的基线进所述控制器根据所述双眼眼球瞳孔尺寸对所述可变基线双目相机的焦距进行闭环调所述双眼眼球距离与所述可变基线双目相机的基线距呈第一预设比例，利用图像检测算法对所述操作人员脸部图像进行处理确定双眼在操作人员脸部图像将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个灰度根据标定好的像素坐标系与世界坐标系间的转换关系，将眼球中根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐标计3将瞳孔轮廓像素坐标转换为世界坐标，并拟合成圆形，计xy3x33x3分别表示可变基线双目相机坐标系到世界坐标系的旋转矩阵和平移矩所述可变基线双目相机用于采集排爆现场的第一视场立体图像，所述操作人员根据排爆现场的第一视场立体图像进行抓取操作控制器根据所述抓取控制指令控制机械臂及抓手进行抓4对所述操作人员脸部图像进行处理获得双眼眼球信息，并通过无线利用控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线双目基于所述排爆现场的第一视场立体图像控制所述移动排爆机器5操作人员穿防爆服通过机械手进行排爆；二是基于虚拟现实技术，通过排爆机器人端的无线通信模块将所述双眼眼球信息发送至搭载在所述移动排爆机器[0009]所述控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线[0010]操作人员基于所述排爆现场的第一视场立体图像控制所述移动排爆机器人进行[0013]利用图像检测算法对所述操作人员脸部图像进行处理确定双眼在操作人员脸部[0014]将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个6[0016]根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐标计算获得眼球转动方位角。xy[0030]所述控制器根据所述双眼眼球距离对所述可变基线双目相机的基线进行闭环调[0031]所述控制器根据所述双眼眼球瞳孔尺寸对所述可变基线双目相机的焦距进行闭7于感知操作人员的抓取操作并生成抓取控制指令，进而通过无线通信模块传输至控制器，所述控制器根据所述抓取控制指令控制机械臂及抓手进行抓取操作述双眼眼球信息发送至搭载在移动排爆机器人[0040]利用控制器根据所述双眼眼球信息对所述移动排爆机器人上的云台和可变基线排爆现场的第一视图与操作人员双眼的视角一致，一方面提高了操作人员的沉浸式体验，8[0049]图3为本发明实施例根据双眼眼球信息闭环调控云台及可变基线双目相机的流程以将两个摄像设备分别安装于智能3D眼镜上，分别采集包含操作人员左眼和右眼的图像，[0053]控制器根据双眼眼球信息对移动排爆机器人上的云台和可变基线双目相机进行[0054]控制器将采集的第一视场立体图像通过无线通信模块传输至操作人员佩戴的智y0[0061]利用图像检测算法对操作人员脸部图像进行处理确定双眼在操作人员脸部图像[0062]将双眼在操作人员脸部图像中的位置对应的区域图像转换为与双眼对应的两个9[0064]根据操作人员正视前方时标定好的眼球中心坐标以及转换后的眼球实时中心坐＝[x2w,y2w,z2w]T分别为操[0077]控制器根据双眼眼球位姿信息对所述云台的角度进行闭环调控。云台带伺服机机控制前方移动排爆机器人上的双目相机的两个摄像头，使它们能够在滚轴丝杠上移动，[0079]控制器根据双眼眼球瞳孔尺寸对可变基线双目相机的焦距进行闭环调控。具体器根据抓取控制指令控制机械臂及抓手进行抓[0084]本发明的另一个实施例，公开了一种基于沉浸式感知和仿生控制的移动排爆方[0089]利用控制器根据双眼眼球信息对移动排爆机器人上的云台和可变基线双目相