机器人手眼协调研究读书报告.ppt

机器人手眼协调研究读书报告,指导老师：张明路教授教授,汇报人:邓洁平,报告内容,手眼协调系统的发展,手眼协调系统的发展：,利用视觉信息控制机器人的历史可以追溯到1963年由Stanford大学wichman提出的以获得视频流作为输入信息对机器人进行运动控制的方法,他的这个思想后来被认为是机器人视觉控制的雏形。,开环：lookthenmove视觉信息处理和机器人的运动是独立分开的两个串行的任务。,闭环：利用视觉信息反馈控制机器人的研究模型,成功的以视觉反馈引导机器人,开环与闭环的比较,比较,开环：精度难以控制，且对先验知识依赖度高,闭环：克服了开环的缺点但是要求机器人末端操作器始终可以在视觉场景中观测到,视觉伺服控制方法,基于位置的视觉伺服控制（三维视觉）利用摄像机的参数来建立图像信号与机器人的位置/姿态信息之间的映射,然后在伺服过程中,借助于图像信号来提取机器人的位置/姿态信息,并将它们与给定位姿进行比较,形成闭环反馈控制。,视觉伺服控制方法,给定位姿,三维视觉控制器,机器人对象,照相机,图像处理环节,照相机逆映射,控制信号,位姿信号,图像信号,二维信号,当前位姿,基于位置的视觉伺服基本结构,视觉伺服控制方法,基于图像的视觉伺服控制（二维视觉）与三维视觉伺服不同,基于图像的视觉伺服将实时测量得到的图像信号与给定图像信号直接进行在线比较,然后利用所获得的图像误差进行反馈来形成闭环控制。,视觉伺服控制方法,给定图像,二维视觉控制器,机器人对象,照相机,图像处理环节,控制信号,位姿信号,图像信号,当前图像,基于图像的视觉伺服基本结构,视觉伺服系统方法,1.基于位置的视觉伺服控制精度取决于摄像机的参数准确性以及图像的噪声，无法保证机器人或者参考物体始终位于摄像机的视野之内2.基于图像的视觉伺服控制对于摄像机模型的偏差具有较强的鲁棒性,通常也能较好地保证机器人或参考物体位于摄像机的视野之内,但是在设计视觉伺服控制器时,这种方法又不可避免地遇到了图像雅可比矩阵Js的奇异性以及局部极小等问题T=Js(s-s*),视觉伺服系统方法,3.2.5维视觉伺服控制考虑到以上2种视觉伺服方法的局限性,法国机器人视觉控制专家F.Chaumette等人提出了2.5维视觉伺服。它将摄像机平动位移(V)与旋转(O)的闭环控制解耦,根据从图像中提取出来的特征点,重构物体3D空间中的方位及成像深度比率,平动部分用图像平面上的特征点坐标表示。,视觉伺服系统方法,位置控制律,旋转控制律,关节控制器,机器人,摄像机,特征提取,单应性矩阵分解,旋转分量,位置分量,期望位置,期望转角,视觉伺服过程,机器人执行伸手抓取操作的视觉伺服过程被分成5步:搜索接近目标粗对准精对准抓取,视觉伺服过程,搜索.头部左右和上下转动来搜索定位目标物体,摄像头获取物体的位置信息.接近目标.控制本体从远处步行靠近目标物体,然后静止站立在物体前面.,视觉伺服过程,粗对准.利用视觉前馈和基于表格的逆运动学算法控制机器人手运动到视觉区域内,3维位置估计,特征提取,观测目标,基于表格的机器人运动求解,路径规划,关节传感器,机器人,控制关节器,关节空间坐标,关节运动轨迹,关节位置,直角坐标系,基于视觉前馈的视觉伺服控制流程,视觉伺服过程,神经网络中机器人视觉前馈控制,机器人视觉前馈控制主要包括视觉深度估计和基于内部模型学习的前馈控制等过程。建立基于神经网络和强化学习的视觉一运动映射学习模型,将视觉信息和机器人动作对应起来,通过在线学习来逼近这个非线性映射,将机器人速度输出作为前馈控制发送的运动指令“,视觉伺服过程,精对准：同时测量机器人的手部和目标物体的三维信息,以手部mark中心和目标质心之间的距离作为控制量,利用PD算法采用视觉反馈实现末端执行器和目标物体的精对准.,笛卡尔空间控制策略,雅克比逆矩阵,关节控制器,机器人,图像特征提取,位姿估计,目标位置,摄像机,基于位置的视觉伺服过程,视觉伺服过程,机器人视觉反馈控制,视觉反馈控制的必要条件就是目标物体和机器人本体特征同时存在于视觉范围之内双目视差的机械手平移型视觉反馈控制,双目视觉控制,研究目标,目标选择,位置估计,内部模型,视觉前馈,期望轨迹,视觉前馈控制,视差估计,选择器LS,输入,视觉反馈,机器人,本体感知处理,视觉信息处理,腹侧通路,连续,间断,高,低,摄像机,关键问题,目标物体的识别边缘提取算子的研究与选择,1.利用图像中目标物体边缘轮廓与背景色彩上的突变。可以根据laplace算子，sobel算子，canny算子提取图像的轮廓信息。2.利用特征几何形状模板对机器人本体进行描述,关键问题,视觉测量,主要途径包括:1)直接在图像平面上进行测量,利用光流检测和图像差分等技术;2)利用摄像机参数和其它先验知识(例如物体的几何模型)对物体的姿态进行计算,所采用的技术主要取决于摄像机数目!机械手一摄像机配置情况!标定的精确程度和场景先验知识的多寡等因素,视觉深度信息,为了通过二维像平面上一点来确定物体在三维空间中的关系必须有附加的信息，主要包括：多个视图，目标物体上多个特征点之间的几何关系。,关键问题,视觉控制经典控制方法有PID方法、极点配置方法。现代控制方法有最优控制方法、自适应控制方法等。模糊逻辑和神经网络为代表的智能控制方法也广泛应用于机器人视觉