基于无标定的机器人平面运动物体跟踪伺服系统研究.doc

基于无标定的机器人平面运动物体跟踪伺服系统研究)摘要：本文在未标定摄像机模型和机器人手眼关系的情况下，针对“眼在手”型机器人视觉伺服系统，采用基于位置的控制方法，提出了一种简易实用的无标定算法，采用PD控制实现了平面运动物体的跟踪，通过仿真和实验验证了该方法的有效性和可靠性。关键词：基于位置的机器人视觉伺服；眼在手型；摄像机无标定；平面运动物体跟踪Planar motion tracking with uncalibrated robot visual sevor systemAbstract: This paper presents a simple and useful uncalibrated algorithm used in an eye-in-hand position-based robot visual servo system. A PD control scheme is applied to realise a planar moving object tracking. Simulation and experiments are done to prove the validity of the proposed method.Keywords: position-based visual servo system; eye-in-hand;uncalibrated camara; plannar motion tracking0 引言机器人视觉伺服首先由Hill和Park在1979年提出，指为机器人末端控制器提供闭环的位置控制，其任务是利用视觉信息来控制机器人末端执行器相对于目标物或目标点的位姿。关于视觉伺服的研究涉及到很多领域：高速图像处理、运动学、动力学、控制理论、实时计算等，因此研究上存在一定的困难。但这同时也引起了许多研究者的兴趣。可以从不同的角度，如反馈信息类型、控制结构和图像处理时间等方面对机器人视觉伺服系统进行分类。例如根据摄像机的安装位置可分为eye-in-hand安装方式（手眼系统）和其它安装方式（固定摄像机系统）。其中比较重要和常用的是根据反馈信息类型(误差信号定义的不同)进行的分类，据此机器人视觉伺服系统可分为基于位置( position-based)的视觉控制和基于图像(image-based)的视觉控制，前者的反馈偏差在3D Cartesian空间进行计算(误差信号定义在三维笛卡儿空间)，视觉或特征信息用来估计机械手末端与目标的相对位姿。后者的反馈偏差在2D图像平面空间进行计算(误差信号定义在二维图像空间)。基于图像的视觉伺服的优点是直接使用图像特征空间的偏差控制机器人的运动，不需要三维空间位姿估计，减少了计算延迟，对传感器建模及摄像机标定误差不敏感，静态定位精度比较高。但是设计控制器困难，并且需要计算图像雅克比矩阵，由图像雅可比矩阵的定义可知，随着图像特征点的变化，图像雅可比矩阵应该实时调整，它是时变且非线性的，在动态估计时需要不断进行更新和求逆，计算时间上也有待于进一步优化； 而且，计算图像雅可比一般需要估计目标的深度信息，即目标物体相对于摄像机的深度，而这在单目视觉图像处理方面(特别是眼在手型或目标物体运动情况下)是比较困难的，若计算的不准确，将直接影响到视觉伺服系统的性能。很多研究基于使用一个固定的图像雅可比，虽然能够很快计算出来，但是只有在任务空间的一个较小区域才有效1。基于位置的方法的优点是直接在笛卡儿空间控制机器人的运动，符合机器人操作习惯，设计过程直观，不易产生奇异性。另外，它把视觉重构问题从机器人控制问题中分离出来，可以分别对其研究。但这种方法一般需要对视觉系统和机器人进行精确标定，对图像进行在线解释，增加了计算量。由于前面所提到的图像雅可比矩阵的计算困难，基于图像的方法所提的降低计算负担等优势在操作中面临怀疑。而基于位置的方法中的计算缺点在近期的研究中得到改善。同时，一些机器人内部已经具有关节反馈环节，它要求输入速度或位置增量来实现机器人伺服系统的运动控制，即机器人逆运动学环节已集成在机器人内部，这就给基于位置的机器人视觉伺服提供了优越条件。因此本系统采用基于位置的视觉伺服控制结构。 1 预备知识1.1 伺服过程简介基于位置的视觉伺服系统可以分为以下几个部分：图像处理、特征提取、摄像机标定、位姿估计、机器人控制。文献2.3.4针对摄像机固定的单目机器人视觉系统，提出了基于非标定的机器人平面运动目标跟踪、抓取方案，利用仿真结果验证了方法的有效性。本文的伺服方案以“眼在手”型单目机器人为对象，实现摄像机无标定的基于位置的平面运动物体的跟踪，并对整个算法进行了试验验证，证明了其有效性和可靠性。本文的伺服过程中，图像处理及特征提取采用文献5提出的基于遗传算法的图像识别方法，该方法较好地实现了伺服过程的实时性，在此不再赘述。摄像机标定环节被省略，代之以本文提出的无标定方法。位姿估计环节由于其计算量大一直是基于位置的伺服方式被质疑的地方，但事实上在目前的研究中已经越来越得到改善。由于本系统使用的RBT-6T/S04S六自由度机械手内部已经具有关节反馈环节，通过操作者输入末端执行器位置指令即可完成运动，因此这一环节在本文也不是重点。机器人控制环节采用传统的PID方法。1.2.摄像机标定与无标定摄像机标定环节，通常是指在特定的摄像机模型基础上，在机器人执行任务之前对所用摄像机模型的内外参数进行的计算。对于基于位置的视觉伺服系统非常关键。通常将摄像机标定方法分为两类：传统的标定方法和自标定方法。传统的标定方法是利用已知的标定参照物进行摄像机内外参数的计算。然而，在实际应用中摄像机的内外参数，如焦距、位姿等，往往随任务的不同而改变。如果每次改变后都重新标定，显然很不方便。在某些场合，如深海探测、抢险救灾等，这种使用标定物的方法也是不可行的。为此，研究人员提出了自标定方法。自标定方法不是利用已知参照物，而是利用场景特征或摄像机的特定运动来求解摄像机内外参数。由于实际环境中存在着严重的非线性、不确定性和复杂的扰动，静态的摄像机标定方法不可避免地存在着一些缺陷。首先，所用摄像机模型本身就可能存在误差；其次，摄像机的标定不能做到足够的精确；再次，标定时使用的信息不可避免地带有噪声。这些缺陷使得机器人在工作一段时间后，误差的累积会达到不能接受的程度。如果每过一定时间就进行重新标定，则无论从重新标定时机的选择，还是从工作量的负荷考虑，都是不现实的。由于多种因素的影响，利用标定方法难以得到理想的系统模型；标定的结果只在机器人工作区域中完成标定的位置及其有限的邻域内有效，而标定结果却要在整个工作空间中使用。基于上述背景，产生了摄像机无标定方法6。对于眼在手型装置，还涉及到手眼关系的标定。传统的手眼系统采用基于模型的控制方法，本质上属于开环静态控制，机械臂定位精度与模型标定准确度有关，误差积累现象严重，难以工程实现。近年来，无标定方法引起了广泛重视和注意。其核心是在不精确或未知手眼关系条件下，利用视觉反馈误差规划机器人运动，从而完成视觉伺服、跟踪任务。由于采用了闭环反馈控制策略，从根本上消除了模型准确度对机械臂定位精度的影响。 2 本文提出的无标定算法本文所提出的算法在机器人工作过程中，不需要提供摄像机与机器人之间的关系，即不需要事先标定他们两者之间的坐标系转换参数，也无须对机器人手眼关系进行标定，而是通过已知的场景信息，在工作过程中对目标的图像坐标与世界坐标的关系进行处理，达到在线实时控制的目的。机器人视觉跟踪问题可定义为移动机器人手爪，使得运动目标在图像特征空间中的投影始终固定在期望位置。本文建立了六自由度机械手的视觉伺服系统，用于跟踪平面物体的运动。摄像机固定安装在机械手的末端执行器上，并保证摄像机光轴垂直于工作台平面，摄像机图像平面和物体运动平面之间的距离保持不变。眼在手的构造方式，可防止图像特征被遮盖。通过摄像机的视觉信息反馈，对在操作平面运动的目标实施跟踪、操作。机器人内部标定已经完成，即末端执行器在世界坐标系中的位置可通过其内部传感器实时获得。手眼关系和摄像机模型完全未知。矩形目标在工作平面内自由平动，视觉控制器在图像特征空间中进行运动规划，并将规划结果映射到机器人运动空间中去，作为运动指令下达给机器人伺服控制器，从而驱动手爪进行平动跟踪，直至追上目标。为此，需要建立图像特征空间与机器人运动空间之间的映射关系模型。图1 系统几何模型系统的几何模型如图1所示：以机器人的基坐标系作为世界坐标系。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵R与平移向量t来描述。R为33正交单位矩阵，t为三维平移向量。A、B为物体运动平面内两点，设目标物体中心点P在世界坐标系与摄像机坐标系下的齐次坐标分别为：，则两者之间存在以下关系： （1）其中，因为摄像机与基坐标系仅存在绕Z轴的角度旋转，且摄像机与物体运动平面的距离保持不变，即目标物体相对于摄像机的深度Z不变，因此：R为22正交单为矩阵，且在整个伺服过程中保持不变。t为二维平移向量，与摄像机固定的方式不同，t矩阵是时变性的。，其中是摄像机坐标系轴与基坐标系轴的夹角。故（1）式可写成： （2）而根据摄像机的小孔成像模型可以建立物体在图像平面坐标与摄像机平面坐标之间的关系为： （3）结合式（2）则得到目标物体在图像平面坐标与世界坐标之间的关系为： （4） 以此作为无标定算法的基础。如图1所示，同时观察目标物体和A,B两点，通过同一时刻下目标物体和其中一点的位置关系式的变换，推导出目标的位置。根据（4）式，可得到A，B两点以及目标物体的图像坐标为： （5） （6） （7）（5）-（6）得：，其中，可通过图像处理获得，通过测绘已知，则可以得到未知的为： （8）（7）-（5）得：，将（8）式代入，即可求出为：（9）从（9）式看出，由于摄像机固定安装在末端执行器上，方向垂直于运动平面且之间的距离保持不变，一经测出即为常数，也为常数，只要初次计算得出便不需实时计算，只有需要通过图像处理实时给出。显示出了算法的简单易行。3 控制器的设计本节利用基于身份的密码系统的诸多优点，并应用第2节中提出的指定多接收者签密方案，设计出一种可以工作在多信任域制造网格环境下，不同信任域的网格用户身份认证模型，节省了用户端的计算开销，提高了整个系统的效率。为完成目标跟踪任务，必须把控制策略和视觉信息紧密结合起来。机器人控制器的控制律使用PD控制策略。根据目标当前位置和手爪世界坐标的偏差，其中目标的世界坐标通过（9）式获得，手爪在机器人基坐标系统的位置可通过机器人内部传感器适时获得，通过控制律计算出下一时刻末端执行器的运动量，机器人系统提供的增量及速度控制函数保证了末端执行器的控制。设i时刻目标和手爪的世界坐标分别为、，第i-1时刻目标和手爪的世界坐标分别为、，则第i时刻识别出目标后算出的控制量为：，其中 其中为比例系数，为微分系数。经测试机器人系统的PD控制器设置比例系数，微分系数时系统可以可靠地跟踪运动目标。4 仿真为了验证所提算法的有效性和可靠性，针对本文提出的无标定算法和设计的控制器，利用matlab对机器人跟踪平面运动物体进行了仿真。用于仿真试验的运动平台为300*400（mm）的平面。（1）跟踪直线轨迹。目标以40mm/s的匀速度沿着直线运动。直线方程为：。操作手末端在平面上的初始位置投影距离目标较远，为0，65，图2是目标直线与跟踪轨迹的x、y坐标变化对比图，横坐标为取样个数，取样间隔为0.1秒，纵坐标为x、y坐标。从图中看出，经过40个时间点机械手即能准确地跟踪目标轨迹。单位：个（取样间隔0.1秒） 图2 目标直线与跟踪轨迹的x、y坐标曲线对比图（2）跟踪圆形轨迹。目标以40mm/s的匀速度沿着圆形轨迹运动，轨迹圆心40,0，半径25mm。操作手末端在平面上的初始位置投影距离目标较远，为10，100（未在图中表现），目标在运动平面的初始位置为65，0。图3给出了运动平面上目标和机械手跟踪轨迹的位置变化关系。从图中看出，由于机械手的初始位置距离目标较远，因此经过了较长时间进行调整，从第1圈的第54个时间点开始直到第二圈结束，两者一直保持了较好的吻合。图3 目标运动轨迹与机器人跟踪轨迹对比图5实验在仿真的基础上，本文建立了一套完整的机器人视觉伺服控制系统，采用基于位置的单目眼在手型配置。系统由机器人本体、伺服控制部分、视觉处理子系统、主控计算机以及图像处理计算机等组成。机器人本体为RBT-6T/S04S六自由度机械手，六个关节均为旋转关节。视觉处理子系统由负责图像处理的计算机、NASA的nsj-cc382彩色CCD摄像头、维视tm8100图像采集卡（25Hz）及相关软件组成。摄像头图像扫描速率为25/秒。实时性是影响视觉伺服系统的关键问题。本实验系统对此作了如下的设计：被跟踪物体的运动范围被限制在一个水平平面内,机器人的手爪末端在与目标运动平面相平行的一个平面内运动,两个平面具有一定的高度差，保证目标运动平面的A点始终在摄像机图像内；为了减小图像处理的难度、提高图像处理的速度和便于跟踪，选择白色的运动物体和黑色的运动背景。在当前实验环境和硬件条件下，当摄像机运动平面和目标运动平面高度差为320mm时，系统可以跟踪速度在每秒100mm以下的随机运动目标。跟踪目标为一个白色圆片，安装在长杆上，由实验者手持进行随机运动。机械手初始位置接近目标初始点。图4为机械手末端跟踪在平面内随机运动物体的x、y坐标误差曲线图。从图中看出，机械