毕业设计-工业机器人视觉伺服

毕业设计（论文）题目工业机器人视觉伺服专业自动化班级自064班学生白蕾指导教师辛菁2010年摘要机器人视觉伺服是利用从图像中提取的视觉信息视觉特征，进行机器人末端执行器的位置闭环控制。它是实时图像处理、机器人运动学、控制理论、计算机技术以及实时计算等领域的融合，是计算机视觉研究前沿的一个重要分支。本文首先研究了基于标定技术的机器人视觉伺服，推导了眼在手和眼固定两种配置下的手眼映射关系图像雅克比矩阵，并在MATLAB环境下对这两种配置分别仿真，仿真结果表明该方法能很好地定位到目标。然而，在实际中，由于种种原因，这种基于标定的机器人视觉伺服方法受到了很大的限制。无标定视觉伺服开始成为机器人视觉伺服领域的一个研究热点，所谓“无标定”视觉伺服是指在不预先标定摄像机和机器人参数的情况下，直接通过图像上的系统状态误差来设计控制律，驱动机器人运动，使系统误差收敛到一个容许的误差内。因此，本文研究了基于KALMAN滤波原理的机器人无标定视觉伺服，并对其仿真，仿真结果表明了该方法的有效性和可行性。最后，采用VC60编写控制软件，并以MOTOMANSV3XL型六自由度工业机器人为对象，采用CCD摄像机、图像采集卡与PC机建立了机器人无标定视觉伺服实验平台，完成了基于KALMAN滤波的机器人无标定视觉伺服定位实验，实验结果表明该方法能很好的定位到目标。关键词MOTOMANSV3XL工业机器人、图像雅可比矩阵、KALMAN滤波、无标定视觉伺服ABSTRACTROBOTVISUALSERVOINGISTOUSEVISUALINFORMATIONVISUALFEATURES,WHICHAREEXTRACTEDFROMTHEIMAGES,TOCOMPLETEROBOTENDPOSITIONCLOSEDLOOPCONTROLROBOTVISUALSERVOINGRESEARCHISTHEFUSIONOFSOMEDEGREEOFEXPERTISEINSEVERALAREA,SUCHASREALTIMEIMAGEPROCESSING,ROBOTKINEMATICS,ROBOTDYNAMICS,CONTROLTHEORY,COMPUTERTECHNOLOGY,REALTIMECOMPUTATIONANDSOONITISAIMPORTANTSUBJECTINTHERESEARCHFIELDOFCOMPUTERVISIONFIRST,ISTUDIEDVISUALSERVOINGROBOT,WHICHBASEDONTHECALIBRATIONTECHNIQUEANDDERIVEDTHERELATIONSHIPBETWEENEYEANDHANDIMAGEJACOBIANMATRIXTHENSIMULATEDTHEEYEINHANDANDTHEEYEFIXEDROBOTVISUALSERVOINGUNDERMATLABSIMULATIONRESULTSSHOWTHATTHISMETHODCANWELLPOSITIONEDTOTARGETHOWEVERINPRACTICE,AVARITYOFREASONS,LIMITTHEAPPLICATIONOFTHEVISUALSERVOINGCONTROLMETHODBASEDONCALIBRATEDTECHNOLOGIESTOAGREATEXTENTUNCALIBRATEDVISUALSERVOINGHASBECOMEAHOTSPOTINTHEFIELDOFROBOTVISUALSERVOINGCONTROLUNCALIBRATEDVISUALSERVOINGMEANSTHATVISIONCONTROLLAWISDESIGNEDDIRECTLYBYTHESYSTEMSTATEERRORFROMIMAGEPLANEWITHOUTPRECALIBRATINGTHEPARPMETERSOFCAMERAANDROBOT,WHICHCONTROLSTHEROBOTTOMAKESYSTEMERRORCONVERGETOAPERMISSIBLEREGIONTHEREFORE,UNCALIBRATEDVISUALSERVOING,WHICHBASEDONKALMANFILTER,HASBEENSTUDIEDANDSIMULATEDINTHISPAPERSIMULATIONRESULTSSHOWTHEEFFECTIVENESSANDFEASIBILITYOFTHEMETHODFINAL,COMPLETEDROBOTVISUALSERVOINGPOSITIONINGEXPERIMENT,WHICHBASEDONKALMANFILTERCONTROLSOFTWAREHASBEENPROGRAMEDWITHVC60SIMULTANEOUSLY,AMOTOMANINDUSTRYROBOT,ACCDCAMERAANDANIMAGEGRABBERCARD,TOGETHERWITHPCHOSTCOMPUTER,CONSTRUCTAHARDWAREPLATFORMTHERESULTSSHOWTHEWELLPERFORMANCEOFTHECORRESPONDINGVISUALPOSITIONINGKEYWORDSMOTOMANSV3XLINDUSTRIALROBOT,IMAGEJACOBIANMATRIX,KALMANFILTER,UNCALIBRATEDVISUALSERVOING目录1绪论111引言112工业机器人视觉伺服控制系统概述2121工业机器人视觉伺服的发展情况2122视觉伺服的分类2123图像特征的选取713无标定视觉伺服系统814本文的主要工作102基于标定技术的机器人视觉伺服1221图像雅可比矩阵模型简介1222摄像机模型1523机器人模型1724视觉控制器的设计1825基于图像雅克比矩阵的机器人标定视觉伺服的仿真183基于KALMAN滤波的机器人无标定视觉伺服2331引言2332KALMAN滤波算法概述2333基于KALMAN滤波原理的信号滤波仿真2534固定眼的基于KALMAN滤波的雅可比矩阵在线辨识2735基于KALMAN滤波的机器人无标定视觉仿真284机器人无标定视觉伺服实验3241系统整体结构3242机器人控制子系统3243视觉信息处理子系统3544机器人无标定视觉伺服控制实验375总结41致谢43参考文献441绪论11引言近年来，机器人技术已成为高技术领域内具有代表性的战略性技术之一，它使得传统的工业生产方式发生根本性的变化，对人类社会的发展产生深远的影响。但随着传感器技术、计算机技术、电子技术以及人工智能技术的发展，人们已不再满足于只能在固定的已知环境中按照程序设定的功能完成重复作业的机器人，纷纷开始研究具有高度灵活性、环境适应能力强的智能型机器人。研究工作者们通过给机器人加上外部传感器件，如力觉、触觉、接近觉、视觉等，来提高机器人的自主感知和决策规划能力，以适应周围变化的环境。而在诸多传感器中，视觉传感器因其信息量大、适用范围广、非接触性等特点已成为最重要的机器人传感器之一。将视觉传感器引入到机器人控制系统，可以增加机器人对周围环境的自适应性，拓宽机器人的应用领域。可以预见，具有视觉的智能机器人将得到越来越广泛的应用【1】。视觉是一种复杂的感官，要从大量的视觉信息数据中提取有用的特征信息，需要实施复杂的算法及耗费大量的运算时间。这使得机器人视觉伺服控制系统的研究涉及高速图像处理技术、机器人运动学、机器人动力学、控制理论、实时计算在内的多个相关领域且多个学科相互交叉和融合，所以实现机器人视觉伺服控制有相当的难度，是机器人领域中具有挑战性的课题。然而，与基于传统传感器的机器人控制相比，它具有比较明显的优点更高的灵活性，更高的精度，能够对机器人标定误差具有强的鲁棒性等【2】。以上优点决定了机器人视觉伺服在较短的时间里成为机器人研究领域中的热点之一并在工业生产、海洋探测等众多领域得到了成功的应用。而在一些较为危险和复杂的任务领域内，如太空机器人操作，核设施建设，高电压设备维护，残疾人辅助设备等等，具有视觉功能的机器人将会具有很广阔的应用前景。总之，智能机器人视觉伺服控制的研究，是一个具有重要理论意义和广阔的工业应用前景的基础性研究课题。12工业机器人视觉伺服控制系统概述121工业机器人视觉伺服的发展情况七十年代，SHIRAI和INOUE提出了用视觉反馈提高机器人定位精度的方法，但由于当时条件所限，其实际为“STATICLOOKTHENMOVE”系统。其工作过程分为两部分首先“LOOK”，确定目标位置，计算出目标的坐标，然后“MOVE”，控制机械臂到达目标位置，完成抓取任务。显然该方法是一种基于图像处理的开环控制，在控制过程中并没有对图像信息进行反馈，其严格意义来讲并不属于我们所说的“视觉伺服”的范畴。早期的“STATICLOOKTHENMOVE”模型本身并不具有实际意义，但却为机器人视觉伺服的研究奠定了基础。八十年代末，HILL与PARK提出了“视觉伺服”（VISUALSERVO）的概念，该方法采用视觉反馈闭环控制方案，利用图像特征等视觉信息在线控制机械手位姿，实现控制功能。1994年HAGER研究了手眼分离配置下，任意放置的双摄像机组成立体视觉监控机器人抓取物体的手眼协调系统【3】。1995年YOSHIMI实现了眼在手上配置的机器人视觉伺服系统插轴入孔的操作【4】。近年来，随着图像处理器件和计算机性能的不断提高，机器人视觉技术也取得了长足的进步，视觉伺服获得了迅猛的发展。目前研究基于图像的运动目标跟踪问题成为主要的发展方向，无标定概念（在未知手眼关系模型的条件下，实现对运动目标的操作）的提出更是为视觉机器人领域提供了广空的发展空间。122视觉伺服的分类机器人视觉伺服系统种类繁多，分类方法也很多，通常可以根据物理结构和控制方式来进行分类。A根据摄像机的安装方式，分为眼固定构型和眼在手上构型。1眼固定型摄像机固定在机器人空间中某个位置，如正上方或斜侧方等，具有固定的图像分辨率，并可同时获得机械臂及其工作环境的全局图像信息，便于将视觉系统集成到控制中。但采用这种安装方式有如下缺点在机器人运动过程中，会发生图像特征遮盖现象，观察灵活性差，摄像机无法根据作业要求给出环境的细节描述。2眼在手上摄像机固定在机器人终端操作器上，随手爪的运动而运动，不存在图像特征遮盖问题。同时，通过调整手爪位姿，可以让摄像机靠近被观察对象，提高图像分辨率，从而提高测量精度。但是，摄像机的运动容易造成图像模糊，给图像特征的准确提取带来一定的困难。此外，由于摄像机安装在机械臂末端，增加了机械手的负载，摄像机也容易受碰撞。当手爪接近目标时，目标可能会超出摄像机视场。B根据控制结构是否分层，分为单闭环系统和双闭环系统。1单闭环系统（DIRECTVISUALSERVOING）见图11取消了关节伺服控制器和关节位置反馈回路，其功能由视觉伺服控制器取代。单闭环系统的最大优点就是能直接对机器人的底层运动环节进行控制，因而系统设计的自由度更大，如果规划合理能得到更加优良的控制性能。然而，由于机器人系统和视觉系统固有的非线性特性，视觉伺服控制器的设计成为一大难题。而且为了获得较好的动态相应特性，要求较高的采样速率，这给工程实现带来了一定的困难。图11单闭摄像机机器人驱动器视觉控制器图像特征提取F一F环视觉伺服系统2双闭环系统（LOOKANDMOVE）见图12其中内环为关节伺服控制，可实现高速率采样，通过关节位置反馈来稳定机器人，从而获得近似线性的机器人对象特征。外环视觉控制器以比较低的采样速率完成关节角设定。双环结构将机器人机械运动奇异性与视觉控制器隔离，把机器人看成理想笛卡尔运动元件，简化了设计过程。由于现存机器人大多预留了接收笛卡尔速度给定或位置增量指令的接口，因此双环结构简单易行，被广泛采用。本文所讨论的机器人系统也采用这种控制方式。摄像机机器人驱动器视觉控制器图像特征提取F一F机器人关节控制器关节角传感器图12双闭环视觉伺服系统C根据反馈信号表达方式，分为基于位置和基于图像的控制方式。1基于位置的视觉伺服又称3D视觉伺服其反馈信号在三维任务空间中以直角坐标形式定义【5】如图13。基本原理是通过对图像特征的抽取，并结合已知的目标几何模型及摄像机模型，在三维笛卡尔坐标系中对目标位姿进行估计，然后根据机械手当前位姿与目标位姿之差，进行轨迹规划并计算出控制量，驱动机械手向目标运动，最终实现定位、抓取功能。该方式的控制精度在很大程度依赖于目标位姿的估计精度，但位姿估计与手眼系统参数标定密切相关，因此要保证这一估计过程的准确度是十分困难的。在某些情况下，这种基于位置的控制对标定参数十分敏感。基于位置的视觉伺服的主要特点1机器人期望的相对位姿或轨迹都是在三维笛卡儿空间中描述的，这符合机器人学习惯【6】。2可以直接在笛卡儿空间中控制机器人末端执行器的运动轨迹，例如让它沿着笛卡儿空间中的一条直线移动。3将位姿估计问题从机器人视觉控制器设计问题中分离出来，首先根据从各种传感器得到的信息计算出目标相对于机器人末端执行器的位姿，然后在此基础上进行机器人控制器的设计。其中位姿估计除了利用视觉传感器以外还可以利用距离传感器、力传感器等多种传感器。这种伺服结构还存在以下不足之处1不能在图象空间中进行轨迹控制。这使得位姿估计中所用的图象特征可能超出视场，即不满足图象边界约束条件，进而导致视觉伺服任务失败。2对系统标定误差敏感。3由于目标与机器人末端执行器的相对位姿是关于目标和摄像机模型的复杂函数，因此想要确定出解析的系统动态稳定性的鲁棒域比较困难。图13基于位置的视觉伺服结构框图2基于图像的视觉伺服又称2D视觉伺服见图14其误差信号直接用图像特征来定义，例如图像平面坐标，而非任务空间坐标的函数，因此无需再进行位姿估计，直接利用图像特征进行视觉信息反馈控制，如图14所示。其基本原理是由该误差信号计算出控制量，并将它变换到机器人运动空间中去，从而驱动机械手向目标运动，当图象平面中期望的图象特征和给定的图象特征之间的距离为0或一个给定的域值时，机器人视觉伺服任务结束。对于抓取静止目标的任务，该误差仅是机械手图像特征的函数；若是跟踪运动目标，误差同时还是运动目标图像特征的函数。该方法无需估计目标在笛卡尔坐标系中的位姿，减少了计算时延，并且可以克服摄像机标定误差及关节位置传感器误差对定位精度的影响。基于图象的视觉伺服的主要特点是1不需要对机器人进行位姿估计。笛卡尔空间控制关节控制器机器人对象笛卡尔空间位姿估计获得图像特征摄像机末端位姿位姿给定2系统的动态稳定性对摄象机标定误差具有较强的鲁棒性。许多机器人视觉伺服系统利用了这个优点，例如将之应用于图像平面轨迹跟踪【7】。3可在图像平面中控制特征点轨迹，使之尽可能沿直线运动。只要初始值和期望的图像特征在摄像机的视野内，机器人在运动过程中图像轨控制在图像平面内。这种伺服结构还存在以下不足之处【8】1计算图像雅可比矩阵需要估计目标深度，而深度的估计一直是视觉中的难点；2整个系统只是局部渐近稳定的。3跟踪过程中图像雅可比矩阵可能存在奇异值，使系统不稳定。图像空间控制率关节控制器机器人对象获得图像特征摄像机图14基于图像的视觉伺服结构框图3混合视觉伺服又称25D视觉伺服在这种方法中反馈信号一部分采用3D笛卡儿空间坐标表示，一部分采用2D图像空间坐标表示。这种混合的视觉伺服方法继承了基于位置和基于图像视觉伺服的优点，既保证了对于标定误差的鲁棒性以及不依赖于笛卡儿空间模型的特点，又避免了直接估计深度信息。通过设计解耦的控制律，可以使系统达到全局稳定。这种伺服结构的主要不足之处是1需要在线实时计算图像间的单应性矩阵并对其进行分解，算法复杂、计算量比较大。2需要进行特征点匹配。3与基于图象的视觉伺服相比更容易受到噪声的影响。由文献【9】的仿真和实验研究表明，对于EYEINHAND构型，在存在图象量化误差及图象噪声的情况下，基于图象比基于位置的控制方式有更好的跟踪性能。文献【10】通过数学分析与仿真研究指出对于固定安装的摄象机系统，基于位置与基于图象的控制方式具有相同的跟踪结果。目前在基于图像特征的视觉伺服结构方向的研究很多，是视觉伺服研究的主要发展方向。123图像特征的选取视觉伺服的性能依赖于控制回路中所用的图像特征。尤其是对于基于图象的视觉图像给定末端位姿伺服结构，图像特征的选择和提取变得更加重要，它将直接决定控制律和最终系统的稳定性和鲁棒性等性能。早期视觉伺服中用到的多是简单的局部几何特征，如点、线、圆圈、矩形、区域面积等以及它们的组合特征。局部特征虽然得到了广泛应用，而且在特征选取恰当的情况下可以实现精确定位，但当特征超出视场时很难做出准确的操作。特别是对于真实世界中的物体，其形状、纹理、遮挡情况、噪声、光照条件等都会影响特征的可见性。所以单独利用局部特征会影响机器人可操作的任务范围。于是全局图像特征开始被应用于视觉控制，常用的全局特征有特征向量、几何矩、傅立叶描述等。全局特征可以避免局部特征超出视场所带来的问题，也不需要在参考特征与观察特征之间进行匹配，适用范围较广，但定位精度比用局部特征低。图像特征的选取往往因系统而异，目的是使整个系统便于分析和设计。特征包括几何特征和非几何特征，机器人视觉伺服中常见的是采用几何特征。如特征点、线段、面积、质心和高阶矩等等。大多数基于图像的视觉伺服系统都采用点特征如质心点，角点或经过特殊设计的具有明显特征的点等做为图象特征，也有一部分基于图像的视觉伺服系统中采用线特征如图像等效椭圆的主、副轴、面特征如面积圆等做为图象特征。值得提出的是，伺服控制用的特征与图像识别用的特征，其选择指标有一定的差别。从图像识别角度看，特征应具有鲁棒性和唯一性；但是从伺服控制的角度看，特征必须对物体姿态的变化具有敏感性，即如果目标的位置和姿态发生变化，图像的特征必须变化。换句话说目标位姿的变化和图像特征的变化要满足一一映射。另一方面特征必须可控，即通过一系列的控制行为能够得到所选择的图像特征。总之，在机器人视觉伺服控制中，图像特征的选择不仅要考虑图像识别问题，还要考虑控制问题，应针对具体的任务、环境、系统的软硬件性能，在时间、复杂性和系统的稳定性之间进行权衡。13无标定视觉伺服系统传统的机器人视觉伺服大都是基于系统标定技术的，包括摄像机内部参数标定、机器人运动学标定、手眼关系标定。其中手眼关系的标定精度对系统最终控制性能的影响尤为明显。由于现有的机器人控制器一般都采用双闭环控制结构，机器人的马达驱动、力矩控制对用户来说是完全透明的，可将其视作理想的笛卡尔运动元件。因此在确定二维图像平面与三维任务空间的映射关系时，主要考虑摄像机内部参数和外部参数（即手眼关系参数）的确定。采用基于标定的方法实现机器人视觉伺服，需要预先对摄像机的内外参数进行标定，然后根据已知模型和标定好的摄像机参数，建立图像空间与机器人操作空间的映射。由于以下原因，这种基于标定的机器人视觉伺服方法受到了很大限制1由于多种因素的影响，即使理论上精度很高的标定算法在实际中也难以得到控制和系统性能所要求的模型；2系统的标定结果只有在标定条件成立时才有效。所以，一旦摄像机的位置、焦距等发生稍微变化后，根据原标定参数计算出的结果会有很大误差，必须进行重新标定；3由于摄像机镜头畸变等因素的影响，摄像机的标定区域一般限制在一个比较小的区域，如果机器人的工作范围比较大时，难以得到一个满足工作范围内所有位置的参数模型。在这样的情况下，虽然可以采取分区域标定的办法，但这又是以增加系统操作复杂度为代价的；4在某些特定环境下是难以对摄像机进行标定的，如在一些危险的或对人体有害的工作环境中。鉴于以上原因，有必要探寻一种新的对环境适应能力更强、鲁棒性更好的视觉伺服方法。无标定方法是人们在研究机器人视觉伺服过程中，为了克服基于标定方法的弊端而提出的。它是指在不预先标定摄像机和机器人参数的情况下，直接通过图像上的系统状态误差来设计控制律，驱动机器人的运动，使系统误差收敛到一个容许的误差域内的机器人视觉伺服方法。对于无标定条件下的机器人视觉伺服方法的研究是从二十世纪九十年代初开始，并已逐渐成为众多学者的研究热点。从本质上讲，无标定机器人视觉伺服是一个具有未建模动态的非线性系统控制问题。根据所使用的描述系统非线性模型以及解决未建模动态的方法的不同，现有无标定视觉伺服的研究方法大致可分为以下三类基于图像雅可比矩阵的方法，神经网络拟合手眼关系方法和ADRC系统未建模动态补偿方法。基于雅可比矩阵的方法力图用线性关系逼近系统非线性在采样点的瞬时表现，并用这种近似线性化模型建立图像反馈控制。如YOSHIMI和PKALLEN利用试探运动估计当前的图像雅可比矩阵，完成二维平面上插轴入孔的任务11。而神经网络方法则试图利用人工神经网络强大的函数拟合能力，从全局上把握视觉伺服系统的非线性特性，并在此基础上建立图像反馈控制率。神经网络能够比较准确的拟合机器人手眼之间的非线性映射关系，但它的缺点是必须进行大量的样本学习，并不能显示出其相对于传统有标定方法的优越性。此外，无模型理论和ADRC方法也被用于解决无标定的视觉跟踪问题，其基本思路是将视觉伺服系统近似为一个简单的线性模型，而对这种近似所造成的非线性误差在控制过程中加以动态补偿。但这种方法由于未能充分利用模型结构方面的先验知识，且没有自学习能力，跟踪效果并不理想。目前，应用上面所说的这些方法，无标定视觉伺服研究己经在静态的任务目标上取得了很多成果，如机械手的空间定位（POSITIONING），平面上的插轴入孔（PEGINHOLE）操作，或是抓取空间具有3D形状的物体等，但在实际的应用环境中，更多的是运动跟踪等动态视觉伺服任务。动态任务环境对手眼系统的视觉处理速度，算法的效率等提出了更高的要求，目前这方面的研究还处于起步阶段。14本文的主要工作本文的工作主要集中在研究基于标定技术的机器人视觉伺服，和基于KALMAN滤波原理的机器人无标定视觉伺服，并通过仿真，表明了该方法的有效性和可行性。构建了MOTOMANSV3XL型六自由度工业机器人无标定视觉伺服实验平台，完成了基于KALMAN滤波的机器人无标定视觉伺服定位实验，实验结果表明该方法能很好的定位到目标。第二章对基于标定技术的机器人视觉伺服进行了具体介绍。分析了图像雅可比矩阵的定义、特点，摄像机模型，机器人模型以及其在MATLAB环境下基于眼在手和眼固定两种配置的仿真。第三章针对无标定系统的特点以及传统雅可比矩阵在线估计算法的缺点，专门分析了图像雅可比矩阵模型的在线辨识问题。提出用KALMAN滤波器解决图像雅可比矩阵的在线辨识问题。本章给出了KALMAN滤波算法的详细描述，并利用此法仿真了无标定情况下机器人完成二维平面固定目标的定位。第四章介绍了机器人视觉伺服实验系统，给出了整个系统的结构及工作流程，逐一分析了各个子系统的功能以及具体的设计实现，并给出实验结果。第五章对己取得的研究成果进行了简单的总结及分析。2基于标定技术的机器人视觉伺服21图像雅可比矩阵模型简介图像雅可比矩阵是目前在机器人手眼协调研究领域使用最为广泛的一类方法12。这类方法的主要特点就是使用图像雅可比矩阵模型描述机器人手眼映射关系。其定义如下RJFI111FMFRJIRFRKKN式中，为图像特征参数矢量，为机械手在任务空间中坐标参数。MFRRR即为图像雅可比矩阵。它反映了机器人运动空间与任务所选择的图像特征NIJR空间的微分映射关系。由于在绝大多数机器人系统中，控制量输入都是关节运动速度。对于这样的系统，我们可以建立如下的微分映射关系RJQ式中，为自由度机器人关节运动速度向量，与其对应的机器人任务空间速度PQR为。式中被称为机器人雅可比矩阵。RRJ111RRQPJRFRFRN通过视觉投影映射变换，可以给出机器人关节运动与相应的图像特征运动之间的关系，即IIRFJQ由此，我们可以建立从图像特征空间到机器人关节运动空间的映射模型如下F此式中，为整个系统的图像雅可比矩阵。它反映了在当前机器人位置下某IRJ一机器人关节运动与其引起的图像特征运动之间的比例关系，从而建立起从关节空间到图像特征空间的直接映射，并可被用来建立各种图像反馈控制器。下面具体说明眼在手和眼固定情况下的图像雅可比矩阵1、眼在手摄像机观察二维运动的图像雅克比矩阵假定一个6DOF机器人手眼系统，机器人末端执行器相对于摄像机坐标系作旋转运动和平移运动。为固定在此执行器上的一点，CXYZWCXYZTP为该点在摄像机坐标系中的坐标，为该点在摄像机图像平面上CTPTUV的坐标21UXVYZ为摄像机焦距。而根据机器人末端执行器的运动，我们同时可以得到如下关系22CCPT根据式21、22，的微分可以从下式算出YZXZYXZVXWUTV则22XZXYZZUUUTWV2YZXYZVUVTW经过整理，可得图像雅可比矩阵220XYZXYZTUVVUZWVU从上式可以看出，图像雅可比矩阵的值与机器人执行器相对于摄像机坐标系的当前位置及摄像机内部参数有关，并随执行器位置的变化而变化。2、固定摄像机观察二维运动的图像雅可比矩阵假定一个6DOF机器人手眼系统，手爪作二维运动，其在机器人基坐标系中的坐标为,为手爪在机器人基座标系中的轴高度，保持不变。定义手爪在机GBXYZZ器人基坐标系的，坐标为机器人运动空间坐标,同时定义手XYGGTBPTXTYT爪在固定摄像机图像平面的投影位置为系统的图像特征空间。图TGFUVT像雅克比矩阵反映了图像特征空间与机器人运动空间的微分关系，即GGFJPGBGGUXYJV使用针孔模型描述摄像头的成像投影关系GCGCGXUZYV图像特征运动12300GGGGCCCCGGGGGCCCCUUXRUZZZZFYPVVV设从机器人基坐标系到固定摄像机坐标系的变换关系如下BGGCBCXYRTZZ式中12133RRXYZT，为相应的旋转和平移关系，对于固定摄像机，它们是常数阵。T整理上式可得1312322GGGGCRURUJVVZ由此可以看出，在跟踪过程中，手爪运动引起，的变化，并引起矩GCZUGVGJ阵的改变。22摄像机模型线性投影模型见图21是最常用的摄像机成像模型13YXZFC图21小孔成像模型其中，为空间点在图像坐标系上的投影位置的坐标为在摄像机,YXPP,ZYXCP坐标系下的坐标。为方便起见，将其写成齐次变换形式23101ZYXFYXZCCC根据点在像素坐标系坐标与图像坐标系坐标的关系P,VU,YX1010YXVDUVU式23可以写为2411010121ZYXMZYXTRVUVUZWWTYXC其中，是图像中任意一个像素在，轴上的实际物DXFXYFYDXXY理尺寸，是原点在，坐标系中的坐标。称为投影矩阵；仅与摄像,0VU1OUV1M机内部结构有关，称为内参矩阵；完全由摄像机相对于世界坐标系的方位决定，称2M为外参矩阵。确定某一摄像机的内外参矩阵，称为摄像机定标。至此，我们推导出了摄像机的成像模型24，它表征了世界坐标系空间中目标点与其在像素坐标系中对应点的映射关系。23机器人模型机器人有运动学和动力学14。机器人模型的一个关键问题是机器人的雅可比矩阵。机器人雅克比矩阵通常是指从关节空间向操作空间运动速度的广义传动比，即PJQXV式中，为末端执行器在操作空间中的广义运动速度，为关节速度。XQ根据各变换矩阵可以计算出各连杆到末端执行器的变换矩阵0,16TIS2510IZIIZIYYIXIIXIISPAONT关节机器人雅可比矩阵的第列元素由决定IIQJTIS26ISIISIXYIXYIXIYIXIQAONPAPOPNJ由式23和24可以构造出机器人雅可比矩阵。在末端执行器的广义运动速度为已知的情况下，各关节运动速度可由下式给出X27XJQ其中，为机器人雅可比矩阵的广义逆。QJ式25是机器人关节控制器的设计依据，其输入为末端执行器的广义运动速度,输出为各关节的转动控制量（角位移增量）。而末端执行器的广义运动速度由视XX觉控制器经由对当前视觉特征集与期望视觉特征集间的误差的处理给出。作为视觉控制器的输出控制量送入机器人关节控制器，关节控制器将其转换为各关节的转动控制量，并经驱动器驱动，完成机器人的伺服过程。24视觉控制器的设计根据机器人和视觉系统的性能及具体任务的复杂性不同，视觉控制器的设计方法也不同，典型的设计方法有经典PID控制器、状态空间方法和任务函数法。这里我们使用PID控制器。PID控制是最经典的控制器设计方法，被广泛地应用在机器人视觉伺服控制系统中。在该控制系统中误差可以在工作空间、关节空间或图像特征空间表示，而机器人的控制输入为直角空间也称笛卡尔空间或机器人关节空间的位置或速度运动即位置增量指令，根据视觉反馈得到的误差信号可以建立如下的PID控制律11KPIDIUKKEEKKE式中，为机器人的控制输入，、分别为比例、积分和微分的三个系数PI矩阵，一般取对角阵。对于基于图像的视觉伺服控制系统，误差信号是在图像空间表示的，而机器人的控制输入要求是在笛卡儿空间或关节空间，因此控制器的作用方式有两种，第一种是直接在图像平面设计视觉控制器，然后将得到的控制量乘以图像雅可比矩阵的逆，从而得到笛卡儿空间中的控制量即相对位姿增量，或乘以图像雅可比矩阵的逆再乘以机器人雅可比矩阵从而得到关节空间中的控制量即关节速度。第二种方式是先将图像平面的误差乘以图像雅可比矩阵的逆变换到笛卡儿空间中的误差，然后在笛卡儿空间中设计视觉控制器，也可以直接变换到关节空间。这里我们采用第二种方式。25基于图像雅克比矩阵的机器人标定视觉伺服的仿真基于以上原理，在MATLAB中搭建基于图像反馈视觉伺服系统如下图所示。图中，“FKINE”，“JACOB”，“IJACOB”，“相机模型”以及“图像雅可比矩阵”等模块都是由MATLABFUNCTION模块调用相关的“M”函数然后创建SUBSYSTEM（子系统）而形成的。1、眼固定见图22图22眼固定模型仿真参数设置如下目标运动平面为机器人基坐标系的XOY平面，摄像机的内参数为8E320E320E3256256。图像平面大小为05110511。设定目标位置为010101；手爪初始位置为0304809869044830351310595Q01774，摄像机位置032140342008830026322；09397003420076955；01170093970321407231；00010000。P控制器的参数为K03。实验最后的得到的误差为E4523（PIXEL）。图23中，“”表示手爪在图像平面上的运动坐标；“”表示要到达的期望的目标坐标。图25中，“”表示X方向手爪运动坐标相对于目标点的误差，“”表示Y方向手爪运动坐标相对于目标点的误差。仿真结果如下图所示215220225230245250255260265270275于于于于于于于于于于于于于Y于于于于于于于X于于于于于于于于于于于于于于于于于于于图23手爪在图像平面上的运动轨迹眼固定0510152025050100150200250300350于于于于于于于于于于于于于于于于于于于于于于于于于于于于图24图像平面定位误差曲线眼固定051015202525020015010050050100150200250X,Y于于于于于于于于于于于于于于于于于于X于于于于于于Y于于于于于于图25X，Y方向定位误差（眼固定）2、眼在手见图26图26眼在手模型仿真参数设置如下摄像机的内参数为8E380E380E3256256。图像平面大小为05110511。设定期望的目标为20505，即图像坐标为250250；手爪初始位置为030480986904483035131059501774，在世界坐Q标系下的起始位置为0500，即图像坐标为21772162619538。P控制器的参数为K030。实验最后的得到的误差为E05794（PIXEL）。仿真结果如下所示050100150200250250300350400450500于于于于于于于于于于于于于X于于于于于于于Y于于于于于于于于于于于于于于于于于于于图27手爪在图像平面上的运动轨迹眼在手0510152025050100150200250300350于于于于于于于于于于于于于于于于于于于于于于于于于于于于图28图像平面定位误差曲线眼在手051015202525020015010050050100150200250X,Y于于于于于于于于于于于于于于于于于于X于于于于于于Y于于于于于于图29X，Y方向定位误差眼在手仿真结果分析由上图可知，在眼固定和眼在手的情况下都可达到满意的定位效果。对于眼固定E4523（PIXEL），而眼在手时E05794（PIXEL），显然眼在手的定位效果比眼固定好。分析其原因可知眼在手的摄像机的位置随手爪动，可以说手爪的位置决定摄像机的位置，所以通过调整手爪位姿，可以让摄像机靠近被观察对象，提高图像分辨率，从而提高测量精度。而眼在手机器人运动过程中，可能会发生图像特征遮盖现象，观察灵活性差。3基于KALMAN滤波的机器人无标定视觉伺服31引言机器人是一个复杂的多输入多输出的非线性系统，在实际工作中，难免会受到噪声的干扰，导致控制精度下降，因此，为了获取所需信号，排除干扰，就需要对所获取的信号进行滤波。对于确定性信号，可根据频率特性，通过设计各种滤波器，如低通滤波器、高通滤波器、带通滤波器和带阻滤波器等，使有用信号无衰减的通过而干扰信号得到抑制。对随机信号由于其具有确定的功率谱特性，可以根据有用信号和干扰信号的功率设计滤波器，如维纳滤波和卡尔曼滤波。KALMAN滤波是KALMANREKALMAN于1960年提出的从与被提取信号有关的观测量中通过算法估计出所需信号的一种滤波算法，是一种最优估计方法。目前，KALMAN滤波作为一种重要的最优估计理论被广泛应用于各种领域，如惯性导航、制导系统、移动机器人定位【13】、目标跟踪等。32KALMAN滤波算法概述KALMAN滤波是对随机信号进行估计的算法。假设系统由状态变量模型描述，其中状态变量及输出变量受到外界噪声的污染，当存在这种不希望有的噪声的情况下，估计出所需状态的数据处理系统被称为滤波器。KALMAN意义下的滤波问题实际上就是相当于误差方差最小的状态估计。KALMAN滤波具有如下显著特点滤波器设计简单易行；采用递推算法；适用于白噪声激励的任何平稳或非平稳随机向量过程估计，所得估计在线性估计中精度最佳。KALMAN滤波将状态方程的概念引入到随机估计理论中，把信号过程视为白噪声作用下的一个线性系统输出，用状态方程来描述这种输入输出关系，估计过程中利用系统状态方程观测方程和白噪声激励的统计特性形成滤波算法，由于所用的信息都是时域内的量，所以不但可以对平稳的一维随机过程进行估计，也可以对非平稳的多维随机过程进行估计。KALMAN滤波实际上是一种最优估计方法【16】。设随机线性离散系统采用如下状态方程表示为311XKAK32YCV式中，为系统的状态向量，是系统的观测序列，是维系统过程噪声序NRMYRN列，是维观测噪声序列，矩阵是系统的维状态转移矩阵，是维噪声VMANCM输入矩阵。关于系统过程噪声和观测噪声的统计特性，可假设如下0,COV,KJEKKJRVJVC,J,其中，是系统过程噪声的维对称非负定方差矩阵，是系统观测噪声的RNVRV维对称正定方差阵。M利用这些信息，我们可以建立KALMAN滤波估计的递推形式，对系统状态进行估计，下面直接给出随机线性离散系统的KALMAN滤波方程。状态一步预测331XKAX协方差预测34TQPR状态估计35滤波增益1KYCAXK矩阵3611TTVKKC估计误差方差阵37PKIKQ上面给出的递推的KALMAN滤波算法是通用的，也是相当有效的。而且这种方法经过修正后，还可用来进行状态空间参数模型参数的估计。在一个滤波周期内，从KALMAN滤波在使用系统信息和观测信息的先后次序来看，KALMAN滤波具有两个明显的信息更新过程时间更新过程和观测更新过程。如下图所示图31KALMAN滤波原理图33基于KALMAN滤波原理的信号滤波仿真【17设对象为二阶传递函数2135PGSS取采样时间为1MS，采用Z变换将对象离散化，并描述为离散状态方程的形式XKABUKWYC带有测量噪声的被控对象输出为VYCXKV式中，10098765306591321,0D设控制干扰信号和测量噪声信号幅值均为010的白噪声信号，输入信号幅WKVK值为10、频率为15HZ的正弦信号。采用卡尔曼滤波器实现信号的滤波，取，1Q。仿真时间为3S，原始信号及带有噪声的原始信号、原始信号及滤波后的信号和R误差协方差的变化分别如图所示00511522530200204060811214TIMESYIDEALSIGNALYVSIGNALWITHNOISE图32原始信号及带有噪声的原始信号005115225302002040608112TIMESYIDEALSIGNALYVFILTEREDSIGNAL图33原始信号及滤波后的信号0051152253000100200300400500600700800901TIMESCOVARIANCEOFESTIMATIONERROR图34误差协方差的变化仿真结果表明，该滤波器对控制干扰和测量噪声具有很好的滤波作用。34固定眼的基于KALMAN滤波的雅可比矩阵在线辨识因为固定眼的图像雅可比矩阵在机器人运动过程中是不断变化的。在应用此矩阵建立图像反馈控制器时，为保证控制性能，有必要对其进行实时的辨识。这里可以使用KALMAN滤波算法实现全局视觉雅可比矩阵的在线估计。定义观察参数向量X为GJ一个4维向量，包含雅可比矩阵的所有元素。GJ381234GGTBBUVXXXYXY式中，分别为雅可比矩阵的四个组成元素。GBUYGBVGJ由雅可比矩阵的定义,有391GGGGFKFJKP写成如下状态方程1XKKGGYFFCXKV其中，分别为状态噪声和图像观察噪声，假定为高斯白噪声。V240GTGTPKC建立KALMAN滤波递推估计3101XK311QPR3121KYCKX31311TTVKKCQKR314I其中，为噪声方差阵。取为,。其初始值可取RV405I205VI50MNPI意为维单位阵。采用如下如下方法获得SI0X在初始位置任意给定两步线性无关的试探运动，而在固定摄像机中观察到手12,GP爪相应的图像特征变化为，从而获得初始J矩阵的估计值为12,GF3151120GGJFP然后用构成。X35基于KALMAN滤波的机器人无标定视觉仿真目前存在的基于图像的机器人视觉定位方法大部分是建立在图像雅可比矩阵的基础上的，其结构如图35所示。其中内环为关节伺服控制，通过关节位置反馈来实现机器人轨迹跟踪控制。在高性能伺服控制器作用下可将机器人控制系统近似为线性环节。外环为视觉控制器，以较低的采样速率完成关节角设定。双环结构将机器人非线性运动控制从视觉控制系统中分离出来，在视觉控制中可作为线性环节处理，简化了视觉控制器的设计过程。由于现有机器人大多都有接收笛卡尔速度给定或位置增量指令的接口，因此双环结构简单易行，被广泛采用。视觉控制器坐标变换与轨迹规划机器人控制器机器人DX目标点DFX0P图像采集图像处理图35基于图像的机器人视觉伺服系统在MATLAB平台上对上文所述的基于KALMAN滤波的机器人（眼固定）系统的固定目标定位过程进行仿真。仿真模型如下图所示图36基于KALMAN滤波的机器人眼固定模型在固定目标定位实验中，KALMAN滤波估计算法中的、，分别取为，RV405I，P矩阵的初始值可取意为维单位阵。图像雅可比矩阵的初205I501PIS值通过一开始作任意两步试探运动得到，将其构成手爪初始位置05J0XP0,0485500056,0471900109，所以0014500056，1P2P1GP0013600053。手爪在图像平面坐标10288632798150，2GF10493582785422，10688262773330，2049512728FFGF0013600053,则初始矩阵的估计值为2GFJ1225814194GGJFPE所以在该定位实验中，。TX01E4058195048手爪在世界坐标上的起始位置为0500，即图像坐标为21772162619538；期望的目标为010101，即图像坐标为2300525951。实验最后的得到的误差为E09211（PIXEL）。仿真结果如下所示215220225230235250252254256258260262264266268270于于KALMAN于于于于于于于于于于于于于Y于于于于于于于X于于于于于于于于于于于于于于于于于于于图37手爪在图像平面上的运动轨迹KALMAN滤波051015202502468101214于于KALMAN于于于于于于于于于于于于于于于于于于于于于于于于于于于于于于于图38图像平面定位误差曲线KALMAN滤波05101520254202468101214X,Y于于于于于于于于于于于于于于于于于于X于于于于于于Y于于于于于于图39X，Y方向定位误差曲线KALMAN滤波实验结果分析从上图可以看出，机器人末端执行器能快速跟上目标，且误差很小。4机器人无标定视觉伺服实验41系统整体结构系统的硬件部分主要由MOTOMANSV3机器人本体、彩色CCD摄像头、机器人控制柜、控制计算机、图像采集卡等组成。CCD摄像头可以固定安装在机器人运动空间中一个任意位置，也可以固定安装于机器人的末端执行器上。图41所示的系统中CCD摄像头固定在机器人斜上方，可同时观察目标和手爪运动。经过目标图像和手爪图像的获取,图像处理和识别得到目标和手爪在图像中的位置。整个视觉伺服系统可以分为机器人控制子系统和视觉信息处理子系统两部分组成。图41机器人无标定视觉伺服实验系统示意图42机器人控制子系统机器人控制子系统主要完成视觉控制量的计算和机器人运动控制。其中视觉控制量是根据视觉信息处理子系统得到的图象反馈信息计算得到的。实验中所用的机器人是日本安川公司开发的工业机器人MOTOMANSV3XL。整个机器人控制系统由机器人本体、供电电缆、YANSNACXRC控制柜、YANSNACXRC再现操作盒及YANSNACXRC示教编程器五部分组成18。MOTOMANSV3XL型机器人具有6个自由度，而且六个关节均为旋转关节，每个关节都采用一个交流伺服电机单独驱动。其主要参数如表41所示，其中6个轴的定义如图42所示。图42MOTOMAN机器人各关节的旋转方向定义关节IIAMIOIDMI