机器人视觉测量与控制研究.doc

中国科学院自动化研究所硕士学位论文机器人视觉测量与控制研究姓名：涂志国申请学位级别：硕士专业：控制理论与控制工程指导教师：谭民20040628中国科学院自动化所硕士学位论文：兀，胁，订，：，独创性声明本人声明所成交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢意。签名：象塾日关于论文使用授权的说明如争占；本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：中国科学院自动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅：可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。（保密的论文在解密后应遵守此规定）签名：垂国导师签名：日期塑竺第一章绪论第一章绪论随着计算机技术、微电子技术、网络技术等的快速发展，机器人技术也得到了快速发展。除工业机器人水平不断提高之外，人类的活动领域也不断扩大，机器人技术由原来主要应用在工业制造领域而发展到各行各业中，从而产生了各种不同的机器人，例如，水下机器人、空间机器人、核工业机器人、地下机器人、医用机器人、建筑机器人以及军用机器人等。机器人的研究方向也朝着智能化、多样化和网络化等方向发展。因此，如何提高机器人的智能和适应性，对于不断拓展机器人的应用领域，提高生产效率和方便人们的日常生活和工作具有极大的意义。在当今网络信息化高速发展的时候，机器人的研究与应用范围也因为网络的传播变得越来越深入，而且很多研究人员都把网络当作机器人控制中传递控制信息，实现数据交换的一个重要途径和手段，从而也产生了基于因特网的机器人控制、操作和监控等。在人的各个感觉器官中，视觉是最重要的，据不完全统计，人的视觉细胞数量约在数量级的次方，比听觉细胞多二三千倍，是皮肤触觉细胞的一百多倍。因而可以说，人类从外界获取的信息有是依靠眼睛得到的。同样地，如何让机器人具有视觉功能在机器人技术研究中也占非常重要的地位，视觉也是使得机器人更加拟人化必不可少的传感信息。二十世纪八十年代以来，机器人视觉在工业机器人、移动机器人等领域得到了广泛的应用。计算机工业水平的飞速提高以及人工智能、模式识别、并行处理和神经元网络等学科的发展，更促进了机器人视觉系统的实用化和许多复杂视觉过程的研究。所以，研究机器人的视觉功能和基于机器人视觉技术的伺服控制系统具有重要的意义。视觉控制在机器人技术中的应用自从把视觉技术应用到机器人控制中以来，视觉控制技术得到了很大发展，其应用领域越来越广泛。年月，博士利用机器人助手完成了世界上第一例具有腹腔镜检查的胆囊切除手术【】，如图卜所示，机器人手臂被安装在手术台的导轨上，通过安装在另一端的腹腔镜把手术需要的信息传给医生，帮助医生完成手术任务。文献【】也介绍了一种外科医用精确注射机器人系统，该系统是由视觉全局定位模块，微型机器人模块以及放射线注射针模机器人视觉测量与控制研究块组成，除了可以单独利用操作杆控制并且易于在各个手术室工作以外，也可以利用基于图像导航的计算机控制来达到这个目的，如图卜。介绍了一个机器人系统，如图卜，该系统主要部分是一个安装有机的微型机器人，重量大约克左右，通过一个支撑板安装在脊髓的末端。利图卜机器人胆囊切除手术图卜注射机器人用几幅光图像控制钻孔机同锁孔的轴中心对齐，其精度可以达到毫米。在移动机器人方面，视觉控制的应用更广泛，摄像机安装在移动机器人上面，作为机器人的一个重要的传感器。文献介绍了一种基于光流场的能够避障的移动机器人，该机器人安装有一个需要标定参数的摄像机，为待感知的周围环境建立了一个几何模型，通过分析比较各个区域中几何参数的影响来检测障碍物体，如图叫。文献刀（英国剑桥大学）将李代数应用到视觉伺服控制系统当中，它利用了仿射变换中李代数的结构优点，构成了一个精确、有效且稳定的视觉伺服系统，它依靠李代数表达的特性将三维世界的信息嵌入到一个二维的基于图机器人系统图卜避障机器人图像的系统中，并且用一个视频摄像机来控制五自由度的机器臂（）运动，如图。图卜中也是剑桥大学研制的一种能够跟踪多关节链接对象的三维模型系统，该系统能够引导机器人克服大范围内的干扰。文献】（美国哥伦比亚大学）提出了一种不需要在图像空间和世界坐标系之间进行标定的机器人系统视觉伺服控制方法，由于直接从图像中提取控第一章绪论图卜机器人跟踪目标运动图卜基于视觉导向（视觉伺服）的操作机器人制信息，减少了因为要进行摄像机标定带来的误差。在机器人的末端支架系统上安装了摄像机，该机器人的摄像机不需要标定且不受初始安装位置影响，能够完成对齐、装配和插入工件等工作，如图卜。文献不仅介绍了视觉伺服在机器人装配中的应用，而且该视觉系统还能够跟踪装配工具、工件等在摄像机视场中的运动，如图卜。图卜是美国斯坦福大学研图装配工作图卜机器人跟踪装配工具究的一个具有视觉和速度传感器融合的机器人系统【，采用的是型的机器人，在机器人的末端安装摄像机和惯性速度传感器，结合机器人各个关节的编码器，通过信息融合（视觉和惯性速度传感器）来确定机器人的末端和目标对象的位置。在交通方面，机器人视觉控制也得到了广泛的研究与应用，文献图安装有摄像机和惯性速度传感器的操作手图卜自动驾驶客车机器人视觉测量与控制研究提出了一个用在移动车辆上的基于立体视觉的软硬件系统，如图卜。它可以自动探测行进过程中的一般障碍物和在结构化环境内进行路线定位，增强了移动交通工具的行驶安全性。美国斯坦福大学的研究人员还把视觉控制应用到直升飞机的控制当中，该机器人将全球定位系统（）同基于双摄像机的立体视觉融合在一起，具有自动起飞、盘旋、跟踪和着落功能，如图卜。图卜自动驾驶直升飞机机器人视觉伺服控制机器人应用领域韵不断扩大，各行各业对机器人的要求越来越高，科研人员把目光投向了机器人的视觉控制，期望提高机器人的智能化水平。视觉控制在机器人控制中的研究主要集中在机器人导航、定位、跟踪、以及视觉伺服等。其中，视觉伺服控制就是一个热门的研究方向。在视觉伺服系统中摄像机的安装位置一般有两种不同的情况：一种情况是摄像机安装在机器人的手臂末端（），摄像机和手臂末端操作点的相对位置姿态关系固定，不随机器人手臂运动而改变，如图卜；另外一种情况，摄像机不是安装在机器人手臂的末端，而是安装在机器人的工作空间勾（），该方式下摄像机位置姿态和机器人末端的位置姿态之间没有固定的相对位置关系，机器人的运动会带来这种相对关系的改变，需要在某个基础坐标系下建立两者之间的对应关系，如图】一。？一一争图卜方式图卜方式第一章绪论当前机器人视觉伺服研究涉及到多个领域，是多学科研究成果的融合，在机器人的运动学和动力学等基础上，将计算机图像处理和机器视觉技术应用到机器人的控制系统当中是一个主要方向。但是，由于机器人控制系统具有实时性高、抗干扰性强、计算精度要求高等特点，而现在的图像处理技术、机器视觉等都需要较强的计算能力，且图像处理的应用场合、抗干扰性都受到一定的限制，因此目前的计算机技术还未能完全满足机器人控制的这些要求，机器视觉和图像处理成了制约机器人视觉伺服研究发展的关键因素，也是这一领域绝大多数研究人员的兴趣所在，研究人员针对不同的机器人应用领域，结合机器人的工作环境提出了各种各样的图像处理算法。对于一个特定的机器人视觉控制问题，除了针对具体情况找到快速高效的图像处理算法以外，还必须设计机器人视觉伺服控制系统的整体结构，不同的应用领域采取不同的控制结构。因此，机器人视觉伺服研究的内容主要包括：视觉伺服系统结构、快速高效的图像处理算法、以及视觉伺服控制器的设计等几个主要方面。机器人视觉控制体系结构的分类根据不同的标准或从不同的角度机器人视觉伺服系统可以被划分为不同的类型。如根据反馈信息类型、控制结构和图像处理时间等方面对基于视觉伺服控制的机器人系统进行分类，。从反馈信息类型的角度，机器人视觉系统可分为基于位置（）的视觉控制和基于图像（）的视觉控制。前者的反馈量是计算得到的在笛卡儿空间坐标系中的三维位置偏差量。后者则是在图像平面空间中计算得到的图像特征点和对应目标对象的实际图像坐标之间的偏差量，以此偏差量作为视觉伺服系统的反馈量。由于基于位置和基于图像的这两种视觉伺服方法都具有各自的优缺点，也有人提出将这两种方法结合在一起的混和视觉控制方法【蚺。依照图像处理与机器人控制的动作时间是串行的或并行实现的而分为静态的（）动态（）视觉反馈控制。采用静态工作方式的系统，在摄像机获取图像前机器人本体必须完全停止运动，因此这种方式控制简单、直接，但难以对快速变化的环境做出迅速反应。为了满足机器人应用的实时性要求，现在的视觉伺服系统多采用动态的反馈方式，在机器人运动的同时采集图像进行图像处理。机器人视觉测量与控制研究从控制结构的角度，可分为开环控制系统和闭环控制系统。在开环控制系统中视觉信息只用来确定机器人运动前的目标位姿，系统不要求有昂贵的实时硬件，但要求给出目标的精确位置和机器人的姿态，因此事先必须对摄像机和机器人进行精确标定。闭环控制系统则利用视觉信息作为反馈量，这种情况下能抵消摄像机与机器人标定的一部分误差，但要求有能够进行快速视觉处理的硬件，保证图像处理的速度和可靠性。根据摄像机观测到的目标范围可分为（）和（）系统【】”。系统中摄像机只能观察到目标物体；而系统中摄像机同时可观察到目标物体和机械手末端，这种情况下的摄像机一般固定于工作区，其优点是控制精度与摄像机和末端之间的标定误差无关，缺点是执行任务对机械手会挡住摄像机视线，根据是否用视觉信息直接控制关节角，可分为动态。系统和直接视觉伺服（）系统。前者由视觉信息为机器人关节控制器提供设定点输入量，即由图像处理模块计算出摄像机应该具有的速度取位置增量等，反馈至机器人关节控制器，机器人采用稳定的关节反馈内环，由内环的控制器控制机械手的运动；后者用视觉伺服控制器代替机器人控制器，即由图像处理模块直接计算机械臂各关节运动的控制量，直接控制机器人关节角。由于目前的视频部分采样速度不是很高，加上一般机器人都有成熟的控制器，所以多数视觉控制系统都采用双环动态（）方式。根据摄像机安装位置的不同，可以分为手跟系统和固定摄像机系统。手眼系统中的摄像机放置在机器人的末端，同机器人一起运动，机器人末端和摄像机之间存在着固定的空间位置关系。固定摄像机系统的摄像机放置在环境中某一固定位置，摄像机不随机器人末端运动且两者之间也不存在固定的位置关系。手眼系统基得到目标的精确位置，可以实现精确控剑，但只能得到小的工作空间场景，而且有些手眼系统只能观察到目标而无法观察到机器人末端。因此，需要通过已知的机器人运动学模型来求解目标与机器人末端的位置关系，对标定误差以及运动学误差比较灵敏。固定放置的摄像机既可以观察到目标也可以观察到机器人末端，并且可以得到大的工作空间场景，能得到机器人末端相对于目标的相对速度，但无法得到目标的准确信息，且机器人关节运动可能造成目标图像的遮挡。为了克服两种摄像机放置位置的不足，一种解决方法是两种第一章绪论方式的协作使用，在机器人系统中安装有多个摄像机，每个摄像机完成不同的任务甜。根据摄像机的数目的不同，可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视觉无法直接得到单个目标特征的三维信息，一般通过移动获得深度信息或者由目标物体本身的几何特征信息来获得深度信息。单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境。多目视觉伺服可以观察到目标的不同部分，可以得到更为丰富的信息，但视觉控制器的设计比较复杂，且相对双目视觉伺服更加难以保证系统的稳定性【。当前的视觉伺服系统主要采用双目视觉。此外，还可以根据任务对机器人视觉伺服系统进行分类，如基于视觉的定位、导航、跟踪或抓取的视觉伺服控制系统等。基于位置和基于图像的视觉伺服控制体系结构从上面可以看出依据不同的原则可以将视觉伺服控制系统分为不同的类型。目前采用比较多的就是根据控制系统的反馈量分为基于位置的视觉伺服控制系统、基于图像的视觉伺服控制系统和基于位置和图像混合的视觉伺服控制系统。下面分别讨论这三种视觉伺服控制系统的体系结构”】。基于位置的视觉伺服需要利用图像进行三维重构，在三维笛卡儿空间计算位置误差反馈量，该方法的优点在于把视觉重构和机器人控制分离开来，这样可以分别对二者进行研究，机器人控制部分可以借鉴以往的机器人控制经验，重点可以放在机器人视觉信息处理和三维重建方面，且误差信号和关节控制器的输入信号都为空间位姿，实现起来也比较容易。但由于根据图像计算目标的空间位姿，没有对图像进行直接控制，机器人的运动学模型误差、视觉系统和机器人的标定误差等都直接影响系统的控制精度。基于位置的视觉伺服的结构如图卜所示。位姿给定图卜基于位置的视觉伺服结构框图机器人视觉测量与控制研究基于图像的视觉伺服直接在二维图像空间中计算图像误差，即摄像杌观察到的图像特征信息和期望图像特征信息之间的误差吲，不需要对三维姿态进行计算，但需要计算图像雅可比矩阵。基于图像的视觉伺服的结构如图卜所示。基于图像视觉伺服控制的优点是其受摄像机标定的误差、机器人的运动学以及传感器模型误差的影响比较小，静态定位精度也比较高；缺点是设计机器人控制器比较困难，伺服过程中容易进入图像雅可比矩阵的奇异点，一般需要估计目标的深度信息，而且只在目标位置附近的邻域范围内收敛，分析机器人系统的稳定性比较困难。求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务，其数学表达如下：以厂，尹）尹其中，厂，厂册表示图像的特征坐标，表示对应的末端坐标位姿，为图像雅可比矩阵，厂为图像特征的变化速度，尹为（任务空间内）末端的速度，包括平移速度和旋转速度。求解图像雅可比矩阵主要有三种方法：直接估计方法、深度估计方法、常数近似方法。直接估计的方法不考虑图像雅可比的解析形式，在摄像机运动过程中直接得到数值解。典型的直接估计方法是采用神经元网络和模糊逻辑逼近的方法，。深度估计的方法需要求出图像雅可比矩阵的解析式，在每一个控制周期估计深度值，代入解析式求值。这种方法实时在线调整雅可比矩阵的值，精度高，但计算量较大。常数近似方法是简化的方法，图像雅可比矩阵的值在整个视觉伺服过程中保持不变，通常取理想图像特征下的图像雅可比矩阵的值。常数近似的方法只能保证在目标位置的一个小邻域内收敛。直接估计的方法和常数近似的方法更容易使目标离开视场。此外还有经验法酿，在线估计法和学习方法等。图像给定图卜基于图像的视觉伺服结构框图输出图像第一章绪论由于基于位置和基于图像这两种视觉伺服方法都具有一些缺点，有人提出了将基于位置和基于图像的方法结合起来的混和视觉伺服方法，综合了两种控制方法的优点，提高整个控制系统的性能。混合视觉伺服的主要思想是采用基于图像的伺服控制一部分自由度，其他的自由度则采用其他技术（基于位置的控制技术）控制，不需要计算图像雅可比矩阵。混合视觉伺服以提出的视觉伺服方法最具有代表性【】，视觉伺服的结构框图如图一所示：位置给定角度给定输出图像图卜视觉伺服的结构框图的视觉伺服方法，是在已知摄像机内参数的前提下，计算当前图像特征与理想图像特征的对应矩阵（）。在几何中，对应矩阵满足如下关系：碍其中，于为当前图像特征，的对应坐标，于为理想图像特征的对应坐标。将对应矩眸分解为旋转部分和平移部分，对应摄像机的旋转控制和位移控制分量，它的误差信号定义为：“一“，（），口，其中，“，为特征的当前图像坐标，群，为特征的理想图像坐标，口和“为根据分解的旋转矩阵得到的旋转角和旋转轴，和为当前深度和理想深度信息。这样就实现了在图像空间控制平移运动，在笛卡儿空间实现转动控制。除了这种方法，。和也提出了混合视觉伺服方法，思想与方法是一致的，只是在对应矩阵分解上采用不同的方法。这种混合的视觉伺服方法继承了基于位置和基于图像视觉伺服的优点，保证了独立于标定误差的鲁棒机器人视觉测量与控制研究性以及不依赖于笛卡儿空间模型的特点，避免了估计深度信息，设计解耦的控制律，可以达到全局稳定。这种方法虽然避免了直接计算图像矩阵，但需要在线实时计算图像间的对应矩阵以及对其进行分解，计算复杂、计算量大。在计算对应矩阵时，为了减少计算量，常采用线性最小二乘估计的方法，对图像噪声敏感。相比较传统的图像视觉伺服和混合视觉伺服方法，和提出了新颖的基于图像伺服的分解方法口，只将末端轴的运动，包括旋转与平移运动，与其他轴的运动分离。这种方法的产生是因为图像视觉伺服失败与轴的运动有密切的关系。数学描述如下：，。名，：其中，为特征点的图像坐标，。为图像矩阵的、列，为矩阵的、列，瓦，为、轴的运动速度，为轴的运动速度。轴速度专门由两个特征计算，角度特征和区域面积特征。这种方法的优点在于既加强了对轴运动的控制又避免了复杂的计算。不足之处在于当摄像机光轴不垂直目标平面以及当目标偏离光轴过大时，误差较大。视觉伺服控制研究面临的问题将视觉应用到杌器人控制系统上，让机器人具有视觉功能，一直是研究人员关注的热点。从最初的将视觉反馈应用到装配机器人系统以来，机器人的视觉功能逐步加强，拓展了机器人的感知范围，提高了机器人的工作效率。但是由于机器人视觉控制涉及的领域比较广泛，需要考虑的问题比较多，如何将视觉信息同机器人系统的其他部分有效结合起来，如何满足机器人控制的实时性、可靠性等要求是急需解决的问题。视觉信息处理在整个机器人视觉伺服控制中要占用大量的软硬件计算时间，为了满足机器人的实时性，必须研究快速有效的图像处理算法。在图像特征的选择上，不能把注意力单纯集中在图像识别的指标上，还要考虑控制的指标，如何将两者结合起来，提高整个系统的性能，是一个需要重视的问题。在图像特征都已经确定的前提下，如何根据实际情况提出有效的算法，尽量减少算法处理占用的机器时间，并最大限度的采用硬件实现算法，可以提高机器人的实时性。另外，研究成本低廉且具有快速图像采集速率的成像设备，将有利于大第一章绪论幅度地降低视觉伺服系统的采样周期，从而提高系统对外界环境变化的响应速度。在某些应用场合，要求机器人具有非常高的精度，如何提高机器人的标定精度以及提高图像处理的精度也是研究人员极其感兴趣的课题。稳定性是所有控制系统需要考虑的问题，在机器人视觉伺服控制系统中也不例外。由于摄像机的视场非常有限，对于视觉伺服控制系统，无论是基于位置、基于图像或者混合的视觉伺服方法都面临着如下问题：当初始点远离目标点时，能够根据一定的人工智能策略搜索到图像目标点以及如何保证系统的稳定性，即增大稳定区域和保证全局收敛：为了避免伺服失败，如何保证特征点始终处在视场内，或者在偶尔丢失目标的情况下能够很快让目标回到视场当中来，不至于引起机器人伺服失败。多传感器融合问题。计算机视觉功能只是机器人感知外部世界的一种手段，应该像人一样还有其他的感知功能，如听觉等。视觉传感器的使用范围也是有限的，距离远近直接影响到机器人的控制精度，如果再结合其他的传感器，利用各种传感器之间的优势互补，可以消除机器人控制中的不确定性，提高机器人控制的可靠性、准确性。从近几年视觉伺服控制的发展来看，视觉信息处理是机器人视觉控制中的一个主要瓶颈，研究人员将会在这方面不断地尝试新方法、新理论，并融合其他多种传感器，达到提高机器人视觉控制的实时性、可靠性和操作精度的目的。本论文的内容安排本论文根据摄像机的成像理论，对机器人视觉测量和定位系统进行了讨论，比较分析了单目视觉测量方法和双目视觉测量方法，在此基础上提出了基于结构光的视觉测量原理，利用摄像机看到的前后两帧图像间的相关信息来提高视觉信息处理的精度和实时性，并将视觉测量原理应用到机器人的控制系统当中，作为机器人控制的一个重要传感信息手段。在机器人系统当中，机器人眼睛（摄像机）和机器人手之间的协同作业对机器人视觉系统影响很大。针对机器人手眼的不同安装位置关系，本论文讨论了弧焊机器人视觉跟踪控制系统和宜人化操作机器入的头部系统，两种机器人分别应用在不同的领域。弧焊机器人系统采取方式，实现了工业机器人保护焊接作业，获得了比较满意的效果。宜人化操作机器人系统采用方式，实现了宜人化操作机器机器人视觉测量与控制研究人对作业对象（润门）的识别和定位，为机器入运动控制部分提供了可靠依据。本论文围绕上述内容，主要分为如下五个章节：第一章绪论。首先回顾了机器人技术的发展概况以及视觉控制在机器人技术中的应用情况，机器入视觉测量和定位技术在机器人视觉控制系统当中具有非常重要的地位。针对目前机器人视觉伺服控制系统的特点，结合对机器人视觉伺服控制系统的发展现状，对机器人视觉伺服控制系统的分类和各种视觉系统的主要特点进行了探讨。第二章机器人系统的视觉测量。研究了机器人的双目视觉测量和基于结构光的双目视觉测量问题。在基于结构光的双目视觉测量中，利用激光结构光照射被测量物体表面得到鲜明的图像特征点，采用两台摄像机采集图像，利用两台摄像机以及结构光光源之间的两两对应关系分别进行目标位置定位。与双目视觉测量方法相比，该方法具有视觉信息冗余的特点，通过信息融合后，提高了视觉测量的精度和可靠性，增强了机器人视觉系统的抗干扰能力，并且其实现简单，实时性较好。最后分析了机器人视觉测量中误差形成的原因，为提高视觉测量精度提供了依据。第三章弧焊机器人视觉控制系统。结合结构光双目视觉测量方法和基于局域网的分层控制结构，给出了一套具有焊缝鲁动识别与跟踪功能的弧焊机器入焊接系统，该弧焊机器人系统能够完成在线保护焊焊接任务，实验结果表明：弧焊机器人视觉系统的测量精度比较高、计算能力比较强、实时性比较好、焊接效果令人满意。第四章宜人化操作机器人头部系统。本章为宜人化操作机器人系统研制了一个头部子系统，将两个摄像机安装在宜人化操作机器人的头部，机器人头部里还装有一个嵌入式计算机，与机器人中央控制计算机进行实时通讯，根据控制计算机的指令寻找或定位目标。另外为了提高机器人控制系统的可靠性，让操作人员监视机器人的行为，将机器人看到的信息传送到远程监控端，实现视觉监控。为了增强宜人化机器人的人机交互水平机器人头部还集成了语音识别系统，能够识别操作人员的语音指令，完成楣应的任务。第五章对全文工作进行了总结。第二章机器人系统的视觉测量方法第二章机器人系统的视觉测量方法高精度的测量技术广泛应用在生产制造、科学研究等领域中，满足精密加工和提高产品品质的要求。例如，汽车车身、飞机机身、轮船船体、汽轮机叶片等造中的在线检测或者机器人在线或离线精确定位等。特别是大型工件的曲面检测一直是生产过程中的关键技术难题。这类工件在车间条件下一般采用靠模法测量，但可测截面少，测量精度低；在计量室条件下采用三坐标测量机测量，虽然精度较高，但数据采集速度侵，测量成本高，并且难于实现在线测量【”。在现代工业生产中，经常需要对工件的三维坐标进行精密测量，但由于被测工件的复杂性，给测量工作带来了定的团难。目前测量工具主要有：电子经纬仪和三坐标测量机。电子经纬仪因其存在测量盲区和需要优化测量布局而限制了应用范围；三坐标测量机具有精度高、效率高、通用性好等特点，但因其探头无法实现对工件特征点的精确瞄准，因而会带来测量误差。利用摄像机作为图像传感器测量工件各个特征点的三维位置，避免了接触式方法难以精确瞄准的困难。通过单个或多个摄像机从不同方向拍摄两幅或两幅以上的二维图像，利用立体视觉方法可获取物体的三维几何信息。视觉是计算机被动测距方法中最重要的距离感知技术，能够在多种条件下灵活地测量景物的三维立体信息，因此视觉测量方法在非接触测量中占有重要的位置】。工业视觉测量技术（或称数字近场摄影测量技术）系统结构简单，便于移动，数据采集快速、便捷，操作方便，测量成本较低，且具有在线、实时三维测量的能力，尤其适合于三维空间点位、尺寸或大型工件轮廓的检测。由于计算机视觉测量技术具有许多优点，现代的机器人控制技术中也广泛采用了视觉测量技术，增强了机器人的感知功能，提高了机器人的智能化程度，扩大了机器人的作业范围。这种能力不仅使机器人能感知（测量）环境中物体的形状、位置、姿态、运动等几何信息，而且能对它们进行描述、存储、识别与理解。如在移动机器人中可以进行在线障碍物探测】、导航【舭、目标定位和目标跟踪等，在工业机器人中实现机器人工作目标的精确定位】，在仿人形机器人中模仿和普通人眼功能相同的视觉系统等。另外机器人视觉测量技术机器人视觉测量与控制研究也被广泛应用于航空、航天器的运动分析和地面机动目标试验碰撞运动分析等领域。总之研究机器人的视觉测量功能具有重要的意义。摄像机模型】在机器人视觉测量中，从摄像机的视野范围内识别目标并提取特征信息，通过三维重建来测量目标物体的距离。在这个过程中摄像机模型起到了非常重要的作用，模型的好坏直接关系到测量结果的精度问题。摄像机模型是摄像机光学成像几何关系的简化，目前通用的摄像机模型有线性模型（针孔模型）和非线性模型。一般情况下采用摄像机的线性模型，该方法容易标定，计算简单。但是，当计算精度要求非常高，尤其是摄像机采用了广角镜头时，线性模型不能准确反映几何成像关系，必须采用非线性模型，因为在图像平面中，远离中心（靠近边缘）部分会有较大程度的畸变。在建立摄像机模型前需要定义几个相关的坐标系，分别是世界坐标系、摄像机坐标系、图像坐标系。图像坐标系：在图像平面内以象素为单位建立的坐标系，其原点在图像平面的左上角，横轴为“轴，纵轴为轴，如图：以物理单位（毫米）表示的象素坐标系，原点在图像中心，横轴与“平行，纵轴与平行。图图像坐标系由于每一个象素在坐标系上的物理尺寸为出，咖，则两个坐标系之间的关系为：第二章机器人系统的视觉测量方法”忑棚万饥用齐次坐标形式表示为，（）面。士。（）害摄像机坐标系：左边原点。为摄像机中心，轴为摄像机光轴，与图像平面垂直，方向为由中心指向图像平面，轴、轴分别同图像平面内的轴、轴平行，方向相同。五。，芬一么工乙，图摄像机成像关系机器人视觉测量与控制研究世界坐标系：描述世界中存在物体的固定坐标系，如图中。匕。坐标系。摄像机坐标系同世界坐标系之间的关系可以用旋转矩阵和平移向量来表示。，。：，尺”。业。刊匕。（）线性摄像机模型：图中空间物点在像平面上的像点为，该像点为光心同点的连线与像平面的交点，满足透视投影关系，因此有，。：上乒用奇次坐标表示为料悸（）（）由公式（）可以得图像象素坐标同世界系坐标之间的对应关系；桴。爻，：。（）其中，吼，口，“。，。决定内参数矩阵，：为摄像机的外参数矩出。阵。非线性摄像机模型：实际上摄像机不能完全满足透视投影关系，特别是一些广角镜头会在离图像平面中，较远处产生很大的图像畸变，此时对应的，值并不是真实值，需要进行校正。常用描述非线性畸变公式，矿叽习，一、一一第二章机器人系统的视觉测量方法为歹：巧，（。，）（）其中，孑，歹为理想小孔成像模型对应的图像平面坐标，（，），（，）分别为对应轴方向上的校正量，可以用关于，的非线性多项式来近似。从上述部分可知，为了从图像中得到物体的空间信息，必须知道摄像机的各个相关参数；确定摄像机的内外参数的过程称为摄像机标定。国内外有很多研究学者都在这上面做出了贡献，提出了各种不同的标定方法。常见的方法有传统的摄像机标定方法和摄像机自标定方法【鲫。传统的摄像机标定方法包括利用最优化算法的摄像机定标方法、利用透视变换矩阵的摄像机定标方法、两步法和双平面标定法；摄像机自标定方法有利用本质矩阵和基本矩阵的摄像机定标方法、利用绝对二次曲线和外极线变换性质的摄像机标定方法、利用主动系统控制摄像机做特定运动的自标定方法和利用多幅图像之间的直线对应关系的摄像机定标方法等。机器人双目视觉测量方法如果选定了摄像机的模型并且已知摄像机的内外参数，求取图像特征点对应空间点的世界坐标非常容易。由式可知，方程组中的方程个数小于未知位置分量数，因此为了求取空间某一个点的位置，至少需要特征点的两组图像坐标，利用最小二乘法计算特征点对应的空间坐标。实际中测量的目标对象一般存在多个特征点，可以根据实际情况采用单目、双目或多目的机器人视觉测量结构。单目摄像机测量方法主要应用在物体上有多个特征点且各个特征点之间的位置关系己知的场合，利用目标物体特征点之间固定的位置关系，可以建立所求特征点对应坐标分量的约束关系；或者利用摄像机在空间的已知位置移动来观测目标特征点的不同图像，前后图像特征点对应的是相同的空间点，从而在两次不同的位置之间建立了对应的约束关系。总之，利用式可知，找到了特征点相应的空间约束关系后，联立方程可以计算出特征点的空间位置。因此，实现单目摄像机测量方法的关键是寻找约束关系。该方法一般应用在物体的跟踪和粗定位等情况下，例如设目标对象（近似）在一个平面上，摄像机光轴中心垂直该平面，且摄像机到该平面的距离已知，目标对象只是在平面内运动，机器人视觉测量与控制研究此时就可以实现对目标位置的视觉测量，实现平面内运动目标的跟踪。文献【，】中提出了一种基于单摄像机手眼系统的距离测量方法，文献提出了单目摄像机的问题的线性求解算法。但是单目摄像机测量方法存在许多缺点，对图像点的位置误差极为敏感并且测量精度并不是很高，大多数情况下采用双目或多目视觉测量方法。由于在双目视觉测量方法当中，需要各个摄像机配合观测目标对象，在有些情况下可能存在遮挡，无法完全看清被测物体，为了解决这个问题，可以采用多目摄像机系统，保证同一时刻能够看清目标物体的待测量部分。虽然多目视觉系统同一时刻可以观测得到物体的多幅图像，可以解决双目立体视觉中图像匹配的多义性问题，但总的来说，多目视觉系统结构的实现复杂，且造价相对昂贵，在控制上不易实时实现，因此很少采用。双目视觉测量方法双目视觉测量方法是利用两个摄像机来观测目标特征，实现视觉测量的目的。在机器人应用中，两个摄像机固定在机器人的末端，两个摄像机之间以及两个摄像机同机器人末端的位置关系固定。因此相对于机器人末端来说，摄像机的外参数恒定。例如在工业机器人的应用当中，利用工业机器人进行高精度的装配和焊接等任务，此时就是利用固定在末端的双目摄像机来采集目标图像，提取特征后通过三维重建得到特征点的空间位置，利用多个特征点还可以计算出目标的空间位置姿态。当然两个摄像机并不总是安装在机器人的末端，例如在仿人形机器人或宜人化双臂操作机器人当中，两个摄像机被安装在机器人的头部，头部可以转动，因此摄像机和操作手之间的位置并不固定，此时机器人视觉测量的目的就是计算出目标相对于机器人操作手的位置姿态关系，协调控制机器人手和头部运动，达到顺利完成机器人操作的目的。双目视觉测量的示意图如图。双目视觉测量方法的步骤可以分为如下几个过程：步骤：同时采集两幅图像，从左（或右）图像中找出特征点。如果要求机器人进行在线实时测量，则图像处理的算法必须结合实际的机器人操作任务选定，充分利用机器人操作对象的特征或者在目标对象上人为地构造一些特征，快速提取特征点。第二章机器人系统的视觉测量方法图双目视觉测量示意图步骤：从右（或左）图像中找出与步骤中得到的特征点匹配的图像点，为了提高图像处理的精度和实时性，这个步骤可以利用立体视觉中的极线约束条件或模板匹配等方法，结合步骤确定图像特征点的对应关系，从而减少特征点的搜索时间。步骤：利用匹配好的特征点对计算对应的空间位置。为了精确确定目标的空间位置，一般测量的时候都要计算多组特征点。采取控制策略排除被怀疑点，通过信息融合的方法来确定目标的实际位置。为了验证双目视觉测量方法的有效性和可行性，我们制作了一个双目视觉装置，安装在机器人末端，如图。图安装在机器人末端的摄像机图双目视觉测量原理示意图机器人视觉测量与控制研究设瓦为机器人的末端位姿，瓦为摄像机相对于机器人末端的外参数矩，为内参数矩阵，则根据式有，耳（咒）一（）在机器人基坐标系下摄像机光轴中心点的坐标。，。，。，和成像平面上图像特征点的坐标。，。，。，分别为：），一“（）肌即肛涮设图像点对应的三维空间点坐标为扛，则摄像机对应的图像特征点（一）（。一），。）（）如。（。）同理，可获得摄像机对应的图像特征点符合以下直线方程：（。）。（。一。）（）。（。一乙）利用最小二乘法求解这两组方程，可以获得空间点的三维坐标。实验中采用线性模型和梯度下降法标定摄像机参数，得到摄像机的精确内外耻一啼汀耻悸嘴雾举撩确蜘瓦第二章机器人系统的视觉测量方法一耻。秽对和芝纛：燃；裟黔引。【在两摄像机采用以上内外参数的条件下对一条三角型焊缝（图）进行次测量，利用式计算得到个空间点在基坐标系下的三维坐标。结果如下表：图被测量的直线焊缝图表三角焊缝特征点测量结果值（单位：毫米）点分量分量分量第次一第一二次第二二次第四次第五次机器人视觉测量与控制研究为了直观观测各次测量效果，在相应的坐标系中描出各对应的点，如图（）三维图（）面）面（）面图双目视觉测量结果示意图（单位：毫米）图为利用双目视觉的测量结果，所测量的焊缝为直焊缝。从图中可以发现，除一次测量结果具有较大误差外，其它各次测量结果的误差小于。基于结构光的机器人双目视觉测量方法在上节中，无论是单目视觉测量方法或双目视觉测量方法，都是在普通光照条件下进行，直接根据采集的图像处理结果来进行距离测量，这种测量方式称作被动视觉测量方法。在实际当中很多情