资源目录
压缩包内文档预览：(预览前20页/共47页)
编号：155459618
类型：共享资源
大小：1.60MB
格式：RAR
上传时间：2021-10-17
上传人：好资料QQ****51605
认证信息
个人认证
孙**（实名认证）
江苏
IP属地：江苏
20
积分
- 关 键 词：
-
视觉
伺服
技术研究
- 资源描述：
-
视觉伺服技术研究,视觉,伺服,技术研究
- 内容简介：
-
英 文 翻 译系 别 自动化系 专 业 自动化 班 级 191003 学生姓名 魏荧鑫 学 号 103648 指导教师 邢超 英文资料及译文A Tutorial on Visual Servo ControlThis article provides a tutorial introduction to visual servo control of robotic manipulators. Since the topic spans many disciplines our goal is limited to providing a basic conceptual framework. We begin by reviewing the prerequisite topics from robotics and computer vision, including a brief review of coordinate transformations, velocity representation, and a description of the geometric aspects of the image formation process. We then present a taxonomy of visual servo control systems. The two major classes of systems, position-based and image-based systems, are then discussed in detail. Since any visual servo system must be capable of tracking image features in a sequence of images, we also include an overview of feature-based and correlation-based methods for tracking. We conclude the tutorial with a number of observations on the current directions of the research field of visual servo control.The vast majority of todays growing robot population operate in factories where the environment can be contrived to suit the robot. Robots have had far less impact in applications where the work environment and object placement cannot be accurately controlled. This limitation is largely due to the inherent lack of sensory capability in contemporary commercial robot systems. It has long been recognized that sensor integration is fundamental to increasing the versatility and application domain of robots, but to date this has not proven cost effective for the bulk of robotic applications, which are in manufacturing. The frontier of robotics, which is operation in the everyday world, provides new impetus for this research. Unlike the manufacturing application, it will not be cost effective to re-engineer our world to suit the robot.Vision is a useful robotic sensor since it mimics the human sense of vision and allows for noncontact measurement of the environment. Since the early work of Shirai and Inoue (who describe how a visual feedback loop can be used to correct the position of a robot to increase task accuracy), considerable effort has been devoted to the visual control of robot manipulators. Robot controllers with fully integrated vision systems are now available from a number of vendors. Typically visual sensing and manipulation are combined in an open-loop fashion, looking then moving. The accuracy of the resulting operation depends directly on the accuracy of the visual sensor and the robot end-effector.An alternative to increasing the accuracy of these subsystems is to use a visual-feedback control loop that will increase the overall accuracy of the systema principal concern in most applications. Taken to the extreme, machine vision can provide closed-loop position control for a robot end-effectorthis is referred to as visual servoing. This term appears to have been first introduced by Hill and Park 2 in 1979 to distinguish their approach from earlier blocks world experiments where the system alternated between picture taking and moving. Prior to the introduction of this term, the less specific term visual feedback was generally used. For the purposes of this article, the task in visual servoing is to use visual information to control the pose of the robots end-effector relative to a target object or a set of target features. The task can also be defined for mobile robots, where it becomes the control of the vehicles pose with respect to some landmarks.Since the first visual servoing systems were reported in the early 1980s, progress in visual control of robots has been fairly slow, but the last few years have seen a marked increase in published research. This has been fueled by personal computing power crossing the threshold that allows analysis of scenes at a sufficient rate to servo a robot manipulator. Prior to this, researchers required specialized and expensive pipelined pixel processing hardware. Applications that have been proposed or prototyped span manufacturing (grasping objects on conveyor belts and part mating), tele operation, missile tracking cameras, and fruit picking, as well as robotic ping-pong, juggling, balancing, car steering, and even aircraft landing. A comprehensive review of the literature in this field, as well the history and applications reported to date, is given by Cork and includes a large bibliography.Visual seagoing is the fusion of results from many elemental areas including high-speed image processing, kinematics, dynamics, control theory, and real-time computing. It has much in common with research into active vision and structure from motion, but is quite different from the often described use of vision in hierarchical task-level robot control systems. Many of the control and vision problems are similar to those encountered by active vision researchers who are building robotic heads. However the task in visual servoing is to control a robot to manipulate its environment using vision as opposed to just observing the environment.Given the current interest in visual servoing it seems both appropriate and timely to provide a tutorial introduction to this topic. Our aim is to assist others in creating visually servoed systems by providing a consistent terminology and nomenclature, and an appreciation of possible applications. is always to present those ideas and techniques that we have found to function well in practice and that have some generic applicability. Another difficulty is the current rapid growth in the vision-based motion control literature, which contains solutions and promising approaches to many of the theoretical and technical problems involved. Again we have presented what we consider to be the most fundamental concepts, and again refer the reader to the bibliography.The remainder of this article is structured as follows. Section II reviews the relevant fundamentals of coordinate transformations, pose representation, and image formation. In Section III, we present a taxonomy of visual servo control systems. The two major classes of systems, position-based visual servo systems and image-based visual servo systems, are then discussed in Sections IV and V respectively. Since any visual servo system must be capable of tracking image features in a sequence of images. Section VI describes some approaches to visual tracking that have found wide applicability and can be implemented using a minimum of special-purpose hardware. Finally, Section VII presents a number of observations regarding the current directions of the research field of visual servo control.In this paper, the task space of the robot, represented by T. is the set of positions and orientations that the robot tool can attain. Since the task space is merely the configuration space of the robot tool, the task space is a smooth m-manifold. If the tool is a single rigid body moving arbitrarily in a three-dimensional workspace, then T=SE3=R3*SO3 ，and m = 6. In some applications, the task space may be restricted to a subspace of SE3. For example, for pick and place, we may consider pure translations. while for tracking an object and keeping it in view we might consider only rotations.To control the robot using information provided by a computer vision system, it is necessary to understand the geometric aspects of the imaging process. Each camera contains a lens that forms a 2D projection of the scene on the image plane where the sensor is located. This projection causes direct depth information to be lost so that each point on the image plane corresponds to a ray in 3D space. Therefore, some additional information is needed to determine the 3D coordinates corresponding to an image plane point. This information may come from multiple cameras, multiple views with a single camera, or knowledge of the geometric relationship between several feature points on the target. In this section, we describe three projection models that have been widely used to model the image formation process: perspective projection, scaled orthographic projection, and affine projection. Although we briefly describe each of these projection models, throughout the remainder of the tutorial we will assume the use of perspective projection.In the computer vision literature, an image feature is any structural feature than can be extracted from an image. Typically, an image feature will correspond to the projection of a physical feature of some object onto the camera image plane. A good feature point is one that can be located unambiguously in different views of the scene, such as a hole in a gasket or a contrived pattern. We define an image feature parameter to be any real-valued quantity that can be calculated from one or more image features.2 Some of the feature parameters that have been used for visual servo control include the image plane coordinates of points in the image, the distance between two points in the image plane and the orientation of the line connecting those two points, perceived edge length, the area of a projected surface and the relative areas of two projected surfaces, the centroid and higher order moments of a projected surface , the parameters of lines in the image plane , and the parameters of an ellipse in the image plane . In this tutorial we will restrict our attention to point features whose parameters are their image plane coordinates.视觉伺服控制教程本文提供了一个教程，介绍了机械手的视觉伺服控制。由于该专题跨越许多学科，而我们的目标是有限的，所以仅提供一个基本的概念框架。我们首先从机器人和计算机视觉的先决条件主题开始回顾，包括简要回顾坐标变换，速度表示和形象形成过程的几何方面的描述。然后，我们提出视觉伺服控制系统的分类。有基于位置和基于图像这两种主要类别的系统，之后再详细讨论。因为任何视觉伺服系统必须能够跟踪一个图像序列的图像特征，我们还包括了基于功能的和基于相关性的方法来进行跟踪的概述。最后总结了一些关于视觉伺服控制目前研究领域发展方向观察的教程。如今在环境适宜工厂中，机器人的数量在不断则加。但机器人在工作环境和对象放置不能被精确控制的实际应用中所起到的作用就要少得多。这些限制主要是由于现代的商业机器人系统缺乏感官能力这一固有缺陷。人们早已认识到，传感器的集成可以根本的提高机器人的通用性和扩展其应用领域，但迄今为止，都没有证明在批量的机器人制造中有高性价比。机器人技术的“前沿”，它运作在当今世界，并为这项研究注入新的动力。视觉传感器是一个很有用的机器人传感器，因为它模仿了人类的视觉，并允许对环境的非接触式测量。由于白井和井上的早期工作（描述了如何将视觉反馈回路可用于纠正机器人的位置，以提高工作精度），一直致力于机器人的视觉控制并且做了相当大的努力。有完全集成的视觉系统的机器人控制器，现在已经遍及众多销售商。通常情况下视觉传感和操作以开环方式相结合，先“找”，然后“移动”。所得到的操作的精确度直接依赖于视觉传感器和机器人末端执行器的精确度。另一种提高这些子系统的准确性是使用一个视觉反馈控制回路，这会增加系统的整体精度在大多数应用中较为关注。取到了极致，机器视觉可以为机器人的末端执行器 这被称为视觉伺服，提供闭环位置控制。这个词似乎先由山和公园于1979年提出，在引入这个词前，视觉反馈普遍使用。对于本文的目的，视觉伺服的任务是用视觉信息来控制机器人的末端执行器相对于目标对象或一组目标特征的相对姿势。该任务也可以被定义为移动机器人，它为了车辆的姿势对于一些标志的控制。视觉伺服系统第一次被提出于上世纪80年代初，机器人视觉控制的进展一直相当缓慢，但近几年已经能够看到发表的研究报告显着增加。这已得益于个人计算功率超过允许场景分析以达到足够的速率来“伺服”一个机械臂的阈值。在此之前，研究人员需要专业并且昂贵的流水线像素处理的硬件。现在已经提出例如原型设计跨度制造业（把握上传送带和部分配对对象），远程操作，导弹跟踪摄像机和水果采摘，以及机器人乒乓球，杂耍，平衡，汽车转向器，甚至飞机降落等应用。在这一领域全面的文献整理，以及历史和迄今报告的应用程序，是由科克发出，并包括大量书目。视觉海域航行技术是许多元素领域结合的成果，包括高速图像处理，运动学，动力学，控制理论，以及实时计算。它与主动视觉和运动结构的研究有很多相似之处，但是与通常所描述和使用的，任务分层机器人控制系统还是有很大区别的。许多控制和视觉问题与那些建立“机器人头”主动视觉的研究人员所遇到的是相似的。然而，视觉伺服的任务是操纵机器人控制周围的环境，而不仅仅是观察周围的环境。鉴于视觉伺服当前的利益，似乎要适时且适度的提一个来教程介绍这个话题。我们的目标是通过提供一种统一的术语和命名，协助他人创造视觉伺服系统，以及可能的应用升值。为协助新人，我们将介绍其中简单的视觉硬件（只是一个数字转换器），可自由查看的视觉软件，并做出关于机器人及其控制系统的一些假设的技术。这足以开展许多不要求较高性能的视觉与/或控制的应用。写这样一篇文章的一个困难是，话题跨越许多学科，无法在一篇文章中得到充分的解决。例如，相关的控制问题是根本上非线性的，还有视觉识别，跟踪和重构都有其各自的领域。因此，我们集中于各学科的一些基本方面，并提供了大量的参考书目，帮助想要了解更多细节的读者们。我们更倾向于提出那些已经发现的，在实践中运作良好，并具有一些通用的适用性的想法和技术。另一个困难是基于视觉的运动控制方面的文献当前增加的速度非常快，其中包含许多理论和技术问题的解决方案和有前途的方法。再次，我们已经提出了我们认为是最基础概念，并再次建议读者参考文献。本文其余部分的结构如下。第二节回顾的相关基本坐标变换，姿势表示和成像。在第三节中，我们提出了视觉伺服控制系统的分类。基于位置的视觉伺服系统和基于图像的视觉伺服控制系统两大类系统，然后在第四和第五节分别讨论。任何视觉伺服系统必须能够跟踪在一个图像序列的图像特性。第六节描述了一些对视觉跟踪已发现适用性广，可以使用最少的专用硬件来实现。最后，第七部分提出了关于视觉伺服控制的研究领域的当前方向的若干意见。在本节中，我们提出了与视觉伺服控制相关的从机器人和计算机视觉的一些话题非常简要的概述。我们首先定义表示坐标变换和刚性物体在工作空间移动的速度所需要的术语和符号。在此之后，我们简要讨论与图像形成相关的几个问题，并可能相机/机器人配置。熟悉这些内容的读者不妨直接进入第三节。在本文中，所述机器人的工作空间中, 由T表示的是一组机器人工具能够达到的位置和方向。由于任务空间仅仅是机器人工具的配置空间，任务空间是一个平滑米歧管。如果工具是一个单一的刚体在三维工作空间中任意地移动，如果工具是一个单一的刚体在三维工作空间中任意地移动，则T=SE3=R3*SO3，且m=6。 在一些应用中，工作空间可以被限制为SE3的一个子空间。例如，对于取放，我们可能会考虑直接翻译，而用于跟踪对象，并保持它在视图中，我们可以只考虑旋转。来控制使用由计算机视觉系统提供的信息的机器人，有必要了解在成像过程的几何方面。每个照相机包含一个透镜构成所述场景的2D投影到图像平面中，传感器的位置。这个突起造成直接的深度信息被丢失，使得在图像平面上的每个点对应于在三维空间中的射线。因此，一些额外的信息是需要确定的三维坐标心病应对图像平面点。此信息可能来自多个摄像机，带有单个相机的多个视图，或对目标几个特征点之间的几何关系的知识。在本节中，我们描述三个投影模型已被广泛使用的图像形成过程进行建模：透视投影，按比例缩放的正交投影，仿射投影。虽然我们简要介绍一下这些预测模型，在整个教程的其余部分，我们将假定使用透视投影。在计算机视觉文献，图像特征比可以从图像中提取的任何结构特征。通常，图像特征将对应的某个对象的物理特性上的投影在摄像机图像平面。一个好的特征点是一个可以明确地在场景的不同视图定位，如孔垫圈或做作的模式。我们定义的图像特征参数，是可以从一个或多个图像来计算一些已用于视觉伺服控制的特征参数包括点的像平面坐标上的图象中，在图像平面以及连接这两个点线的方向的两点之间的距离，知觉边缘长度，投影表面的面积和两个凸出的表面中，质心和更高阶的投影表面的矩的相对面积中，在图像平面上线的参数，而在椭圆的参数像面。在本教程中，我们将限制我们的注意，它的参数是他们的像平面坐标点的功能。9西北工业大学明德学院本科毕业设计论文本科毕业设计论文题 目 _视觉伺服技术研究_专业名称 自动化 学生姓名 魏荧鑫 指导教师 邢超 毕业时间 2014年6月 设计论文 毕业 任务书一、题目视觉伺服技术研究二、指导思想和目的要求1、 利用已有的专业知识，培养学生解决实际工程问题的能力；2、 锻炼学生的科研工作能力和培养学生的团结合作攻关能力；三、主要技术指标1. 研究视觉伺服算法；2. 完成演示程序 四、进度和要求第01周-第02周：英文翻译；第03周-第04周：学习视觉伺服理论；第05周-第10周：设计实现视觉伺服算法；第11周-第16周：编写演示程序；第17周-第18周：撰写毕业设计论文，论文答辩；五、主要参考书及参考资料1 King D. Space Servicing: Past, Present and FutureC. Proc. of the 6thInternational Symposium on Artifical Intelligence, Robotics and Automation inSpace, 2001: 254-283.2 翟光，仇越，梁斌. 在轨捕获技术发展综述J. 机器人，2008，30(5)：467-480.3 Freund E, Rossmann J. Space Robot Commanding and Supervision by Means byProjective Virtual Reality: the ERA Experiences J. SPIE, 2001, 4195: 312-322.4 Qureshi F Z, Terzopoulos D, Jasiobedzki P. A Cognitive Vision System forSpace RoboticsJ. Applications of Computer Vision Workshop, 2004: 77-83.5 John E L. Model-based Telerobotics with VisionC. IEEE Int. Conf. Roboticsand Automation, 1997: 1297-1304.6 Watanabe Y, Araki K, Nakamura Y. Microgravity Experiments for a VisualFeedback Control of a Space Robot Capturing a TargetJ. Proceedings of the1998 IEEWRSJ Intl. Conference on Inelligent Robots and Systems, 1998: 1893-1900.7 Wiehman W. Use of Optical Feedback in the Computer Control of an ArmJ.Stanford AI Project, 1967: 33-43.8 Inoue Y, Shirai H. Guiding a Robot by Visual Feedback in Assembling TasksJ.Pattern Recognition, 1973, 5: 99-108.9 Rosen C. Maehine Intelligence Research Applied to Industrial Automation R.Technical report SRI International, 1976: 1200-1205.10Pack J, Hill W. Real Time Control of a Robot with a Mobile CameraJ. ISIR，Washington.DC, 1979: 233-246.11Prajoux R E. Visual TrackingC. Maehine intelligence research applied toindustrial automation SRI International, 1979: 17-37.12Coulon P Y, Nougaret M. Use of a TV Camera System In Closed-loop PositionControl of MechanismsM. International Trends in Manufactuning Teehnology.ROBOT VISION. IFS Publication, 1983: 117-127.13Weiss L. Dynamic Visual Servo Control of Robots:An Adaptive Image-basedApproaehC. IEEE Int. Conf. Robotics and Automation, 1984: 662-668.14林靖，陈辉堂，王月娟. 机器人视觉伺服系统的研究J. 控制理论与应用，2000，17(4)：476-481.15钟金明，刚徐，张海波. 机器人视觉伺服系统的研究与发展J. 现代制造工程，2005(8)：7-10.16沈晓晶，潘俊民. 机器人视觉伺服系统控制结构的研究J. 工业仪表与自动化装置，2002(4)：9-12.17刘涵. 基于位置的机器人视觉伺服控制的研究D. 西安理工大学，2003：5-9.学生 魏荧鑫 指导教师 邢超 系主任 史仪凯 摘 要机器人视觉赋予机器人系统以人类视觉功能，并感知外部世界，有效解决人类所能解决的问题，是智能机器人系统的关键技术，也是机器人科学研究中面临的巨大挑战之一。由于视觉传感器可非接触方式、大信息量采集环境信息，机器人视觉的发展和研究不仅大大推进了机器人系统的智能性，也拓宽了机器人智能传感和控制系统的研究范围和应用领域。目前，机器人视觉伺服系统根据视觉反馈信号表示的是3D空间坐标值或是图像特征值而分为基于位置的(position-based)和基于图像的(image-based)视觉闭环反馈两种方式。基于位置的控制方式根据已知的目标几何模型和摄像机模型来估计目标相对于摄像机的位姿，其主要缺陷在于控制精度依赖于摄像机的标定精度，而标定精度又受环境的制约。基于图像的控制方式误差信号直接用图像特征来定义，直接利用图像特征进行视觉信息反馈伺服控制。该方法可以减少计算延时，并且对摄像机和机械臂的校准误差和目标模裂误差具有较强的鲁棒性。其主要缺点有两点：1)为了求得图像特征参数的变化同机器人位姿变化的关系，图像的视觉伺服方法必需计算图像雅可比矩阵J(Image Jacobian Matrix)及其逆矩阵。但是，图像雅可比矩阵通常与机械手到图像平面的垂直距离(也称为深度)有关，对于单目视觉伺服系统，深度信息的精确估计是比较困难的。许多文献采用固定雅克比矩阵的方法实现机器人视觉伺服，但是这种方法只能在局部任务空间有效。2)跟踪过程中图像雅克比矩阵可能存在奇异性问题，导致系统不稳定。针对基于图像的机器人视觉伺服控制算法的研究，首先研究了基于目标物体点特征、复杂图像特征的视觉伺服控制算法图像雅可比矩阵J，的计算方法；接着，建立了本文机器人视觉系统平台上，基于图像的机器人视觉伺服控制算法模型，实现了基于复杂图像特征的机器人视觉伺服控制算法仿真实验，并以实验验证了算法的有效性，为结构环境中的目标物体位姿跟踪找到了一种基于图像的机器人视觉伺服控制算法解决途径。针对基于图像的机器人视觉伺服控制算法中图像特征组选择的重要性，研究了基于全局图像性能指标GPI的图像特征组性能评价标准和选择方法，摆脱了以往图像特征组选择的主观性，提供了一种有效且可行的判断依据。文中还推导了全局图像性能指标理论计算方法；针对全局图像性能指标理论计算复杂性，作者还研究了一种简单、实用的估算方法。最后，以仿真实验验证了本文研究的主要内容。关键词：机器人视觉，视觉伺服控制方法，图像雅可比矩阵，图像特征性能评价ABSTRACTRobot vision，which gives robot system functions of perceiving world outside as human vision and makes the robot system solve problems effectively like human being，is the key technology of intelligent robot system and one of great challenges to robot researchAs vision sensors can get mass information of outside through untouchable way ,researching and developing of robot vision system will not only improve the intelligence of robot system，but also extend the study and application field of robot intelligent sensor and control systemOne major classification of robot visual servoing system distinguishes positionbased control form imagebased control based on the error signal is defined in 3D coordinates or directly in terms of image featuresIn positionbased control，features are extracted from image and used in conjunction with a geometric model of the target and the know camera model to estimate the pose of the target with respect to tile camera The primary disadvantage of positionbased control is that it is often highly calibration dependent The impact of calibration dependency often depends on the situation In image。based servoing，control values are computed on the basis of image features(F)directlythe imagebased approach may reduce computational delay ,eliminate the necessity for image interpretation and eliminate errors due to sensor modeling and camera calibration However ,there are two main disadvantages to imagebased visual serving：1)It is necessary to relate differential changes in the image feature parameters to differential changes in position of the manipulatorSo it is necessary to compute inverse feature Jacobian(J)However ,the feature Jacobian is the function of the distance from the camera focal center to the point being imagedFor an eyeinhand system，determining the distance is very difficult Many reports are based on using a constant image Jacobian ，which is computationally efficient，but valid only over a small region of the task space2)The disadvantage is presence of singularities in the feature mapping function ,which reflect themselves as unstable points in the inverse Jacobian control law.On researching of image based robot visual servoing，firstly , the calculation of Image Jacobean Matrix Ji based 0n simple image features and complex features are proposed independentlyImage based robot visual servoing algorithm in textual robot vision system，which realizes visual tracking experiment system based on robot visual servoing on complex image featuresis presentedAnd efficiency of the algorithm is proved by experimentsAs for the importance of image features selection in image based robot visual servoing system，an estimation standard and selection method of image features based on global image performance index is presented，which provides US a efficient and feasible way for subjectivity of image features selectionMoreover , the theory calculation method of global performance index is proposed；and for heavy calculation of global performance index in theory way ,a simple and applied estimate method of GPI is presentedAt last，effectiveness of image features selection method is proved by experimentsKEY WORDS：robot vision ，robot visual servoing ，image jacobean matrix , image performance estimation目 录第一章 绪论- 1 -1.1课题研究背景及意义- 1 -1.2机器人视觉伺服系统- 1 -1.2.1 机器人视觉伺服研究进展- 1 -1.2.2 机器人视觉控制系统分类- 3 -1.2.3视觉伺服在主要领域的应用- 5 -第二章 视觉伺服中的图像处理与相机模型- 7 -2.1引言- 7 -2.2 光标设计- 7 -2.3图像滤波- 8 -2.4图像分割- 9 -2.5形态学运算- 10 -2.6图像特征的提取- 10 -2.6.1 重心法- 10 -2.6.2 特征提取举例- 11 -2.7摄像机模型- 12 -2.7.1 针孔模型- 12 -2.7.2摄像机的相机内外参数- 13 -2.7.3 坐标变换- 15 -2.8 本章小结- 16 -第三章 基于图像的视觉伺服控制方法研究- 17 -3.1引言- 17 -3.2基本坐标定义- 17 -3.3机器人运动学基本方程- 18 -3.4图像雅可比矩阵- 20 -3.5视觉伺服算法流程- 22 -3.5.1 算法流程- 22 -3.5.2 末端速度规划- 23 -3.5.3 关节运动轨迹规划- 24 -3.5.4 关节控制- 25 -3.6 本章小结- 25 -第四章 图像反馈机器人伺服系统仿真- 26 -4.1基于图像的机器人视觉伺服- 26 -4.2机器人参数- 28 -4.3仿真实验- 30 -4.4 Labview实例仿真- 30 -总 结- 32 -致 谢- 33 -参考文献- 34 -毕业设计小结- 36 -第一章 绪论1.1课题研究背景及意义制造能够替代人力劳动的机器一直是人类的梦想。但目前即使是世界上智能程度最高的机器人，对外部环境变化的适应能力也非常有限，距人们预想的还有很大距离，这极大地影响了机器人的推广使用。其中的一个重要原因就是机器人缺乏像人一样的感知能力。为解决这一问题，学者们开始为机器人添加各种外部传感器，其中比较重要的一种就是视觉传感器。在现代工业自动化生产过程中，机器视觉正成为一种提高生产效率和保证产品质量的关键技术，如机械零件的自动检测、智能机器人控制及生产线的自动监控等。在国防和航天等领域，机器视觉也具有相当重要的应用意义，如运动目标的自动跟踪与识别、自控战车导航、登月舱的自动着陆以及空间机器人的视觉控制等。但在机器人视觉领域中，大部分研究仍建立在解析式描述的基础上，并以满足某些特定任务为目标，因而在实际中的应用十分有限。如何使机器人具有类似人类视觉的能力，是一个需要长期研究的问题。1.2机器人视觉伺服系统1.2.1 机器人视觉伺服研究进展机器视觉是随着60年代末计算机与电子技术的快速发展而出现的。把视觉信息用于机械手定位的研究可以追溯到70年代。当时出现了一些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检次等。80年代后期，出现了专门的图像处理硬件，人们开始系统地研究机器人视觉控制系统。到了90年代，随着计算机能力的增强和价格下降，以及图像处理硬件和CCD摄像机的快速发展，机器视觉系统吸引了众多研究人员的注意。在过去的几年里，机器人视觉控制无论是在理论上还是在应用方面都有很大进步。最早基于视觉的机器人系统,采用的是静态look and move形式。即先由视觉系统采集图像并进行相应处理，然后通过计算估计目标的位置来控制机器人运动，这种操作精度直接与视觉传感器、机械手及控制器的性能有关1。这使得机器人很难跟踪运动物体。到80年代，计算机及图像处理硬件得到发展，使得视觉信息可用于连续反馈，于是人们提出了基于视觉的伺服（visual servoing）控制形式。这种方式可以克服模型（包括机器人、视觉系统、环境）中存在的不确定性，提高视觉定位或跟踪的精度。在国内，起初关于机器视觉的研究多侧重于视觉检验、视觉导引及智能控制、移动机器人视觉导航等方面的研究。视觉检验，即替代人目检验用机器视觉系统进行产品的检验，它是机器视觉应用最成熟和广泛的领域，主要检测内容有：产品完备性检验，形状检验和缺陷检验等。由于视觉检验是一种非接触式的自动检验方法，比人工检验的精度高、速度快、可靠性高，因此在微电子工业中的IC芯片检验、印刷电路板的检验、汽车工业中零件的检验，以及食品、药品标记的检验等等方面有着广泛的应用。直到80年代末，机器人视觉伺服控制算法才引起国内机器人学者的关注和研究，首先进行研究单位是中国科学院沈阳自动化研究所，主要开展了基于移动机器人视觉导航技术的实验研究，移动机器人视觉导航即利用视觉系统为移动机器人(包括室内、室外、空间和水下的各种移动载体)提供外部环境的三维信息，使机器人能自主地规划其行驶路线，回避障碍物，安全到达目的地，并完成相应的作业任务。在基于移动机器人视觉导航技术研究中，视觉伺服控制算法已逐渐发展成为机器人基于任务研究的一个重要研究内容。进入90年代后，机器人视觉伺服控制算法在机器人视觉引导和控制应用方向的研究已逐渐成为机器人研究领域中具有较高应用价值和挑战性的一个热点课题，可应用于：1)机器人装配、搬运和分类，此时视觉系统的任务是对一组零件中的每一个进行辨识，并确定其在二维或三维空间的位置和方向，引导机器人的末端执行器的夹具准确的抓取所需的零件，并放置到指定的位置，完成相应的分类、搬运和装配任务。这些零件可能是放在静止的工作台上，也可能放在运动的传送带上，更复杂的情况是随意堆放在料箱中。此时零件的位置、方向是随意的，且可能有互相重叠和遮挡的情况：2)机器人自适应控制2此时视觉系统是机器人反馈控制环中的感知元件。如弧焊机器人利用视觉系统实时检测焊缝的位置和方向，控制焊枪跟踪焊缝的移动，此时的跟踪包括焊枪的姿态和移动轨迹：而且根据视觉系统检测出焊缝的宽度、深度以及熔池的其他参数，实时调整焊枪的移动速度、距离以及电流大小，实现机器人基于视觉误差反馈的自适应控制综上所述，机器人视觉伺服控制方法在过去三十多年里已得到了国内外众多机器人研究学者极大兴趣和关注，目前，机器人视觉伺服控制算法的研究己成为机器人基于任务方向的一个研究热点。尤其随着计算机图像采集、处理技术、机器人控制和人工智能等技术的发展，机器人视觉伺服控制算法的研究必将获得更大地推进。而且，机器人视觉伺服控制算法在未来的需求和前景如此紧迫，也必将促使人们对视觉伺服控制方法研究的热情。1.2.2 机器人视觉控制系统分类可以从不同的角度,如反馈信息类型、控制结构和图像处理时间等方面对vision-based机器人控制系统进行分类。从反馈信息类型的角度，机器人视觉系统可分为基于位置（position-based）的视觉控制和基于图像（image-based）的视觉控制。前者的反馈偏差在3D空间进行计算,后者的反馈偏差在2D图像平面空间进行计算。按照摄像机的数目的不同,可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视觉无法直接得到目标的三维信息,一般通过移动获得深度信息。单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境。多目视觉伺服可以观察到目标的不同部分,可以得到更为丰富的信息,但视觉控制器的设计比较复杂,且相于双目视觉伺服更加难以保证系统的稳定性。双目视觉可以得到深度信息,当前的视觉伺服系统主要采用双目视觉。按照摄像机放置位置的不同,可以分为手眼系统和固定摄像机系统。手眼系统能得到目标的精确位置,可以实现精确控制,但只能得到小的工作空间场景,无法观察到机器人末端,因此需要通过已知的机器人运动学模型来求解目标与机器人末端的位置关系,对标定误差以及运动学误差比较敏感。固定放置的摄像机既可以观察到目标也可以观察到机器人末端,并且可以得到大的工作空间场景,能得到机器人末端相对于目标的相对速度,但无法得到目标的准确信息,且机器人运动可能造成目标图像的遮挡。为了克服两种摄像机放置位置的不足,当前的一种解决方法是两种方式的协作使用。按照机器人的空间位置或图像特征,视觉伺服系统分为两类:基于位置的控制系统(position 2 based control,又称3D视觉伺服,3D visual servoing,图1-1),基于图像的控制系统(image 2 basecontrol,或称2D视觉服,2D visual servoing，图1-2)。基于位置的误差信号定义在三维笛卡儿空间3,而基于图像的误差信号定义在二维图像空间。基于图像的视觉伺服直接计算图像误差,产生相应的控制信号,不需要三维重建,但需要计算图像雅可比矩阵。基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感,缺点是设计控制器困难,伺服过程中容易进入图像雅可比矩阵的奇异点,一般需要估计目标的深度信息,而且只在目标位置附近的邻域范围内收敛.求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务。图1-1 基于位置的机器人视觉伺服系统图1-2 基于图像的机器人视觉伺服系统从控制结构的角度，可分为开环控制系统和闭环控制系统。开环控制的视觉信息只用来确定运动前的目标位姿，系统不要求昂贵的实时硬件，但要求事先对摄像机及机器人进行精确标定。闭环控制的视觉信息用作反馈，这种情况下能抵抗摄像机与机器人的标定误差，但要求快速视觉处理硬件。1.2.3视觉伺服在主要领域的应用机器人视觉伺服控制主要应用于三大领域:第一是用带有视觉的机器人进行产品检验,代替人的目检。包括:形状检验、检查和测量零件的几何尺寸、形状和位置、缺陷检验、检查零件是否损坏,划伤;第二是在机器人进行装配、搬运,焊接等工作时,用视觉系统对需加工的零、部件进行识别,并确定它在空间的位置和方向,引导机器人的手准确地定位在所需加工的零件上,完成焊接、分类、搬运和装配任务;第三是为移动机器人进行导航。利用视觉系统为移动机器人提供它所在环境的外部信息,使机器人能自主地规划它的行进路线,回避障碍物,安全到达目的地,完成指令。在国外,机器人视觉的应用普及主要体现在半导体及电子行业,其中大概40%都集中在半导体行业。具体如PCB印刷电路生产中、丝网印刷设备中等。机器人视觉伺服控制系统还在质量检测的各个方面得到广泛的应用。在我国,机器人视觉产品、技术的开发及应用还较慢,并且多是一些低端方面的应用。目前在我国随着配套设施的完善,技术、资金的积累,各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始出现,国内有关大专院校、研究所和企业近两年在图像和视觉技术领域进行了积极探索和大胆的尝试,逐步开始了工业现场的应用。这些应用现在主要集中于制药、药品检测分装,印刷、印刷色彩检测,矿泉水瓶盖监测等领域。在其它相关产业中的应用空间也很大,有着良好的发展趋势。而在工业生产中,采用工业电视摄像机和其他传感器,应用计算机视觉系统直接进行反馈控制是机器人定位精度控制的一种方法。在日本、欧美等国,机器人视觉反馈控制的研究已取得了较快的发展。如:日本日立造船公司研制的由视觉传感器组成的电弧焊接机器人实时控制系统。美国研制的视觉制导机器人系统,它利用摄像机检测到输送带上的物体后,计算机通过输入图像处理计算出物体的位置和方位,控制机器人抓取物体。在焊接工业生产中,机器人视觉伺服应用的比较多。以弧焊接机器人为例,它的视觉系统由上位控制计算机、摄像机和激光器组成。视觉控制利用视觉信息控制机器人的运动,调整激光束和焊枪的位置。图像采集模块对摄像机的图像进行严格的同步采集,进行焊缝识别,判定是否焊缝,检测焊缝的起点、终点,并进行焊缝特征点的图像坐标求取。同时读取机器人的当前位置。读取机器人的位置后,经过在线路径规划获得机器人下一运动周期的位置。视觉控制用于焊接(弧焊)机器人的原因:目前大多数弧焊机器人都使用示教再现方式,在焊接过程中,如果焊接条件基本稳定,这种机器人可以在其工作空间内精确完成示教操作,并能保证焊接质量。但在影响焊接质量的多种因素的作用下,实际焊接条件经常发生变化,如加工装配误差,焊接过程中的热及残余应力引起的变形等因素,均会造成焊接位置和尺寸的变化。因此要求焊接机器人能够实时检测到焊接条件的变化,随时调整焊接参数和焊接路径并保证焊接质量,提高焊接过程的可靠性。视觉控制用于焊接机器人的优点：(1)不需要事先示教,摆脱了耗时、枯燥的现场编程工作,提高了生产效率。控制方式灵活,因势而变。焊枪直接沿着传感器测得的接头向前运动,其运动轨迹也完全由计算机控制。(3)能实时检测出焊接条件的变化,调整焊接路径和焊接参数,保证焊接质量的可靠性。(4)更先进的离线编程方式,不仅以图形方式对模型机器人进行示教编程,也可以优化机器人的运动以节省运行时间,避免机器人与环境发生碰撞。视觉控制用于焊接机器人的方式：(1)修正方式。修正方式下焊枪的实际轨迹是示教运动和修正运动的合成。自主方式。比采用修正方式的控制灵活。第二章 视觉伺服中的图像处理与相机模型2.1引言摄相机拍摄到的图像是灰度图像，通过图像采集卡保存到计算机的内存中。图像处理就是通过各种图像处理的方法对原始的数字灰度图像进行处理，最终得到光标在图像坐标系中的精确的图像坐标，单位为象素。在此基础上，进一步运用标定和测量算法得到精确的视觉信息，作为机器人视觉伺服的输入。因此，数字图像处理是视觉伺服中非常关键的一步。而对于合作目标的抓捕，合适的特征光标能有效提高特征提取的精度与速度。本章所涉及的图像处理主要包括以下几个步骤：图像滤波，图像分割，形态学运算以及光标图像坐标的提取。另外摄像机模型也是视觉系统中不可或缺的一部分。2.2 光标设计本文所用的合作光标放在目标星手柄的两边，为了图像特征提取的方便，光标与背景的对比度较大，具体安放位置如图 2-1 所示。图2-1 合作光标上的特征光标合作目标上有左右两个特征光标板，分别给左右手眼相机测量所用。光标板上面均有7个直径为10mm 的圆形特征光标。手柄右边的光标板如图2-2，中间竖着的三个光标比左右两边光标高30mm，所有特征光标的圆心在手柄坐标系下的坐标是：光标1：138.000000,78. 000000,195. 000000；光标2：105.000000,78.000000,195.000000；光标3：72. 000000,78. 000000,195.000000；光标4：135. 000000,108. 000000,225.000000；光标5：75. 000000,108. 000000,225.000000；光标6：135. 000000,48. 000000,225.000000；光标7：75. 000000,48. 000000,225.000000。手柄左边的特征光标板由右边特征光标板沿着正方形中心点，即光标2的圆心顺时针旋转90 得到。图2-2 右边的特征光标板2.3图像滤波在数字图像的形成、传输记录过程中由于成像系统、传输介质和记录设备等的影响，往往会受到多种噪声的污染。噪声等干扰在图像中是或大或小的极值，它作用到图像上，会使图像的质量降低，进而影响后续图像处理工作的进行。所以对于数字图像，我们必须首先对图像进行滤波，去除其中的干扰，以保证在对图像进行图像复原、图像分割、图像特征提取和图像识别等后续工作时，能得到更好的处理效果。本文选择了的滤波方法是适应性强且简单的中值滤波方法来对图像进行滤波处理。中值滤波是由图基（Tukey）在1971年提出的抑制噪声的一种非线性处理方法4，它的原理是数字图像中的一个像素的值等于该点领域中各像素灰度值得中值，具体解释为，设有一个离散数列，先将其从小到大排列有a1a2 a3 ,L,an，则该数列的中值b为：b=meda1,a2,an=an+12 n为奇数时12an2+an-12 n为偶数时 (2-1)扩展到二维空间，我们可以设计不同形状的二维窗口，例如圆形，方形，十字形等，通过滑动滤波窗口，对窗口内的像素做大小排序，则输出结果即为窗口中像素值的中值。由上可以看出，中值滤波有计算简单、速度快的特点，但是不同的窗口和尺寸大小会得到不同的滤波效果，所以要根据不同的应用场所选择不同的窗口和尺寸。中值滤波相对其他滤波算法来说计算简单，易比较容易在程序实现，而且能较好地保护图像的边缘细节信息。一定程度上，中值滤波消除了多数线性滤波器在处理图像时使图像边界模糊的情况，能有效的滤除图像中的随机干扰。2.4图像分割图像分割是根据图像的灰度特征、纹理特征或者运动特征等将图像分割为若干个特定的、具有独特性质的区域的一门技术5。对于图像的不同用途，可以根据阈值、区域、边缘和特定理论等不同的条件去进行分割。其中区域分裂合并法和区域生长法是两种比较常见的基于的区域分割算法6。根据本文中要处理的图像的特点，选择的区域生长法这种基于区域的分割方法，它对于图像中均匀的连通目标能有较好的分割效果，相对其他分割方法来说计算简单。下面就区域生长方法简单介绍一下。把属性相似的像素集中到一个区域中是区域生长这一图像分割方法的特点。首先，确定一个种子象素点作为生长的起点，然后根据事先确定的生长准则判断种子像素邻域内的像素是否在预先设定额阈值内，如果是，则将此像素合并到一个区域之中。将所有符合种子像素规定的像素作为种子重复上述过程，直到图像中所有的符合生长准则的像素都包含在区域中，这样就完成了区域生长过程。区域生长方法的关键是选取合适的种子点，生长准则，生长条件，对于本文要处理的图像，种子点选取为图像中灰度值大于240，生长准则是相邻象素的灰度值小于10，终止条件是一直进行到再没有满足生长准则需要的像素时为止，对于符合上述区域生长条件的像素，将其灰度值置为255，否则置为0，具体采用此方法的实验见2.6.2。2.5形态学运算形态学7的基本运算被运用于图像处理之中，首先经过对图像的形态学处理可以用来提高图像的质量，其次用来描述图像中的面积，长度，连通度，颗粒度等各种几何参数和图像特征信息，形态学运算主要是通过在物体和结构元素8相互作用基础上的一些计算，来获取图像中最根本有用的信息。对于本文中要处理的图像，形态学运算是为了使图像中光标的边界变平滑，消除图像区域中的一些孔洞和图片背景中分布的一些小的噪声，使经过图像分割后二值图像的图像质量明显提升，为后续处理做准备。2.6图像特征的提取2.6.1 重心法本文使用的特征光标是圆形的，采用重心法来实现图像特征的提取，即通过计算平面物体的质心来计算特征光标圆心在图像坐标系中的坐标9，下面对该方法简单介绍如下：设一幅灰度图像有M N 个象素点，其中，每个象素点(x, y)的灰度值为 f (x, y)，则其质心(cx, cy)计算如下：cx=x=1My=1Nxf(x,y)x=1My=1Nf(x,y) (2-2）cy=x=1My=1Nyf(x,y)x=1My=1Nf(x,y) (2-3)对于本章中的特征光标的质心提取，经过图像分割即区域生长法处理后，对每个区域按顺序进行标号，再经过形态学运算处理，即可按上述公式计算每个区域的质心(cx, cy)坐标。2.6.2 特征提取举例由图2-2是虚拟相机拍摄的一副待处理图像，本文采用的特征光标是圆形光标，对于圆形光标来说，经过图像分割后，我们就能从中识别出光标点区域，并对其进行标记，再经过形态学开运算得到边缘光滑的圆，最后通过重心法即可计算7个特征光标圆心的u、v坐标如表2-1标号顺序从左到右，从上到下。图2-3 摄像机拍摄的待处理图像另外，我们通过对光标图像中每个光标实际像素个数的计算，通过上面重心法可得光标的u、v坐标实际值如表2-2所示，与通过特征提取得到的测量值相比最大相差0.02个像素，所以我们采用的特征提取方法是可行的。编号1234567U(像素)255.63179.36331.79255.65179.39331.83225.65V(像素)141.81155.63155.63228.18307.35307.34313.12表2-1 特征光标u、v 坐标测量值编号1234567U(像素)255.65179.38331.81255.64179.38331.85255.64V(像素)141.83155.63155.63228.17307.33307.33313.11表2-2 特征光标u、v 坐标实际值2.7摄像机模型通过从摄像机拍摄的图片中得到有用的图像信息，机器人视觉系统可以获得三维物体的位置、姿态、形状等这些我们需要的信息。由摄像机的几何模型，我们可以得到在图像上的某点与空间上相应点的相对几何位置关系。本文采用的摄像机模型是针孔模型。2.7.1 针孔模型本文采用的针孔模型如图 2-3 所示。图中，点O与X c ， Y c ， Z c 轴组成的直角坐标系称为摄相机坐标系，点O 也叫做摄相机的光心，点O1 与x，y 轴组成的坐标系为成像平面坐标系。OP 两点的连线与成像平面的交点p 称为P点在图像平面上的投影。模型中，相机坐标系的坐标轴与成像平面坐标系的坐标轴是平行的，且成像平面垂直与摄相机的焦距f = OO1 所在的直线。由于针孔模型在物理上相当于薄透镜成像，由此它是线性的，这是本章采用针孔模型的主要原因。图2-4 摄相机成像几何关系的线性模型知道空间中任一 P 点在世界坐标系中的坐标( X w, Y w, Zw,1) T 与在摄相机坐标系下的坐标为( X c, Y c, Zc,1)T ，两个坐标系之间的关系可用齐次矩阵M1 来表示，于是坐标( X w, Y w, Zw,1) T 与坐标( X c, Y c, Zc,1) T 的矩阵变换关系可用下式表示： XcYcZc1=RtOT1XWYWZW1=M1XWYWZW1 （2-4）式中，R=为正交矩阵，t=,0=(0,0,0)T, M 为44矩阵。假设cRw与wPc分别是相机坐标系到世界坐标系的旋转矩阵及(Xc,Yc ,Zc)坐标系下的原点O在(Xw,Yw,Zw)坐标系下的位置矢量，则空间中任意一点P在两个坐标系下坐标的变换关系为：cP=cRw(wP-wPc) (2-5)2.7.2摄像机的相机内外参数对于上述针孔模型，反映了空间中的一点到图像上对应点的坐标变换关系，两者之间的转换关系可由相机内外参数来描述，其中内参数是图像上一点到相机坐标系下一点的坐标变换，涵盖了相机光心、相机焦距等这些相机的基本属性；外部参数则是指摄像机相对于一个世界坐标系的位置和姿态。一幅灰度数字图像10在计算机中可用像素为MN的数组来表示，像素是图像中第M行N列的元素，它的数值称为灰度值。针孔模型中的图像坐标系与成像平面坐标系的关系如图2-5所示。其中，某一像素点在MN的数组中的行数与列数即可用图像坐标系u-v中的图像坐标(u,v)来表示，摄像机光轴与图像平面的交点O1在图像的正中间，在u，v坐标系中的坐标为(u0,v0)，但由于相机制造过程的不精确或者其他原因，也有可能不在正中间。成像平面坐标系由单位为毫米的直角坐标系x，y表示，每个象素点(u,v)在x，y方向上占有的实际尺寸分别用dx与dy表示，则可得成像平面坐标系与图像坐标系的关系如下：u=xdx+u0v=ydy+v0 (2-6)用矩阵表示，则可得两坐标系的关系如下：xy1=dx0-u0dx0dy-v0dy001uv1 (2-7)根据上节中针孔模型的几何比例关系可得如下公式：x=fXcZcy=fYcZc (2-8)u0001X(U0,V0)vy图2-5 图像坐标系示意图则根据式(2-6)和(2-8)可得u=fdxXcZc+u0=fuXcZc+u0v=fdyycZc+v0=fvycZc+v0 (2-9)式中：fu=fdxfv=fdy (2-10)用齐次坐标与矩阵表示式(2-9)可得：Zcxy1=f 0 0 0 0 f 0 00 0 1 0XcYcZc1 (2-11)由以上各式，我们可以得到P 点在世界坐标系下的坐标与在图像坐标系下的p点坐标(u，v)之间的关系为：Zcuv1=ax0u0 00ayv0 0001 0Rt0T1XWYWZW1=M1M2XW=MXW (2-12)其中，M 1即为摄像机的内参数矩阵，与相机内部结构相关的变量a x 、a y 、u 0 、v 0 有关；M2为摄相机外参矩阵，与相机坐标系相对于世界坐标系的位姿关系有关。2.7.3 坐标变换基于视觉的坐标关系如图2-6所示xoYOXyYOX图2-6 坐标系统模型各坐标系之间的变换关系如下：1.从图像坐标系xoy到图像中心坐标系xoy的变换图像中心坐标系统与图像坐标系之间的关系为：x=x-u0y=y-v0 (2-13)可表示为：xy1=10-u001-v0001xy1 (2-14)其中，u0,v0表示图像标定后图像中心位置在xoy坐标系中的位置2.图像中心坐标系向世界坐标系转换图像中心坐标系与世界坐标系统之间的变换有两类：旋转（角度）和平移（dx,dy）。令(x,y)、（Xw,Yw）分别表示一个点在图像中心坐标系和世界坐标系中的坐标，则它们满足如下关系：XwYw1=cossindx-sincosdy001xy1 (2-15)其中表示图像中心坐标系相对与世界坐标系之间的旋转角度，,(dx,dy)标准图像中心坐标系与世界坐标系之间的平移关系。由式2-13和式2-14我们可以得到图像坐标系和世界坐标系之间的转换关系：XwYw1=cossindx-sincosdy00110-u001-v0001xy1 =cosx-u0+siny-v0+dx-sinx-u0+cosy-v0+dx1 (2-16)2.8 本章小结本章首先设计了目标器上的特征光标，此特征光标是为了给机器人视觉伺服系统作图像信息的输入。接着为了能精确的获取个光标点的图像特征值，对图像进行处理，主要包括以下几个步骤：中值滤波，基于区域生长的图像分割，形态学开运算以及重心法计算图像上光标的坐标，采用上述方法在拍摄的光标图像上进行了实验。然后介绍了本系统将要用到的摄像机针孔模型，及摄像机的内外参数。这一系列准备都是为了给机器人视觉伺服控制的精确的图像信息输入，为后面的工作打好基础。第三章 基于图像的视觉伺服控制方法研究3.1引言空间机器人对目标的自主捕获是一项关键技术。本章将介绍利用基于图像特征误差的输入，实现对机器人的视觉伺服控制，最后抓住目标。我们从图像中只得到了光标点的图像坐标值，必须把实际与期望的图像差值输入转换到机械臂的关节控制中去，另外转换过程中，由于采用分解运动速度控制方法，可能会出现运动学奇异的情况，这是不允许的，为了关节速度的平滑连续性，必须有避奇异11的能力。另外，由于机器人处于自由漂浮状态时关节的运动也会使机器人基座跟着运动，必须考虑此时基座的位置与姿态的变化，当位姿变化超过设定阈值时，必须及时改变机器人的关节速度等。图像雅可比矩阵是基于图像的视觉伺服控制的关键，对于设计的合作目标上的测量光标必须分析其对图像雅可比矩阵的影响。3.2基本坐标定义一般的空间机器人如图 3-1所示，它是一个有着n 自由度的机械臂安放在作为其基座的卫星本体上面。图3-1 一般空间机器人的示意图在图中，各物理量的含义分别是：B i= i( 0,., n ) 表示刚体，其中B0是表示卫星本体，B i= i( 0,., n ) 是机械臂的连杆，它的质心是C i；各连杆之间的连接用包含一个转动自由度关节J i 来表示；整个机器人系统的质心和惯性系原点用OI和O g表示；定义系统中的惯性系、连杆质心坐标系、末端坐标系、待捕获目标上的手柄坐标系分别用 I 、 i 、 E 和 H 来表示，其中，i的Zi 正方向指向关节i 的旋转方向。3.3机器人运动学基本方程由图 2-3 可知，机械臂末端和各刚体质心的位置矢量为：pe=r0+b0+k=1nak+bk (3-1)式中 aiJi 指向Ci 位置矢量；biCi 指向Ji+1 的位置矢量；pe机械臂末端的位置矢量。ri=r0+b0+k=1i-1ak+bk+ai (3-2)riBi 质心的位置矢量。各杆件质心和系统质心的关系为：i=0nmiri=Mrg (3-3)式中 mmi 为Bi 的质量；MM=；rg系统质心的位置矢量。由式(3-1)和式(3-3)联合求解可得：r0=rg-m1+mnb0+a1M-mnbn-1+anM (3-4)将(3-4)带入(3-1)可得：pe=rg+m0b0M+m0a1M+m0+m1b1M+m0+mn-2M+m0+mn-1bn-1M+ m0+mn-1anM+bn(3-5)令bi=q=0imqMbi, i=0,n (3-6)ai=q=0imqMai, i=1,n (3-7)则(3-5)可写为：pe=rg+b0+i=1nai+bi=rg+b0+i=1nAiai+bi (3-8)设惯性坐标系位于系统质心，则可得：rg=0 (3-9)那么，(3-8)式变为： pe=b0+i=1nai+bi=b0+i=1nAiai+bi (3-10)由(3-10)可知，每一时间点基座本体的姿态和6个机械臂的关节角度决定了此时机械臂末端的位置和姿态。由于机器人基座本体处于自由漂浮的情况，根据其受非完整约束这一特点，本体的姿态与当前的关节角和与关节以前的运动情况有关，所以，自由漂浮的空间机器人末端位姿与当前的关节角及以前的运动情况均有关。将公式(3-1)和(3-2)对时间进行微分，得到机械手末端线速度ve各刚体质心线速度v i 和关节速度k 之间的关系：ve=pe=v0+0pe-r0+k=1nkkpe-pkk (3-11)vi=ri=v0+0ri-r0+k=1ikkrk-pkk (3-12)另一方面，末端角速度e 和各刚体质心的角速度i 可表示为e=0+k=1nkkk (3-13)i=0+k=1ikkk (3-14)将式(3-11)和(3-13)写成矩阵的形式，有vee=Jbv00+Jm (3-15)式中关节角速度向量，即 1,L , n；上述公式中，雅可比矩阵Jb 表示机器人末端速度与本体速度有关，雅可比矩阵m J m 表示机器人末端速度与各关节速度有关，这即为固定基座机器人的雅可比矩阵在惯性坐标系下的表示。所以，一般情况下的空间机器人的运动学公式表示为机器人基座 v0 ,w 0 T 和机械臂关节速度 的组合。其中，空间机器人与地面机器人运动学的主要区别体现在比地面基座固定的机器人多了一项代表机械臂基座运动的 v0 ,w 0 T。Jb=E-p0eOE=JbvJbR66,p0e=pe-r0 (3-16)其中Jbv 是雅可比矩阵中的乘以线速度的分量，J bw 是雅可比矩阵中的乘以角速度的分量。J m 既然表示固定基座的下的雅可比矩阵，那么它与地面基座固定的机器人的雅可比矩阵计算完全相同，可得：Jm=k1pe-p1knpe-pnk1 kn=JmvJmR6n (3-17)式(3-17)中， Jmv、J mw 分别为矩阵中乘以机器人线速度与角速度的分量。3.4图像雅可比矩阵图像雅可比矩阵(Image Jacobian Matrix)12反映了图像特征变化与机器人末端运动两者之间的关系。为了由期望图像特征与实际图像特征的误差来实现对机器人的控制，我们就必须计算图像雅可比矩阵。下面是图像雅可比矩阵的具体推导过程，对式(2-8)中的两边分别求导有： x=fXcZc-XcZcZc2=f1ZcXc-XcZc2Zc (3-18)x=fYcZc-YcZcZc2=f 1ZcYc-YcZc2Zc (3-19)由式(2-5)可推得 XcYcZc=cRw-wc(wPo-wPc)-wvc=-1000-ZcYc0-10Zc0-Xc00-1-Yc-Xc0vcc (3-20)式中，v c和c是相机在自身坐标系下的绝对线速度与角速度。由式(3-18)、(3-19)和(3-20)，可得：xy=-fZc0xZxyf-f2+x2fy0-fZcyZcf2+y2f-xyf-xvcc (3-21)另外，由式(2-6)可知u=xdx,v=ydy (3-22)所以uv=-fuZc0u-u0Zcu-u0v-v0Zc-fu2+u-u0fufuv-v0fv0-fvZcv-v0Zcfv2+v-v0fv-u-u0v-v0fu-fvu-u0fuvcc (3-23)因此，我们可以得到图像雅可比矩阵公式如下：Jimageu,v,Zc= -fuZc0u-u0Zcu-u0v-v0Zc-fu2+u-u0fufuv-v0fv0-fvZcv-v0Zcfv2+v-v0fv-u-u0v-v0fu-fvu-u0fu(3-24)当有n个特征点时，设图像特征向量为x = u1 v1 .un vn ，各点的深度信息为Z c = Z c1 Z c2 Z cn ，则由式(3-23)可得得到：=u1,v1,un,vnT=Jimage,Zcvcc (3-25)其中：Jimage,Zc=Jimageu1,v1,Zc1Jimageun,vn,ZcnR62n (3-26)式(3-26)即表示机械臂末端位姿变化13(相机与机械臂末端固连)与图像特征变化率之间的关系，对于6自由度机器人，Jimage (, Z c) 必须为大于等于66矩阵，所以特征光标点的个数不需大于三个。3.5视觉伺服算法流程3.5.1 算法流程基于图像的伺服控制是直接利用光标点得到当前特征值与期望特征值14的偏差，通过图像雅可比矩阵的计算，来规划机器人末端的运动，再将末端运动转换到机器人的关节运动中去。主要步骤有：计算图像特征点的u,v坐标、图像光标特征误差的计算、由图像雅可比矩阵计算机械臂末端运动线速度与角速度、计算关节的线速度和角速度、最后判别期望的关节角速度角加速度是否超限等，其主要流程如图3-2所示。图3-2 基于图像的伺服控制算法流程在这个控制流程中，首先用相机实时拍摄的图片中的图像光标特征 f 与期望的图像光标特征fd作差并取其绝对值，判断绝对值是否在所给的阈值范围 (如5个像素)之内来判断是否已经抓住目标，若是，则闭合手爪、捕获目标。不是则根据图像雅可比矩阵将图像特征偏差反映到机械臂末端运动中去。获得机械臂末端运动速度以后，即可通过速度级逆运动学公式来计算期望的关节角速度。得到期望的机械臂关节线速度与角速度以后，控制机器人，使其朝着目标运动，并到达能抓住目标的位置。最后，判断关节的角速度，角加速度是否超过允许容限，超过时，相应的降低机械臂的角速度，使基座的偏转在允许的范围以内。不断重复上述步骤直到机器人到达目标抓捕位置，即x f 5个像素。3.5.2 末端速度规划由公式(3-26)我们可得相机坐标系的线速度和角速度为：vcc=KJimage,Z-1=KJimage,Z-1(fd-f) (3-27)其中，K为增益矩阵，Dx为图像特征误差，由于本文用到了7个特征光标的特征矢量，所以 J image ( x, Z )不为方阵，必须求它的伪逆。其中，fd和f分别为特征光标期望特征矢量和实际测量特征矢量，即 fd=ud1,vd1,ud2,vd2,ud3,vd3,ud4,vd4,ud5,vd5,ud6,vd6,ud7,vd7T(3-28)f=u1,v1,u2,v2,u3,v3,u4,v4,u5,v5,u6,v6,u7,v7T (3-29)由公式(3-27)可得相机坐标系的速度，然后由相机与机器人末端的位姿关系也就是相机的外参矩阵，将相机坐标系速度转换为机器人末端的速度得：vee=Ac-AcrceOAcvcc+vhh (3-30)式中vh、h E 目标的运动速度，作为输入前馈；将式(3-27)代入(3-30)可得：veded=Ac-AcrceOAcKJimage,Z-1+vhh (3-31)式中vh、h E机械臂末端的期望线速度与角速度，下脚标中有d表示期望值，下同。AC，rce 分别为相机坐标系向对于机械臂末端坐标系的姿态变换矩阵和位置矢量。其中要注意增益矩阵K的选择，避免机械臂末端的运动速度过大，本系统中，增益矩阵设为单位阵，由此即可由光标的特征误差规划出机械臂末端的运动速度 ved和ed 。3.5.3 关节运动轨迹规划对于空间机器人对目标的抓捕，如果此时对空间机器人的位置，姿态采取喷气控制，使其基座位姿保持固定，瞬时的喷气对基座和机械臂末端的干扰很大，从而影响机械臂对目标的抓捕控制，不可取，所以抓捕目标时是机器人处于自由漂浮状态下的。为了实现对空间机器人各关节的控制，必须得到各关节的期望速度，由一般情况下空间机器人的运动学方程(3-15)可得：d=Jm-1veded-Jbv00 (3-32)由于在太空环境中，基座的速度是不容易测得的，所以上式并不实用。又根据自由漂浮情况下微分运动学公式，可得：d=Jg-1veded (3-33)但是上式对于空间机器人上来说，也不可取，首先Jg可能会出现奇异现象，由于处于自由漂浮情况下的空间机器人与地面基座固定的机器人的不同，把Jg奇异叫做动力学奇异。其次，由于广义雅可比矩阵15的计算相当大，而星上处理器的计算能力是有限的，所以除非高级任务，一般都不采用广义雅可比矩阵来计算。最后由于机械臂相对于航天器基座本体的质量来说很小，所以采用基座位姿固定的运动学公式vee=Jm来计算期望关节速度，得到：d=Jm-1()veded (3-34)式中，J-1m的计算简单，且只会出现运动学奇异，避奇异的处理采用基于阻尼倒数的奇异回避路径规划方法，另外由于相机的实时测量，每次都重新计算期望关节角速度，在计算中误差不会累计，所以采用上式来近似计算期望关节速度，可得期望关节角d，关节角加速度d如下：d=+dt (3-35)d=d-t (3-36)3.5.4 关节控制对机械臂关节的控制我们采用PD控制律，得到力矩的计算公式：i=kpidi-i+kdi(di-i) (3-37)根据上式即可计算机器人各关节的驱动力矩，然后输出给空间机器人动力学模块。通过以上规划，可以得到对空间机器人关节控制框图，如图3-4所示，输入图像特征误差f，通过计算图像雅可比矩阵，得到关节的控制力矩 t1 ,.tn，完成对机器人的控制。图3-3 空间机器人运动控制框图3.6 本章小结本章首先在一般空间机器人模型的基础上给出了在几种不同情况时空间机器人的运动学基本方程；其次推导了反映图像特征误差与机械臂末端速度关系的图像雅可比矩阵，在此基础上，提出了基于图像的视觉伺服控制算法，包括机械臂末端速度规划、关节运动速度规划、关节PD 控制等过程。第四章 图像反馈机器人伺服系统仿真4.1基于图像的机器人视觉伺服目前存在的基于图像的机器人视觉跟踪方法大部分是建立在图像雅可比矩阵的基础上的，其结构如图4-1所示。其中内环为关节伺服控制，通过关节位置反馈来实现机器人轨迹跟踪控制。在高性能伺服控制器作用下可将机器人控制系统近似为线性环节。外环为视觉控制器，以较低的采样速率完成关节角设定。双环结构将机器人非线性运动控制从视觉控制系统中分离出来，在视觉控制中可作为线性环节处理，简化了视觉控制器的设计过程。由于现有机器人大多都有接收笛卡尔速度给定或位置增量指令的接口，因此双环结构简单易行，被广泛采用。图4-1 基于图像的机器人视觉伺服系统基于图像雅可比矩阵的视觉控制方法只适用于摄像机和目标不同时运动的场合，主要包括：（1）眼固定构型视觉定位、跟踪问题。（2）眼在手上构型视觉定位问题16。本文中主要研究了前者。图像雅可比矩阵描述了机器人空间中的运动与图像特征空间中的运动之间的关系，可表示为：f=Jrr (4-1)其中，f是图像特征随时间的变化率，r是手爪位姿变化率，图像雅可比矩阵Jr可表示为Jr=f1r1f1rpfmr1fmrp (4-2)此外，由于机器人关节角速度q与手爪位姿变化率r之间具有雅可比矩阵关系r=Jq (4-3)其中，雅可比矩阵J可表示为J=r1q1r1qnrpq1fpqn (4-4)因此，图像特征变化率f与关节角速度q&之间也具有图像雅可比矩阵关系f=Jqq (4-5)其中，Jq=JrJ，即：Jr=f1q1f1qnfmq1fmqn (4-6)式（4-2）和（4-6）是图像雅可比矩阵的两种表示形式，构成了基于图像反馈的视觉跟踪研究的基础。由以上分析可见，基于图像雅可比矩阵的机器人视觉伺服方法的步骤为(1) 估计图像雅可比矩阵初始值；(2) 实时地迭代更新图像雅可比矩阵。假定当前图像特征矢量为fc，下一采样时刻期望的图像特征矢量为fg，定义图像特征误差为：f=fg-fc。根据当前的图像雅可比矩阵Jr可计算手爪位姿的改变r=Jr-1f (4-7)由于图像雅可比矩阵Jr仅在r的邻域内有效，故f应足够小。为了能动态地估计图像雅可比矩阵Jr，连续记录各时刻图像特征矢量fj和手爪位姿rj（j表示采样时刻），并分别计算出一阶差分矢量：dfj=fj-fj-1,drj=rj-rj-1。为了确保得到唯一的图像特征矢量，图像特征空间维数应该大于或等于位姿空间维数（pm）。进一步构造n个图像特征空间手爪位姿空间矢量差分对：drj-n+1,dfj-n+1,drj,dfj并用矩阵DR和DF分别描述。DR=drj-n+1drj=dr1j-n+1dr1jdrpj-n+1drpj (4-8)DF=dfj-n+1dfj=df1j-n+1df1jdfmj-n+1dfmj (4-9)因此，图像雅可比矩阵的估计值rJ可由下式求出。Jr=DFDR-1 (4-10)为了获取图像雅可比矩阵初始值，通常让手爪在起始位置附近作小幅度的随机运动，通过（4-10）求取。在相机固定的视觉伺服控制系统中，机器人末端在图像平面的运动加速度可采用（4-11）式实时计算uv=z0-uz-uv2+u2-v0z-vz-2-v2uvuTxTyTzWxWyWz (4-11)Tx，Ty，Tz和Wx，Wy，Wz，分别为机器人末端相对相机坐标系三坐标轴方向的平移和旋转运动速度，(u,v)为机器人末端在图像平面的运动速度。为相机的焦距。4.2机器人参数本文中采用的机器人属于关节式的机器人，6个关节都是转动关节，前3个关节确定手腕参考点的位置，后3个关节确定手腕的姿态。其参数如表4-1所示。关节iidiai-1i-1关节变量范围（deg.）11000-170+17022015090-45+1503302600-70+190442606090-180+180550090-1351356690090-350+350表4-1 机器人参数传统的运动学方法是基于D-H方法即矩阵来描述运动学问题的，只要给出关节变量，就可根据公式A1A2A3A4A5A6=T6 (4-12)得到机器人末端的位姿(位置和姿态)，坐标变换矩阵Ai=ci-si0ai-1i-1sii-1ci-i-1-dii-1i-1sii-1cii-1dii-10001,i=1,2,6 (4-13)其中：si=sini,ci=cosi,i-1=cosi-1,i-1=sini-1,。由i-1，di和i 4个参数就可确定杆件Li-1,Li之间的相对关系。i-1称作杆Li-1的扭角，i-1称作杆Li-1的杆长，di是关节i的偏距，i是关节i的旋转角。机器人6个关节全为旋转关节，i-1和di为常量，i为变量。逆运动学问题是已知机器人末端执行器的位姿，求相应的关节变量，即求解式（4-12）中T6的逆解，实现非常复杂，求解其动力学方程（J雅克比矩阵）及其逆解更加复杂。本文利用RoboticsToolboxforMatlab工具箱提供的功能强大的函数，编制了机器人运动模型和图像雅可比矩阵处理函数，并建立了相机模型。利用Matlab提供的Sub-s
- 温馨提示:
1: 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2: 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3.本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
人人文库网所有资源均是用户自行上传分享，仅供网友学习交流，未经上传用户书面授权，请勿作他用。
川公网安备: 51019002004831号