视觉伺服技术研究

西北工业大学明德学院本科毕业设计论文本科毕业设计论文题 目 _视觉伺服技术研究_专业名称学生姓名指导教师毕业时间西北工业大学明德学院本科毕业设计论文毕业 任务书一、题目视觉伺服技术研究二、指导思想和目的要求1、 利用已有的专业知识，培养学生解决实际工程问题的能力；2、 锻炼学生的科研工作能力和培养学生的团结合作攻关能力；三、主要技术指标1. 研究视觉伺服算法；2. 完成演示程序 四、进度和要求第 01 周-第 02 周： 英文翻译；第 03 周-第 04 周： 学习视觉伺服理论；第 05 周-第 10 周： 设计实现视觉伺服算法；第 11 周-第 16 周： 编写演示程序；第 17 周-第 18 周： 撰写毕业设计论文，论文答辩；五、主要参考书及参考资料1 King D. Space Servicing: Past, Present and FutureC. Proc. of the 6thInternational Symposium on Artifical Intelligence, Robotics and Automation inSpace, 2001: 254-283.2 翟光，仇越，梁斌. 在轨捕获技术发展综述J. 机器人，2008，30(5)：467-480.3 Freund E, Rossmann J. Space Robot Commanding and Supervision by Means byProjective Virtual Reality: the ERA Experiences J. SPIE, 2001, 4195: 312-322.4 Qureshi F Z, Terzopoulos D, Jasiobedzki P. A Cognitive Vision System forSpace RoboticsJ. Applications of Computer Vision Workshop, 2004: 77-83.设计论文西北工业大学明德学院本科毕业设计论文5 John E L. Model-based Telerobotics with VisionC. IEEE Int. Conf. Roboticsand Automation, 1997: 1297-1304.6 Watanabe Y, Araki K, Nakamura Y. Microgravity Experiments for a VisualFeedback Control of a Space Robot Capturing a TargetJ. Proceedings of the1998 IEEWRSJ Intl. Conference on Inelligent Robots and Systems, 1998: 1893-1900.7 Wiehman W. Use of Optical Feedback in the Computer Control of an ArmJ.Stanford AI Project, 1967: 33-43.8 Inoue Y, Shirai H. Guiding a Robot by Visual Feedback in Assembling TasksJ.Pattern Recognition, 1973, 5: 99-108.9 Rosen C. Maehine Intelligence Research Applied to Industrial Automation R.Technical report SRI International, 1976: 1200-1205.10Pack J, Hill W. Real Time Control of a Robot with a Mobile CameraJ. ISIR，Washington.DC, 1979: 233-246.11Prajoux R E. Visual TrackingC. Maehine intelligence research applied toindustrial automation SRI International, 1979: 17-37.12Coulon P Y, Nougaret M. Use of a TV Camera System In Closed-loop PositionControl of MechanismsM. International Trends in Manufactuning Teehnology.ROBOT VISION. IFS Publication, 1983: 117-127.13Weiss L. Dynamic Visual Servo Control of Robots:An Adaptive Image-basedApproaehC. IEEE Int. Conf. Robotics and Automation, 1984: 662-668.14林靖，陈辉堂，王月娟. 机器人视觉伺服系统的研究J. 控制理论与应用，2000，17(4) ：476-481.15钟金明，刚徐，张海波. 机器人视觉伺服系统的研究与发展J. 现代制造工程，2005(8)：7-10.16沈晓晶，潘俊民. 机器人视觉伺服系统控制结构的研究J. 工业仪表与自动化装置，2002(4)：9-12.17刘涵 . 基于位置的机器人视觉伺服控制的研究D. 西安理工大学，2003：5-9.西北工业大学明德学院本科毕业设计论文学生 指导教师 系主任 西北工业大学明德学院本科毕业设计论文摘 要机器人视觉赋予机器人系统以人类视觉功能，并感知外部世界，有效解决人类所能解决的问题，是智能机器人系统的关键技术，也是机器人科学研究中面临的巨大挑战之一。由于视觉传感器可非接触方式、大信息量采集环境信息，机器人视觉的发展和研究不仅大大推进了机器人系统的智能性，也拓宽了机器人智能传感和控制系统的研究范围和应用领域。目前，机器人视觉伺服系统根据视觉反馈信号表示的是3D 空间坐标值或是图像特征值而分为基于位置的(position-based) 和基于图像的(image-based) 视觉闭环反馈两种方式。基于位置的控制方式根据已知的目标几何模型和摄像机模型来估计目标相对于摄像机的位姿，其主要缺陷在于控制精度依赖于摄像机的标定精度，而标定精度又受环境的制约。基于图像的控制方式误差信号直接用图像特征来定义，直接利用图像特征进行视觉信息反馈伺服控制。该方法可以减少计算延时，并且对摄像机和机械臂的校准误差和目标模裂误差具有较强的鲁棒性。其主要缺点有两点：1)为了求得图像特征参数的变化同机器人位姿变化的关系，图像的视觉伺服方法必需计算图像雅可比矩阵J(Image Jacobian Matrix)及其逆矩阵。但是，图像雅可比矩阵通常与机械手到图像平面的垂直距离(也称为深度)有关，对于单目视觉伺服系统，深度信息的精确估计是比较困难的。许多文献采用固定雅克比矩阵的方法实现机器人视觉伺服，但是这种方法只能在局部任务空间有效。2)跟踪过程中图像雅克比矩阵可能存在奇异性问题，导致系统不稳定。针对基于图像的机器人视觉伺服控制算法的研究，首先研究了基于目标物体点特征、复杂图像特征的视觉伺服控制算法图像雅可比矩阵J，的计算方法；接着，建立了本文机器人视觉系统平台上，基于图像的机器人视觉伺服控制算法模型，实现了基于复杂图像特征的机器人视觉伺服控制算法仿真实验，并以实验验证了算法的有效性，为结构环境中的目标物体位姿跟踪找到了一种基于图像的机器人视觉伺服控制算法解决途径。西北工业大学明德学院本科毕业设计论文针对基于图像的机器人视觉伺服控制算法中图像特征组选择的重要性，研究了基于全局图像性能指标GPI 的图像特征组性能评价标准和选择方法，摆脱了以往图像特征组选择的主观性，提供了一种有效且可行的判断依据。文中还推导了全局图像性能指标理论计算方法；针对全局图像性能指标理论计算复杂性，作者还研究了一种简单、实用的估算方法。最后，以仿真实验验证了本文研究的主要内容。关键词：机器人视觉，视觉伺服控制方法，图像雅可比矩阵，图像特征性能评价西北工业大学明德学院本科毕业设计论文ABSTRACTRobot vision，which gives robot system functions of perceiving world outside as human vision and makes the robot system solve problems effectively like human being，is the key technology of intelligent robot system and one of great challenges to robot researchAs vision sensors can get mass information of outside through untouchable way ,researching and developing of robot vision system will not only improve the intelligence of robot system，but also extend the study and application field of robot intelligent sensor and control systemOne major classification of robot visual servoing system distinguishes positionbased control form imagebased control based on the error signal is defined in 3D coordinates or directly in terms of image featuresIn positionbased control，features are extracted from image and used in conjunction with a geometric model of the target and the know camera model to estimate the pose of the target with respect to tile camera The primary disadvantage of positionbased control is that it is often highly calibration dependent The impact of calibration dependency often depends on the situation In image。based servoing， control values are computed on the basis of image features(F)directlythe imagebased approach may reduce computational delay ,eliminate the necessity for image interpretation and eliminate errors due to sensor modeling and camera calibration However ,there are two main disadvantages to imagebased visual serving：1)It is necessary to relate differential changes in the image feature parameters to differential changes in position of the manipulatorSo it is necessary to compute inverse feature Jacobian(J)However ,the feature Jacobian is the function of the distance from the camera focal center to the point being imagedFor an eyeinhand system，determining the distance is very difficult Many reports are based on using a constant image Jacobian ，which is 西北工业大学明德学院本科毕业设计论文computationally efficient，but valid only over a small region of the task space2)The disadvantage is presence of singularities in the feature mapping function ,which reflect themselves as unstable points in the inverse Jacobian control law.On researching of image based robot visual servoing，firstly , the calculation of Image Jacobean Matrix Ji based 0n simple image features and complex features are proposed independently Image based robot visual servoing algorithm in textual robot vision system，which realizes visual tracking experiment system based on robot visual servoing on complex image featuresis presentedAnd efficiency of the algorithm is proved by experimentsAs for the importance of image features selection in image based robot visual servoing system，an estimation standard and selection method of image features based on global image performance index is presented，which provides US a efficient and feasible way for subjectivity of image features selectionMoreover , the theory calculation method of global performance index is proposed；and for heavy calculation of global performance index in theory way ,a simple and applied estimate method of GPI is presentedAt last，effectiveness of image features selection method is proved by experimentsKEY WORDS：robot vision ，robot visual servoing ，image jacobean matrix , image performance estimation西北工业大学明德学院本科毕业设计论文目 录第一章 绪论 .- 1 -1.1 课题研究背景及意义 .- 1 -1.2 机器人视觉伺服系统 .- 1 -1.2.1 机器人视觉伺服研究进展 .- 1 -1.2.2 机器人视觉控制系统分类 .- 3 -1.2.3 视觉伺服在主要领域的应用 .- 5 -第二章 视觉伺服中的图像处理与相机模型 .- 7 -2.1 引言 .- 7 -2.2 光标设 计 .- 7 -2.3 图像滤波 .- 8 -2.4 图像分割 .- 9 -2.5 形态学运算 .- 10 -2.6 图像特征的提取 .- 10 -2.6.1 重心法 .- 10 -2.6.2 特征提取举例 .- 11 -2.7 摄像机模型 .- 12 -2.7.1 针孔模型 .- 12 -2.7.2 摄像机的相机内外参数 .- 13 -2.7.3 坐标变换 .- 15 -2.8 本章小结 .- 16 -第三章 基于图像的视觉伺服控制方法研究 .- 17 -3.1 引言 .- 17 -3.2 基本坐标定义 .- 17 -3.3 机器人运动学基本方程 .- 18 -3.4 图像雅可比矩阵 .- 20 -3.5 视觉伺服算法流程 .- 22 -3.5.1 算法流程 .- 22 -3.5.2 末端速度规划 .- 23 -3.5.3 关节运动轨迹规划 .- 24 -3.5.4 关节控制 .- 25 -3.6 本章小结 .- 25 -第四章 图像反馈机器人伺服系统仿真 .- 26 -4.1 基于图像的机器人视觉伺服 .- 26 -4.2 机器人参数 .- 28 -4.3 仿真实验 .- 30 -4.4 Labview 实例仿真 .- 30 -西北工业大学明德学院本科毕业设计论文总 结 .- 32 -致 谢 .- 33 -参考文献 .- 34 -毕业设计小结 .- 36 -西北工业大学明德学院本科毕业设计论文- 1 -第一章 绪论1.1 课题研究背景及意义制造能够替代人力劳动的机器一直是人类的梦想。但目前即使是世界上智能程度最高的机器人，对外部环境变化的适应能力也非常有限，距人们预想的还有很大距离，这极大地影响了机器人的推广使用。其中的一个重要原因就是机器人缺乏像人一样的感知能力。为解决这一问题，学者们开始为机器人添加各种外部传感器，其中比较重要的一种就是视觉传感器。在现代工业自动化生产过程中，机器视觉正成为一种提高生产效率和保证产品质量的关键技术，如机械零件的自动检测、智能机器人控制及生产线的自动监控等。在国防和航天等领域，机器视觉也具有相当重要的应用意义，如运动目标的自动跟踪与识别、自控战车导航、登月舱的自动着陆以及空间机器人的视觉控制等。但在机器人视觉领域中，大部分研究仍建立在解析式描述的基础上，并以满足某些特定任务为目标，因而在实际中的应用十分有限。如何使机器人具有类似人类视觉的能力，是一个需要长期研究的问题。1.2 机器人视觉伺服系统1.2.1 机器人视觉伺服研究进展机器视觉是随着60年代末计算机与电子技术的快速发展而出现的。把视觉信息用于机械手定位的研究可以追溯到70年代。当时出现了一些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检次等。80年代后期，出现了专门的图像处理硬件，人们开始系统地研究机器人视觉控制系统。到了90年代，随着计算机能力的增强和价格下降，以及图像处理硬件和CCD摄像机的快速发展，机器视觉系统吸引了众多研究人员的注意。在过去的几年里，机器人视觉控制无论是在理论上还是在应用方面都有很大进步。最早基于视觉的机器人系统,采用的是静态look and move形式。即先由视觉系统采集图像并进行相应处理，然后通过计算估计目标的位置来控制机器人运动，这种操作精度直接与视觉传感器、机械手及控制器的性能有关 1。这使西北工业大学明德学院本科毕业设计论文- 2 -得机器人很难跟踪运动物体。到80年代，计算机及图像处理硬件得到发展，使得视觉信息可用于连续反馈，于是人们提出了基于视觉的伺服（visual servoing）控制形式。这种方式可以克服模型（包括机器人、视觉系统、环境）中存在的不确定性，提高视觉定位或跟踪的精度。在国内，起初关于机器视觉的研究多侧重于视觉检验、视觉导引及智能控制、移动机器人视觉导航等方面的研究。视觉检验，即替代人目检验用机器视觉系统进行产品的检验，它是机器视觉应用最成熟和广泛的领域，主要检测内容有：产品完备性检验，形状检验和缺陷检验等。由于视觉检验是一种非接触式的自动检验方法，比人工检验的精度高、速度快、可靠性高，因此在微电子工业中的IC芯片检验、印刷电路板的检验、汽车工业中零件的检验，以及食品、药品标记的检验等等方面有着广泛的应用。直到80年代末，机器人视觉伺服控制算法才引起国内机器人学者的关注和研究，首先进行研究单位是中国科学院沈阳自动化研究所，主要开展了基于移动机器人视觉导航技术的实验研究，移动机器人视觉导航即利用视觉系统为移动机器人(包括室内、室外、空间和水下的各种移动载体)提供外部环境的三维信息，使机器人能自主地规划其行驶路线，回避障碍物，安全到达目的地，并完成相应的作业任务。在基于移动机器人视觉导航技术研究中，视觉伺服控制算法已逐渐发展成为机器人基于任务研究的一个重要研究内容。进入90年代后，机器人视觉伺服控制算法在机器人视觉引导和控制应用方向的研究已逐渐成为机器人研究领域中具有较高应用价值和挑战性的一个热点课题，可应用于：1)机器人装配、搬运和分类，此时视觉系统的任务是对一组零件中的每一个进行辨识，并确定其在二维或三维空间的位置和方向，引导机器人的末端执行器的夹具准确的抓取所需的零件，并放置到指定的位置，完成相应的分类、搬运和装配任务。这些零件可能是放在静止的工作台上，也可能放在运动的传送带上，更复杂的情况是随意堆放在料箱中。此时零件的位置、方向是随意的，且可能有互相重叠和遮挡的情况：2)机器人自适应控制 2此时视觉系统是机器人反馈控制环中的感知元件。如弧焊机器人利用视觉系统实时检测焊缝的位置和方向，控制焊枪跟踪焊缝的移动，此时的跟踪包括焊枪的姿态和移动轨迹：而且根据视觉系统检测出焊缝的宽度、深度以及熔池的其他参数，实时调整焊枪的移动速度、距离以及电流大小，实现机西北工业大学明德学院本科毕业设计论文- 3 -器人基于视觉误差反馈的自适应控制综上所述，机器人视觉伺服控制方法在过去三十多年里已得到了国内外众多机器人研究学者极大兴趣和关注，目前，机器人视觉伺服控制算法的研究己成为机器人基于任务方向的一个研究热点。尤其随着计算机图像采集、处理技术、机器人控制和人工智能等技术的发展，机器人视觉伺服控制算法的研究必将获得更大地推进。而且，机器人视觉伺服控制算法在未来的需求和前景如此紧迫，也必将促使人们对视觉伺服控制方法研究的热情。1.2.2 机器人视觉控制系统分类可以从不同的角度,如反馈信息类型、控制结构和图像处理时间等方面对vision-based机器人控制系统进行分类。从反馈信息类型的角度，机器人视觉系统可分为基于位置（position-based）的视觉控制和基于图像（image-based）的视觉控制。前者的反馈偏差在 3D空间进行计算,后者的反馈偏差在 2D图像平面空间进行计算。按照摄像机的数目的不同,可以分为单目视觉伺服系统、双目视觉伺服系统以及多目视觉伺服系统。单目视觉无法直接得到目标的三维信息,一般通过移动获得深度信息。单目视觉适用于工作任务比较简单且深度信息要求不高的工作环境。多目视觉伺服可以观察到目标的不同部分,可以得到更为丰富的信息,但视觉控制器的设计比较复杂, 且相于双目视觉伺服更加难以保证系统的稳定性。双目视觉可以得到深度信息, 当前的视觉伺服系统主要采用双目视觉。按照摄像机放置位置的不同,可以分为手眼系统和固定摄像机系统。手眼系统能得到目标的精确位置,可以实现精确控制 ,但只能得到小的工作空间场景,无法观察到机器人末端,因此需要通过已知的机器人运动学模型来求解目标与机器人末端的位置关系,对标定误差以及运动学误差比较敏感。固定放置的摄像机既可以观察到目标也可以观察到机器人末端,并且可以得到大的工作空间场景,能得到机器人末端相对于目标的相对速度,但无法得到目标的准确信息,且机器人运动可能造成目标图像的遮挡。为了克服两种摄像机放置位置的不足,当前的一种解决方法是两种方式的协作使用。按照机器人的空间位置或图像特征,视觉伺服系统分为两类:基于位置的控制系统(position 2 based control ,又称 3D 视觉伺服,3D visual servoing,图 1-1),基西北工业大学明德学院本科毕业设计论文- 4 -于图像的控制系统(image 2 basecontrol,或称 2D 视觉服,2D visual servoing，图1-2)。基于位置的误差信号定义在三维笛卡儿空间 3,而基于图像的误差信号定义在二维图像空间。基于图像的视觉伺服直接计算图像误差,产生相应的控制信号,不需要三维重建,但需要计算图像雅可比矩阵。基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感,缺点是设计控制器困难,伺服过程中容易进入图像雅可比矩阵的奇异点,一般需要估计目标的深度信息,而且只在目标位置附近的邻域范围内收敛.求解图像雅可比矩阵是基于图像视觉伺服的一个主要任务。视觉控制器 关节控制器特征提取位姿估计图像特征期望值图像特征估计值图 1-1 基于位置的机器人视觉伺服系统视觉控制器 关节控制器特征提取图像特征期望值图像特征估计值图 1-2 基于图像的机器人视觉伺服系统从控制结构的角度，可分为开环控制系统和闭环控制系统。开环控制的视觉信息只用来确定运动前的目标位姿，系统不要求昂贵的实时硬件，但要求事先对摄像机及机器人进行精确标定。闭环控制的视觉信息用作反馈，这种情况下能抵抗摄像机与机器人的标定误差，但要求快速视觉处理硬件。西北工业大学明德学院本科毕业设计论文- 5 -1.2.3 视觉伺服在主要领域的应用机器人视觉伺服控制主要应用于三大领域:第一是用带有视觉的机器人进行产品检验,代替人的目检。包括 :形状检验、检查和测量零件的几何尺寸、形状和位置、缺陷检验、检查零件是否损坏,划伤;第二是在机器人进行装配、搬运,焊接等工作时,用视觉系统对需加工的零、部件进行识别,并确定它在空间的位置和方向,引导机器人的手准确地定位在所需加工的零件上,完成焊接、分类、搬运和装配任务;第三是为移动机器人进行导航。利用视觉系统为移动机器人提供它所在环境的外部信息,使机器人能自主地规划它的行进路线,回避障碍物,安全到达目的地,完成指令。在国外,机器人视觉的应用普及主要体现在半导体及电子行业,其中大概 40%都集中在半导体行业。具体如 PCB 印刷电路生产中、丝网印刷设备中等。机器人视觉伺服控制系统还在质量检测的各个方面得到广泛的应用。在我国,机器人视觉产品、技术的开发及应用还较慢,并且多是一些低端方面的应用。目前在我国随着配套设施的完善,技术、资金的积累,各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始出现,国内有关大专院校、研究所和企业近两年在图像和视觉技术领域进行了积极探索和大胆的尝试,逐步开始了工业现场的应用。这些应用现在主要集中于制药、药品检测分装,印刷、印刷色彩检测,矿泉水瓶盖监测等领域。在其它相关产业中的应用空间也很大,有着良好的发展趋势。而在工业生产中,采用工业电视摄像机和其他传感器,应用计算机视觉系统直接进行反馈控制是机器人定位精度控制的一种方法。在日本、欧美等国,机器人视觉反馈控制的研究已取得了较快的发展。如:日本日立造船公司研制的由视觉传感器组成的电弧焊接机器人实时控制系统。美国研制的视觉制导机器人系统,它利用摄像机检测到输送带上的物体后,计算机通过输入图像处理计算出物体的位置和方位,控制机器人抓取物体。在焊接工业生产中,机器人视觉伺服应用的比较多。以弧焊接机器人为例,它的视觉系统由上位控制计算机、摄像机和激光器组成。视觉控制利用视觉信息控制机器人的运动,调整激光束和焊枪的位置。图像采集模块对摄像机的图像进行严格的同步采集,进行焊缝识别 ,判定是否焊缝,检测焊缝的起点、终点,并西北工业大学明德学院本科毕业设计论文- 6 -进行焊缝特征点的图像坐标求取。同时读取机器人的当前位置。读取机器人的位置后,经过在线路径规划获得机器人下一运动周期的位置。视觉控制用于焊接(弧焊)机器人的原因:目前大多数弧焊机器人都使用示教再现方式,在焊接过程中,如果焊接条件基本稳定 ,这种机器人可以在其工作空间内精确完成示教操作,并能保证焊接质量。但在影响焊接质量的多种因素的作用下,实际焊接条件经常发生变化,如加工装配误差,焊接过程中的热及残余应力引起的变形等因素,均会造成焊接位置和尺寸的变化。因此要求焊接机器人能够实时检测到焊接条件的变化,随时调整焊接参数和焊接路径并保证焊接质量,提高焊接过程的可靠性。视觉控制用于焊接机器人的优点：(1)不需要事先示教,摆脱了耗时、枯燥的现场编程工作,提高了生产效率。 控制方式灵活,因势而变。焊枪直接沿着传感器测得的接头向前运动,其运动轨迹也完全由计算机控制。(3)能实时检测出焊接条件的变化,调整焊接路径和焊接参数 ,保证焊接质量的可靠性。(4)更先进的离线编程方式,不仅以图形方式对模型机器人进行示教编程,也可以优化机器人的运动以节省运行时间,避免机器人与环境发生碰撞。视觉控制用于焊接机器人的方式：(1)修正方式。修正方式下焊枪的实际轨迹是示教运动和修正运动的合成。自主方式。比采用修正方式的控制灵活。西北工业大学明德学院本科毕业设计论文- 7 -第二章 视觉伺服中的图像处理与相机模型2.1 引言摄相机拍摄到的图像是灰度图像，通过图像采集卡保存到计算机的内存中。图像处理就是通过各种图像处理的方法对原始的数字灰度图像进行处理，最终得到光标在图像坐标系中的精确的图像坐标，单位为象素。在此基础上，进一步运用标定和测量算法得到精确的视觉信息，作为机器人视觉伺服的输入。因此，数字图像处理是视觉伺服中非常关键的一步。而对于合作目标的抓捕，合适的特征光标能有效提高特征提取的精度与速度。 本章所涉及的图像处理主要包括以下几个步骤：图像滤波，图像分割，形态学运算以及光标图像坐标的提取。另外摄像机模型也是视觉系统中不可或缺的一部分 。2.2 光标设计本文所用的合作光标放在目标星手柄的两边，为了图像特征提取的方便，光标与背景的对比度较大，具体安放位置如图 2-1 所示。图2-1 合作光标上的特征光标西北工业大学明德学院本科毕业设计论文- 8 -合作目标上有左右两个特征光标板，分别给左右手眼相机测量所用。光标板上面均有7个直径为10mm 的圆形特征光标。手柄右边的光标板如图2-2，中间竖着的三个光标比左右两边光标高30mm，所有特征光标的圆心在手柄坐标系下的坐标是：光标1：138.000000,78. 000000,195. 000000；光标2：105.000000,78.000000,195.000000；光标3：72. 000000,78. 000000,195.000000；光标4：135. 000000,108. 000000,225.000000；光标5：75. 000000,108. 000000,225.000000；光标6：135. 000000,48. 000000,225.000000；光标7：75. 000000,48. 000000,225.000000。手柄左边的特征光标板由右边特征光标板沿着正方形中心点，即光标2的圆心顺时针旋转90 得到。图2-2 右边的特征光标板2.3 图像滤波在数字图像的形成、传输记录过程中由于成像系统、传输介质和记录设备等的影响，往往会受到多种噪声的污染。噪声等干扰在图像中是或大或小的极值，它作用到图像上，会使图像的质量降低，进而影响后续图像处理工作的进行。所以对于数字图像，我们必须首先对图像进行滤波，去除其中的干扰，以西北工业大学明德学院本科毕业设计论文- 9 -保证在对图像进行图像复原、图像分割、图像特征提取和图像识别等后续工作时，能得到更好的处理效果。本文选择了的滤波方法是适应性强且简单的中值滤波方法来对图像进行滤波处理。 中值滤波是由图基（Tukey）在 1971 年提出的抑制噪声的一种非线性处理方法 4，它的原理是数字图像中的一个像素的值等于该点领域中各像素灰度值得中值，具体解释为，设有一个离散数列，先将其从小到大排列有 a1a2 a3 , an， 则该数列的中值 b 为：(2-1)=1,2,=+12 为 奇数 时12(2+12) 为 偶数 时 扩展到二维空间，我们可以设计不同形状的二维窗口，例如圆形，方形，十字形等，通过滑动滤波窗口，对窗口内的像素做大小排序，则输出结果即为窗口中像素值的中值。由上可以看出，中值滤波有计算简单、速度快的特点，但是不同的窗口和尺寸大小会得到不同的滤波效果，所以要根据不同的应用场所选择不同的窗口和尺寸。中值滤波相对其他滤波算法来说计算简单，易比较容易在程序实现，而且能较好地保护图像的边缘细节信息。一定程度上，中值滤波消除了多数线性滤波器在处理图像时使图像边界模糊的情况，能有效的滤除图像中的随机干扰。2.4 图像分割 图像分割是根据图像的灰度特征、纹理特征或者运动特征等将图像分割为若干个特定的、具有独特性质的区域的一门技术 5。对于图像的不同用途，可以根据阈值、区域、边缘和特定理论等不同的条件去进行分割。其中区域分裂合并法和区域生长法是两种比较常见的基于的区域分割算法 6。根据本文中要处理的图像的特点，选择的区域生长法这种基于区域的分割方法，它对于图像中均匀的连通目标能有较好的分割效果，相对其他分割方法来说计算简单。下面就区域生长方法简单介绍一下。 把属性相似的像素集中到一个区域中是区域生长这一图像分割方法的特点。首先，确定一个种子象素点作为生长的起点，然后根据事先确定的生长准则判西北工业大学明德学院本科毕业设计论文- 10 -断种子像素邻域内的像素是否在预先设定额阈值内，如果是，则将此像素合并到一个区域之中。将所有符合种子像素规定的像素作为种子重复上述过程，直到图像中所有的符合生长准则的像素都包含在区域中，这样就完成了区域生长过程。 区域生长方法的关键是选取合适的种子点，生长准则，生长条件，对于本文要处理的图像，种子点选取为图像中灰度值大于 240，生长准则是相邻象素的灰度值小于 10， 终止条件是一直进行到再没有满足生长准则需要的像素时为止，对于符合上述区域生长条件的像素，将其灰度值置为 255，否则置为 0，具体采用此方法的实验见 2.6.2。2.5 形态学运算 形态学 7的基本运算被运用于图像处理之中，首先经过对图像的形态学处理可以用来提高图像的质量，其次用来描述图像中的面积，长度，连通度，颗粒度等各种几何参数和图像特征信息，形态学运算主要是通过在物体和结构元素 8相互作用基础上的一些计算，来获取图像中最根本有用的信息。对于本文中要处理的图像，形态学运算是为了使图像中光标的边界变平滑，消除图像区域中的一些孔洞和图片背景中分布的一些小的噪声，使经过图像分割后二值图像的图像质量明显提升，为后续处理做准备。2.6 图像特征的提取2.6.1 重心法本文使用的特征光标是圆形的，采用重心法来实现图像特征的提取，即通过计算平面物体的质心来计算特征光标圆心在图像坐标系中的坐标 9，下面对该方法简单介绍如下：设一幅灰度图像有M N 个象素点，其中，每个象素点(x, y)的灰度值为 f (x , y)，则其质心 (cx, cy)计算如下：(2-2）=1=1(,)=1=1(,)西北工业大学明德学院本科毕业设计论文- 11 -(2-3)=1=1(,)=1=1(,)对于本章中的特征光标的质心提取，经过图像分割即区域生长法处理后，对每个区域按顺序进行标号，再经过形态学运算处理，即可按上述公式计算每个区域的质心( cx, cy)坐标。2.6.2 特征提取举例由图2-2 是虚拟相机拍摄的一副待处理图像，本文采用的特征光标是圆形光标，对于圆形光标来说，经过图像分割后，我们就能从中识别出光标点区域，并对其进行标记，再经过形态学开运算得到边缘光滑的圆，最后通过重心法即可计算7个特征光标圆心的u、 v坐标如表2-1标号顺序从左到右，从上到下。图 2-3 摄像机拍摄的待处理图像另外，我们通过对光标图像中每个光标实际像素个数的计算，通过上面重心法可得光标的u、v坐标实际值如表 2-2所示，与通过特征提取得到的测量值相比最大相差0.02个像素，所以我们采用的特征提取方法是可行的。西北工业大学明德学院本科毕业设计论文- 12 -编号 1 2 3 4 5 6 7U(像素) 255.63 179.36 331.79 255.65 179.39 331.83 225.65V(像素) 141.81 155.63 155.63 228.18 307.35 307.34 313.12表2-1 特征光标u、v 坐标测量值编号 1 2 3 4 5 6 7U(像素) 255.65 179.38 331.81 255.64 179.38 331.85 255.64V(像素) 141.83 155.63 155.63 228.17 307.33 307.33 313.11表 2-2 特征光标 u、 v 坐标实际值2.7 摄像机模型通过从摄像机拍摄的图片中得到有用的图像信息，机器人视觉系统可以获得三维物体的位置、姿态、形状等这些我们需要的信息。由摄像机的几何模型，我们可以得到在图像上的某点与空间上相应点的相对几何位置关系。本文采用的摄