图像处理技术在机器人视觉系统中的运用

1、 机器人视觉系统的概念与应用机器人视觉系统的概念与应用 基于图像处理的机器人视觉系统基于图像处理的机器人视觉系统 机器人视觉系统研究概况机器人视觉系统研究概况 机器人视觉系统机器人视觉系统是：机器人通过其是：机器人通过其感知工作环境中信息感知工作环境中信息 或者其感兴趣信息，并记录这些信息作为决策依据，对之进或者其感兴趣信息，并记录这些信息作为决策依据，对之进 行分析行分析的系统的系统。机器人视觉。机器人视觉系统系统目前在机器人目前在机器人系统中系统中的主要的主要 应用有：提供描述场景的数据、控制所需的目标位置方位或应用有：提供描述场景的数据、控制所需的目标位置方位或 运动等数据，运动等数据，

2、常见的视觉系统常见的视觉系统如视觉搜索定位系统，视觉跟如视觉搜索定位系统，视觉跟 踪系统等。踪系统等。 用视觉进行产品检验用视觉进行产品检验, , 代替人的目检代替人的目检 辅助机器人辅助机器人完成分类、完成分类、 搬运和装配任务搬运和装配任务 为移动机器人进行导为移动机器人进行导 航航 我们我们以机器人测距为例，来比较不同方法以机器人测距为例，来比较不同方法： 微波雷达测距微波雷达测距: :性能相对稳定性能相对稳定但成本高，而且但成本高，而且空间空间 的覆盖面积有限的覆盖面积有限, ,彼此之间有可能会产生一些电磁干彼此之间有可能会产生一些电磁干 扰扰。 2.2.激光雷达测距激光雷达测距: :

3、测量的精度比较高、量程较长、测测量的精度比较高、量程较长、测 量时间短量时间短；但是；但是激光雷达的耗能大、造价高、容易伤激光雷达的耗能大、造价高、容易伤 害人的眼睛害人的眼睛。 3.3.超声波测距超声波测距: :原理简单且成本低原理简单且成本低, ,但是超声波传输速但是超声波传输速 度易受到天气的影响度易受到天气的影响, ,致使得到的距离信息有很大差致使得到的距离信息有很大差 异性。异性。 4.4.基于图像处理的视觉测距基于图像处理的视觉测距: :通过通过图像处理算法及摄像图像处理算法及摄像 机模型机模型, ,计算目标物体与机器人的距离信息。这种方法计算目标物体与机器人的距离信息。这种方法

4、具有噪声低、尺寸小、功耗小、质量轻、动态范围大具有噪声低、尺寸小、功耗小、质量轻、动态范围大 等优越特性。等优越特性。 从上面我们不难看出，在机器人视觉系统的某些运从上面我们不难看出，在机器人视觉系统的某些运 用中，基于图像处理的方法具有明显的优势。用中，基于图像处理的方法具有明显的优势。 机器人视觉系统从功能上主要包括数字图像的获取、图像机器人视觉系统从功能上主要包括数字图像的获取、图像 的预处理、特征提取和图像识别几部分。的预处理、特征提取和图像识别几部分。 图像分割图像分割 图像识别图像识别 运动目标检测与追踪运动目标检测与追踪 图像分割图像分割 1 1、基于阈值的分割算法、基于阈值的分

5、割算法 迭代式阈值法，双峰阈值法，迭代式阈值法，双峰阈值法， 直方图阈值法，自适应阈值法直方图阈值法，自适应阈值法 等等 2 2、基于边缘的分割算法、基于边缘的分割算法 常见的边缘检测算子有：常见的边缘检测算子有： RobertRobert算子，算子，LaplacianLaplacian算子算子 ，SobelSobel算子，算子，CannyCanny算子等算子等 。 3 3、基于区域的分割算法、基于区域的分割算法 该方法对噪声具有一定的抗干该方法对噪声具有一定的抗干 扰能力，扰能力，但是但是区域特性的选取区域特性的选取 比较困难比较困难 B. B. 图像识别图像识别 1.1.基于基于目标几何模

6、型目标几何模型( (即即CADCAD模模 型型) )的方法的方法 2.2.基于目标的实际外观效果基于目标的实际外观效果 的方法的方法: :诸如直方图法诸如直方图法, ,特征特征 空间法等空间法等 3.3.基于局部特征不变量的基于局部特征不变量的方法方法: 在在描述图像局部区域和处理外来描述图像局部区域和处理外来 噪音方面噪音方面有着有着优良特性优良特性 C.C.运动目标检测与追踪运动目标检测与追踪 一类是一类是采用双目立体视觉技术，例如美国研究的机遇号与勇气号这两个采用双目立体视觉技术，例如美国研究的机遇号与勇气号这两个 火星探测车火星探测车, ,对障碍物的检测主要是基于立体视觉的方法；对障碍

7、物的检测主要是基于立体视觉的方法； C.C.运动目标检测与追踪运动目标检测与追踪 另一类方法是采用单目视觉系统采集图像，再根据一定算法进行运动目标检测，运动目标另一类方法是采用单目视觉系统采集图像，再根据一定算法进行运动目标检测，运动目标 检测算法有很多检测算法有很多, ,主要包括了背景差分法、帧间差分法和光流法等。；主要包括了背景差分法、帧间差分法和光流法等。； 1.1.光流法光流法2.2.背景差分法背景差分法3.3.帧间差分法帧间差分法 目前，美国、日本等国家在机器人视觉领域的研究处于领先地位。美国麻省理工学目前，美国、日本等国家在机器人视觉领域的研究处于领先地位。美国麻省理工学 院的院的

8、MargrittMargritt实现了基于路标的移动机器人定位。日本学者实现了基于路标的移动机器人定位。日本学者S.MurakamiS.Murakami等研究的弧焊机器等研究的弧焊机器 人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数人焊缝跟踪控制系统，采用了视觉传感器并用神经网络进行图像处理以获得焊缝的形状数 据，进行焊缝跟踪。据，进行焊缝跟踪。NagataNagata和和KonishiKonishi将机器人视觉伺服技术和遗传算法相结合，实现对将机器人视觉伺服技术和遗传算法相结合，实现对 机器人的控制。瑞士的机器人的控制。瑞士的Alain CodoureyAla

9、in Codourey对微机器人的视觉进行了研究。澳大利亚对微机器人的视觉进行了研究。澳大利亚WesternWestern 大学研制了大学研制了AustraliaAustralias Telerobots Telerobot机器人，它是一个具有视觉系统的六自由度工业机器机器人，它是一个具有视觉系统的六自由度工业机器 人，通过不断更新的图像进行操作。人，通过不断更新的图像进行操作。 上图分别为麻省理工学院的猎豹机器人和日本安川电机公司开发的弧焊机器人，均采上图分别为麻省理工学院的猎豹机器人和日本安川电机公司开发的弧焊机器人，均采 用了先进的机器人视觉系统设计技术以及图像处理技术。用了先进的机器人

10、视觉系统设计技术以及图像处理技术。 国内很多高校在机器国内很多高校在机器人人视觉领域也进行了大量研究。华中科技大学彭刚视觉领域也进行了大量研究。华中科技大学彭刚 利用机器视觉和超声测距对运动的目标进行跟踪和抓取。北京航空航天大学利用机器视觉和超声测距对运动的目标进行跟踪和抓取。北京航空航天大学 孟偲利用手眼视觉系统的测量与定位，判断是否可抓持目标物体。东南大学孟偲利用手眼视觉系统的测量与定位，判断是否可抓持目标物体。东南大学 席文明在焊接中引入了一种视觉引导的机器人。华中理工大学刘延林通过基席文明在焊接中引入了一种视觉引导的机器人。华中理工大学刘延林通过基 于机器视觉的方法获得毛坯的图像来识别毛坯。华中科技大学王敏利用超声于机器视觉的方法获得毛坯的图像来识别毛坯。华中科技大学王敏利用超声 测量与机器视觉相结合的方法，对待装配工件进行识别和空间定位。测量与机器视觉相结合的方法，对待装配工件进行识别和空间定位。 目前国内外机器人视觉系统的发展趋势主要表现在以下几个方面目前国内外机器人视觉系统的发展趋势主要表现在以下几个方面: : (l)(l)提高视觉系统的速度