Ch19_第十九章__移动机器人视觉导航系统设计

1、机械电子工程原理机械电子工程原理 第十九章第十九章 移动机器人视觉导航系统的设计移动机器人视觉导航系统的设计 2 19.1 计算机视觉简介计算机视觉简介 n视觉是人类观察世界、认识世界的重要功能手段，为视觉是人类观察世界、认识世界的重要功能手段，为 人类提供了多达人类提供了多达70%以上的外部信息，视觉也被认为以上的外部信息，视觉也被认为 是机器人最主要的感知能力。是机器人最主要的感知能力。 n视觉传感器为机器人提供了十分丰富的外界信息，并视觉传感器为机器人提供了十分丰富的外界信息，并 且在不需要传感器的运动及物体无任何接触的情况下，且在不需要传感器的运动及物体无任何接触的情况下， 就可以达到

2、对环境和目标的识别，这是其他传感器难就可以达到对环境和目标的识别，这是其他传感器难 以做到的，因此，机器人视觉技术是机器人智能化水以做到的，因此，机器人视觉技术是机器人智能化水 平的一个重要体现。平的一个重要体现。 n人们研究计算机视觉旨在使计算机具有通过二维图像人们研究计算机视觉旨在使计算机具有通过二维图像 认知三维环境信息的能力认知三维环境信息的能力,这就是立体视觉技术。这这就是立体视觉技术。这 种能力将不仅使机器能感知三维环境中物体的几何信种能力将不仅使机器能感知三维环境中物体的几何信 息，包括它的形状、位置、姿态和运动等，并且能对息，包括它的形状、位置、姿态和运动等，并且能对 它们进行

3、描述、存储、识别与理解。它们进行描述、存储、识别与理解。 3 19.2 立体视觉概述立体视觉概述 n了解人类视觉的构成、信息处理过程，对计算机视觉了解人类视觉的构成、信息处理过程，对计算机视觉 的研究是非常具有启发性和吸引力的。人类对高级生的研究是非常具有启发性和吸引力的。人类对高级生 物视觉的研究成果，给我们研究和设计计算机视觉系物视觉的研究成果，给我们研究和设计计算机视觉系 统提供了很好的模型或生物支持。统提供了很好的模型或生物支持。 n生物视觉系统的视觉过程由多个步骤组成，其流程图生物视觉系统的视觉过程由多个步骤组成，其流程图 如图所示。如图所示。 4 生物视觉系统生物视觉系统 n从狭义

4、上说，视觉的最终目的是要对场景做出对观察从狭义上说，视觉的最终目的是要对场景做出对观察 者有意义的解释和描述；从广义上讲，还要基于这些者有意义的解释和描述；从广义上讲，还要基于这些 解释和描述，并根据周围环境和观察者的意图制定出解释和描述，并根据周围环境和观察者的意图制定出 行为规划。行为规划。 n人类的视觉不仅要识别物体的形状和颜色，而且要随人类的视觉不仅要识别物体的形状和颜色，而且要随 时地作用于物体。立体视觉就是指这种判断物体距离时地作用于物体。立体视觉就是指这种判断物体距离 或深度的感觉。正常的双眼视觉都可以提供高度的立或深度的感觉。正常的双眼视觉都可以提供高度的立 体感。外界目标在视

5、网膜上的像是二维的，而且同一体感。外界目标在视网膜上的像是二维的，而且同一 物体在左、右眼的视网膜上的成像有着微小的差异。物体在左、右眼的视网膜上的成像有着微小的差异。 这种不同为立体视觉提供了最基本的信息这种不同为立体视觉提供了最基本的信息视差视差 （disparity）。人们正是利用视差原理来实现机器人）。人们正是利用视差原理来实现机器人 视觉三维感知能力。视觉三维感知能力。 5 机器人立体视觉的原理机器人立体视觉的原理 n一般的摄像机的投影映射关系如图所示，通过摄一般的摄像机的投影映射关系如图所示，通过摄 像机像平面像机像平面xoy上对空间点上对空间点(X,Y,Z)所成的像点所成的像点

6、(x,y)仅能够获得二维信息，无法获得空间点与摄仅能够获得二维信息，无法获得空间点与摄 像机的距离信息。像机的距离信息。 6 n立体视觉中左、右摄像机最简单的放置位置如图所示。图立体视觉中左、右摄像机最简单的放置位置如图所示。图 中中o-XLZL为左摄像机图像坐标，为左摄像机图像坐标，o-XRZR为右摄像机图像为右摄像机图像 坐标，坐标，f为摄像机焦距，两摄像机之间的间距为为摄像机焦距，两摄像机之间的间距为2d，O-XZ 为世界坐标系。在物体表面存在着空间一点为世界坐标系。在物体表面存在着空间一点P，在世界坐，在世界坐 标系下的坐标为（标系下的坐标为（Xp,Yp,Zp），该点映射到左右两个摄像

7、），该点映射到左右两个摄像 机图像坐标系中的坐标分别为：（机图像坐标系中的坐标分别为：（xl,yl），（），（xr,yr）。）。 n通过几何关系可以得到：通过几何关系可以得到： 机器人立体视觉的原理机器人立体视觉的原理 () () 2 plr plr p d Xxx D d Yyy D df Z D =+ =+ = 7 n场景中一点，分别在左右图像中产生像点，这一场景中一点，分别在左右图像中产生像点，这一 对像点称为共轭点。所以，只要能在左右图像中对像点称为共轭点。所以，只要能在左右图像中 找到相应于场景中某一点的共轭点，应用上页中找到相应于场景中某一点的共轭点，应用上页中 的公式就可以计算出

8、该空间点的三维坐标值。的公式就可以计算出该空间点的三维坐标值。 n立体视觉技术一直都是视觉技术中研究的前沿与立体视觉技术一直都是视觉技术中研究的前沿与 焦点问题。根据视觉传感器的个数立体视觉技术焦点问题。根据视觉传感器的个数立体视觉技术 可以分为：双目立体视觉和多目立体视觉。立体可以分为：双目立体视觉和多目立体视觉。立体 视觉获取的实质是对视觉图像信息的理解，在这视觉获取的实质是对视觉图像信息的理解，在这 个过程中可以应用许多性能优良的智能算法，如个过程中可以应用许多性能优良的智能算法，如 模糊逻辑、人工神经网络和遗传算法等。模糊逻辑、人工神经网络和遗传算法等。 机器人立体视觉的原理机器人立体

9、视觉的原理 8 双目立体视觉导航移动式机器人双目立体视觉导航移动式机器人 n本系统设计的视觉导航移动式机器人如左图所示，采本系统设计的视觉导航移动式机器人如左图所示，采 用双目立体视觉，通过在实验车前安装双摄像机，如用双目立体视觉，通过在实验车前安装双摄像机，如 右图所示，以模拟人类双目视觉系统，从而实现移动右图所示，以模拟人类双目视觉系统，从而实现移动 机器人的自主导航、避障功能。机器人的自主导航、避障功能。 9 19.3 摄像机标定摄像机标定 n计算机立体视觉应能从摄像机获取的图像信息出发，计算机立体视觉应能从摄像机获取的图像信息出发， 计算三维环境物体的位置、形状等几何信息，并由此计算三

10、维环境物体的位置、形状等几何信息，并由此 识别环境中的物体。图像上面的每一点在图像中的位识别环境中的物体。图像上面的每一点在图像中的位 置与空间物体表面相应点的几何位置有关。这些位置置与空间物体表面相应点的几何位置有关。这些位置 的相互关系，由摄像机成像几何模型所决定，该几何的相互关系，由摄像机成像几何模型所决定，该几何 模型的参数称为模型的参数称为摄像机参数摄像机参数。 内部参数描述摄像机的内部光学和几何特性，如图像内部参数描述摄像机的内部光学和几何特性，如图像 中心、焦距、镜头畸变以及其它系统误差参数等；中心、焦距、镜头畸变以及其它系统误差参数等； 外部参数指的是某一世界坐标系和摄像机坐标

11、系之间外部参数指的是某一世界坐标系和摄像机坐标系之间 的相对旋转和平移。的相对旋转和平移。 n这些参数必须由实验与计算来确定，实验与计算的过这些参数必须由实验与计算来确定，实验与计算的过 程称为程称为摄像机标定摄像机标定。摄像机参数已知是所有计算机视。摄像机参数已知是所有计算机视 觉方法的前提，同时这一过程精确与否，将直接影响觉方法的前提，同时这一过程精确与否，将直接影响 立体视觉系统的测量精度。立体视觉系统的测量精度。 10 摄像机模型摄像机模型 n在标定过程中，有多种模型可供选择来描述摄像在标定过程中，有多种模型可供选择来描述摄像 机。针孔模型是其中最常见的一种，它简单实用机。针孔模型是其

12、中最常见的一种，它简单实用 而又不失准确性，在物距相对于摄像机焦距很大而又不失准确性，在物距相对于摄像机焦距很大 时，它能够较准确地描述摄像机的几何关系。时，它能够较准确地描述摄像机的几何关系。 11 n按照针孔模型，摄像机通过光心按照针孔模型，摄像机通过光心Oc(Optical Center)将空间将空间 物体上一点物体上一点P映射到摄像机图像平面上一点映射到摄像机图像平面上一点p，摄像机光轴，摄像机光轴 经过光心并与摄像机图像平面相垂直。光轴线与摄像机图经过光心并与摄像机图像平面相垂直。光轴线与摄像机图 像平面相交，交点为主点，即像平面坐标系原点像平面相交，交点为主点，即像平面坐标系原点o

13、，世界，世界 坐标系下点坐标系下点P坐标为坐标为Pw (Xw,Yw,Zw)，在摄像机坐标系下坐，在摄像机坐标系下坐 标为标为Pc (Xc,Yc,Zc)，经过投影，在图像平面上的投影点为，经过投影，在图像平面上的投影点为 p(x, y)，摄像机焦距为，摄像机焦距为f，按照小孔模型，其投影关系为：，按照小孔模型，其投影关系为： 摄像机模型摄像机模型 c c c c fX x Z fY y Z 12 n针孔模型的主要特点是空间点针孔模型的主要特点是空间点P和像素点和像素点p之间，之间， 在对应摄像机坐标系和像平面坐标系中坐标表示在对应摄像机坐标系和像平面坐标系中坐标表示 为为线性映射关系线性映射关系

14、，这个特点与图像坐标系和三维，这个特点与图像坐标系和三维 空间坐标系的选择无关。空间坐标系的选择无关。 n而从世界坐标系而从世界坐标系(Xw,Yw,Zw)到摄像机坐标系到摄像机坐标系 (Xc,Yc,Zc)的变换，是由旋转和位移两种基本变换的变换，是由旋转和位移两种基本变换 组合而成的，即组合而成的，即 式中，式中，T、T、T分别为旋转坐标变换；分别为旋转坐标变换；Td为平移坐标为平移坐标 变换。变换。 摄像机模型摄像机模型 cdw PT T T T P 13 n以世界坐标系表示的以世界坐标系表示的P点坐标与摄像机成像坐标系下点坐标与摄像机成像坐标系下p的坐的坐 标标(u,v)之间的转换关系之间

15、的转换关系 式中，式中，u,v为以像素为单位的坐标。为以像素为单位的坐标。 n每一个像素在每一个像素在x轴与轴与y轴方向上的物理尺寸为轴方向上的物理尺寸为dx，dy，由于由于 dx, dy, u0 及及v0 只与摄像机内部结构有关，即只与摄像机内部结构有关，即M2完全由摄完全由摄 像机决定，所以称像机决定，所以称M2之为内部参数矩阵。摄像机标定的之为内部参数矩阵。摄像机标定的 目的就是要确定目的就是要确定M1、M2矩阵，从而得到空间点到图像点矩阵，从而得到空间点到图像点 的映射关系。的映射关系。 摄像机模型摄像机模型 0 0221 1 0 000 1 0000 10010 001111 ccw

16、 ccw c ccw u XXX dx uf YYY ZvvfMM M dyZZZ 14 摄像机标定过程摄像机标定过程 n最基本的摄像机标定方法是基于立体模板的标定，在利用最基本的摄像机标定方法是基于立体模板的标定，在利用 本方法进行标定的过程中，需要在摄像机前放一个的特制本方法进行标定的过程中，需要在摄像机前放一个的特制 的标定参照物的标定参照物(reference object)，一般是立方体，参照物，一般是立方体，参照物 上有许多相对于世界坐标系的位置精确测定的特征点。用上有许多相对于世界坐标系的位置精确测定的特征点。用 摄像机获取该物体的图像，得到一系列特征点在图像坐标摄像机获取该物体

17、的图像，得到一系列特征点在图像坐标 系中的投影位置。系中的投影位置。 n由空间由空间6个以上已知点与它们对应的图像点坐标，我们可个以上已知点与它们对应的图像点坐标，我们可 求出求出M1、M2矩阵。在一般的标定工作中，我们都使标定矩阵。在一般的标定工作中，我们都使标定 块上有数十个已知点，使方程的个数大大超过未知数的个块上有数十个已知点，使方程的个数大大超过未知数的个 数，从而用最小二乘法求解以降低误差造成的影响。数，从而用最小二乘法求解以降低误差造成的影响。 15 三维场景信息获取三维场景信息获取 n如果已知道摄像机的内外参数，即投影矩阵如果已知道摄像机的内外参数，即投影矩阵M1、M2， 那么

18、对任何空间点那么对任何空间点P，如已知它的坐标，如已知它的坐标Pw=Xw Yw Zw 1T，就可求出它的图像点，就可求出它的图像点p的位置的位置(u,v)。反过来，如。反过来，如 果己知空间某点果己知空间某点P的图像点的图像点p的位置的位置(u,v)。根据双目视。根据双目视 差原理，在已知摄像机内外参数条件下，理论上就可差原理，在已知摄像机内外参数条件下，理论上就可 以恢复空间的三维场景信息。以恢复空间的三维场景信息。 n因为图像数据反映的是某一时刻空间场景中物体反射因为图像数据反映的是某一时刻空间场景中物体反射 光的强度信息，由于光照不均、遮挡、镜头失真等因光的强度信息，由于光照不均、遮挡、

19、镜头失真等因 素的影响，使得完全准确的恢复场景信息几乎是不可素的影响，使得完全准确的恢复场景信息几乎是不可 能的。能的。 n通常借助图像处理手段，结合先验知识，针对某一目通常借助图像处理手段，结合先验知识，针对某一目 的要求设计专用的图像处理方法，以满足计算机视觉的要求设计专用的图像处理方法，以满足计算机视觉 应用的需要。应用的需要。 16 19.4 图像理解图像理解 n所谓图像理解就是指通过对图像数据的处理和分所谓图像理解就是指通过对图像数据的处理和分 析以获得对图像所反映的场景某些性质的认识。析以获得对图像所反映的场景某些性质的认识。 比如场景中有哪些物体，这些物体的形状和位置比如场景中有

20、哪些物体，这些物体的形状和位置 如何等等。如何等等。 n图像理解是与特定的工作任务紧密联系在一起的。图像理解是与特定的工作任务紧密联系在一起的。 一般图像理解算法都有各自适用的条件和环境。一般图像理解算法都有各自适用的条件和环境。 n对于室外移动机器人而言，道路环境理解和障碍对于室外移动机器人而言，道路环境理解和障碍 物检测是其自主导航研究中的核心问题之一。机物检测是其自主导航研究中的核心问题之一。机 器人对图像理解的要求是不仅能够从背景区域中器人对图像理解的要求是不仅能够从背景区域中 提取出目标物体，而且还要将目标物体与真实世提取出目标物体，而且还要将目标物体与真实世 界中的实际物体对应起来

21、。界中的实际物体对应起来。 17 道路检测道路检测 n在智能车辆导航中，道路识别是一种最基本的智在智能车辆导航中，道路识别是一种最基本的智 能车辆自动驾驶功能，其技术要求是根据摄像机能车辆自动驾驶功能，其技术要求是根据摄像机 采集的车体前方的场景图像，估计车辆在道路中采集的车体前方的场景图像，估计车辆在道路中 的位置和方向，以便控制车辆按预定路线行驶。的位置和方向，以便控制车辆按预定路线行驶。 另外，它还为后续的障碍物检测确定搜索范围，另外，它还为后续的障碍物检测确定搜索范围， 缩小障碍物检测的搜索空间，降低算法复杂度和缩小障碍物检测的搜索空间，降低算法复杂度和 误识率。误识率。 n道路检测通

22、常都被简化为对车道线进行检测。一道路检测通常都被简化为对车道线进行检测。一 般来说，对车道线的检测主要的方法还是传统的般来说，对车道线的检测主要的方法还是传统的 边缘检测方法，利用车道线和道路的颜色反差来边缘检测方法，利用车道线和道路的颜色反差来 决定车道的边缘，以决定车道线。决定车道的边缘，以决定车道线。 18 道路检测道路检测 n对道路环境的理解可以分为两个过程：对道路环境的理解可以分为两个过程： 首先找出图像中灰度剧烈变化的地方，称之为边素；首先找出图像中灰度剧烈变化的地方，称之为边素； 然后根据特征点检测这些边素，并将经过检验的边然后根据特征点检测这些边素，并将经过检验的边 素连接起来

23、形成边缘，给出适当的表示。素连接起来形成边缘，给出适当的表示。 n边素检测（有人称为边缘检测）常采用一些经典模边素检测（有人称为边缘检测）常采用一些经典模 板检测方法，即将图像数据点与模板进行卷积运算。板检测方法，即将图像数据点与模板进行卷积运算。 本章设计的系统采用改进本章设计的系统采用改进Prewitt模板的道路检测方模板的道路检测方 法。法。 Prewitt算子的模板算子的模板 101 101 101 19 n道路标线是线段，一般都有道路标线是线段，一般都有 一定的长度。这个特性在图一定的长度。这个特性在图 像中表现为标线像素在纵向像中表现为标线像素在纵向 上是有一定的逻辑关系的。上是有

24、一定的逻辑关系的。 n对于对于Prewitt算子而言，在检算子而言，在检 测出符合条件的像素点后还测出符合条件的像素点后还 需要进行纵向上的逻辑判断需要进行纵向上的逻辑判断 以断定此点是否在标线上，以断定此点是否在标线上， 费时费力。本系统采用图示费时费力。本系统采用图示 的一种改进的一种改进Prewitt模板的道模板的道 路检测方法。即将路检测方法。即将Prewitt模模 板的长度加大且与水平方向板的长度加大且与水平方向 存在一个可以变化的角度存在一个可以变化的角度， 以适应不同方向的标线要求。以适应不同方向的标线要求。 道路检测道路检测 0 0 0 0 0 0 . . . -1 . . 1

25、 1 1 1 1 1 . . -1 -1 -1 -1 -1 模板方向 模板长度 . 20 n模板的长度根据问题的需要选定。模板越长，检测精模板的长度根据问题的需要选定。模板越长，检测精 度越高，但同时会带来计算量随之剧增的问题。度越高，但同时会带来计算量随之剧增的问题。 n模板的方向角模板的方向角需要提前预测，本文首先利用标线的需要提前预测，本文首先利用标线的 先验知识作小范围的检测，对检测到的标线像素用最先验知识作小范围的检测，对检测到的标线像素用最 小二乘法进行直线拟合，得出标线的大致方向和位置，小二乘法进行直线拟合，得出标线的大致方向和位置， 然后模板选用这个方向并继续进行检测。为了提高

26、检然后模板选用这个方向并继续进行检测。为了提高检 测速度，检测的范围是所预测位置附近的一个小窗口。测速度，检测的范围是所预测位置附近的一个小窗口。 此窗口随着检测过程的进行而不断向前移动。此窗口随着检测过程的进行而不断向前移动。 n在模板由左向右滑动的过程中，先是检测到标线的左在模板由左向右滑动的过程中，先是检测到标线的左 边缘，然后是右边缘。边缘，然后是右边缘。 道路检测道路检测 21 道路检测实验结果道路检测实验结果 (a) 左摄像机采集图左摄像机采集图 (b) 右摄像机采集图右摄像机采集图 (c) 左摄像机标线检测结果左摄像机标线检测结果 (d) 右摄像机标线检测结果右摄像机标线检测结果

27、 22 障碍物检测障碍物检测 n受应用前景的吸引，障碍物检测在许多研究著作中都受应用前景的吸引，障碍物检测在许多研究著作中都 受到了广泛关注。大多数现有障碍物检测算法都使用受到了广泛关注。大多数现有障碍物检测算法都使用 主动范围传感器（如激光扫描器、雷达等）和视觉传主动范围传感器（如激光扫描器、雷达等）和视觉传 感器。主动范围传感器的缺点是一般都比较慢（有时感器。主动范围传感器的缺点是一般都比较慢（有时 1s只能取只能取2帧环境信息），所以在机器人导航中的障帧环境信息），所以在机器人导航中的障 碍物检测手段以视觉传感器最为普遍。碍物检测手段以视觉传感器最为普遍。 n通过图像匹配来计算物体的深度

28、信息。这种方法因获通过图像匹配来计算物体的深度信息。这种方法因获 取信息丰富、可获得较准确的物体三维信息而得到广取信息丰富、可获得较准确的物体三维信息而得到广 泛应用，但需要克服算法计算量偏大的缺点。泛应用，但需要克服算法计算量偏大的缺点。 23 建立视差空间图像的方法建立视差空间图像的方法 n第一种方法如左图示，坐标轴是左、右图的扫描线。第一种方法如左图示，坐标轴是左、右图的扫描线。 动态规划的计算量为动态规划的计算量为O(N4)，这还不考虑计算报酬函，这还不考虑计算报酬函 数的时间。数的时间。 n第二种建立视差空间图像的方法如右图所示，右扫描第二种建立视差空间图像的方法如右图所示，右扫描

29、线作为横轴，而把视差范围作为纵轴。动态规划方法线作为横轴，而把视差范围作为纵轴。动态规划方法 的计算量为的计算量为O(Nd2) ，较第一种方法的计算效率有很大，较第一种方法的计算效率有很大 提高提高 。 24 立体视觉的全局匹配立体视觉的全局匹配 n有了视差空间图像的概念，立体视觉的全局匹配问题就可有了视差空间图像的概念，立体视觉的全局匹配问题就可 以转化为沿图像的扫描线由左向右寻找一个最短路径问题，以转化为沿图像的扫描线由左向右寻找一个最短路径问题， 而动态规划则是解决最短路径的一种很好的方法。图而动态规划则是解决最短路径的一种很好的方法。图 (a)、 (b)为摄像机获取的左、右图像，为摄像

30、机获取的左、右图像，(c)即为就是利用动态规即为就是利用动态规 划方法实现双目匹配，划方法实现双目匹配， n图图(c)中，中间白色点画线为提取的道路标识线，标线左侧中，中间白色点画线为提取的道路标识线，标线左侧 的蓝色方块为检测到的障碍物，红色点画线为延拓的道路的蓝色方块为检测到的障碍物，红色点画线为延拓的道路 信息。信息。 (a) 左图左图 (b) 右图右图 (c) 检测结果检测结果 25 19.5 机器人视觉导航的应用机器人视觉导航的应用 n计算机视觉就是用各种成像系统代替视觉器官作计算机视觉就是用各种成像系统代替视觉器官作 为输入敏感手段，由计算机来代替大脑完成处理为输入敏感手段，由计算机来代替大脑完成处理 和解释。和解释。 n计算机视觉的最终研究目标，就是使计算机能像计算机视觉的最终研究目标，就是使计算机能像 人那样通过视觉观察和理解世界，具有自主适应人那样通过视觉观察和理解世界，具有自主适应 环境的能