第五章-智能机器人的视觉课件

智能机器人原理与实践智能机器人原理与实践1机器人的视觉功能在于识别环境、理解人的意图并完成工作任务。机器人的视觉技术包括：给定图像的检测与跟踪、多目视觉与距离测量、时序图像检测运动并跟踪、主动视觉等。5智能机器人的视觉5智能机器人的视觉25.1机器视觉基础理论5.1.1理论体系5.1机器视觉基础理论5.1.1理论体系3(1)计算理论层是视觉信息处理的最高层次是抽象的计算理论层次，它回答系统各个部分的计算目的和计算策略。(2)表达与算法层是要进一步回答如何表达视觉系统各部分的输入、输出和内部的信息，以及实现计算理论所规定目标的算法。(3)硬件实现层要回答的是“如何用硬件实现各种算法”。第五章-智能机器人的视觉ppt课件4机器视觉研究可以分为如下五大研究内容：1、低层视觉

2、中层视觉3、高层视觉4、输入设备5、体系结构机器视觉研究可以分为如下五大研究内容：51.

图像多义性不同形状的三维物体投影在图像平面上可能产生相同图像。不同形状的三维物体投影在图像平面上可能产生相同图像，如图所示。5.1.2

关键问题1.图像多义性5.1.2关键问题62.环境因素影响照明、物体形状、表面颜色、摄像机以及空间关系变化都会对获取的图像有影响，几个立方体构成的多义性图像如图所示。2.环境因素影响73.知识导引同样的图像在不同的知识导引下，将会产生不同的识别结果。不同的知识导引也可能产生不同的空间关系。4.大数据灰度图像、彩色图像、高清图像、深度图像、图像序列的信息量会非常大，需要很大的存贮空间和计算处理能力。3.知识导引85.2成像几何基础成像系统即是将三维场景变换成二维灰度或彩色图像。这种变换可以用一个从三维空间到二维空间的映射来表示：5.2成像几何基础成像系统即是将三维场景变换成二维9简单的三维图形获取过程如图所示。5.2.1基本术语简单的三维图形获取过程如图所示。5.2.1基本术语101.投影平面几何投影的分类如图所示。1.投影112.投影中心2.投影中心123.投影线与投影面3.投影线与投影面134.投影变换透视投影和平行投影分别如图所示。4.投影变换145.2.2透视投影1.透视现象

5.2.2透视投影1.透视现象152.透视投影成像模型

2.透视投影成像模型165.2.3平行投影平行投影也称为正交投影，是指用平行于光轴的光将场景投射到图像平面上。5.2.3平行投影平行投影也称为正交投影，是指用平175.2.4视觉系统坐标变换1.坐标系(1)像素坐标

(2)图像平面坐标

(3)摄象机坐标

(4)场景坐标5.2.4视觉系统坐标变换1.坐标系182.齐次坐标考虑对笛卡尔空间内点P分别进行旋转、平行移动、放大、缩小，对应的射影空间内P[p]→P’[p’]的变换操作可用4×4矩阵来作为P的齐次坐标的线性变换：

p’=pTi式中P’[p’]表示P点变换后，对应在射影空间内的点。2.齐次坐标191)旋转变换空间内物体绕x、y、z轴旋转角度θ，对应的变换矩阵Ti可表示为：

1)旋转变换202)平移变换

空间内物体在x、y、z方向平移（h，k，l），对应的变换矩阵Ti可表示为：2)平移变换213)扩大、缩小变换空间内物体以原点为中心，在x、y、z轴方向扩大或者缩小mx、my、mz倍，或者全体的1/mw

倍，则对应的变换矩阵Ti可表示为：3)扩大、缩小变换22三维空间中，以某一个视点为中心往二维平面上投影的过程称为透视变换。如图所示，这种将平面π上的图形投影到另一图像平面μ上这一过程称作“配景映射”。5.2.5射影变换三维空间中，以某一个视点为中心往二维平面上投影的过程23三维空间的坐标系规定为现实世界坐标，称为实坐标或者世界坐标。三维空间中，三维物体的投影和图像化过程如图所示。三维空间的坐标系规定为现实世界坐标，称为实坐标或者世245.3

图像的获取和处理5.3.1成像模型成像系统的建模是建立摄像机成像面坐标与客观三维场景的对应关系。1.成像坐标变换5.3图像的获取和处理5.3.1成像模型25

1)

图像坐标系摄像机采集的图像以MxN的二维数组存储的。如图所示，在图像上定义的直角坐标系中，坐标系原点位于图像的左上角，图像坐标系的坐标(u,v

)是以像素为单位的坐标。1)图像坐标系262)成像平面坐标系若原点q在uv坐标系中的坐标为(u0,v0)，每一个像素在x轴与y轴方向上的物理尺寸为dx,dy，则图像中任意一个像素在两个坐标系下的坐标关系：

2)成像平面坐标系273)摄像机坐标系摄像机坐标系是以摄像机为中心制定的坐标系。摄像机成像几何关系如图所示：3)摄像机坐标系284)世界坐标系

设三维空间中任意一点P在世界坐标系的齐次坐标为[xw,yw,

zw,1]T，在摄像机坐标系下的齐次坐标为[xc,yc

,zc,1]T，则摄像机坐标系与世界坐标系的关系：4)世界坐标系292.摄像机小孔成像模型实际成像系统应采用透镜成像原理，物距u、透镜焦距f、象距v三者满足如下关系：2.摄像机小孔成像模型303.摄像机非线性成像模型由于实际成像系统中存在着各种误差因素，如透镜像差和成像平面与光轴不垂直等，这样像点，光心和物点只同一条直线上的前提假设不再成立，这表明实际成像模型并不满足线性关系，而是一种非线性关系。尤其在使用广角镜头时，在远离图像中心处会有较大的畸变，如图所示。像点不再是点P和O的连线与图像平面的交点，而是有了一定的偏移，这种偏移实际上就是镜头畸变。3.摄像机非线性成像模型31

324.摄像机的标定1)传统标定方法传统的标定方法采用一个标定块（高精度的几何物体）的精确数据与摄像机获得的标定块图像数据进行匹配，求取摄像机的内部参数。2)自标定方法相机自标定是指仅通过相机运动所获取的图像序列来标定内部参数，而不需要知道场景中物体的几何数据。4.摄像机的标定335.3.2图像处理

视觉传感系统图像处理的一般流程如图所示：5.3.2图像处理视觉传感系统图像处理的一般流程如341.图像预处理图像预处理的目的就是增强图像，以便为后续过程做好准备。

1）图像平滑2）图像灰度修正1.图像预处理352.图像分割

图像分割就是把图像分成各具特征的区域并提取出感兴趣目标的技术和过程，这里的特征可以是灰度、颜色、纹理等。图像分割可被粗略分为三类：(1)基于直方图的分割技术（阈值分割、聚类等）;(2)基于邻域的分割技术(边缘检测、区域增长);(3)基于物理性质的分割技术(利用光照特性和物体表面特征等)。2.图像分割363.特征提取特征提取就是提取目标的特征，也是图像分析的一个重点。最常见的图像特征包括：线段、区域和特征点。点特征提取主要是明显点，如角点，圆点等。4.图像识别

根据预定的算法对图像进行图像识别，或区分出合格与不合格产品，或给出障碍物的分类，或给出定量的检测结果。

3.特征提取375.4智能机器人的视觉传感器视觉传感器一般由图像采集单元、图像处理单元、图像处理软件、通信装置、I/O接口等构成，如图所示。

5.4智能机器人的视觉传感器视觉传感器一般由图像采集385.4.1照明系统

照明系统的主要任务是以恰当的方式将光线投射到被测物体上，从而突出被测特征部分的对比度。照明系统直接关系到检测图像的质量，并决定后续检测的复杂度。5.4.1照明系统395.4.2光学镜头镜头是视觉传感系统中的重要组件，对成像质量有着关键性的作用。

1．镜头的分类根据焦距能否调节，镜头可分为定焦距镜头和变焦距镜头两大类。5.4.2光学镜头镜头是视觉传感系统中的重要组件，402．镜头的选择方法镜头主要性能指标如下：1）最大像场2）清晰场3）有效场在选取镜头时，一般从以下几个方面入手进行考虑：1）相机CCD尺寸2）所需视场3）景深4）畸变2．镜头的选择方法413．特殊镜头针对一些特殊的应用要求，在设计机器视觉系统时，我们还可以选择一些特殊的光学镜头来改善检测系统的性能，常用的特殊镜头有：1）显微镜头2）远心镜头3）紫外镜头和红外镜头3．特殊镜头424．接口镜头与摄像机之间的接口有许多不同的类型，工业摄像机常用的包括C接口、CS接口、F接口、V接口等。4．接口435.4.3摄像机

摄像机是机器视觉系统中的一个核心部件，其功能是将光信号转变成有序的电信号。摄像机以其小巧、可靠、清晰度高等特点在商用与工业领域都得到了广泛地使用。1.类型

1)CCD摄像机和CMOS摄像机2)线阵式和面阵式摄像机5.4.3摄像机摄像机是机器视觉系统中的一个核心部442.摄像机的主要性能指标

(1)分辨率(2)像素深度(3)最大帧率/行频(4)曝光方式和快门速度(5)像元尺寸(6)光谱响应特性

2.摄像机的主要性能指标455.4.4图像处理器

一般嵌入式系统可以采用的处理器类型有：专用集成电路（ASIC）、数字信号处理器（DSP）及现场可编程逻辑阵列（FPGA）智能相机中最常用的处理器是DSP和FPGA。

5.4.4图像处理器465.5智能机器人视觉系统5.5.1智能机器人视觉系统构成

人眼的深度感知能力（DepthPerception），主要依靠人眼的如下几种机能：(1)双目视差(2)运动视差(3)眼睛的适应性调节(4)视差图像在人脑的融合(5)其它因素。5.5智能机器人视觉系统5.5.1智能机器人视觉系统构成47立体视觉系统可以划分为以下六个模块：

1.图像采集2.摄像机标定3.特征提取4.立体匹配5.三维重建6.机器人视觉伺服

立体视觉系统可以划分为以下六个模块：485.5.2单目视觉单目测距原理：焦距为f的CCD摄像机距离地面的高度为h，其俯仰角度为；O0是镜头中心；O(x0,y0)是光轴与像平面的交点，可作为像平面坐标系原点；R为目标物体，假设被测点为P，它与镜头中心的水平距离为d；P’(x,y)是被测点P在像平面上的投影，如下图所示。

5.5.2单目视觉单目测距原理：焦距为f的CCD摄像49

50国际仿人机器人奥林匹克竞赛高尔夫比赛项目示意图如图所示，机器人配备了一只CMOS摄像头。国际仿人机器人奥林匹克竞赛高尔夫比赛项目示意图如图所51

根据上述原理，可以通过二维图像获取深度信息。具体步骤如下：

(1)通过摄像机标定来获取摄像机的参数；

(2)实时获取摄像机的俯仰角；

(3)选取目标物体的目标像素点。

(4)通过正运动学原理建模获取机器人当前的摄像头的实时高度；

(5)计算距离。根据上述原理，可以通过二维图像获取深度信息。具体步骤525.5.3立体视觉1.平行式立体视觉模型

最简单的摄像机配置，如图所示。在水平方向平行地放置一对相同的摄像机，其中基线距B=两摄像机的投影中心连线的距离，摄像机焦距为f。前方空间内的点，分别在“左眼”和“右眼”成像，它们的图像坐标分别为，。。

5.5.3立体视觉1.平行式立体视觉模型53

54

1)几何关系

现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即，则由三角几何关系得到：1)几何关系552)性能分析双目立体成像的视场关系如下图所示。

2)性能分析563)立体视觉测量过程

立体视觉的测量过程如下：(1)图像获取(2)相机标定(3)图像预处理和特征提取(4)立体匹配(5)深度确定3)立体视觉测量过程574)立体视觉的关键技术

视差本身的计算是立体视觉中最困难的一步工作，它涉及模型分析、摄像机标定、图像处理、特征选取及特征匹配等过程。特征匹配的本质就是给定一幅图像中的一点，寻找另一幅图像中的对应点。它是双目立体视觉中最关键、最困难的一步。

4)立体视觉的关键技术582.汇聚式立体视觉模型一般情况下，汇聚式立体视觉采用如图所示的任意放置的两个摄像机来组成双目立体视觉系统。2.汇聚式立体视觉模型593.多目立体视觉模型多个摄像机设置于多个视点，观测三维对象的视觉传感系统称为多目视觉传感系统。多目视觉传感系统能够在一定程度上弥补双目视感系统的技术缺陷，获取了更多的信息，增加了几何约束条件，减少了视觉中立体匹配的难度，但结构上的复杂性也引入了测量误差，降低了测量效率。3.多目立体视觉模型605.5.4主动视觉与被动视觉1.被动视觉

视觉系统接收来自场景发射或反射的光能量，形成有关场景光能量分布函数，即灰度图像，然后在这些图像的基础上恢复场景的深度信息。最一般的方法是使用两个相隔一定距离的摄像机同时获取场景图像来生成深度图。另一种方法是一个摄象机在不同空间位置上获取两幅或两幅以上图像，通过多幅图像的灰度信息和成象几何来生成深度图。5.5.4主动视觉与被动视觉1.被动视觉612.主动视觉

主动视觉强调以下两点：(1)视觉系统应具有主动感知的能力(2)视觉系统应基于一定的任务或目的。

2.主动视觉625.5.5移动机器人系统实例1.双目视觉实例

基于双目视觉的移动机器人系统框架图如图所示。图中系统主要分为计算机视觉和机器人控制两部分。5.5.5移动机器人系统实例1.双目视觉实例632.Kinect立体视觉实例

2.Kinect立体视觉实例645.6视觉跟踪

早期机器视觉系统主要针对静态场景。移动机器人视觉技术必须研究用于动态场景分析的机器视觉系统。视觉跟踪是根据给定的一组图像序列，对图像中物体的运动形态进行分析，从而确定一个或多个目标在图像序列中是如何运动的。

5.6视觉跟踪早期机器视觉系统主要针对静态场景。移655.6.1视觉跟踪系统1.视觉跟踪系统构成根据摄像机与场景目标的运动状态，可以分为以下四类：(1)摄像机静止/目标静止(2)摄像机静止/目标运动(3)摄像机运动/目标静止

(4)摄像机运动/目标运动5.6.1视觉跟踪系统1.视觉跟踪系统构成66

移动机器人视觉跟踪系统流程及结构如图所示。

移动机器人视觉跟踪系统流程及结构如图所示。672.视觉跟踪算法及性能要求对常用视觉跟踪算法进行了总结分类，如图所示。2.视觉跟踪算法及性能要求685.6.2基于对比度分析的目标追踪

基于对比度分析的的目标追踪是利用目标与背景在对比度上的差异来提取、识别和跟踪目标。

检测图像序列相邻两帧之间变化的最简单方法是直接比较两帧图像对应像素点的灰度值．在这种最简单的形式下，帧f(x,y,j)与帧f(x,y,k)之间的变化可用一个二值差分图像表示，如图所示。

5.6.2基于对比度分析的目标追踪基于对比度分析的69帧差法的处理流程如图所示。

帧差法的处理流程如图所示。705.6.3光流法

光流法是基于运动检测的目标跟踪代表性算法。光流是空间运动物体在成像面上的像素运动的瞬时速度，光流矢量是图像平面坐标点上的灰度瞬时变化率。光流的计算是利用图像序列中的像素灰度分布的时域变化和相关性来确定各自像素位置的运动。

5.6.3光流法光流法是基于运动检测的目标跟踪代表711)

基本原理给图像中的每一像素点赋予一个速度向量，就形成了图像运动场。在运动的一个特定时刻，图像上某一点Pi

对应三维物体上某一点P0，这种对应关系可以由投影方程得到。1)基本原理72

73如上图所示，设物体上一点P0相对于摄像机具有速度V0，从而在图像平面上对应的投影点Pi具有速度Vi。在时间间隔t时，点P0运动了V0t，图像点Pi运动了Vit。速度可由下式表示：如上图所示，设物体上一点P0相对于摄像机具有速度V0742)特点光流法能够很好的用于二维运动估计，也可以同时给出全局点的运动估计，但其本身还存在着一些问题：需要多次迭代，运算速度慢，不利于实时应用。

2)特点755.6.4基于匹配的目标跟踪1.基本原理

基于匹配的目标跟踪算法需要提取目标的特征，并在每一帧中寻找该特征。寻找的过程就是特征匹配过程。目标跟踪中用到的特征主要有几何形状、子空间特征、外形轮廓和特征点等。其中，特征点是匹配算法中常用的特征。特征点的提取算法很多，如KanadeLucasTomasi（KLT）算法、Harris算法、SIFT（尺度不变特征变换）算法以及SURF算法等。5.6.4基于匹配的目标跟踪1.基本原理762.算法步骤大多数特征跟踪算法的执行都遵循如图5.40所示的目标预测一特征检测一模板匹配一更新四个步骤的闭环结构。2.算法步骤775.6.5Meanshift目标跟踪1．基本原理

Meanshift算法称为均值偏移方法，其基本思想是对相似度概率密度函数或者后验概率密度函数采用直接的连续估计。MeanShift跟踪算法采用彩色直方图作为匹配特征，反复不断地把数据点朝向MeanShift矢量方向进行移动，最终收敛到某个概率密度函数的极值点。核函数是MeanShift算法的核心，可以通过尺度空间差的局部最大化来选择核尺度，若采用高斯差分计算尺度空间差，则得到高斯差分MeanShift算法。5.6.5Meanshift目标跟踪1．基本原理782.算法步骤

与粒子滤波跟踪不同，MeanShift算法属于基于特征模板匹配的确定性跟踪方法。颜色分布特征对非刚体目标和目标旋转形变保持较强的鲁棒性，因此常被选择作为目标模板的描述。在起始图像开始，通过手工选择方式确定运动目标的特征模板，并计算该搜索窗口的核函数加权直方图分布。2.算法步骤79假定目标模板为以x0为中心的区域A，颜色分布离散为m

bins，将像素xi处的像素颜色值量化并将其分配到相应的bin，则对于中心在x0的目标模板的颜色直方图分布表示为，其中：式中，a表示区域A的面积，为A中的点集，另外，为直方图函数，核函数k(.)为单调递减的凸函数，用来为目标区域内的n个像元分配权值系数，常用的核为Epanechnikov核，C为规范化常数，保证。假定目标模板为以x0为中心的区域A，颜色分布离散为m80

同样方法，在当前图像中，中心为y的候选目标区域D的颜色直方图分布可以描述为，，其中：

同样方法，在当前图像中，中心为y的候选目标区域D的颜81在实际跟踪中，参考模板与候选模板的相似关系通常利用颜色概率分布P与q(y)之间的Bhattacharyya系数来度量，即：

则Bhattacharyya距离d可通过下式计算：

在实际跟踪中，参考模板与候选模板的相似关系通常利用颜82MeanShift算法基于两个分布的相似度(即Bhattacharyya系数)最大化准则，使搜索窗口沿梯度方向向目标真实位置移动。在初始时刻，确定初始帧中目标的窗口位置x0，以此窗口作为特征模板，利用上式计算其颜色直方图分布。在开始跟踪的后续各时刻，MeanShift跟踪算法迭代过程如下：Step1：以上一时刻的跟踪中心作为当前帧候选目标区域的中心，计算颜色直方图分布，估计其与特征模板的Bhattacharyya系数。Step2：计算候选区域内各像素点的权值：MeanShift算法基于两个分布的相似度(即Bh83Step3：计算目标的新位置：Step3：计算目标的新位置：84Step4：计算新位置的颜色直方图分布，并估计其与特征模板的Bhattacharyya系数。Step5：判断，若，则

。Step6：判断。若，则跳出循环；否则，令

，返回Step1。Step4：计算新位置的颜色直方图分布853.算法特点(1)MeanShift算法法就是沿着概率密度的梯度方向进行迭代移动，最终达到密度分布的最值位置。

(2)MeanShift算法基于特征模板的直方图，假定了特征直方图足够确定目标的位置，并且足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立相似度的统计测量和连续优化之间的联系。3.算法特点865.7主动视觉

主动视觉(activevision)理论最初由宾西法尼亚大学的R.Bajcsy于1982年提出。主动视觉强调在视觉信息获取过程中，应能主动地调整摄像机的参数、与环境动态交互，根据具体要求分析有选择地得到视觉数据。显然，主动视觉可以更有效地理解视觉环境.5.7主动视觉主动视觉(activevision871.主动视觉的控制机构1)根据环境控制视觉传感器2)根据环境控制光源2.主动视觉与传感器融合1)竞争融合2)互补融合3.主动视觉的实时性1)实时视觉2)实时视觉系统的构成方法1.主动视觉的控制机构885.8视觉伺服

视觉伺服是利用机器视觉的原理，直接基于图像反馈信息，快速进行图像处理，在尽量短的时间内给出控制信号，构成机器人的位置闭环控制。5.8视觉伺服视觉伺服是利用机器视觉的原理，直接基于895.8.1视觉伺服系统的分类1.根据摄像机的数目分类1)单目视觉2)双目视觉3)多目视觉2.根据摄像机放置位置分类1)固定摄像机系统2)手眼视觉5.8.1视觉伺服系统的分类1.根据摄像机的数目分类903.根据误差信号分类1)基于位置的视觉伺服2)基于图像的视觉伺服3)混合视觉伺服方法3.根据误差信号分类915.8.2视觉伺服的技术问题

图像处理，包括特征的选择及匹配，仍然是视觉伺服在实际应用中的瓶颈问题。而对于特征的选择和匹配，如何提高其鲁棒性仍然是面临的主要问题。多视觉信息融合的方法以及自动特征选择的方法具有良好的发展前景。视觉伺服所面临的主要问题主要有以下两方面：1.稳定性2.实时性5.8.2视觉伺服的技术问题图像处理，包括特征的选925.9视觉导航1.被动视觉导航被动视觉导航是依赖于可见光或不可见光成像技术的方法。CCD相机作为被动成像的典型传感器，广泛应用于各种视觉导航系统中。2.主动视觉导航

主动视觉导航是利用激光雷达、声纳等主动探测方式进行环境感知的导航方法。例如，1997年着陆的火星探路者号使用编码激光条纹技术进行前视距离探测，可靠地解决了未知环境中的障碍识别问题。5.9视觉导航1.被动视觉导航935.9.2视觉导航中的摄像机数目1.单目视觉导航单目视觉的特点是结构和数据处理较简单，研究的方向集中在