计算机视觉教程

第1章 绪论

本书是一本专门用于计算机视觉课程教学的教材，主要介绍一些基本和典型的计算机视觉技术。

计算机视觉作为一门学科，与数学、物理学、生理学、感知心理学、神经科学以及计算机科学等都有密切的联系。

本书作为一本入门的教材，可以自成体系地进行学习。虽然本书主要关注计算机视觉自身的内容，在需要时也对相关预备知识给予了概括介绍。第1章 绪论

1.1 计算机视觉

1.2 图像基础

1.3 像素间联系

1.4 本书内容提要

1.1 计算机视觉 1.1.1 视觉 1.1.2 计算机视觉概述 1.1.3 相关学科 1.1.4 应用领域1.1.1 视觉

视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得的信息约有75%来自视觉系统

视觉进一步可分为视感觉和视知觉

视感觉中主要研究的内容有：

①

光的物理特性

②

光刺激视觉感受器官的程度

③

光作用于视网膜后经视觉系统加工而产生

的感觉1.1.1 视觉

视知觉主要论述人们从客观世界接收到视觉刺激后如何反应以及反应所采用的方式

视知觉是在神经中枢进行的一组活动，它把视野中一些分散的刺激加以组织，构成具有一定形状的整体以认识世界

视觉的最终目的从狭义上说是要能对客观场景做出对观察者有意义的解释和描述1.1.2 计算机视觉概述

计算机视觉是指用计算机实现人类的视觉功能

计算机视觉的研究方法目前主要有两种：

仿生学的方法：参照人类视觉系统的结构原理

工程的方法：实现系统的功能

计算机视觉的主要研究目标可归纳成两个：

建立计算机视觉系统来完成各种视觉任务

加深对人脑视觉机理的掌握和理解1.1.3 相关学科 (1)图像理解：与计算机视觉有相同的目标 (2)机器视觉：更关注通过视觉传感器获取环

境的图像，构建具有视觉感知功能的系统

以及实现检测和辨识物体的算法 (3)模式识别：图像就是模式的一种 (4)人工智能：视觉功能是人类智能的体现 (5)计算机图形学：计算机视觉的反/逆问题1.1.4 应用领域 (1)工业视觉 (2)人机交互 (3)安全监控 (4)军事公安 (5)遥感测绘 (6)视觉导航 (7)生物医学 (8)虚拟现实 (9)图像自动解释 (10)对人类视觉系统和机理，以及人脑心理和

生理的研究等1.2 图像基础

1.2.1 图像

1.2.2 图像表达和显示

1.2.3 图像存储1.2.1 图像

图像：辐射强度模式的空间分布

图像表达函数：辐射能量在空间分布的函数

通用图像表达函数：T(x,y,z,t,l)

如：g射线图像、X射线图像、紫外线图像、可见光图像、红外线图像、微波图像、无线电波图像、交流电波图像，3-D图像、彩色图像、多光谱图像、立体图像和多视图像，序列图像、深度图像、纹理图像、投影重建图像……1.2.1 图像

模拟图像：从连续的客观场景直接观察到

用一个2-D数组f(x,y)来表示，f，x，y的值可以是任意实数

数字图像：把连续的模拟图像在坐标空间XY和性质空间F都离散化了的图像

用f(x,y)代表数字图像，f，x，y都为整数

“图象”一词比“图像”一词的含义更广，覆盖面更宽1.2.2 图像表达和显示

图像表达：

矩阵表达

矢量表达1.2.2 图像表达和显示

图像显示：

二值图像的3种不同的显示方式：

离散点集

覆盖区域

矩阵表达1.2.2 图像表达和显示

图像显示：

标准图像1.2.3 图像存储

图像存储器：

(1)处理过程中使用的快速存储器 (2)可以较快地重新调用的在线或联机存储器 (3)不经常使用的数据库（档案库）存储器

图像文件格式：

(1)

BMP格式

(2)

GIF格式

(3)

TIFF格式

(4)

JPEG格式1.3 像素间联系 1.3.1 像素邻域 1.3.2 像素间距离1.3.1 像素邻域

4-邻域：N4(p)

对角邻域：ND(p)

8-邻域：N8(p)1.3.1 像素邻域

邻接：对两个像素p和q来说，如果q在p的邻域

中，则称p和q满足邻接关系

连接：p和q邻接且灰度值均满足某个特定的相

似准则

连通：不（直接）邻接，但均在另一个像素的

相同邻域中，且这3个像素的灰度值均满

足某个特定的相似准则1.3.2 像素间距离

欧氏距离：

城区距离：

棋盘距离：

距离和邻域：1.3.2 像素间距离

距离变换：把二值图像变换为灰度图像

等距离轮廓给出了与中心像素的某种距离小于或等于某个值的像素组成的图案1.4 本书内容提要 1.4.1 计算机视觉系统

及模块

1.4.2 如何学习使用本书1.4.1计算机视觉系统及模块1.4.2 如何学习使用本书

图1.4.1中括号内的数字即为章的序号

第一个单元包括第1章、第2章，分别介绍计算机视觉的工程基础和仿生基础

第二个单元包括第3章、第4章、第5章、第6章、第7章、第8章，主要对应2-D视觉

第三个单元包括第9章、第10章、第11章、第12章、第13章、第14章，主要对应3-D视觉教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第2章 视觉和视知觉

2.1 视觉过程和特性

2.2 形状知觉

2.3 空间知觉

2.4 运动知觉2.1 视觉过程和特性 2.1.1 视觉过程 2.1.2 视觉的时间特性 2.1.3 视觉的空间特性

2.1.1 视觉过程

光学过程：眼睛和照相机

光学过程基本确定了成像的尺寸2.1.1 视觉过程

化学过程：锥细胞和柱细胞

基本确定了成像的亮度或颜色

神经处理过程：在大脑神经系统里进行

将对光的感觉转化为对景物的知觉2.1.2 视觉的时间特性

随时间变化的视觉现象：

(1)亮度适应

(2)眼睛的时间分辨率

感知中的时间因素：

(1)慢响应，对应整体时间刺激的总和

(2)快响应，对应对快速变化的刺激的反应效

果总和2.1.2 视觉的时间特性

视觉在时间上的累积效应：

接收光的总能量E与物体可见面积A、表面亮度L和时距（观察时间长度）T成正比

在Tc时间内眼睛受刺激的程度和刺激的时距成正比。若时距超过Tc，则不再有时间累积效应2.1.3 视觉的空间特性

视觉在空间上的累积效应：

光面积和强度的反比定律

当小而弱的光点单独呈现时可能看不见，但是当多个这样的光点连在一起作为一个大光点同时呈现时便能看见2.1.3 视觉的空间特性

视敏度：

在良好的光照条件下，人所能看到的景物细节的精确性

视敏度可用不同方式借助不同的测试物或图形进行测试2.2 形状知觉 2.2.1 形状的感知

2.2.2 轮廓 2.2.3 图形和背景

2.2.1 形状的感知

(1)视觉边缘和目标

(2)前景和背景的分离 前景位于轮廓内部，它具有某种形状 背景一般位于轮廓外部，并不具有特定的形状

(3)形状构造的规律 根据格式塔理论，形状有一些构造规则

(4)形状和信息2.2.2 轮廓

轮廓（封闭的边界）是形状知觉中最基本的概念，人在知觉一个形状以前一定先看到轮廓 轮廓的构成如果用数学语言来说就是轮廓对应亮度的二阶导数 轮廓与形状又有区别，轮廓不等于形状 轮廓在帮助构成形状时还有“方向性”。轮廓通常倾向于对它所包围的空间发生影响，即轮廓一般是向内部而不是向外部发挥构成形状的作用2.2.2 轮廓

主观轮廓：

在没有直接刺激作用下产生的轮廓知觉。主观轮廓的形成是在一定感觉信息的基础上进行知觉假设的结果2.2.2 轮廓

图形和背景：

形状感知的第一步是将目标从背景中区分出来(1)图形有一定的形状，背景相对来说没有形状(2)尽管图形和背景在同一个物理平面上，前景常 看起来更接近观察者(3)图形一般占据比背景小的区域面积，但图形与背 景相比常更动人，更倾向于具有一定的意义(4)图形和背景不能同时看到，但可顺序看到2.3 空间知觉 2.3.1 非视觉性深度线索 2.3.2 双目深度线索 2.3.3 单目深度线索

2.3.1 非视觉性深度线索

非视觉性深度线索有其生理基础：

(1)眼睛聚焦调节 (2)双眼视轴的辐合 为将两眼对准物体，两眼视轴必须完成一定的辐合运动。控制视轴辐合的眼肌运动能给大脑提供关于物体距离的信息2.3.2 双目深度线索

人对空间场景的深度感知主要依靠双目视觉 双眼视差是产生立体知觉和深度知觉的原因，它提供了双目深度线索

人处在正常的身体姿势时，两眼的视差是沿水平方向的，这称为横向像差。人的深度知觉主要由横向像差产生

主观视觉方向与作用在视网膜上任何一对相应点处刺激物的实际位置可能不一致2.3.3 单目深度线索

在单目视觉中刺激物本身的一些物理条件，通过观察者的经验和学习，在一定条件下也可以成为知觉深度和距离的线索

(1)大小和距离

(2)照明的变化

(3)线性透视

(4)纹理梯度

(5)物体的遮挡2.3.3 单目深度线索 (6)运动视差

当观察者在固定环境中运动时，由于物体的距离不同，导致视角变化快慢产生差异2.4 运动知觉

运动速度的上下限是以下变量的函数

(1)物体的尺寸

(2)亮度和反差

(3)环境，运动的感知有一定的相对性

表观运动：在一定条件下，当实际中没有景物运动时也可能感知到运动

眼睛的运动：感知在一定程度上依赖这种运动2.4 运动知觉 动态深度线索：单目深度线索在视网膜有运动时也能提供深度信息

运动视差：当人向两边运动（横向运动）时所导致的图像与视网膜相对运动所产生的信息 旋转和径向运动（当物体移向或离开眼睛）也可提供关于空间及其中的物体的信息 需要区分对动态线索的表达和由于观察者自身运动造成的动态线索

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第3章 图像采集

3.1 采集模型

3.2 采集装置

3.3 采集方式

3.4 摄像机标定3.1 采集模型 图像采集中的主要模型包括几何成像模型和亮度成像模型

3.1.1几何成像模型

3.1.2亮度成像模型3.1.1 几何成像模型

图像采集的过程从几何角度可看作是一个将客观世界的场景通过投影进行空间转化的过程 投影成像涉及到在不同坐标系统之间的转换

(1)世界坐标系统：XYZ

(2)摄像机坐标系统：xyz

(3)图像平面坐标系统：x'y‘

一般取图像平面与摄像机坐标系统的xy平面平行，且x轴与x'轴、y轴与y'轴分别重合

3.1.1 几何成像模型 1.重合模型3.1.1 几何成像模型

齐次坐标

第3章3.1.1 几何成像模型 2.分离模型图像平面（原点）与世界坐标系统的位置偏差用矢量D表示，其分量分别为Dx，Dy，Dz。这里假设摄像机的扫视角（x和X轴间的夹角）为

，而倾斜角（z和Z轴间的夹角）为a

3.1.1 几何成像模型 2.分离模型 这个不重合的摄像机模型可通过以下一系列步骤转换为前面的重合模型：3.1.1 几何成像模型 2.分离模型 ①将图像平面原点按矢量D移出世界坐标系统的原点；②以某个

角（绕z轴）扫视x轴；③以某个a角将z轴倾斜（绕x轴旋转）3.1.1 几何成像模型 2.分离模型 一个满足几何关系的摄像机观察到的齐次世界坐标点在摄像机坐标系统中具有如下的齐次表达3.1.2 亮度成像模型 1.景物亮度

场景中景物本身的亮度与光辐射的强度有关 对不发光的景物，要考虑其他光源对它的照度

2.图像灰度 照度分量 反射分量3.2 采集装置 3.2.1采集装置及性能指标

3.2.2空间和幅度分辨率

3.2.1 采集装置及性能指标 1.常用的摄像机

CCD摄像机 具有非常快的快门速度

CMOS摄像机 低功耗，小尺寸，总体成本低

CID摄像机

随机访问，不会产生图像浮散3.2.1 采集装置及性能指标 2.基本性能指标

(1)线性响应：

(2)灵敏度：

(3)信噪比：

(4)阴影（不均匀度）：

(5)快门速度：

(6)读取速率：3.2.2 空间和幅度分辨率

空间分辨率（即数字化的空间采样点数） 幅度分辨率（即采样点值的量化级数） 辐射到图像采集矩阵中光电感受单元的信号在空间上被采样，而在强度上被量化

3.2.2 空间和幅度分辨率

图像的尺寸为M

N

用G个灰度值 将这些量均取为2的整数次幂 存储一幅图像所需的数据量 由图像的空间分辨率和幅度 分辨率决定 存储一幅图像所需的位数b

3.3 采集方式 3.3.1成像方式一览

3.3.2结构光法3.3.1成像方式一览3.3.2结构光法

在采集图像时直接获取深度信息的方法

利用照明中的几何信息来帮助提取景物自身的 几何信息

结构光成像成像高度中包含了3-D的深度信息3.3.2结构光法

成像宽度

结构光成像不仅能给出空间点的距离Z，同时也能给出沿Y方向的物体厚度3.4 摄像机标定 3.4.1标定程序和步骤

3.4.2两级标定法3.4.1标定程序和步骤 1、标定程序

令A=PRT，A中的元素包括摄像机平移、旋转和投影参数①获得M

≥6个具有已知世界坐标(Xi,Yi,Zi)的空间点②用摄像机拍摄这些点以得到图像平面坐标(xi,yi)③把这些坐标代入上两式以解出未知系数3.4.1标定程序和步骤 2、标定步骤 第1步：标定旋转矩阵R和平移矢量T

第2步：标定焦距l

第3步：标定镜头径向失真系数k

第4步：标定不确定性图像尺度因子m3.4.2两级标定法

先外部参数，即摄像机姿态参数（如摄像机的位置和方向或平移、扫视角和倾斜角）

后内部参数，摄像机自身参数（如焦距、镜头径向失真、不确定性图像尺度因子）

如果m

已知，标定时只需用一幅含有一组共面基准点的图像即可

如果m未知，标定时需用一幅含有一组不共面基准点的图像教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第4章 图像预处理

4.1 图像坐标变换

4.2 灰度映射

4.3 直方图修正

4.4 空域滤波4.1 图像坐标变换 4.1.1 基本坐标变换

4.1.2 几何失真校正4.1.1 基本坐标变换

1.变换的表达 2.平移变换4.1.1 基本坐标变换

3.尺度变换 4.旋转变换4.1.1 基本坐标变换

5.变换级连4.1.2 几何失真校正

1.空间变换4.1.2 几何失真校正

2.灰度插值4.2 灰度映射 4.2.1 灰度映射原理

4.2.2 灰度映射示例

4.2.1 灰度映射原理

基于图像像素的点操作

映射函数4.2.2 灰度映射示例

灰度映射技术的关键是根据增强要求设计映射函数4.2.2 灰度映射示例1.图像求反2.动态范围

压缩3.对比度

增强4.3 直方图修正 4.3.1 直方图均衡化

4.3.2 直方图规定化4.3.1 直方图均衡化

灰度直方图是一个1-D的离散函数

灰度累积直方图也是一个1-D的离散函数4.3.1 直方图均衡化

直方图均衡化的基本思想是把原始图的直方图变换为在整个灰度范围内均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果

增强函数需要满足两个条件 (1)在灰度范围内是一个单值单增函数 (2)变换前后图像的灰度值动态范围一致4.3.1 直方图均衡化列表计算对照表4.3.14.3.1 直方图均衡化

效果

增加了灰度动态范围，所以也增加了对比度原始图像和直方图均衡化结果及直方图4.3.2 直方图规定化

用户可指定规定化函数来得到特殊的增强功能

3个步骤

(1)对原始图的直方图进行灰度均衡化

(2)规定需要的直方图，并计算能使规定的直方图均衡化的变换

(3)将第1步得到的变换反转过来，即将原始直方图对应映射到规定的直方图4.3.2 直方图规定化

单映射规则

组映射规则4.3.2 直方图规定化

列表计算

对照表4.3.24.3.2 直方图规定化

绘图计算4.4 空域滤波 4.4.1 原理和分类

4.4.2 线性平滑滤波

4.4.3 线性锐化滤波

4.4.4 非线性平滑滤波

4.4.5 非线性锐化滤波4.4.1 原理和分类

1.模板运算

模板卷积4.4.1 原理和分类

2.技术分类

给卷积模板的各个系数赋以不同的值，就可得到不同的增强效果4.4.2 线性平滑滤波

1.邻域平均4.4.2 线性平滑滤波

2.加权平均

系数均为正值，接近模板中心的系数比较大，而模板边界附近的系数应比较小4.4.3 线性锐化滤波

利用对应微分的方法可以对图像进行锐化滤波

线性锐化滤波的模板仅中心系数为正，而周围的系数均为负值4.4.4 非线性平滑滤波

中值滤波可用如下步骤完成 (1)将模板在图中漫游，并将模板中心

与图中某个像素位置重合

(2)读取模板下各对应像素的灰度值 (3)将这些灰度值从小到大排成一列 (4)找出这些灰度值里排在中间的一个 (5)将这个中间值赋给对应模板中心位

置的像素4.4.4 非线性平滑滤波

中值滤波既能消除噪声（尤其是脉冲噪声），又能保持图像细节

轮廓比较清晰4.4.5 非线性锐化滤波

梯度（基于一阶微分）教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第5章 基元检测 5.1 边缘检测

5.2 SUSAN算子

5.3 哈夫变换

5.4 位置直方图技术5.1 边缘检测 5.1.1 检测原理 5.1.2 一阶导数算子 5.1.3 二阶导数算子 5.1.4 边界闭合

5.1.1 检测原理①阶梯状边缘，②脉冲状边缘，③屋顶状边缘5.1.2 一阶导数算子

一阶微分算子给出梯度，所以也称梯度算子它分别计算沿X和Y方向的两个偏导分量罗伯特交叉算子，蒲瑞维特算子，索贝尔算子5.1.2 一阶导数算子

5.1.3 二阶导数算子

1.拉普拉斯算子

模板的基本要求是对应中心像素的系数应是正的，而对应中心像素邻近像素的系数应是负的，且所有系数的总和应该是零5.1.3 二阶导数算子

2.马尔算子

在每个分辨率上进行如下计算 (1)用一个2-D的高斯平滑模板与原图像卷积 (2)计算卷积后图像的拉普拉斯值 (3)检测拉普拉斯图像中的过零点作为边缘点

高斯加权平滑函数5.1.3 二阶导数算子

3.坎尼算子(1)信噪比准则

(2)定位精度准则(3)单边缘响应准则5.1.4 边界闭合

边缘像素连接的基础是它们之间有相似性

①梯度幅度

②梯度方向5.2 SUSAN算子

5.2.1 USAN原理

5.2.2 角点和边缘检测

5.2.1 USAN原理

核同值区域（uni-valuesegmentassimilatingnucleus，USAN），即与核有相同值的区域，可简称为核同值区5.2.2 角点和边缘检测

1.角点检测

圆形模板

将模板内每个像素的灰度值与核的灰度值进行比较5.2.2 角点和边缘检测

1.角点检测

输出的游程和

边缘响应R(x0,y0)

将游程和S与一个固定的几何阈值G进行比较5.2.2 角点和边缘检测

1.角点检测

更稳定的计算C(.;.)的公式5.2.2 角点和边缘检测

2.边缘方向检测

边缘分两类

区域A和B都对应边缘都通过USAN区域的重心5.2.2 角点和边缘检测

3.

SUSAN算子的特点

进行检测时不需要计算微分，这可帮助解释为什么在有噪声时SUSAN算子的性能会较好

对边缘的响应将随着边缘的平滑或模糊而增强 SUSAN检测算子能提供不依赖于模板尺寸的边缘精度

控制参数的选择很简单，且任意性较小5.3 哈夫变换 5.3.1 基本哈夫变换原理 5.3.2 广义哈夫变换原理 5.3.3 完整广义哈夫变换5.3.1 基本哈夫变换原理

点–线对偶性

(1)对参数空间中参数p和q的可能取值范围进行量化，根据量化结果构造一个累加数组A(pmin:pmax,qmin:qmax)，并初始化为零 (2)对每个XY空间中的给定点让p取遍所有可能值，用式(5.3.2)计算出q，根据p和q的值累加A，即A(p,q)=A(p,q)

+1。 (3)根据累加后A中最大值所对应的p和q，由式(5.3.1)确定出XY中的一条直线5.3.2 广义哈夫变换原理

利用表格建立曲线或轮廓点与参考点间的关系

参考点的坐标可由轮廓点的坐标算出来5.3.2 广义哈夫变换原理

广义哈夫变换计算示例

设正方形的中点为参考点，则从各轮廓点向参考点所引矢量的矢径和矢角如表5.3.2所示5.3.2 广义哈夫变换原理

5.3.3 完整广义哈夫变换

不仅要考虑轮廓的平移，而且要考虑轮廓的放缩、旋转，此时参数空间会从2-D增加到4-D完整广义哈夫变换计算示例

5.3.3 完整广义哈夫变换

5.4 位置直方图技术

1.检测原理

位置直方图是将图像向多个轴投影，并对像素灰度求和而得到的直方图，也称横向直方图

从这两个直方图向目标区域进行反投影，就可方便地确定出各个目标的位置5.4 位置直方图技术

2.计算量分析

完整的检测算法所需的操作数为

直接使用模板匹配

使用位置直方图的提速约为20倍教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第6章 目标分割 6.1 轮廓搜索

6.2 主动轮廓模型

6.3 基本阈值技术

6.4 特色阈值方法6.1 轮廓搜索

轮廓搜索是一种基于轮廓的目标分割方法 6.1.1 图搜索 6.1.2 动态规划

6.1.1 图搜索

一个图可表示为G=[N,A]，其中N是一个有限非空的结点集，A是一个无序结点对的集。集A中的每个结点对(ni,nj)称为一段弧（ni

N，nj

N）

对任一段弧(ni,nj)都可定义一个代价，记为c(ni,nj)，通路的总代价为 6.1.1 图搜索

代价函数

利用图搜索技术从上向下可检测出如图所示的对应大梯度边缘元素的边界段 6.1.1 图搜索

6.1.2 动态规划

借助有关具体问题的启发性知识减少搜索

图搜索的算法由以下几个步骤构成

(1)将起始结点标记为OPEN并置g(s)=0 (2)如果没有结点OPEN，失败退出，否则继

续

(3)将根据式(6.1.3)算得的估计代价r(n)为最小

的OPEN结点标记为CLOSE (4)如果n是目标结点，找到通路（可由n借助

指针上溯至s）退出，否则继续6.1.2 动态规划 (5)展开结点n，得到它的所有子结点（如果没

有子结点，返回步骤(2)） (6)如果某个子结点ni还没有标记，置r(ni)= g(n)+c(n,ni)，标记它为OPEN并将指向它

的指针返回到结点n (7)如果子结点ni已标记为OPEN或CLOSE，根

据g'(ni)=min[g(ni),g(n)+c(n,ni)]更新它的

值。将其g'值减小的CLOSE子结点标记

为OPEN，并将原来指向所有其g'值减小

的子结点的指针重新指向n。返回步骤(2)6.1.2 动态规划

对图像进行极坐标变换

同时解决确定起始点和判断搜索是否结束这两个问题6.2 主动轮廓模型

主动轮廓模型也称蛇模型 6.2.1 主动轮廓 6.2.2 能量函数

6.2.1 主动轮廓

图像上一组排序的点的集合6.2.2 能量函数

1.内部能量函数

用来推动主动轮廓形状的改变，并保持轮廓上点之间的距离不要太远或太近(1)连续能量(2)膨胀力6.2.2 能量函数

2.外部能量函数

将变形模板向感兴趣的特征位置吸引(1)图像灰度能量(2)图像梯度能量 3.归一化

到[0,1]区间6.3 基本阈值技术 6.3.1 原理和分类 6.3.2 全局阈值的选取 6.3.3 局部阈值的选取 6.3.4 动态阈值的选取6.3.1 原理和分类

阈值分割模型

灰度阈值T（gmin<T<gmax）6.3.1 原理和分类

阈值分割方法的关键问题是选取合适的阈值①全局阈值：仅根据各个图像像素的本身性质f(x,y) 来选取而得到的阈值②局部阈值：根据像素的本身性质f(x,y)和像素周围

局部区域性质q(x,y)来选取而得到的阈值③动态阈值：根据像素的本身性质f(x,y)、像素周围

局部区域性质q(x,y)和像素位置坐标(x,y)来选取6.3.2 全局阈值的选取

1.极小值点阈值

将直方图的包络看作一条曲线，则选取直方图的谷可借助求曲线极小值的方法

设用h(z)代表直方图，那么极小值点应满足以下条件：6.3.2 全局阈值的选取

2.最优阈值

混有加性高斯噪声的图像：6.3.2 全局阈值的选取

2.最优阈值

6.3.2 全局阈值的选取

3.最大凸残差阈值

对直方图凹度进行分析计算这个区域的凸包（见图6.3.4中各前后相连的细直线段）并检测凸残差最大处可得到一个分割阈值T

6.3.3 局部阈值的选取

1.直方图变换6.3.3 局部阈值的选取

1.直方图变换

①具有低梯度值像素的直方图

②具有高梯度值像素的直方图6.3.3 局部阈值的选取

1.直方图变换

加权直方图

谷更深了，单峰对应谷6.3.3 局部阈值的选取

2.灰度-梯度散射图 2-D直方图：一个是灰度值，另一个是梯度值，统计值是同时具有某一个灰度值和梯度值的像素个数

6.3.4 动态阈值的选取 (1)将整幅图像分成一系列互相之间有一定重叠（如50%）的子图像 (2)作出每个子图像的直方图 (3)检测各个子图像的直方图是否为双峰的，如果是则采用前面介绍的最优阈值法确定一个阈值，否则就不进行处理 (4)以对直方图为双峰的子图像选取的阈值为基础，通过插值得到所有子图像的阈值 (5)根据各子图像的阈值再通过插值得到所有像素的阈值，然后对图像进行分割6.3.4 动态阈值的选取 (a)具有一定的灰度梯度的图像 (b)用全局取阈值分割得到的结果

(c)分区网格 (d)阈值曲面

(f)分割结果图6.4 特色阈值方法 6.4.1 多分辨率阈值 6.4.2 过渡区阈值

6.4.1 多分辨率阈值

1.确定分割区域的类数2.确定最优阈值6.4.2 过渡区阈值

过渡区本身也是图像中一个特殊的区域。一方面它将背景和目标或不同的区域分隔开来，具有边界的特点；另一方面，它面积不为零，具有区域的特点

有效平均梯度6.4.2 过渡区阈值

剪切变换

把被剪切了的部分设成剪切值，避免了一般剪切在剪切边缘造成较大的反差而产生的不良影响6.4.2 过渡区阈值

有效平均梯度的极值点

典型的EAGhigh(L)和EAGlow(L)曲线都是单峰曲线，即它们各有一个极值6.4.2 过渡区阈值

过渡区处于目标和背景之间，而目标和背景之间的边界又在过渡区之中，所以可借助过渡区来帮助选取阈值教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第7章 目标表达和描述 7.1 基于边界的表达

7.2 基于区域的表达

7.3 基于边界的描述

7.4 基于区域的描述7.1 基于边界的表达 7.1.1 链码

7.1.2 边界段和凸包

7.1.3 边界标记

7.1.1 链码

在链码表达中，只有边界的起点需用（绝对）坐标表示，其余点都可只用接续方向来代表偏移量

4-方向和8-方向链码的共同特点是直线段的长度固定，方向数有限7.1.1 链码

链码起点归一化

给定一个从任意点开始而产生的链码，把它看作一个由各个方向数构成的自然数。将这些方向数依一个方向循环以使它们所构成的自然数的值最小，然后将这样转换后链码起点作为归一化链码的起点7.1.1 链码

链码旋转归一化

利用链码的一阶差分来重新构造一个序列（一个表示原链码各段之间方向变化的新序列）

上面一行为原链码

下面一行为两两相减得到的差分码7.1.1 链码

缝隙码

连接两个相邻轮廓像素的外边缘交叉点

中点缝隙码

连接像素外边缘中点的缝隙码7.1.2 边界段和凸包

更节省表达数据量的方法是把边界分解成若干段分别表示

将边界分解为多个边界段可以借助凸包的概念来进行7.1.2 边界段和凸包

确定了目标的凸包，就可以将边界分段

当把S的边界分解为边界段时，能分开D的各部分的点就是合适的边界分段点7.1.3 边界标记

1.距离为角度的函数

先对给定的目标求出重心，然后作出边界点与重心的距离为角度的函数7.1.3 边界标记

2.

y-s曲线

沿边界围绕目标一周，在每个位置作出该点的切线，该切线与一个参考方向（如横轴）之间的角度值就给出一种标记7.1.3 边界标记

3.斜率密度函数

斜率密度函数可看作将y-s曲线沿y轴投影的结果。这种标记就是切线角的直方图h(q)7.1.3 边界标记

4.距离为弧长的函数

基于边界的标记可通过从一个点开始沿边界围绕目标逐渐作出来。如果将各个边界点与目标重心的距离作为边界点序列的函数就得到一种标记7.2 基于区域的表达 7.2.1 四叉树

7.2.2 围绕区域

7.2.3 骨架7.2.1 四叉树

四叉树表达法利用金字塔式的数据结构对图像进行表达。结点可分成3类：①目标结点（用白色表示）；②背景结点（用深色表示）；③混合结点（用浅色表示）

7.2.2 围绕区域

(1)外接盒：包含目标区域的最小的长方形 (2)最小包围长方形 (3)凸包

7.2.3 骨架

对每个R中的点P，可在B中搜寻与它距离最小的点。如果对P能找到多于一个这样的点（即有两个或以上的B中的点与P同时距离最小），就可认为P属于R的骨架，或者说P是一个骨架点

7.2.3 骨架

每个骨架点都保持了其与边界点距离最小的性质，所以如果用以每个骨架点为中心的圆的集合（利用合适的量度），就可恢复出原始的区域

7.2.3 骨架

计算骨架的一种实用方法 (1)标记同时满足下列条件的边界点 (1.1)

2≤N(p1)≤6； (1.2)

S(p1)=1； (1.3)

p2

≤

p4

≤

p6=0； (1.4)

p4

≤

p6

≤

p8=0。 (2)标记同时满足下列条件的边界点 (2.1)

2≤N(p1)≤6； (2.2)

S(p1)=1； (2.3)

p2

≤

p4

≤

p8=0； (2.4)

p2

≤

p6

≤

p8=0。

7.2.3 骨架

计算骨架的一种实用方法

图7.2.7(a)：p1只有一个标记为1的8-邻域点

图7.2.7(b)：p1有7个标记为1的邻点

图7.2.7(c)和(d)：宽度为单个像素的线段

图7.2.7(e)：p1为边界的右或下端点

图7.2.7(f)：p1为边界的左或上端点

7.3 基于边界的描述 7.3.1 边界长度和直径

7.3.2 边界形状数7.3.1 边界长度和直径

1.边界长度 4-方向连通边界B4

8-方向连通边界B8

统一用下式计算

7.3.1 边界长度和直径

2.边界直径

边界上相隔最远的两点之间的距离

常用的距离量度主要有3种，即DE(·)、D4(·)和D8(·)距离7.3.2 边界形状数

基于链码的边界形状描述符

形状数是值最小的（链码的）差分码

阶定义为形状数序列的长度7.3.2 边界形状数

对已给边界由给定阶计算边界形状数有以下几个步骤（参见图7.3.3）

变化阶数，可以得到对应不同尺度的形状数7.4 基于区域的描述 7.4.1 区域面积和密度

7.4.2 区域形状数

7.4.3 不变矩

7.4.4 拓扑描述符7.4.1 区域面积和密度

1.区域面积

网格多边形的面积7.4.1 区域面积和密度

2.区域密度

(1)透射率 (2)光密度 (3)积分光密度7.4.2 区域形状数

描述区域的紧凑性

值与区域中所有点到区域外的距离总和有关

设区域共包含N个点，其中第i个点到区域外最近点的距离为di，该区域的形状数如下：

S的值越大，区域越不紧凑7.4.3 不变矩

用所有属于区域内的点计算

f(x,y)的p+q阶矩定义为 f(x,y)的p+q阶中心矩定义为

f(x,y)的归一化的中心矩可表示为7.4.3 不变矩

7个对平移、旋转和尺度变换保持不变的不变矩7.4.4 拓扑描述符

1.欧拉数

区域内的孔数H和区域内的连通组元的个数C

欧拉数E

欧拉数依次分别为–1，2，1，0

描述区域连通性7.4.4 拓扑描述符

2.欧拉公式

全由直线段构成的区域集合也叫多边形网

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第8章 形状特性分析 8.1 形状紧凑性描述符

8.2 形状复杂性描述符

8.3 基于多边形的形状分析

8.4 基于曲率的形状分析8.1 形状紧凑性描述符

1.外观比

2.形状因子8.1 形状紧凑性描述符

3.偏心率两个主轴的斜率两个半主轴长

8.1 形状紧凑性描述符

3.偏心率

借助等效椭圆间的匹配可以获得对两幅图像间的几何失真进行校正所需的几何变换8.1 形状紧凑性描述符

4.球状性

球状性S原本指3-D目标的表面积和体积的比值。为描述2-D目标，它被定义为8.1 形状紧凑性描述符

5.圆形性

圆形性C是一个用目标区域R的所有边界点定义的特征量：8.1 形状紧凑性描述符

例8.1.4描述符的数字化计算8.2 形状复杂性描述符

1.形状复杂度的简单描述符 (1)细度比例：形状因子的倒数，即4p(A/B2) (2)面积周长比：A/B

(3)

(4)矩形度：矩形度定义为A/AMER，其中AMER代表围盒面积。矩形度反映的是目标的凸凹程度。 (5)与边界的平均距离：目标中各点与边界的平均距离定义为A/（见式(8.1.15)）。 (6)轮廓温度：轮廓温度是根据热力学原理得来的描述符，定义为，其中H为目标凸包的周长8.2 形状复杂性描述符

2.对模糊图的直方图分析来描述形状复杂度8.2 形状复杂性描述符

3.饱和度

既反映了目标的紧凑性（紧致性），也反映了目标的复杂性，它考虑的是目标在其围盒中的充满程度81/140=57.8% 63/140=45%8.3 基于多边形的形状分析 8.3.1 多边形的获取

8.3.2 多边形描述

8.3.1 多边形的获取 (1)基于收缩的最小周长多边形法

(2)基于聚合的最小均方误差线段逼近法 (3)基于分裂的最小均方误差线段逼近法

112比特 272比特 224比特8.3.2 多边形描述

1.直接特征

下面几个与形状相关的特征可直接从多边形表达的轮廓得出以描述其特性 (1)角点或顶点的个数 (2)角度和边的统计量，如均值、中值、方差、矩等 (3)最长边和最短边的长度，它们的长度比和它们间的角度 (4)最大内角与所有内角和的比值 (5)各个内角的绝对差的均值8.3.2 多边形描述

2.比较边界形状数

两个形状间的（相似）距离定义为它们相似度

的倒数这个距离量度满足以下条件：8.3.2 多边形描述

3.借助区域标记

区域标记的基本思想与边界标记类似，也是沿不同方向进行投影，把2-D问题转换为1-D问题8.4 基于曲率的形状分析 8.4.1 轮廓曲率

8.4.2 曲面曲率8.4.1 轮廓曲率

1.曲率与几何特征8.4.1 轮廓曲率

2.离散曲率

在点pi

P处的k-阶曲率rk(pi)=|1–cosqki|，其中qki=angle(pi

k,pi,pi+k)是两个线段[pi

k,pi]和[pi,pi+k]之间的夹角，而k

{i,…,n–i}8.4.1 轮廓曲率

3.离散曲率的计算(1)先对x(t)和y(t)进行插值再求导数8.4.1 轮廓曲率

3.离散曲率的计算(2)根据矢量间的夹角来定义等价的曲率测度

先定义以下的两个矢量8.4.1 轮廓曲率

4.基于曲率的描述符(1)曲率的统计值。曲率的直方图可提供一些有用的全局测度，如平均曲率、中值、方差、熵、矩等(2)曲率的最大点、最小点、拐点。曲率达到正最大、负最小的点或拐点带的信息更多。这些点的数量，它们在轮廓中的位置，正最大、负最小的点曲率数值都可用作形状测度。(3)弯曲能。曲线的弯曲能（bendingenergy，BE）是将给定曲线弯曲成所需形状而需要的能量8.4.1 轮廓曲率

4.基于曲率的描述符(4)对称测度。对曲线线段，其对称测度S定义为其中内部的积分是到当前位置的角度改变量；A是整个曲线的角度改变量；L是整个曲线的长度；k(l)就是沿轮廓的曲率8.4.2 曲面曲率

1.曲面曲率定义

在曲面上至少可以确定一个具有最大曲率的方向，还可以确定出一个具有最小曲率的方向

它们是互相正交的8.4.2 曲面曲率

2.平均曲率和高斯曲率

高斯曲率

平均曲率8.4.2 曲面曲率教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第9章 立体视觉 9.1 立体视觉模块

9.2 双目成像和视差

9.3 基于区域的立体匹配

9.4 基于特征的立体匹配9.1 立体视觉模块

一个完整的立体视觉系统可以划分为6个模块 1.摄像机标定（3.4节） 2.图像获取（3.1节，3.3节） 3.特征提取（第5章，第7章）

4.立体匹配：建立对应关系

5.

3-D信息恢复：计算深度图像

6.后处理：深度插值、误差校正、精度改善9.2 双目成像和视差 9.2.1 双目横向模式

9.2.2 双目横向会聚模式

9.2.3 双目纵向模式9.2.1 双目横向模式

两个单目系统在水平方向上并列放置，两个镜头的焦距均为l，其中心间的连线称为系统的基线B

9.2.1 双目横向模式

1.视差和深度

已知基线和焦距，

确定视差d后

计算W点的Z坐标9.2.1 双目横向模式

2.角度扫描成像空间点W的X和Y坐标9.2.2 双目横向会聚模式

物体和像平面的距离Z与视差d直接联系9.2.3 双目纵向模式

两个摄像机沿光轴线依次排列

公共视场的边界很容易确定9.3 基于区域的立体匹配 9.3.1 模板匹配

9.3.2 双目立体匹配9.3.1 模板匹配

本质是用一个较小的图像（模板）与一幅较大图像中的一部分（子图像）进行匹配相关函数相关系数9.3.2 双目立体匹配

1.极线约束

C'和C"分别为左右像平面的光心，它们之间的连线称为光心线，光心线与左右像平面的交点E'和E"分别称为左右像平面的极点

光心线与物点W在同一个平面中，这个平面称为极平面，极平面与左右像平面的交线L‘和L“分别称为物点W在左右像平面上投影点的极线9.3.2 双目立体匹配

2.匹配中的影响因素(1)拍摄场景时景物自身形状或景物互相遮挡(2)图像中平滑区域得到的模板图像具有相同或相近的模式9.3.2 双目立体匹配

3.正交立体图像对

在实际应用中，一般水平方向上比较光滑的区域在垂直方向上常可能具有比较明显的灰度差异，所以可利用垂直方向上的图像对进行垂直搜索获取两对互相正交的双目图像9.3.2 双目立体匹配9.4 基于特征的立体匹配 9.4.1 点对点的方法

9.4.2 动态规划匹配9.4.1 点对点的方法

1.利用边缘点的匹配

特征点图像

9.4.1 点对点的方法

2.利用零交叉点的匹配

选用零交叉模式来获得匹配基元

9.4.1 点对点的方法

3.特征点深度

在3-D空间坐标中一个特征点W(x,y,–z)通过正交投影后在左右图上分别如下：

9.4.1 点对点的方法

3.特征点深度

9.4.1 点对点的方法

4.稀疏匹配点

仅由稀疏的匹配点并不能直接得到密集的视差场，因而有可能无法唯一地恢复物体外形

9.4.2 动态规划匹配

考虑被观察物体可见表面上的3个特征点，顺序命名为A，B，C。它们在两幅成像图像上投影的顺序（沿极线）正好反过来，为c，b，a和c'，b'，a'。这两个顺序相反的规律称为顺序性约束

9.4.2 动态规划匹配

匹配各特征点对的问题可以转化成匹配同一极线上相邻特征点之间间隔的问题

将匹配各特征点对的问题描述为一个在由特征点对应结点的图上搜索最优路径的问题

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第10章 三维景物恢复 10.1 由光移恢复表面朝向

10.2 从明暗恢复形状

10.3 纹理变化与表面朝向

10.4 根据焦距确定深度10.1由光移恢复表面朝向 10.1.1表面反射特性

10.1.2目标表面朝向

10.1.3反射图

10.1.4光度立体学求解10.1.1表面反射特性

在成像中，场景亮度对应光源表面射出的光通量，而图像照度则对应图像平面得到的光通量1.双向反射分布函数

一条光线I的方向可用该光线与面元法线间的夹角q（称为极角）和该光线在目标表面的正投影与参考线之间的夹角f（称为方位角）表示

第10章10.1.1表面反射特性1.双向反射分布函数

f(qi,fi;qe,fe)表示当光线沿方向(qi,fi)入射到物体表面而观察者在方向(qe,fe)所观察到的表面亮度和照度的比值 10.1.1表面反射特性1.双向反射分布函数

扩展光源整个表面照度整个表面的亮度 10.1.1表面反射特性2.理想散射表面

理想散射表面也称朗伯表面，从所有观察方向看它都是同样亮的，并且它完全不吸收地反射所有入射光。朗伯表面的BRDF即f(qi,fi;qe,fe)是个常数理想散射表面在具有均匀照度E的“天空”之下时10.1.1表面反射特性3.理想镜面反射表面

一个理想镜面反射表面可将所有从(qi,fi)方向射入的光全部反射到(qe,fe)方向上10.1.2目标表面朝向

求切面上任意两条不平行直线的外（叉）积就可得到表面法线

将(p,q)称为表面梯度

法线指向观察者（取反向）10.1.3反射图

点光源照射一个朗伯表面

场景亮度与表面朝向的关系函数为R(p,q)，将其作为梯度(p,q)的函数，以等值线形式画出而得到的图称为反射图10.1.3反射图

对由一个远距离的点光源照明的朗伯面10.1.3反射图

反射图表示了表面照度与表面朝向的依赖关系

图像亮度约束方程

一个朗伯表面的球体被一个点光源所照明10.1.4光度立体学求解

从由p和q所确定的表面朝向到由反射图R(p,q)所确定的亮度间的对应关系是唯一的，但反过来却不一定。利用在不同光线下采集的两幅图像，可对每个图像点生成两个方程10.1.4光度立体学求解

两幅在不同光照条件下（同一个光源处于两个不同位置）采集得到的对应图像

将各点的朝向矢量画出的结果10.2从明暗恢复形状 10.2.1 明暗与形状

10.2.2 求解亮度方程10.2.1明暗与形状

1.明暗法

图像上明暗变化的分布取决于4个因素：①物体（正对观察者）可见表面的几何形状，②光源的入射强度和方向，③观察者相对物体的方位和距离，④物体表面的反射特性

10.2.1明暗与形状

1.明暗法

光源来自观察者背后且为平行光线光线不是以i=e的角度入射的一般情况

10.2.1明暗与形状

2.梯度空间法借助梯度空间法可以理解由平面相交而形成的结构 当S和G同号时，表明两个面组成凸结构，而当S和G异号时，则表明两个面组成凹结构10.3纹理变化与表面朝向 10.3.1 三种典型变化

10.3.2 确定线段的纹理消失点10.3.1三种典型变化

1.利用纹理元尺寸的变化位置不同的纹理元在投影后尺寸会产生不同的变化

纹理梯度的方向取决于纹理元绕摄像机轴线旋转的角度，而纹理梯度的数值给出纹理元相对视线倾斜的倾斜度10.3.1三种典型变化

2.利用纹理元形状的变化

物体表面纹理元的形状在透视投影和正交投影成像后有可能发生一定的变化

椭圆主轴的取向确定了相对于摄像机轴线旋转的角度，而长短轴长度的比值反映了相对视线倾斜的倾斜度10.3.1三种典型变化

3.利用纹理元之间关系的变化

如果纹理是由有规律的纹理元栅格所组成，则可通过计算其消失点来恢复表面朝向信息

连接这两个点的直线的方向指示纹理元相对于摄像机轴线旋转的角度，而这条连线与x=0的交点指示了纹理元相对视线的倾斜角 10.3.1三种典型变化

10.3.2确定线段的纹理消失点

图象空间中的直线可表示为 变换{x,y}

{l,q}将图象空间XY中的一条直线映射为参数空间LQ

中的一个点，而图象空间XY中具有相同消失点(xv,yv)的直线集合被投影到参数空间LQ

中的一个圆上（见如下）将和q=arctan{y/x}代入

10.3.2确定线段的纹理消失点

再转到直角坐标系中这个圆是所有以(xv,yv)为消失点的线段集合投影到LQ

空间中的轨迹

10.3.2确定线段的纹理消失点

两个缺点：①圆检测比直线困难，计算量也大 ②当xv

或yv

时，有l

改用变换{x,y}{k/l,q}在无穷远的消失点就可投影到原点，而且具有相同消失点(xv,yv)的线段所对应的点在ST空间的轨迹成了一条直线

直线方程10.3.2确定线段的纹理消失点

空间ST里的直线在空间RW里为一个点{哈夫变换}消失点的坐标为

10.4根据焦距确定深度

景深由满足清晰程度的最远点和最近点所确定

10.4根据焦距确定深度

景物最近点距离为

景物最远点距离为

景深

10.4根据焦距确定深度

当使用焦距较长的镜头时，最近点距离和最远点距离会比较接近，所获得的景深会比较小。这样就有可能根据对焦距的测定来确定景物的距离

际应用中，对一个给定的景物点，调节焦距使对它的成像清晰，则此时的焦距就指示与它的距离；而对一幅以一定焦距拍摄的图像，其上清晰的像素点所对应的景物点的深度也可以计算出来

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第11章 运动分析 11.1 运动分类和表达

11.2 全局运动检测

11.3 运动目标分割

11.4 运动光流和表面取向11.1 运动分类和表达

1.运动分类

(1)摄像机静止，景物运动 (2)摄像机运动，景物静止 (3)摄像机和景物都运动

(1)前景运动：前景运动指目标在场景中的自身运动，又称为局部运动

(2)背景运动：背景运动是由进行拍摄的摄像机的运动所造成的帧图像内所有点的整体移动，又称为全局运动或摄像机运动11.1 运动分类和表达摄像机的各种运动跟踪运动升降运动进退或推拉运动倾斜运动扫视运动滚转运动变焦运动或缩放运动 11.1 运动分类和表达2.运动矢量场表达 将每个运动矢量用（有起点）无箭头的线段（线段长度与矢量大小即运动速度成正比）来表示，并叠加在原始图像上11.1 运动分类和表达3.运动直方图表达 运动矢量方向直方图

仅保留运动的方向信息以减少数据量11.1 运动分类和表达3.运动直方图表达 运动区域类型直方图

借助对区域参数模型的表示来表达运动矢量场中各种运动的信息11.1 运动分类和表达4.运动轨迹表达

运动轨迹描述符由一系列关键点和一组在这些关键点间进行插值的函数构成11.2 全局运动检测 11.2.1 利用图像差的运动检测

11.2.2 基于模型的运动检测

11.2.1利用图像差的运动检测1.差图像的计算

对时间上相邻的两幅图像求差

将图像中运动目标的位置和形状变化突现出来11.2.1利用图像差的运动检测1.差图像的计算

差图像

似然比11.2.1利用图像差的运动检测2.累积差图像的计算11.2.1利用图像差的运动检测2.累积差图像的计算

累积差图像ADI有3个功能 (1)

ADI中相邻像素数值间的梯度关系可用来估计目标移动的速度矢量，这里梯度的方向就是速度的方向，梯度的大小与速度成正比 (2)

ADI中像素的数值可帮助确定运动目标的尺寸和移动的距离 (3)

ADI中包含了目标运动的全部历史资料，有助于检测缓慢运动的和尺寸较小的目标运动11.2.2利用模型的运动检测1.全局运动模型

通用的模型

线性的6参数仿射模型 8参数的双线性模型11.2.2利用模型的运动检测2.基于双线性模型的全局运动检测

将整个帧图像划分为一些正方形小块（如16

16），然后用块匹配法求取观测运动矢量11.3 运动目标分割

1.先分割之后再计算运动信息

直接利用时–空图像的灰度和梯度信息 2.先计算运动信息再分割

先估计光流场，然后基于光流场进行分割 3.同时计算运动信息和进行分割

一般需要相当大的计算量11.4运动光流和表面取向 11.4.1 光流约束方程

11.4.2 光流计算

11.4.3 光流与表面取向

11.4运动光流和表面取向

当摄像机与场景目标间有相对运动时所观察到的亮度模式运动称为光流，或者说物体带光学特征的部位的移动投影到视网膜平面（即图像平面）上就形成光流

光流有三个要素：一是运动（速度场），这是光流形成的必要条件；二是带光学特性的部位（例如有灰度的像素点），它能携带信息；三是成像投影（从场景到图像平面），因而能被观察到 11.4.1 光流约束方程

时刻t+dt在图像点(x+dx,y+dy)处的照度应当与时刻t在图像点(x,y)的照度相同用泰勒级数展开，令dt

0，取极限并略去高阶项灰度的（一阶）时间变化率是场景亮度变化率与该点运动速度的乘积11.4.2 光流计算

对光流约束方程求解，即根据图像点灰度值的梯度求光流分量

光流约束方程的解是一条直线

仅一个光流约束方程并不足以唯一地确定u和v两个量11.4.2 光流计算

1.刚体运动光流

速度的空间变化率为零将e对u和v分别求导并取导数为零11.4.2 光流计算

1.刚体运动光流松弛迭代方程在一个新(u,v)点的迭代值是该点邻域中的平均值减去一个调节量，这个调节量处于亮度梯度的方向上零11.4.2 光流计算11.4.2 光流计算

2.平滑运动光流

考虑在图像的大部分地方运动场的变化一般比较缓慢稳定这个平滑条件。这时可考虑最小化一个与平滑相偏离的测度，常用的测度是对光流梯度之幅度平方的积分另一方面还可考虑最小化光流约束方程的误差合起来需要最小化es+lec11.4.2 光流计算

3.灰度突变光流从路径看灰度变化从时间看灰度变化11.4.3 光流与表面取向

光流包含了场景结构的信息，所以可从物体表面运动的光流解得表面的取向

球形透视投影11.4.3 光流与表面取向

一个任意运动点的光流

假设场景静止，而观察者以速度S沿Z轴（正向）运动。这时有u=0，v=0，w=–S11.4.3 光流与表面取向

借助光流求取表面方向

将N分解到两个互相垂直的方向上，一个在ZR平面中，与OR的夹角为s，另一个在与ZR平面垂直的平面（与XY平面平行）中，与OR'的夹角为t11.4.3 光流与表面取向

借助光流求取表面方向

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学东主楼，9区307室

办公电话：(010)62781430

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~