计算机视觉（第2版）

第1章 绪论

本书是一本专门用于计算机视觉课程教学的教材（第2版），主要介绍一些基本和典型的计算机视觉技术。

计算机视觉作为一门学科，与数学、物理学、生理学、感知心理学、神经科学以及计算机科学等都有密切的联系。

本书作为一本入门的教材，可以自成体系地进行学习。虽然本书主要关注计算机视觉自身的内容，在需要时也对相关预备知识给予了概括介绍。第1章 绪论

1.1 计算机视觉

1.2 图像基础

1.3 像素间联系

1.4 本书内容提要

1.1 计算机视觉 1.1.1 视觉概述 1.1.2 计算机视觉的目标 1.1.3 相关学科 1.1.4 应用领域1.1.1 视觉概述

视觉是人类观察世界、认知世界的重要功能手段。人类从外界获得的信息约有75%来自视觉系统

视觉进一步可分为视感觉和视知觉

视感觉中主要研究的内容有：

①

光的物理特性

②

光刺激视觉感受器官的程度

③

光作用于视网膜后经视觉系统加工而产生

的感觉1.1.1 视觉概述

视知觉主要论述人们从客观世界接收到视觉刺

激后如何反应以及反应所采用的方式

视知觉是在神经中枢进行的一组活动，它把视

野中一些分散的刺激加以组织，构成具有一定

形状的整体以认识世界

视觉的最终目的从狭义上说是要能对客观场景

做出对观察者有意义的解释和描述1.1.2 计算机视觉的目标

计算机视觉是指用计算机实现人类的视觉功能

计算机视觉的研究方法目前主要有两种：

仿生学的方法：参照人类视觉系统的结构原理

工程的方法：实现系统的功能

计算机视觉的主要研究目标可归纳成两个：

建立计算机视觉系统来完成各种视觉任务

加深对人脑视觉机理的掌握和理解1.1.3 相关学科1.1.3 相关学科 (1)图像理解：与计算机视觉有相同的目标 (2)机器视觉：更关注通过视觉传感器获取环

境的图像，构建具有视觉感知功能的系统

以及实现检测和辨识物体的算法 (3)模式识别：图像就是模式的一种 (4)人工智能：视觉功能是人类智能的体现 (5)计算机图形学：计算机视觉的反/逆问题1.1.4 应用领域 (1)工业视觉 (2)人机交互 (3)安全监控 (4)军事公安 (5)遥感测绘 (6)视觉导航 (7)生物医学 (8)虚拟现实 (9)图像自动解释 (10)对人类视觉系统和机理，以及人脑心理和

生理的研究等1.2 图像基础

1.2.1 图像及类别

1.2.2 图像表达和显示

1.2.3 图像存储1.2.1 图像及类别

图像：辐射强度模式的空间分布

图像表达函数：辐射能量在空间分布的函数

通用图像表达函数：T(x,y,z,t,l)

如：g射线图像、X射线图像、紫外线图像、可见光图像、红外线图像、微波图像、无线电波图像、交流电波图像，3-D图像、彩色图像、多光谱图像、立体图像和多视图像，序列图像、深度图像、纹理图像、投影重建图像……1.2.1 图像及类别

模拟图像：从连续的客观场景直接观察到

用一个2-D数组f(x,y)来表示，f，x，y的值可以

是任意实数

数字图像：把连续的模拟图像在坐标空间XY和

性质空间F都离散化了的图像

用f(x,y)代表数字图像，f，x，y都为整数

“图象”一词比“图像”一词的含义更广，覆

盖面更宽1.2.2 图像表达和显示

图像表达：

矩阵表达

矢量表达1.2.2 图像表达和显示

图像显示：

二值图像的3种不同的显示方式：

离散点集

覆盖区域

矩阵表达1.2.2 图像表达和显示

图像显示：

标准图像1.2.3 图像存储 1. 图像存储器

(1)处理过程中使用的快速存储器 (2)可以较快地重新调用的在线或联机存储器 (3)不经常使用的数据库（档案库）存储器 2. 图像文件格式

(1)

BMP格式

(2)

GIF格式

(3)

TIFF格式

(4)

JPEG格式1.3 像素间联系 1.3.1 像素邻域 1.3.2 像素间距离1.3.1 像素邻域

4-邻域：N4(p)

对角邻域：ND(p)

8-邻域：N8(p)1.3.1 像素邻域

邻接：对两个像素p和q来说，如果q在p的邻域

中，则称p和q满足邻接关系

连接：p和q邻接且灰度值均满足某个特定的相

似准则

连通：不（直接）邻接，但均在另一个像素的

相同邻域中，且这3个像素的灰度值均满

足某个特定的相似准则1.3.2 像素间距离

欧氏距离：

城区距离：

棋盘距离：

距离

和

邻域：1.3.2 像素间距离

范数：

像素p的4-邻域：

像素p的8-邻域：1.3.2 像素间距离

距离变换：把二值图像变换为灰度图像

等距离轮廓给出了与中心像素的某种距离小于或等于某个值的像素组成的图案1.4 本书内容提要 1.4.1 计算机视觉系统

及模块

1.4.2 如何学习使用本书1.4.1计算机视觉系统及模块1.4.2 如何学习使用本书

图1.4.1中括号内的数字即为章的序号

第1章是全书概括，其余14章可分为两大部分（分别对应图1.4.1的左右两半）：

第一大部分包括第2章、第3章、第4章、第5章、第6章、第7章、第8章，主要对应2-D视觉

第二大部分包括第9章、第10章、第11章、第12章、第13章、第14章、第15章，主要对应3-D视觉1.4.2 如何学习使用本书

教材使用建议

专业课时章号计算机科学技术48~641，2，3，4，5，6，7，8，9，10，11，12，13，14，15计算机应用36~421，2，3，4，5，6，7，8，11工业自动化、机器人42~541，2，3，4，5，6，7，8，9，10，11，12信息科学相关学科42~481，3，4，5，6，7，8，11，12，15教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第2章 图像采集

2.1 采集装置

2.2 采集模型

2.3 采集方式

2.4 摄像机标定2.1 采集装置为采集数字图像，采集装置需要包括两种器件(1) 传感器：对某个电磁能量谱波段（如X射线、紫外线、可见光、红外线等）敏感的物理器件。它可以接收辐射并产生与所接收到的电磁辐射能量成正比的（模拟）电信号(2) 数字化器：将上述（模拟）电信号转化为数字（离散）的形式

1.常用采集装置

CCD摄像机 具有非常快的快门速度

CMOS摄像机 低功耗，小尺寸，总体成本低

CID摄像机

随机访问，不会产生图像浮散2.1 采集装置

2.基本性能指标

(1)线性响应：

(2)灵敏度：

(3)信噪比：

(4)阴影（不均匀度）：

(5)快门速度：

(6)读取速率：2.1 采集装置2.2 采集模型 图像采集中的主要模型包括几何成像模型和亮度成像模型

2.1.1几何成像模型

2.1.2亮度成像模型 2.1.3空间和幅度分辨率2.2.1 几何成像模型

图像采集的过程从几何角度可看作是一个将客观世界的场景通过投影进行空间转化的过程 投影成像涉及到在不同坐标系统之间的转换

(1)世界坐标系统：XYZ

(2)摄像机坐标系统：xyz

(3)图像平面坐标系统：x'y'

一般取图像平面与摄像机坐标系统的xy平面平行，且x轴与x'轴、y轴与y'轴分别重合

2.2.1 几何成像模型

1.重合模型2.2.1 几何成像模型

齐次坐标

2.分离模型

图像平面（原点）与世界坐标系统的位置偏差用矢量D表示，其分量分别为Dx，Dy，Dz。摄像机的扫视角（x和X轴间的夹角）为

，而倾斜角（z和Z轴间的夹角）为a

第3章2.2.1 几何成像模型

2.分离模型

平移

旋转第3章2.2.1 几何成像模型2.2.1 几何成像模型

2.分离模型 一个满足几何关系的摄像机观察到的齐次世界坐标点在摄像机坐标系统中具有如下的齐次表达2.2.1 几何成像模型

2.分离模型 这个不重合的摄像机模型可通过以下一系列步骤转换为前面的重合模型：2.2.1 几何成像模型

2.分离模型 ①将图像平面原点按矢量D移出世界坐标系统的原点；②以某个

角（绕z轴）扫视x轴；③以某个a角将z轴倾斜（绕x轴旋转）2.2.2 亮度成像模型

1.景物亮度

场景中景物本身的亮度与光辐射的强度有关 对不发光的景物，要考虑其他光源对它的照度 照度和均匀照度2.2.2 亮度成像模型

1.景物亮度

2.2.2 亮度成像模型

2.图像灰度 照度分量 反射分量

图像点灰度值2.2.3 空间和幅度分辨率

空间分辨率（即数字化的空间采样点数） 幅度分辨率（即采样点值的量化级数） 辐射到图像采集矩阵中光电感受单元的信号在空间上被采样，而在强度上被量化

2.2.3 空间和幅度分辨率

图像的尺寸为M

N

用G个灰度值 将这些量均取为2的整数次幂 存储一幅图像所需的数据量 由图像的空间分辨率和幅度 分辨率决定 存储一幅图像所需的位数b

2.3 采集方式 2.3.1成像方式一览

2.3.2结构光法2.3.1成像方式一览2.3.2结构光法

在采集图像时直接获取深度信息的方法

利用照明中的几何信息来帮助提取景物自身的 几何信息

结构光成像成像高度中包含了3-D的深度信息2.3.2结构光法

成像宽度

结构光成像不仅能给出空间点的距离Z，同时也能给出沿Y方向的物体厚度2.4 摄像机标定 2.4.1标定程序和步骤

2.4.2两级标定法2.4.1标定程序和步骤

1、标定程序

令A=PRT，A中的元素包括摄像机平移、旋转和投影参数①获得M

≥6个具有已知世界坐标(Xi,Yi,Zi)的空间点②用摄像机拍摄这些点以得到图像平面坐标(xi,yi)③把这些坐标代入上两式以解出未知系数2.4.1标定程序和步骤

2、标定步骤 第1步：标定旋转矩阵R和平移矢量T

第2步：标定焦距l

第3步：标定镜头径向失真系数k

第4步：标定不确定性图像尺度因子m2.4.2两级标定法

先外部参数，即摄像机姿态参数（如摄像机的位置和方向或平移、扫视角和倾斜角）

后内部参数，摄像机自身参数（如焦距、镜头径向失真、不确定性图像尺度因子）

如果m

已知，标定时只需用一幅含有一组共面基准点的图像即可

如果m未知，标定时需用一幅含有一组不共面基准点的图像教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第3章 图像预处理

3.1 坐标变换

3.2 灰度映射

3.3 直方图修正

3.4 空域滤波3.1

坐标变换 3.1.1 基本坐标变换

3.1.2 几何失真校正3.1.1

基本坐标变换

1.变换的表达 2.平移变换3.1.1 基本坐标变换

3.尺度变换 4.旋转变换3.1.1 基本坐标变换

5.变换级连3.1.2 几何失真校正

1.空间变换3.1.2 几何失真校正

2.灰度插值3.2 灰度映射 3.2.1 灰度映射原理

3.2.2 灰度映射示例

3.2.1 灰度映射原理

基于图像像素的点操作

映射函数3.2.2 灰度映射示例

灰度映射技术的关键是根据增强要求设计映射函数3.2.2 灰度映射示例1.图像求反2.动态范围

压缩3.对比度

增强3.3 直方图修正 3.3.1 直方图均衡化

3.3.2 直方图规定化3.3.1 直方图均衡化1.直方图和累积直方图

灰度直方图是一个1-D的离散函数

灰度累积直方图也是一个1-D的离散函数3.3.1 直方图均衡化2.直方图均衡化原理

直方图均衡化的基本思想是把原始图的直方图变换为在整个灰度范围内均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果

增强函数需要满足两个条件

(1)

在灰度范围内是一个单值单增函数

(2)

变换前后图像的灰度值动态范围一致3.3.1 直方图均衡化列表计算对照表3.3.13.3.1 直方图均衡化

效果

增加了灰度动态范围，所以也增加了对比度原始图像和直方图均衡化结果及直方图3.3.2 直方图规定化

用户可指定规定化函数来得到特殊的增强功能1.直方图规定化原理

3个步骤

(1)对原始图的直方图进行灰度均衡化

(2)规定需要的直方图，并计算能使规定的直方图均衡化的变换

(3)将第1步得到的变换反转过来，即将原始直方图对应映射到规定的直方图3.3.2 直方图规定化

单映射规则

组映射规则3.3.2 直方图规定化

列表计算

对照表3.3.23.3.2 直方图规定化

绘图计算3.4 空域滤波 3.4.1 原理和分类

3.4.2 线性平滑滤波

3.4.3 线性锐化滤波

3.4.4 非线性平滑滤波

3.4.5 非线性锐化滤波3.4.1 原理和分类

1.模板运算

模板卷积3.4.1 原理和分类

2.技术分类

给卷积模板的各个系数赋以不同的值，就可得到不同的增强效果3.4.2 线性平滑滤波

1.邻域平均3.4.2 线性平滑滤波

2.加权平均

系数均为正值，接近模板中心的系数比较大，而模板边界附近的系数应比较小3.4.3 线性锐化滤波

利用对应微分的方法可以对图像进行锐化滤波

线性锐化滤波的模板仅中心系数为正，而周围的系数均为负值3.4.4 非线性平滑滤波

中值滤波可用如下步骤完成 (1)将模板在图中漫游，并将模板中心

与图中某个像素位置重合

(2)读取模板下各对应像素的灰度值 (3)将这些灰度值从小到大排成一列 (4)找出这些灰度值里排在中间的一个 (5)将这个中间值赋给对应模板中心位

置的像素3.4.4 非线性平滑滤波

中值滤波既能消除噪声（尤其是脉冲噪声），又能保持图像细节

轮廓比较清晰3.4.4 非线性平滑滤波

3.4.5 非线性锐化滤波

梯度（基于一阶微分）教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第4章 基元检测 4.1 边缘检测

4.2 SUSAN算子

4.3 哈里斯兴趣点算子

4.4 哈夫变换

4.5 椭圆定位和检测

4.6 位置直方图技术4.1 边缘检测 4.1.1 检测原理 4.1.2 一阶导数算子 4.1.3 二阶导数算子 4.1.4 边界闭合 4.1.5 边界细化4.1.1 检测原理①阶梯状边缘，②脉冲状边缘，③屋顶状边缘4.1.2 一阶导数算子

一阶微分算子给出梯度，所以也称梯度算子它分别计算沿X和Y方向的两个偏导分量罗伯特交叉算子，蒲瑞维特算子，索贝尔算子4.1.2 一阶导数算子

4.1.3 二阶导数算子

1.拉普拉斯算子

模板的基本要求是对应中心像素的系数应是正的，而对应中心像素邻近像素的系数应是负的，且所有系数的总和应该是零4.1.3 二阶导数算子

2.马尔算子

在每个分辨率上进行如下计算 (1)用一个2-D的高斯平滑模板与原图像卷积 (2)计算卷积后图像的拉普拉斯值 (3)检测拉普拉斯图像中的过零点作为边缘点

高斯加权平滑函数4.1.3 二阶导数算子

3.坎尼算子(1)信噪比准则

(2)定位精度准则(3)单边缘响应准则4.1.4 边界闭合

边缘像素连接的基础是它们之间有相似性

①梯度幅度

②梯度方向4.1.5 边界细化

1.用模板进行非最大消除

将梯度值不是最大值的像素除去

一般考虑4种梯度方向，即水平、垂直、左对角和右对角。所以设计4个模板：4.1.5 边界细化

2.用插值进行非最大消除

通过对相邻单元的梯度幅度的插值来在当前位置的周围估计梯度的幅度

结果比用模板检测进行非最大消除得到的结果要精确，但所需要的计算量也要大些板：4.2 SUSAN算子

4.2.1 USAN原理

4.2.2 角点和边缘检测

4.2.1 USAN原理

核同值区域（uni-valuesegmentassimilatingnucleus，USAN），即与核有相同值的区域，可简称为核同值区4.2.2 角点和边缘检测

1.角点检测

圆形模板

将模板内每个像素的灰度值与核的灰度值进行比较4.2.2 角点和边缘检测

1.角点检测

输出的游程和

边缘响应R(x0,y0)

将游程和S与一个固定的几何阈值G进行比较4.2.2 角点和边缘检测

1.角点检测

更稳定的计算C(.;.)的公式4.2.2 角点和边缘检测

2.边缘方向检测

边缘分两类

区域A和B都对应边缘都通过USAN区域的重心4.2.2 角点和边缘检测

3.

SUSAN算子的特点

进行检测时不需要计算微分，这可帮助解释为什么在有噪声时SUSAN算子的性能会较好

对边缘的响应将随着边缘的平滑或模糊而增强 SUSAN检测算子能提供不依赖于模板尺寸的边缘精度

控制参数的选择很简单，且任意性较小4.3 哈里斯兴趣点算子

哈里斯矩阵1.角点检测4.3 哈里斯兴趣点算子2.交叉点和T型交点检测 T型交点涉及到三个有不同灰度的区域4.4 哈夫变换 4.4.1 基本哈夫变换原理 4.4.2 广义哈夫变换原理 4.4.3 完整广义哈夫变换4.4.1 基本哈夫变换原理

点–线对偶性

(1)对参数空间中参数p和q的可能取值范围进行量化，根据量化结果构造一个累加数组A(pmin:pmax,qmin:qmax)，并初始化为零 (2)对每个XY空间中的给定点让p取遍所有可能值，用式(5.3.2)计算出q，根据p和q的值累加A，即A(p,q)=A(p,q)

+1。 (3)根据累加后A中最大值所对应的p和q，由式(5.3.1)确定出XY中的一条直线4.4.2 广义哈夫变换原理

利用表格建立曲线或轮廓点与参考点间的关系

参考点的坐标可由轮廓点的坐标算出来4.4.2 广义哈夫变换原理

广义哈夫变换计算示例

设正方形的中点为参考点，则从各轮廓点向参考点所引矢量的矢径和矢角如表4.4.2所示4.4.2 广义哈夫变换原理

4.4.3 完整广义哈夫变换

不仅要考虑轮廓的平移，而且要考虑轮廓的放缩、旋转，此时参数空间会从2-D增加到4-D

完整广义哈夫

变换计算示例

4.4.3 完整广义哈夫变换

4.5 椭圆定位和检测

1.直径二分法

两个边缘方向反向平行的边缘点的中点应是椭圆中心的候选点

通过将直径一分为二来搜索椭圆中心4.5 椭圆定位和检测

2.弦-切线法

通过计算直线TB的方程，并将直线上BD区间的点以类似哈夫变换中那样的方式在参数空间累加，最后用峰值检测就可确定C点的坐标

3.其他参数 P.89~904.6 位置直方图技术

1.检测原理

位置直方图是将图像向多个轴投影，并对像素灰度求和而得到的直方图，也称横向直方图

从这两个直方图向目标区域进行反投影，就可方便地确定出各个目标的位置4.6 位置直方图技术

2.计算量分析

完整的检测算法所需的操作数为

直接使用模板匹配

使用位置直方图的提速约为20倍教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第5章 目标分割 5.1 轮廓搜索

5.2 主动轮廓模型

5.3 基本阈值技术

5.4 特色阈值方法 5.5 特征空间聚类5.1 轮廓搜索

轮廓搜索是一种基于轮廓的目标分割方法 5.1.1 图搜索 5.1.2 动态规划

5.1.1 图搜索

一个图可表示为G=[N,A]，其中N是一个有限非空的结点集，A是一个无序结点对的集。集A中的每个结点对(ni,nj)称为一段弧（ni

N，nj

N）

对任一段弧(ni,nj)都可定义一个代价，记为c(ni,nj)，通路的总代价为 5.1.1 图搜索

代价函数

利用图搜索技术从上向下可检测出如图所示的对应大梯度边缘元素的边界段 5.1.1 图搜索

5.1.2 动态规划

借助有关具体问题的启发性知识减少搜索

图搜索的算法由以下几个步骤构成

(1)将起始结点标记为OPEN并置g(s)=0 (2)如果没有结点OPEN，失败退出，否则继

续

(3)将根据式(5.1.3)算得的估计代价r(n)为最小

的OPEN结点标记为CLOSE (4)如果n是目标结点，找到通路（可由n借助

指针上溯至s）退出，否则继续5.1.2 动态规划 (5)展开结点n，得到它的所有子结点（如果没

有子结点，返回步骤(2)） (6)如果某个子结点ni还没有标记，置r(ni)= g(n)+c(n,ni)，标记它为OPEN并将指向它

的指针返回到结点n (7)如果子结点ni已标记为OPEN或CLOSE，根

据g'(ni)=min[g(ni),g(n)+c(n,ni)]更新它的

值。将其g'值减小的CLOSE子结点标记

为OPEN，并将原来指向所有其g'值减小

的子结点的指针重新指向n。返回步骤(2)5.1.2 动态规划

对图像进行极坐标变换

同时解决确定起始点和判断搜索是否结束这两个问题5.2 主动轮廓模型

主动轮廓模型也称蛇模型 5.2.1 主动轮廓 5.2.2 能量函数

5.2.1 主动轮廓

图像上一组排序的点的集合5.2.2 能量函数

1.内部能量函数

用来推动主动轮廓形状的改变，并保持轮廓上点之间的距离不要太远或太近 (1)连续能量 (2)膨胀力5.2.2 能量函数

2.外部能量函数

将变形模板向感兴趣的特征位置吸引 (1)图像灰度能量 (2)图像梯度能量

3.归一化

到[0,1]区间5.3 基本阈值技术 5.3.1 原理和分类 5.3.2 全局阈值的选取 5.3.3 局部阈值的选取 5.3.4 动态阈值的选取5.3.1 原理和分类

阈值分割模型

灰度阈值T（gmin<T<gmax）5.3.1 原理和分类

阈值分割方法的关键问题是选取合适的阈值①全局阈值：仅根据各个图像像素的本身性质f(x,y) 来选取而得到的阈值②局部阈值：根据像素的本身性质f(x,y)和像素周围

局部区域性质q(x,y)来选取而得到的阈值③动态阈值：根据像素的本身性质f(x,y)、像素周围

局部区域性质q(x,y)和像素位置坐标(x,y)来选取5.3.2 全局阈值的选取

1.极小值点阈值

将直方图的包络看作一条曲线，则选取直方图的谷可借助求曲线极小值的方法

设用h(z)代表直方图，那么极小值点应满足以下条件：5.3.2 全局阈值的选取

2.最优阈值

混有加性高斯噪声的图像：5.3.2 全局阈值的选取

2.最优阈值

5.3.2 全局阈值的选取

3.最大凸残差阈值

对直方图凹度进行分析计算这个区域的凸包（见图6.3.4中各前后相连的细直线段）并检测凸残差最大处可得到一个分割阈值T

5.3.3 局部阈值的选取

1.直方图变换5.3.3 局部阈值的选取

1.直方图变换

①具有低梯度值像素的直方图

②具有高梯度值像素的直方图5.3.3 局部阈值的选取

1.直方图变换

加权直方图

赋给具有高梯度值的像素权重大一些

谷更深了，单峰对应谷5.3.3 局部阈值的选取

2.灰度-梯度散射图 2-D直方图：一个是灰度值，另一个是梯度值，统计值是同时具有某一个灰度值和梯度值的像素个数

5.3.4 动态阈值的选取 (1)将整幅图像分成一系列互相之间有一定重叠（如50%）的子图像 (2)作出每个子图像的直方图 (3)检测各个子图像的直方图是否为双峰的，如果是则采用前面介绍的最优阈值法确定一个阈值，否则就不进行处理 (4)以对直方图为双峰的子图像选取的阈值为基础，通过插值得到所有子图像的阈值 (5)根据各子图像的阈值再通过插值得到所有像素的阈值，然后对图像进行分割5.3.4 动态阈值的选取 (a)具有一定的灰度梯度的图像 (b)用全局取阈值分割得到的结果

(c)分区网格 (d)阈值曲面

(f)分割结果图5.4 特色阈值方法 5.4.1 多分辨率阈值 5.4.2 过渡区阈值

5.4.1 多分辨率阈值 1.确定分割区域的类数2.确定最优阈值5.4.2 过渡区阈值

过渡区本身也是图像中一个特殊的区域。一方面它将背景和目标或不同的区域分隔开来，具有边界的特点；另一方面，它面积不为零，具有区域的特点

有效平均梯度5.4.2 过渡区阈值

剪切变换

把被剪切了的部分设成剪切值，避免了一般剪切在剪切边缘造成较大的反差而产生的不良影响5.4.2 过渡区阈值

有效平均梯度的极值点

典型的EAGhigh(L)和EAGlow(L)曲线都是单峰曲线，即它们各有一个极值5.4.2 过渡区阈值

过渡区处于目标和背景之间，而目标和背景之间的边界又在过渡区之中，所以可借助过渡区来帮助选取阈值5.4.2 过渡区阈值

多过渡区时，3个重要性质仍成立5.5 特征空间聚类 5.5.1 基本聚类方法 5.5.2 均移确定聚类中心 5.5.1 基本聚类方法

1. K-均值聚类 (1) （在特征空间）任意选K个初始类均值 (2) 特征点赋类 (3) 更新类均值 (4) 判断算法收敛{ISODATA}5.5.2 基本聚类方法

2.

均移确定聚类中心

一种非参数迭代技术，均移指偏移的均值向量

通过迭代计算密度核的均值来聚类的中心教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第6章 目标表达和描述 6.1 基于边界的表达

6.2 基于区域的表达

6.3 基于边界的描述

6.4 基于区域的描述6.1 基于边界的表达 6.1.1 链码

6.1.2 边界段和凸包

6.1.3 边界标记

6.1.1 链码

在链码表达中，只有边界的起点需用（绝对）坐标表示，其余点都可只用接续方向来代表偏移量

4-方向和8-方向链码的共同特点是直线段的长度固定，方向数有限6.1.1 链码

链码起点归一化

给定一个从任意点开始而产生的链码，把它看作一个由各个方向数构成的自然数。将这些方向数依一个方向循环以使它们所构成的自然数的值最小，然后将这样转换后链码起点作为归一化链码的起点6.1.1 链码

链码旋转归一化

利用链码的一阶差分来重新构造一个序列（一个表示原链码各段之间方向变化的新序列）

上面一行为原链码

下面一行为两两相减得到的差分码6.1.1 链码

缝隙码

连接两个相邻轮廓像素的外边缘交叉点

中点缝隙码

连接像素外边缘中点的缝隙码6.1.2 边界段和凸包

更节省表达数据量的方法是把边界分解成若干段分别表示

将边界分解为多个边界段可以借助凸包的概念来进行6.1.2 边界段和凸包

确定了目标的凸包，就可以将边界分段

当把S的边界分解为边界段时，能分开D的各部分的点就是合适的边界分段点6.1.3 边界标记

1.距离为角度的函数

先对给定的目标求出重心，然后作出边界点与重心的距离为角度的函数6.1.3 边界标记

2.

y-s曲线

沿边界围绕目标一周，在每个位置作出该点的切线，该切线与一个参考方向（如横轴）之间的角度值就给出一种标记6.1.3 边界标记

3.斜率密度函数

斜率密度函数可看作将y-s曲线沿y轴投影的结果。这种标记就是切线角的直方图h(q)6.1.3 边界标记

4.距离为弧长的函数

基于边界的标记可通过从一个点开始沿边界围绕目标逐渐作出来。如果将各个边界点与目标重心的距离作为边界点序列的函数就得到一种标记6.2 基于区域的表达 6.2.1 四叉树

6.2.2 围绕区域

6.2.3 骨架6.2.1 四叉树

四叉树表达法利用金字塔式的数据结构对图像进行表达。结点可分成3类：①目标结点（用白色表示）；②背景结点（用深色表示）；③混合结点（用浅色表示）

6.2.2 围绕区域

(1)外接盒：包含目标区域的最小的长方形 (2)最小包围长方形 (3)凸包

6.2.3 骨架

对每个R中的点P，可在B中搜寻与它距离最小的点。如果对P能找到多于一个这样的点（即有两个或以上的B中的点与P同时距离最小），就可认为P属于R的骨架，或者说P是一个骨架点

6.2.3 骨架

每个骨架点都保持了其与边界点距离最小的性质，所以如果用以每个骨架点为中心的圆的集合（利用合适的量度），就可恢复出原始的区域

6.2.3 骨架

计算骨架的一种实用方法 (1)标记同时满足下列条件的边界点 (1.1)2≤N(p1)≤6； (1.2)S(p1)=1； (1.3)p2

≤p4

≤p6=0； (1.4)p4

≤p6

≤p8=0。 (2)标记同时满足下列条件的边界点 (2.1)2≤N(p1)≤6； (2.2)S(p1)=1； (2.3)p2

≤p4

≤p8=0； (2.4)p2

≤p6

≤p8=0。

6.2.3 骨架

计算骨架的一种实用方法

图6.2.7(a)：p1只有一个标记为1的8-邻域点

图6.2.7(b)：p1有7个标记为1的邻点

图6.2.7(c)和(d)：宽度为单个像素的线段

图6.2.7(e)：p1为边界的右或下端点

图6.2.7(f)：p1为边界的左或上端点

6.3 基于边界的描述 6.3.1 边界长度和直径

6.3.2 边界形状数 6.3.3 轮廓形状矩阵6.3.1 边界长度和直径

1.边界长度 4-方向连通边界B4

8-方向连通边界B8

统一用下式计算

6.3.1 边界长度和直径

2.边界直径

边界上相隔最远的两点之间的距离

常用的距离量度主要有3种，即DE(·)、D4(·)和D8(·)距离6.3.2 边界形状数

基于链码的边界形状描述符

形状数是值最小的（链码的）差分码

阶定义为形状数序列的长度6.3.2 边界形状数

对已给边界由给定阶计算边界形状数有以下几个步骤（参见图7.3.3）

变化阶数，可以得到对应不同尺度的形状数6.3.3 轮廓形状矩阵

形状矩阵可看作是一个刻画目标轮廓的矢量，对给定目标，这个矢量的长度是固定的

它记录了轮廓上各点的相对位置（包括朝向和距离信息）6.4 基于区域的描述 6.4.1 区域面积和密度

6.4.2 区域形状数

6.4.3 区域不变矩

6.4.4 拓扑描述符6.4.1 区域面积和密度

1.区域面积

网格多边形的面积6.4.1 区域面积和密度

2.区域密度

(1)透射率 (2)光密度 (3)积分光密度6.4.2 区域形状数

描述区域的紧凑性

值与区域中所有点到区域外的距离总和有关

设区域共包含N个点，其中第i个点到区域外最近点的距离为di，该区域的形状数如下：

S的值越大，区域越不紧凑6.4.3 区域不变矩

用所有属于区域内的点计算

f(x,y)的p+q阶矩定义为 f(x,y)的p+q阶中心矩定义为

f(x,y)的归一化的中心矩可表示为6.4.3 区域不变矩

7个对平移、旋转和尺度变换保持不变的不变矩6.4.4 拓扑描述符

1.欧拉数

区域内的孔数H和区域内的连通组元的个数C

欧拉数E

欧拉数依次分别为–1，2，1，0

描述区域连通性6.4.4 拓扑描述符

2.欧拉公式

全由直线段构成的区域集合也叫多边形网

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第7章 纹理分析 7.1 统计描述方法

7.2 结构描述方法

7.3 频谱描述方法

7.4 纹理图像分割7.1 统计描述方法

7.1.1 灰度共生矩阵

7.1.2 基于共生矩阵的描述 7.1.3 基于能量的描述7.1.1 灰度共生矩阵

设S为目标区域R中具有特定空间联系（可

由位置算子确定）的像素对的集合

共生矩阵P中的元素（#代表数量）

分子：具有某种空间关系、灰度值分别为g1

和g2、的像素对的个数

分母：像素对的总和个数7.1.1 灰度共生矩阵

位置算子：像素对的特定空间联系

例：向右1个像素和向下1个像素

共生矩阵：k

k矩阵（k为灰度级数） 3个灰度级的图像（g1=0，g2=1，g3=2）

7.1.2 基于共生矩阵的描述

二阶矩：对应图像的均匀性或平滑性

熵：给出图像内容随机性的量度

对比度：反映近邻像素间的反差

均匀性：7.1.3 基于能量的描述

利用模板（也称核）计算局部纹理能量

设图像为I，模板为M1,M2,…,MN

卷积Jn=I

*

Mn,n=1,2,…,N

给出各个像素邻

域中的纹理能量分量 采用尺寸为k×k的模板，对应第n个模板 纹理特征矢量[T1(x,y)T2(x,y)…TN(x,y)]T

7.1.3 基于能量的描述 1-D模板： 3×3

5×57.1.3 基于能量的描述

2-D模板：可借助1-D的模板构建，具体是计算

行模板和列模板的外积例：L5给出中心加权的局部平均，E5检测边缘

E5TL5测量水平边缘（L5TE5测量？）

7.2 结构描述方法 7.2.1 结构描述原理

7.2.2 纹理镶嵌

7.2.3 局部二值模式 7.2.1 结构描述原理

1. 纹理基元

一个纹理基元是由一组属性所刻画的相连通的像素集合 设纹理基元为h(x,y)，排列规则为r(x,y) 纹理t(x,y)：

7.2.1 结构描述原理

2. 排列规则

(1) S

aS（变量S可用aS来替换）

(2) S

bS（变量S可用bS来替换）

(3) S

tS（变量S可用tS来替换） (4) S

t（变量S可用t来替换）7.2.2 纹理镶嵌

纹理镶嵌

在空间以一定的次序或形式进行不同纹理单元的拼接组合

规则镶嵌

只用（同一种）正多边形

7.2.2 纹理镶嵌

纹理镶嵌

半规则镶嵌

同时使用两种边数不同的正多边形7.2.3 局部二值模式

1. 空间LBP

对一个像素的3

3邻域里的像素按顺序阈值化，将结果看作一个二进制数，并作为中心像素的标号

由256个不同标号得到的直方图可进一步用作区域的纹理描述符7.2.3 局部二值模式

1. 空间LBP

可以使用不同尺寸的邻域对基本LBP算子进行扩展。用(P,R)代表一个像素的邻域，在这个邻域里有P个像素，圆半径为R7.2.3 局部二值模式

1. 空间LBP

均匀模式：将一个邻域中的像素按顺序循环考虑，如果它包含最多两个从0到1或从1到0的过渡，则这个二值模式就是均匀的

根据LBP的标号可以获得不同的局部基元7.2.3 局部二值模式

2. 时-空LBP

扩展到时-空表达可以进行动态纹理分析

考虑三组平面：XY，XT，YT，三类LBP标号

三个LBP直方图可以拼成一个统一的直方图7.3 频谱描述方法 7.3.1 傅里叶频谱描述

7.3.2 盖伯频谱描述7.3.1 傅里叶频谱描述

傅里叶频谱

借助傅里叶频谱的频率特性来描述周期/ 近乎周期的2-D图像模式的方向性 (1) 傅里叶频谱中突起的峰值对应纹理模

式的主方向 (2) 这些峰在频域平面的位置对应模式的

基本周期 (3) 利用滤波把周期性成分除去，用统计

方法描述剩下的非周期性部分7.3.1 傅里叶频谱描述

傅里叶频谱 极坐标系中频谱函数S(r,

) 对每个确定的方向

，S(r,

)是1个1-D函数S

(r) 对每个确定的频率r，S(r,

)是1个1-D函数Sr(

)7.3.2 盖伯频谱描述

盖伯频谱

盖伯变换：用高斯函数作为窗函数的短时

傅里叶变换（加窗傅里叶变换）

实际中常使用两个成对的实Gabor滤波器

对称的

反对称的7.3.2 盖伯频谱描述

盖伯频谱

将上述两个盖伯滤波器旋转和放缩，可分别获得一组朝向和带宽均不同的滤波器，并覆盖整个平面

7.3.2 盖伯频谱描述

7.4 纹理图像分割 人类视觉系统很容易识别与背景均值接近但朝向或尺度不同的模式灰度不同灰度相同灰度相近

模式朝向不同模式尺度不同7.4 纹理图像分割 7.4.1 有监督纹理分割

7.4.2 无监督纹理分割7.4.1 有监督纹理分割

认为纹理类别的数目已知 1. 特征提取

将图像用小波变换分解成具有方向选择性的多个频道，在这些频道上计算纹理能量来进行特征提取

再平滑7.4.1 有监督纹理分割

2. 预分割

可利用K-均值聚类对分解的各频道特征进行

采用层次化的分割方法，按照小波分解的逆过程，从大尺度频道开始按尺度层次进行预分割，直到最细尺度为止

7.4.1 有监督纹理分割

3. 后分割

将小波分解的各频道扩展为与第一级小波分解频道同样大小的尺寸，在同一尺寸上进行特征加权，然后进行分类

利用方差对特征及其均值进行加权，然后再用简单的最小欧氏距离分类器对特征空间进行分类，就得到原始图像最终的分割结果7.4.2 无监督纹理分割

1.特征提取和粗分割

先经过小波包分解及特征提取，形成一个完全的四叉树结构7.4.2 无监督纹理分割

2.分割结果的融合 (1) 子频道级融合：属于同一父节点的4个频

道之间的融合 (2) 层内级融合：属于四叉树同一层各频道之

间的融合 (3) 层间级融合：不同四叉树层之间的融合7.4.2 无监督纹理分割

3.细分割

子频道级细分割

层内级细分割

层间级细分割7.4.2 无监督纹理分割

4.分割流程和结果

分割的顺序与分解过程一致，都在完全四叉树结构小波包分解的层次上进行教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第8章 形状特性分析 8.1 形状紧凑性描述符

8.2 形状复杂性描述符

8.3 基于多边形的形状分析

8.4 基于曲率的形状分析8.1 形状紧凑性描述符

1.外观比

2.形状因子8.1 形状紧凑性描述符

3.偏心率

两个主轴斜率

两个半主轴长

8.1 形状紧凑性描述符

3.偏心率

借助等效椭圆间的匹配可以获得对两幅图像间的几何失真进行校正所需的几何变换8.1 形状紧凑性描述符

4.球状性

球状性S原本指3-D目标的表面积和体积的比值。为描述2-D目标，它被定义为8.1 形状紧凑性描述符

5.圆形性

圆形性C是一个用目标区域R的所有边界点定义的特征量：8.1 形状紧凑性描述符

例8.1.5描述符的数字化计算8.2 形状复杂性描述符

1.形状复杂度的简单描述符 (1)细度比例：形状因子的倒数，即4p(A/B2) (2)面积周长比：A/B

(3)

(4)矩形度：矩形度定义为A/AMER，其中AMER代表围盒面积。矩形度反映的是目标的凸凹程度。 (5)与边界的平均距离：目标中各点与边界的平均距离定义为A/（见式(8.1.15)）。 (6)轮廓温度：轮廓温度是根据热力学原理得来的描述符，定义为，其中H为目标凸包的周长8.2 形状复杂性描述符

2.对模糊图的直方图分析来描述形状复杂度

3.饱和度

既反映了目标的紧凑性（紧致性），也反映了目标的复杂性，它考虑的是目标在其围盒中的充满程度81/140=57.8% 63/140=45%8.2 形状复杂性描述符

3.饱和度

目标投影直方图（参见位置直方图）

这两个直方图均反映了一定的空间分布信息8.2 形状复杂性描述符8.3 基于多边形的形状分析 8.3.1 多边形计算

8.3.2 多边形描述

8.3.1 多边形计算 (1)基于收缩的最小周长多边形法

(2)基于聚合的最小均方误差线段逼近法 (3)基于分裂的最小均方误差线段逼近法

112比特 272比特

224比特8.3.1 多边形计算

(2)基于聚合的最小均方误差线段逼近法 (3)基于分裂的最小均方误差线段逼近法8.3.2 多边形描述

1.直接特征

下面几个与形状相关的特征可直接从多边形表达的轮廓得出以描述其特性 (1)角点或顶点的个数 (2)角度和边的统计量，如均值、中值、方差、矩等 (3)最长边和最短边的长度，它们的长度比和它们间的角度 (4)最大内角与所有内角和的比值 (5)各个内角的绝对差的均值8.3.2 多边形描述

2.比较边界形状数

两个形状间的（相似）距离定义为它们相似度

的倒数

这个距离量度满足以下条件：8.3.2 多边形描述

3.借助区域标记

区域标记的基本思想与边界标记类似，也是沿不同方向进行投影，把2-D问题转换为1-D问题8.4 基于曲率的形状分析 8.4.1 轮廓曲率

8.4.2 曲面曲率8.4.1 轮廓曲率

1.曲率与几何特征8.4.1 轮廓曲率

2.离散曲率

在点pi

P处的k-阶曲率rk(pi)=|1–cosqki|，其中qki=angle(pi

k,pi,pi+k)是两个线段[pi

k,pi]和[pi,pi+k]之间的夹角，而k

{i,…,n–i}8.4.1 轮廓曲率

3.离散曲率的计算 (1)先对x(t)和y(t)进行插值再求导数8.4.1 轮廓曲率

3.离散曲率的计算 (2)根据矢量间的夹角来定义等价的曲率测度

先定义以下的两个矢量8.4.1 轮廓曲率

4.基于曲率的描述符(1)曲率的统计值。曲率的直方图可提供一些有用的全局测度，如平均曲率、中值、方差、熵、矩等(2)曲率的最大点、最小点、拐点。曲率达到正最大、负最小的点或拐点带的信息更多。这些点的数量，它们在轮廓中的位置，正最大、负最小的点曲率数值都可用作形状测度。(3)弯曲能。曲线的弯曲能（BE）是将给定曲线弯曲成所需形状而需要的能量8.4.1 轮廓曲率

4.基于曲率的描述符(4)对称测度。对曲线线段，其对称测度S定义为

其中内部的积分是到当前位置的角度改变量；A 是整个曲线的角度改变量；L是整个曲线的长

度；k(l)就是沿轮廓的曲率8.4.2 曲面曲率

1.曲面曲率定义

在曲面上至少可以确定一个具有最大曲率的方向，还可以确定出一个具有最小曲率的方向

它们是互相正交的8.4.2 曲面曲率

2.平均曲率和高斯曲率

高斯曲率

平均曲率8.4.2 曲面曲率教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第9章 立体视觉 9.1 立体视觉模块

9.2 双目成像和视差

9.3 基于区域的立体匹配

9.4 基于特征的立体匹配9.1 立体视觉模块

一个完整的立体视觉系统可以划分为6个模块 1.摄像机标定（2.4节） 2.图像获取（2.2节，2.3节） 3.特征提取（第4章，第6章）

4.立体匹配：建立对应关系

5.

3-D信息恢复：计算深度图像

6.后处理：深度插值、误差校正、精度改善9.2 双目成像和视差 9.2.1 双目横向模式

9.2.2 双目横向会聚模式

9.2.3 双目纵向模式9.2.1 双目横向模式

两个单目系统在水平方向上并列放置，两个镜头的焦距均为l，其中心间的连线称为系统的基线B

9.2.1 双目横向模式

1.视差和深度

已知基线和焦距，

确定视差d后

计算W点的Z坐标9.2.1 双目横向模式

2.角度扫描成像空间点W的X和Y坐标9.2.2 双目横向会聚模式

物体和像平面的距离Z与视差d直接联系9.2.3 双目纵向模式

两个摄像机沿光轴线依次排列

公共视场的边界很容易确定9.3 基于区域的立体匹配 9.3.1 模板匹配

9.3.2 双目立体匹配9.3.1 模板匹配

本质是用一个较小的图像（模板）与一幅较大图像中的一部分（子图像）进行匹配相关函数相关系数9.3.2 双目立体匹配

1.极线约束

C'和C"分别为左右像平面的光心，它们之间的连线称为光心线，光心线与左右像平面的交点E'和E"分别称为左右像平面的极点

光心线与物点W在同一个平面中，称该平面为极平面，其与左右像平面的交线L‘和L“分别称为物点W在左右像平面上投影点的极线9.3.2 双目立体匹配

1.极线约束9.3.2 双目立体匹配

1.极线约束9.3.2 双目立体匹配

1.极线约束9.3.2 双目立体匹配

2.匹配中的影响因素(1)拍摄场景时景物自身形状或景物互相遮挡(2)图像中平滑区域得到的模板图像具有相同或相近的模式9.3.2 双目立体匹配

3.正交立体图像对

在实际应用中，一般水平方向上比较光滑的区域在垂直方向上常可能具有比较明显的灰度差异，所以可利用垂直方向上的图像对进行垂直搜索

获取两对互相正交的双目图像9.3.2 双目立体匹配9.4 基于特征的立体匹配 9.4.1 点对点的方法

9.4.2 动态规划匹配9.4.1 点对点的方法

1.利用边缘点的匹配

特征点图像

9.4.1 点对点的方法

2.利用零交叉点的匹配

选用零交叉模式来获得匹配基元

9.4.1 点对点的方法

3.特征点深度

在3-D空间坐标中一个特征点W(x,y,–z)通过正交投影后在左右图上分别如下：

9.4.1 点对点的方法

3.特征点深度

9.4.1 点对点的方法

4.稀疏匹配点

仅由稀疏的匹配点并不能直接得到密集的视差场，因而有可能无法唯一地恢复物体外形

9.4.2 动态规划匹配

考虑被观察物体可见表面上的3个特征点，顺序命名为A，B，C。它们在两幅成像图像上投影的顺序（沿极线）正好反过来，为c，b，a和c'，b'，a'。这两个顺序相反的规律称为顺序性约束

9.4.2 动态规划匹配

匹配各特征点对的问题可以转化成匹配同一极线上相邻特征点之间间隔的问题

将匹配各特征点对的问题描述为一个在由特征点对应结点的图上搜索最优路径的问题

教程作者（章毓晋）联系信息

通信地址：北京清华大学电子工程系

邮政编码：100084

办公地址：清华大学罗姆楼，6层305室

办公电话：(010)62798540

传真号码：(010)62770317

电子邮件：zhang-yj@

个人主页：/~zhangyujin/

（下载更新的讲稿和教程修改表）第10章 三维景物恢复 10.1 由光移恢复表面朝向

10.2 从影调获取形状信息

10.3 纹理变化与表面朝向

10.4 根据焦距确定深度10.1由光移恢复表面朝向 10.1.1表面反射特性

10.1.2目标表面朝向

10.1.3反射图

10.1.4光度立体学求解10.1.1表面反射特性

在成像中，场景亮度对应光源表面射出的光通量，而图像照度则对应图像平面得到的光通量1.双向反射分布函数

一条光线I的方向可用该光线与面元法线间的夹角q（称为极角）和该光线在目标表面的正投影与参考线之间的夹角f（称为方位角）表示

第10章10.1.1表面反射特性1.双向反射分布函数

f(qi,fi;qe,fe)表示当光线沿方向(qi,fi)入射到物体表面而观察者在方向(qe,fe)所观察到的表面亮度和照度的比值 10.1.1表面反射特性1.双向反射分布函数

扩展光源整个表面照度整个表面的亮度 10.1.1表面反射特性2.理想散射表面

理想散射表面也称朗伯表面，从所有观察方向看它都是同样亮的，并且它完全不吸收地反射所有入射光。朗伯表面的BRDF即f(qi,fi;qe,fe)是个常数理想散射表面在具有均匀照度E的“天空”之下时10.1.1表面反射特性3.理想镜面反射表面

一个理想镜面反射表面可将所有从(qi,fi)方向射入的光全部反射到(qe,fe)方向上10.1.2目标表面朝向

求切面上任意两条不平行直线的外（叉）积就可得到表面法线

将(p,q)称为表面梯度

法线指向观察者（取反向）10.1.3反射图

点光源照射一个朗伯表面

场景亮度与表面朝向的关系函数为R(p,q)，将其作为梯度(p,q)的函数，以等值线形式画出而得到的图称为反射图10.1.3反射图

对由一个远距离的点光源照明的朗伯面10.1.3反射图

反射图表示了表面照度与表面朝向的依赖关系

图像亮度约束方程

一个朗伯表面的球体被一个点光源所照明10.1.4光度立体学求解

从由p和q所确定的表面朝向到由反射图R(p,q)所确定的亮度间的对应关系是唯一的，但反过来却不一定。利用在不同光线下采集的两幅图像，可对每个图像点生成两个方程10.1.4光度立体学求解

两幅在不同光照条件下（同一个光源处于两个不同位置）采集得到的对应图像

将各点的朝向矢量画出的结果10.2从影调获取形状信息 10.2.1 影调与形状

10.2.2 求解亮度方程10.2.1

影调与形状

1.影调与朝向

图像上影调（明暗/灰度）变化的分布取决于4个因素：①物体（正对观察者）可见表面的几何形状，②光源的入射强度和方向，③观察者相对物体的方位和距离，④物体表面的反射特性

1.影调与朝向

光源来自观察者背后且为平行光线

光线不是以i=e的角度入射的一般情况

10.2.1

影调与形状

2.梯度空间法

借助梯度空间法可以理解由平面相交而形成的结构当S和G同号时，表明两个面组成凸结构，而当S和G异号时，则表明两个面组成凹结构10.2.1

影调与形状

3.反射图

10.2.1

影调与形状10.2.2

求解亮度方程10.3纹理变化与表面朝向 10.3.1 三种典型变化

10.3.2 确定线段的纹理消失点10.3.1三种典型变化

1.利用纹理元尺寸的变化

位置不同的纹理元在投影后尺寸会产生不同的变化

纹理梯度的方向取决于纹理元绕摄像机轴线旋转的角度，而纹理梯度的数值给出纹理元相对视线倾斜的倾斜度10.3.1三种典型变化

2.利用纹理元形状的变化

物体表面纹理元的形状在透视投影和正交投影成像后有可能发生一定的变化

椭圆主轴的取向确定了相对于摄像机轴线旋转的角度，而长短轴长度的比值反映了相对视线倾斜的倾斜度10.3.1三种典型变化

3.利用纹理元之间关系的变化

如果纹理是由有规律的纹理元栅格所组成，则可通过计算其消失点来恢复表面朝向信息

连接这两个点的直线的方向指示纹理元相对于摄像机轴线旋转的角度，而这条连线与x=0的交点指示了纹理元相对视线的倾斜角 10.3.1三种典型变化

10.3.2确定线段的纹理消失点

图像空间中的直线可表示为 变换{x,y}

{l,q}将图像空间XY中的一条直线映射为参数空间LQ

中的一个点，而图像空间XY中具有相同消失点(xv,yv)的直线集合被投影到参数空间LQ

中的一个圆上（见如下）将和q=arctan{y/x}代入

10.3.2确定线段的纹理消失点

再转到直角坐标系中这个圆是所有以(xv,yv)为消失点的线段集合投影到LQ

空间中的轨迹

10.3.2确定线段的纹理消失点

两个缺点：①圆检测比直线困难，计算量也大 ②当xv

或yv

时，有l

改用变换{x,y}{k/l,q}在无穷远的消失点就可投影到原点，而且具有相同消失点(xv,yv)的线段所对应的点在ST空间的轨迹成了一条直线

直线方程10.3.2确定线段的纹理消失点

空间ST里的直线在空间RW里为一个点{哈夫变换}消失点的坐标为

10.4根据焦距确定深度

景深由满足清晰程度的最远点和最近点所确定

10.4根据焦距确定深度

景物最近点距离为

景物最远点距离为

景深

10.4根据焦距确定深度

当使用焦距较长的镜头时，最近点距离和最远点距离会比较接近，所获得的景深会比较小。这样就有可能根据对焦距的测定来确定