计算机视觉教程（第3版）第09章

计算机视觉教程（第3版）●章毓晋

客观世界在空间上是3-D的

立体视觉主要研究如何借助（多图像）成像技术从（多幅）图像里获取场景中物体的距离（深度）信息

立体视觉的基本方法是从两个或多个视点去观察同一场景，获得在不同视角下的一组图像，然后通过三角测量原理获得不同图像中对应像素间的视差，从中获得深度信息，进而计算场景中目标的形状和它们之间的空间位置等第9章 立体视觉目录contents9.1

立体视觉模块9.2

双目成像和视差9.3 基于区域的立体匹配9.4

基于特征的立体匹配9.1立体视觉模块

一个完整的立体视觉系统可以划分为6个模块 1.摄像机标定（2.4节） 2.图像获取（2.2节，2.3节） 3.特征提取（第3章，第6~8章）

4.立体匹配：建立对应关系

5.

3-D信息恢复：计算深度图像

6.后处理：深度插值、误差校正、精度改善9.2双目成像和视差双目横向模式

两个单目系统在水平方向上并列放置，两个镜头的焦距均为l，其中心间的连线称为系统的基线B9.2双目成像和视差双目横向模式

视差和深度

已知基线和焦距，

确定视差d后计

算W点的Z坐标9.2双目成像和视差双目横向模式

角度扫描成像

空间点W的

X和Y坐标9.2双目成像和视差双目横向会聚模式

物体和像平面的距离Z与视差d直接联系9.2双目成像和视差双目纵向模式

两个摄像机沿光轴线依次排列

公共视场的边界很容易确定9.3基于区域的立体匹配模板匹配

本质是用一个较小的图像（模板）与一幅较大图像中的一部分（子图像）进行匹配相关函数相关系数9.3基于区域的立体匹配极线约束

C′和C″分别为左右像平面的光心，它们之间的连线称为光心线（长度为B），光心线与左右像平面的交点E'和E"分别称为左右像平面的极点

光心线与物点W在同一个平面中，称该平面为极平面，其与左右像平面的交线L'和L''分别称为物点W在左右像平面上投影点的极线9.3基于区域的立体匹配极线约束9.3基于区域的立体匹配极线约束9.3基于区域的立体匹配极线约束9.3基于区域的立体匹配匹配中的影响因素(1)

拍摄场景时景物自身形状或景物互相遮挡(2)

图像中平滑区域得到的模板图像具有相同或相近的模式9.3基于区域的立体匹配正交立体图像对

在实际应用中，一般水平方向上比较光滑的区域在垂直方向上常可能具有比较明显的灰度差异，所以可利用垂直方向上的图像对进行垂直搜索

获取两对互相正交的双目图像9.3基于区域的立体匹配9.4基于特征的立体匹配利用边缘点的匹配特征点图像9.4基于特征的立体匹配利用零交叉点的匹配

选用零交叉模式来获得匹配基元9.4基于特征的立体匹配特征点深度

在3-D空间坐标中一个特征点W(x,y,–z)通过正交投影后在左右图上分别如下：9.4基于特征的立体匹配特征点深度9.4基于特征的立体匹配稀疏匹配点

仅由稀疏的匹配点并不能直接得到密集的视差场，因而有可能无法唯一地恢复物体外形9.4基于特征的立体匹配

考虑被观察物体可见表面上的3个特征点，顺序命名为A，B，C。它们在两幅成像图像上投影的顺序（沿极线）正好反过来，为c，b，a和c'，b'，a'。这两个顺序相反的规律称为顺序性约束9.4基于特征的立体匹配

匹配各特征点对的问题可以转化成匹配同一极线上相邻特征点之间间隔的问题

将匹配各特征点对的问题描述为一个在由特征点对应结点的图上搜索最优路径的问题教程作者（章毓晋）联系信息通信地址：北京清华大学电子工程系邮政编码：100084

办公地址：清华大学，罗姆楼，6层305室办公电话：(010)62798540

传