立体视觉：算法与应用（中文版）

立体视觉：算法与应用StefanoMattoccia计算机科学系（DISI）博洛尼亚大学stefano.mattoccia@unibo.itwww.vision.deis.unibo.it/smattStefano

Mattoccia更新•2015年1月：新增了3D应用•补充了采用FPGA处理的立体相机的细节•2011年11月21日：补充了“线性立体匹配”（ICCV2011）、Min等人的算法（ICCV2011），以及“快速分割驱动（FSD）”（IC3D）算法和SGM的描述•2011年5月19日：补充了GPU上FBS的实验结果[71]andtheVisionSt

stereo

camera•2010年7月25日：快速双边立体（FastBilateralStereo）算法的Linux和Windows实现发布，见：www.vision.deis.unibo.it/smatt/fast_bilateral_stereo.htm•2010年4月20日：加入了论文[67]、[68]、[69]的描述和实验结果Stefano

Mattoccia提纲•

立体视觉简介•

立体视觉系统概述•视觉对应算法•

计算优化•

硬件实现•

应用Stefano

Mattoccia什么是立体视觉？•

一种从两个或多个相机推断深度信息的技术•计算机视觉中的一个广泛研究课题•

本讲座主要涉及•双目立体视觉系统•

稠密立体算法•

立体视觉应用•

重点放在（有望很快）可实时/硬件实现的方法上Stefano

Mattocciawww.nasa.gov

www.vision.deis.unibo.it/smatt/stereo应用Stefano

MattocciaQπp≡qP•

两个（真实）点（P和Q）投影到同一图像点（p≡q）•

沿同一视线方向的每个点都会如此•可用于产生视错觉……Oπ：像平面O：光心单相机图片来源：/Stefano

Mattoccia立体相机

参考图R目标图T若能找到两幅图像中的对应（同名）点，就可以借助两个（或更多）相机通过三角测量推断深度（同名）点Stefano

Mattoccia?如何解决对应问题？不必！借助极线约束参考图(R)目标图(T)参考图(R)目标图(T)二维搜索域？Stefano

MattocciaQπRπTp≡q‘q‘vOR

OT参考图R目标图T•

考虑参考图R同一视线上的两个点P和Q（两点都投影到参考图像平面πR上的同一点p≡q）•

极线约束指出：与（红色）视线上的某点对应的点，位于极线约束P目标图像平面πT上的绿色直线上Stefano

MattocciapπTpq‘yOT目标图Tp≡qOR参考图RQπRyP一旦知道对应点的搜索空间可从二维缩小到一维，我们就可以（虚拟地）把立体装置调整到更方便的构型（标准形式）——对应点被约束在同一图像扫描线上标准形式的立体相机Stefano

Mattoccia‘标准形式的立体像对相机“完全”对齐且焦距相同原始立体像对Stefano

Mattocciap

Z

p’xR

xTOR

OTB（基线）fP

xR_xT为视差当立体装置处于标准形式时，由相似三角形（POROT和Ppp’）可得：视差与深度Stefano

Mattoccia视差与深度Stefano

MattocciaxT视差图PpxRORp’xTOTBPp

Z

p’xR

xTOR

OTB视差是两个对应点x坐标之差；通常用灰度图编码（越近的点越亮）。xR(基线)(基线)StefanoMattoccia距离相机越近的点视差越大v参考图目标图Z测距范围（视野单像区Horopter）对于基线为b、焦距为f的立体装置，其测距范围由视差范围[dmin,dmax]决定。Horopter（视野单像区）b

.

fdminb

.

fdmaxStefano

Mattocciab

.

fdmin

b

.

fdmax离散到一组平行平面中（每个视差值对应一个平面）•采用以下方法可获得更好的（虚拟）离散化：亚像素技术（见“视差细化”）StefanoMattoccia•立体视觉系统测得的深度被离散化b

.

fdmin

b

.

fdmin

+

4•使用5个视差值时的测距范围（horopter）[dmin

,

dmin+4]Stefano

Mattocciab

.

fΔ

+

dmin

b

.

fΔ

+

dmin

+

4min

,

min•当Δ>0时，horopter更近且收缩（深度以及相应的面积/体积）•使用5个视差值[Δ+dΔ+d+4]Stefano

Mattoccia此处补充！精度与分辨率：定量分析

bStefano

Mattoccia彩色还是灰度传感器？此处插入Stefano

Mattoccia立体视觉中的关键模块？算法是这项技术的关键最新方法（如ICCV2011）传统算法立体像对校正后的立体像对视差图深度图校正立体对应三角测量PC,

FPGA内参与外参参数标定（离线）立体视觉系统概述Stefano

Mattoccia•两个相机的内参（焦距、图像主点、镜头畸变参数等）•外参（使两相机对齐的R和T）标定（离线）旨在求取以下量的离线流程：标定（离线）校正立体对应三角测量标定通过采集并处理10组以上已知图案（通常为棋盘格）的立体像对来完成Stefano

Mattoccia•标定功能在OpenCV[39]和Matlab[40]中均可实现•标定的详细描述可参见[20,21,22]•接下来几页展示用于标定立体相机的20组立体像对标定（离线）校正立体对应三角测量Stefano

MattocciaRTRTStefano

MattocciaRTRTStefano

Mattoccia校正利用标定步骤得到的信息：标定（离线）校正立体对应三角测量a)去除镜头畸变b)将立体像对转换为标准形式立体相机标准形式Stefano

Mattoccia标定（离线）校正立体对应三角测量视差图该主题将在后续页面中详细分析……立体对应旨在寻找立体像对中的同名点。Stefano

Mattoccia已知视差图、基线以及焦距（由标定得到），三角测量即可计算对应点在三维空间中的位置标定（离线）校正立体对应三角测量深度图三角测量space

-"'d(x,y)

X

=

Z

xRf

,(X,Y,Z)视差图Stefano

Mattoccia数据集：立体序列用立体相机采集的序列可在以下地址获取：http://www.vision.deis.unibo.it/smatt/stereo.htm数据集包含：•

标定参数•

原始序列•

校正后的序列•

视差图Stefano

Mattoccia体系结构•微处理器-浮点（FP）单元+SIMD-C/C++（+汇编）-功耗、成本和体积是主要缺点•

低功耗、低成本处理器-

C/c++-

无浮点单元-（通常）无SIMD•

GPU（图形处理器）–

原始算力强-功耗和成本高-编程困难（CUDA和OpenCL有所帮助）•

FPGA（现场可编程门阵列）-高效、低功耗（<1W）、低成本-编程语言：VHDL-编码困难，且需针对特定器件定制Stefano

Mattoccia•我们设计了一台实时立体相机，其深度图按最新算法计算•详情：www.vision.deis.unibo.it/smatt•YouTube频道：/channel/UChkayQwiHJuf3nqMikhxAlw我们定制的基于FPGA的立体相机1/3•处理速度30+fps（640x480）•功耗：<2.5瓦•通过USB线缆自供电•重量：含镜头和支架<80克我们定制的基于FPGA的立体相机2/3我们定制的基于FPGA的立体相机3/3www.youtube.com/watch?v=KXFWIvrcAYo一些可获得的立体相机FPGA/DSAS

P

wwww.minoru3dwwww.videredewww.valdesyswww.visionwww.ptgreStefano

MattocciaIC*为什么立体对应如此具有挑战性？接下来几页展示常见的陷阱……Stefano

Mattoccia光度畸变与噪声镜面表面Stefano

Mattoccia唯一性约束？:-(StefanoMattoccia透视缩短??????均匀/歧义区域畸变透视Stefano

Mattoccia重复/歧义图案如何减少歧义……？Stefano

Mattoccia?遮挡与不连续1/2透明物体Stefano

Mattoccia参考图目标图??遮挡与不连续2/2目标图参考图Stefano

MattocciaMiddlebury立体评测Middlebury立体评测网站[15]提供了一个框架和数据集（见下页），用于基准测试新算法。Scharstein和Szeliski提供了：•一套（双目）立体视觉算法的评测方法[11]•带真值（groundtruth）的数据集[11,15,17,18,19]•在线评测流程与排名[15][15]中还提供了受光度畸变影响的立体像对数据集（带真值）。[15]

D.Scharsteinand

R.Szeliski,

/stereo/eval/[11]

D.Scharsteinand

R.Szeliski,“Ataxonomyandevaluationofdensetwo-framestereo

correspondence

algorithms

M

Int.Jour.ComputerVision,47(1/2/3):7–42,2002Stefano

Mattoccia左图右图真值ALLDISCNON_OCCMiddlebury数据集（2003）[15]Tsukuba、Venus、Teddy和Cones立体像对D.Scharsteinand

R.Szeliski,http:///stereo/eval/Stefano

Mattoccia对应问题按照[11]提出的分类体系，大多数立体算法都会执行以下步骤（的子集）：1)匹配代价计算2)代价聚合3)视差计算/优化4)视差细化局部算法执行：1→2→3（采用简单的赢者通吃（WTA）策略）全局算法执行：1（→2）→3（采用全局或半全局推理）Stefano

Mattoccia预处理(0)有时会加入一个预处理阶段，主要用于补偿光度畸变。典型操作包括：•高斯拉普拉斯（LoG）滤波[41]•减去邻域像素的均值[42]•双边滤波[16]•Census变换[41]T.

Kanade,

H.

Kato,S.

Kimura,

A.Yoshida,and

K.Oda,

DevelopmentofaVideo-RateStereo

MachineInternational

RoboticsandSystemsConference(IROS'95),

Human

Robot

Interaction

and

Cooperative

Robots,

1995[42]O.

Faugeras,

B.

Hotz,

H.

Mathieu,T.Viville,Z.Zhang,

P.

Fua,

E.Thron,

L.

Moll,G.

Berry,Real-timecorrelation-basedstereo:

Algorithm.

Implementationand

Applications,

INRIA

TRn.2013,

1993[16]

A.

Ansar,

A.Castano,

L.

Matthies,

Enhancedreal-timestereousing

bilateralfilteringIEEEConferenceonComputerVisionand

Pattern

Recognition2004Stefano

MattocciaHHy极线参考图(R)目标图(T)W

Wx

x

x+dmax最简单（朴素且未采用）的局部方法：参考图(R)目标图(T)Stefano

Mattoccia0

dmaxd(x,

y)

一

IT

(x

+

d,

y)•匹配代价(1)：像素灰度之间的逐像素绝对差•视差计算(3)：赢者通吃（WTA）结果（令人失望）真值参考图Stefano

Mattoccia获胜者d*IR•

全局（及半全局*）算法利用逐像素匹配代价，在整个立体像对上寻找使能量函数最小的视差分配（有时匹配代价会在支撑域上聚合）。步骤1+3两类方法都假设场景是分片光滑的。这一假设有时会被违背……该假设被局部方法隐含地采用，而被全局方法显式建模如何改进朴素方法的结果？基本上存在两种不同（但并不互斥）的策略：•

局部算法采用简单的WTA视差选择策略，但通过在支撑窗口（又称核或相关窗口）上聚合匹配代价来降低歧义（提高信噪比（SNR））。有时会引入平滑项。步骤1+2（+WTA）全局方法*立体像对的一个子集Stefano

Mattoccia全局（及半全局*）方法：许多算法在整个*立体像对上寻找使某种代价函数最小的视差分配局部方法：为提高信噪比（降低歧义），匹配代价在支撑窗口上聚合*

立体像对的一个子集StefanoMattocciaE(d)=

Edata

(d

)+

Esmooth

(d

)参考图(R)目标图(T)像对•平方差e(x,

y,

d)=(IR

(x,

y)一

IT

(x+

d

,

y))2•鲁棒匹配度量（M估计器）•限制离群点的影响•示例：截断绝对差（TAD）e(x,

y,

d)=

min{IR

(x,

y)

一

IT

(x

+

d

,

y)

,

T}基于像素的匹配代价•绝对差e(x,

y,

d)=IR

(x,

y)

一

IT

(x

+

d,

y)IR

(x,y)

IT

(x,y)□

□R

T匹配代价计算(1)Stefano

Mattoccia

(xR

+

d

,

y)IT

(xR

+

d,

y)xR

+

d_

1

xR

+

d

+1x

+

dI

T~IR

(xR

,

y)xR

_

1

xR

+1x

(xR

,

y)IR~

•对图像采样不敏感的相异度度量（Birchfield和Tomasi[27]）参考图(R)BT在深度和颜色不连续处有帮助目标图(T)Stefano

Mattoccia□RRC(x,y,d)似然/置信度每个对应关系的DSI的每个元素C(x,y,d)表示IR(xR,y)与IT(xR+d,y)之间对应关系的代价视差空间图（DSI）是一个三维矩阵(W×H×(dmax-dmin))Stefano

Mattoccia•绝对差之和（SAD）

•平方差之和（SSD）

•截断绝对差之和（STAD）

S基于区域的匹配代价：Stefano

Mattoccia•归一化互相关[57]•零均值归一化互相关[58]•基于梯度的MF[59]•非参数方法[60,61]•互信息[30]•

.

.

.•匹配代价的组合Stefano

Mattoccia此处补充内容基于区域的匹配代价Stefano

Mattoccia代价聚合(2)我们先来看最简单的固定窗口（FW）代价聚合策略（TAD，视差选择WTA）Stefano

MattocciaFW有什么问题？固定窗口（FW）参考图(R)目标图(T)真值a)隐含假设表面正面平行（平行于成像平面）b)忽略深度不连续c)未显式处理均匀区域d)未显式处理重复图案c)d)b)a)FW（配合WTA推理）在多数情况下失效，原因如下：参考图(R)目标图(T)Stefano

Mattoccia策略依赖于如下假设：所有属于支撑域的点具有相同的视差（仅有少数例外）。Stefano

MattocciaSx理想z正视图z正视图xFWx理想S正视图zSz正视图xFWS然而，几乎所有最新的代价聚合在实际中经常被违背：上图中倾斜的表面（下方）等。a)FW隐含假设表面正面平行FW对不同深度上两组点（对齐的前景和未对齐的背景（离群点））的匹配代价进行聚合，会导致典型的深度边界定位不准。b)FW忽略深度不连续在深度不连续附近，隐含假设真实场景表面正面平行会被违背。FW鲁棒匹配度量（TAD）可以部分减小S离群点的影响StefanoMattoccia背景未对齐！FW理想就FW而言：减小支撑域尺寸有助于缓解边界定位问题。然而，这一选择会使对应问题更易产生歧义（尤其是处理均匀区域和重复图案时，见下页）。实践中，FW方法的最优支撑域尺寸靠经验选取。最新的代价聚合策略致力于塑造支撑域形状，使其只包含视差相同的点（视差未知）。SSStefano

Mattoccia两种情况下，理想的代价聚合策略都应扩展其支撑域，以尽可能多地包含处于相同（未知）深度的点。FW未显式处理歧义区域——均匀区域c)和重复图案d)SSSSFWFWStefano

Mattoccia理想理想令人意外的是，尽管存在局限，FW在实践中仍被广泛采用（它可能是实际应用中最常用的算法）。•实现简单/快速•借助增量计算方案，速度很快•在标准处理器（SIMD）上可实时运行•内存需求有限•硬件实现（FPGA）可实时运行，且功耗有限（<1W）在分析更复杂的方法之前，先来看FW和其他算法使用的两种优化技术：•

积分图（II）•盒式滤波（BF）Stefano

Mattoccia优化：积分图（又称求和面积表）xH

I(x,y)yW•可直接扩展到立体（2幅图像）S(x,

y)

=

Σ

I(i,

j)S2

(x,

y)

=

Σ

I2

(i,

j)F.Crow,Summed-areatablesfortexturemapping,Computer

Graphics,

18(3):207–212,

1984Stefano

Mattocciai

<x

,j

<yi

<x

,j

<y

SAD(x,

y+1,

d)=

SAD(x,

y,

d)

+U(x,

y+1,

d)

M.

Mc

Donnel.

Box-filteringtechniques.ComputerGraphicsand

Image

Processing,

17:65–70,

1981优化：盒式滤波1/2左2n+12n+1

byy+1yy+1Stefano

Mattoccia

b右x+d2n+12n+1x优化：盒式滤波2/2SAD(x,

y+1,

d)=

SAD(x,

y,

d)

+U(x,

y+1,

d)

d∈[0..dmax]

A'Dx+d-n-12n+1x+dy-nyY+1y+n+1C.x+d+n2n+1Bx-n-1

x

x+nU(x,

y+1,

d)=

U(x

_1,

y+1,

d)

+

A

_

A'_SAD(x,

y+1,

d)=

SAD(x,

y,

d)

+U(x

_1,

y+1,

d)B+左y-nyY+1y+n+1+A

_

A'_B

_

B'A

D2n+1

bC

_

C'_D

_

D'C

_

C'

_B

_

B'Stefano

Mattoccia右D

_

D'C2n+1+..盒式滤波与积分图-两者每个点都需要4次运算-积分图可处理不同大小的支撑域-积分图存在溢出问题（例如，使用int32且S2时→W×H<256×256）-积分图对内存要求更高。对单幅图像：WxHxsizeof(data_type)Vs≈Wxsizeof(int32)forS2实践中，当需要不同大小的支撑域时，积分图可能更方便。[47]提出了将盒式滤波扩展到更复杂形状的方法。Stefano

Mattoccia•许多计算机视觉算法适合SIMD•当前大多数处理器都提供SIMD特性•Intel处理器自Pentium（MMX）起提供SIMD•SIMD映射困难（需汇编）SIMD16个运算并行！OpBA优化：单指令多数据（SIMD）这是一种计算范式，允许用同一操作并行处理多个数据。

a

Op

b

标量计算1次运算Stefano

Mattoccia单匹配阶段算法[48,49]•

图像类型：灰度•预处理：减去均值•匹配代价（步骤1）：绝对差•聚合策略（步骤2）：FW•视差选择（步骤3）：WTA•离群点检测：高效策略（后文，步骤4）•丢弃均匀区域：是，通过分析图像方差•优化：盒式滤波+SIMD指令（SSE）•亚像素插值精度可达1/16像素（后文）•在标准PC上可实时运行L.

DiStefano,

M.

Marchionni,S.

Mattoccia,

A

fastarea-basedstereomatchingalgorithmImageandVisionComputing,22(12),pp983-1005,

October2004L.

DiStefano,

M.

Marchionni,S.

Mattoccia,

APC-basedreal-timestereovisionsystemMachineGraphics&Vision,

13(3),pp.

197-220,January2004Stefano

Mattoccia采用更有效的（正面平行）代价聚合策略能走多远？我们做了一项实验，利用真值计算理想的正面平行支撑域。在最大支撑域43×43、TAD与WTA策略下：!仍有改进空间……结果（误差以红色标出）Stefano

Mattoccia•

与基于像素的方法相比，支撑域聚合（可能）能提升鲁棒性•

理想的（正面平行）代价聚合策略应只把视差相近的点纳入支撑域：•

在深度相近的区域扩展（左）•

在深度不连续附近收缩（右）Stefano

Mattoccia•（未知的）遮挡和不连续在支撑域聚合策略中起着核心作用。接下来几页用放置在平面背景上的简单物体来展示相关情形•遮挡与不连续密切相关那么对称/非对称支撑域、不连续和遮挡呢？Stefano

Mattoccia情形1：无半遮挡，无不连续Stefano

Mattoccia情形2：近半遮挡对内部不连续Stefano

Mattoccia情形3：内部半遮挡对任意→深度=遮挡！！?Stefano

Mattoccia情形4：近半遮挡对近不连续Stefano

Mattoccia情形5：无半遮挡，无不连续Stefano

Mattoccia情形6：近不连续，近遮挡Stefano

Mattoccia情形7：内部不连续，近遮挡Stefano

Mattoccia情形8：近不连续，无遮挡无不连续Stefano

Mattoccia情形9：内部遮挡对任意→深度=遮挡！！?Stefano

Mattoccia情形10：近遮挡且近不连续对近不连续Stefano

Mattoccia情形11：近不连续对近不连续Stefano

Mattoccia情形12：近不连续对近不连续且遮挡Stefano

Mattoccia立体对应代价聚合策略的分类与评估•在[1]中，我们对10余种最新代价聚合策略进行了分类、实现与评估（精度和执行时间）•由于重点在代价聚合策略，评测方法仅包含DISC和NON_OCCF.Tombari,S.

Mattoccia,

L.

DiStefano,

E.

Addimanda,Classificationandevaluationofcost

aggregation

methods

for

stereocorrespondence,

IEEE

InternationalConferenceonComputerVisionand

Pattern

Recognition(CVPR2008)配套网站和软件：www.vision.deis.unibo.it/spe/SPEHome.aspStefano

Mattoccia•分析了一部分相关的最新代价聚合策略•位置•

形状•位置和形状•权重•这些技术大多采用对称策略计算支撑域•基准测试平台：IntelCoreDuo2.14GHzCPU•执行时间：Teddy立体像对（尺寸450x373），视差搜索范围为60。•优化：与作者*提出的一致，无SIMD、无多核等•接下来几页介绍其中大部分方法，以及一些论文未收录的新方法（即快速聚合[64]、快速双边立体（FBS）[65]以及局部一致（LC）方法[66]）Stefano

Mattoccia固定窗口：结果Stefano

Mattoccia可平移窗口[11]•该方法旨在缓解FW的边界定位问题，不强制支撑域以中心点为中心•支撑域对称•执行时间：12秒D.Scharsteinand

R.Szeliski,

Ataxonomyandevaluationofdensetwo-framestereocorrespondence

algorithmsInt.Jour.ComputerVision,47(1/2/3):7–42,2002Stefano

MattocciaS选取得分最好的位置RT可平移窗口：结果Stefano

Mattoccia多窗口[7]•支撑域中元素数量恒定•支撑域形状不限于矩形•支撑域对称•提出用于5、9和25个子窗口（5W、9W和25W）•执行时间（9W）：11秒（*）使用9个子窗口（9W）时：+

4个，依据在单个子窗口上计算的匹配代价Stefano

MattocciaH.

Hirschmuller,

P.

Innocent,andJ.Garibaldi,

Real-timecorrelation-basedstereovisionwith

reduced

bordererrorsInt.Journ.ofComputerVision,47:1–3,2002SS支撑域：若干形状（含9个子窗口）Stefano

MattocciaRT多（9）窗口：结果Stefano

Mattoccia可变窗口[12]•基于像素的代价函数：Birchfield和Tomasi•支撑域大小可变，但形状受限（正方形）•支撑域位置可变（可平移窗口）•支撑域对称•基于DP技术的高效搜索•执行时间：16秒（速度/精度折中良好）MattocciaO.Veksler,

Fastvariablewindowforstereocorrespondenceusingintegral

imagesIn

Proc.Conf.onComputerVisionand

Pattern

Recognition(CVPR2003),

pages

556–561,2003StefanoSRT

α、β、γ：算法参数Stefano

Mattoccia可变窗口：结果Stefano

Mattoccia原始分割后[50]•将图像划分为由颜色强度相近的连通像素构成的区域•在立体中可用于代价聚合、视差细化、离群点检测等D.ComaniciuandP.Meer,Meanshift:A

robustapproachtowardfeature

space

analysisIEEETransactionsonPatternAnalysisandMachineIntelligence,24:603–619,2002分割Stefano

Mattoccia基于分割[5]•

假设：每个分割段内的深度平滑变化•

对参考图进行分割（非对称）•

形状和大小不受限（在最大支撑域内）•

基于像素的代价函数：M估计器•

需要显式分割•

每个代价权重为1（同段）或λ<<1（不同段）•

执行时间：2秒（快）M.Gerritsand

P.

Bekaert,

LocalStereo

MatchingwithSegmentation-basedOutlier

RejectionProc.CanadianConf.onComputerand

RobotVision,

2006Stefano

Mattoccia对最大允许支撑域内的每个点：•与中心点（参考图）同属一个分割段的点权重为1•段外的点权重为λ<<111111111λ

λ

λ

λ

λ

1111

1

1

λ

1

λλ

1

1

1

1

1

1

1

1λ

λ

λ

λ

1

λ

λ

λλ

λ

λ

1

1

1

1

λλ

1

1

1

1

1

1

λλ

λλ

λλ

λλ

λ11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111SSRStefano

MattocciaR（分割）RTR基于分割：结果Stefano

Mattoccia•保边平滑技术•求和中每个元素按其空间和颜色相近程度（相对中心点）加权•隐含地实现了分割C.Tomasiand

R.

Manduchi.

Bilateralfilteringforgrayandcolorimages.

In

ICCV98,

pages839–846,

1998双边滤波[51]传统平滑双边滤波原始图像权重函数Stefano

Mattoccia•

代价按空间和颜色相近程度对称加权•

隐含地实现了分割•

基于像素的代价函数：TAD•

对称支撑域•

执行时间：17分钟（很慢）简化示例（仅使用颜色相近程度）K.Yoonand

I.

Kweon.

Adaptivesupport-weightapproachforcorrespondencesearch

IEEE

PAMI,28(4):650–656,2006WRS□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□WT□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□□WR自适应权重[14]Stefano

Mattoccia□□□□□□□□□□□□□□□□□□□□□□□□□□□□WTRpTqΣ

wr

(pi

,

pc).

wt

(qi

,

qc).

TAD(pi

,

qi)pi

∈WR

,qi

∈WT

c

,

c

Σ

wr

(pi

,

pc).

wt

(qi

,

qc)C(p

q

)

=

pi

∈WT

,qi

∈WT

pi

pcqi

qcStefano

MattocciaWRWT自适应权重：结果Stefano

MattocciaStefano

Mattoccia参考图（和目标图）的权重按以下方式分配：

然后组合起来（对称支撑域）分割支撑域[10]•

对两幅图像都进行分割•放弃空间相近假设：权重仅依赖分割和颜色相近程度•

代价函数：TAD•

对称支撑域•执行时间：30分钟（很慢）F.Tombari,S.

Mattoccia,

L.

DiStefano,Segmentation-basedadaptivesupportforaccurate

stereo

correspondenceIEEE

Pacific-RimSymposiumon

ImageandVideoTechnology(PSIVT2007)pi

pcStefano

MattocciaWR自适应权重平面区域深度边界理想对分割支撑域理想对分割支撑域自适应权重Stefano

MattocciaT重复图案理想对分割支撑域自适应权重Stefano

MattocciaRT分割支撑域：结果Stefano

Mattoccia快速聚合[64]•假设：每个分割段内的深度平滑变化•代价函数：TAD•只对参考图R进行分割•非对称支撑域（参考图）•支撑域扩展到整个分割段（R）•快：0.6秒（分割占40%-80%）R

T

SpF.Tombari,S.

Mattoccia,

L.

DiStefano,

E.

Addimanda,

Nearreal-timestereobased

on

effective

cost

aggregationInternationalConferenceon

Pattern

Recognition(ICPR2008)p□□□□□□□□□□□

□

□□□□□□□□□□□□□□□r

口工工口工工口口工工工工工口口工工口工工口口工工工工工口Stefano

Mattoccia工口SpWPSqr

•Cw试图避免“分割锁定”，•Cw在高纹理区域（小分割段）可能有帮助•然而，由于聚合在固定窗口上进行，Cw可能引入伪影（不连续）Stefano

Mattoccia快速聚合：结果Stefano

Mattoccia快速双边立体框架（FBS）[65]•对称支撑域•兼具自适应权重方法的精度与传统（相关）方法的高效•采用在w×w块上计算的正则化值域滤波•提高抗噪能力•借助积分图/盒式滤波方案实现高效的逐像素代价计算•结果可与表现最好的方法（分割支撑域和自适应权重）相比•快：Teddy上32秒（w=3）•此外，可实现多种速度与精度的折中：14秒（w=5）、9秒（w=7）、5秒（w=9）S.

Mattoccia,S.Giardino,A.Gambini,

Accurateandefficientcost

aggregation

strategyfor

stereo

correspondence

based

onapproximatedjointbilateralfiltering,

AsianConferenceonComputerVision(ACCV2009)www.vision.deis.unibo.it/smatt/fast_bilateral_stereo.htmStefano

Mattoccia•值域滤波基于块计算，采用块内平均值•为避免不连续定位不准，以中心点作为参考•空间滤波基于块计算wwxx+dy快速双边立体计算得到的三个支撑域WStefanoMattocciaWFBS（w=3）对自适应权重（AW）Stefano

MattocciaFBSAW快速双边立体：结果（w=3,w=5）w=3w=5Stefano

Mattoccia快速双边立体：结果（w=7,w=9）w=7w=9Stefano

MattocciaGPU上的快速双边立体[71]•FBS算法的局部性使其能够利用GPU的并行能力•在Middlebury数据集上，与单核CPU相比，用CUDA实现FBS可获得：•在NVIDIAGeForce460GTXGPU上加速70倍•在NVIDIATeslaC2070GPU上加速100倍（*）在参数w=3、W=19时，测得的执行时间（Teddy立体像对）为：GeForce460GTX上300ms，TeslaC2070上200ms详细结果见：www.vision.deis.unibo.it/smatt/FBS_GPU.html（*）我们衷心感谢NVIDIA捐赠TeslaC2070S.

Mattoccia,

M.Viti,

F.

Ries,.

Nearreal-time

Fast

BilateralStereoontheGPU,

7th

IEEEWorkshop

on

Embedded

ComputerVision(ECVW20011),CVPRWorkshop,June20,2011,Colorado

Springs

(CO),

USA•

在块的基础上应用SS策略•

以快得多的速度获得与SS相当的结果（与FBS相当）•

与AW和FBS相比，对灰度图像同样有效S.

Mattoccia,

L.

De-Maeztu,

A

fastsegmentation-drivenalgorithmforfastandaccuratestereocorrespondence,

IC3D2011快速分割驱动（FSD）3

5

7块大小（b像素）b=7b=5b=3

Teddy单核

Teddy4核□Tsukuba单核

Tsukuba4核35302520151050执行时间（秒）局部一致（LC）立体[66]•通过显式建模连续性来利用相邻像素之间的相互关系约束•非常精确（在深度不连续和低纹理区域有显著改进）•相比最新方法有显著改进•快：Teddy上37秒*（未优化代码），采用快速双边立体提供的视差假设•快：Teddy上15秒*（未优化代码），采用固定窗口提供的视差假设*已显著缩短（见后续页面/ECVW2010论文[68]）S.

Mattoccia,

Alocallyglobalapproachtostereocorrespondence,3D

Digital

Imagingand

Modeling

(3DIM2009)www.vision.deis.unibo.it/smatt/lcstereo.htm测量在2.49GHzIntelCoreDuo处理器上完成Stefano

Mattoccia局部一致立体：使用FBS的结果之前（FBS19(3)）LC19LCLC19之后（+FBS19）Stefano

Mattoccia局部一致立体：使用FW的结果之前（FW4）!LC19之后（+FW4）Stefano

MattocciaLC19LCFW4LC之后LC19

(+

FW4)局部一致（LC）立体对FW：细节Stefano

Mattoccia•下一页给出了迄今所述方法的更新版定量评估（黄色）依据[1]中描述的方法•更新后的评估可在线查看：http://www.vision.deis.unibo.it/spe/SPEresults.aspx•根据这一评估，局部一致方法与由快速双边立体（FBS）算法提供的视差假设相结合，优于其他方法•FBS排名第二，在精度与执行时间之间提供了良好的折中（见表中FBS不同参数下的结果）•后续页面将介绍一些新的基于LC技术的方法（见论文[67],

[68],

[69])Stefano

Mattoccia算法排名精度Tsukuba非遮挡Tsukuba不连续Venus非遮挡Venus不连续Teddy非遮挡Teddy不连续Cones非遮挡Cones不连续Teddy耗时hh:mm:ssLocallyConsist(FBS39(3))11.775.920.271.779.317.94.7510.500:00:37FBS

39(3)3.132.958.691.156.6410.720.85.2311.400:00:28分割支撑域3.252.157.221.386.2710.521.25.8311.800:39:30LocallyConsist(FW)3.53.079.630.665.1110.621.85.311.600:00:15FBS45(5)5.753.349.992.116.7211.521.86.8113.800:00:14基于分割6.752.258.871.379.412.724.811.120.100:05:14自适应权重6.884.668.254.6113.312.722.45.511.900:20:35FBS49(7)73.9912.33.018.4212.3237.515.100:00:09FBS45(9)8.754.613.75.4210.613.924.89.4717.700:00:05可变窗口11.133.1212.42.4213.317.725.521.227.300:00:26可靠性11.135.0817.93.9213.918.929.911.318.300:13:39多窗口*（25W）14.57.5722.73.9121.120.933.213.726.900:00:13多窗口（9W）14.887.625.77.02331636.910.626.900:00:04多窗口（25W）15.137.2825.96.18291835.611.827.100:00:14梯度引导15.257.4116.212.932.320.132.813.524.900:00:16多窗口*（9W）15.639.1822.66.2328.121.434.513.226.700:00:04递归自适应16.389.6629.85.9429.820.134.611.725.300:20:20可平移窗口16.759.5814.49.6616.523.631.224.433.600:00:05多窗口（5W）16.887.6227.27.5537.217.439.71127.800:00:02多重自适应1711.727.311.913.720.431.815.825.302:08:17多窗口*（5W）18.259.6125.19.3638.322.23812.127.500:00:02最大连通2111.826.442.550.934.54117.722.701:59:09固定窗口（FW）21.139.5827.110.642.525.142.419.736<

1

s定向杆*22.2518.631.120.326.630.741.837.847.300:17:19定向杆22.514.225.821.929.837.548.648.555.500:17:00径向自适应2314.821.822.440.449.650.150.253.601:06:21（更新版）定量评估[1]（TAD）表格见：http://www.vision.deis.unibo.it/spe/SPEresults.aspxStefanoMattocciaO(1)自适应代价聚合•受引导滤波启发的对称代价聚合•聚合与窗口大小无关•可应用于彩色图像（与基于积分直方图的方法不同）•结果可与最新方法相比L.

De-Maeztu,S.

Mattoccia,

A.Villanueva,

R.Cabeza,"Linearstereomatching",

ICCV2011快速/简化的自适应代价聚合•非对称代价聚合•代价在选定数量的点上计算（由FW（5x5）确定）•匹配代价在（固定的）点子集上计算概率%00

510

15

20

25

30

35

40

45

50

55

60605040302010D.

Min,J.

Lu,and

M.

Do,“Arevisittocostaggregationin

stereo

matching:

howfar

canwe

reduce

its

computational

redundancy?M,

ICCV2011+视差计算/优化(3)该步骤旨在寻找最佳视差分配（如DSI内最佳的路径/曲面），使整个*立体像对上的代价函数最小。很多情况下能量函数有两项：E(d)=

Edata

(d

)+

Esmooth

(d

)•数据项Edata衡量分配与立体像对的拟合程度（以总体匹配代价衡量）。一些方法依赖简单的基于像素的代价函数，但有效的支撑域聚合策略已被成功采用•平滑/正则项Esmooth显式地对场景施加分片假设（连续性）。该项对视差变化进行惩罚，较大的变化只允许出现在（未知的）深度边界处。深度边界的合理性通常与边缘相关。*立体像对的一个子集StefanoMattoccia由于寻找使能量函数最小的最佳分配是一个NP难问题，因此人们提出了近似但有效的能量最小化策略。相关方法有：-图割[52]-置信传播[53]-协作优化[54]相关能量最小化方法的详细比较见[63]。还有一类有趣的近似方法，在立体像对的点子集（通常沿扫描线）上最小化能量函数。此时，能量最小化问题可通过动态规划（DP）或扫描线优化（SO）高效求解技术。Stefano

MattocciaV.

Kolmogorovand

R.Zabih,Computingvisualcorrespondencewithocclusionsusing

graph

cuts,

ICCV

2001Stefano

Mattoccia图割A.

Klaus,

M.Sormannand

K.

Karner,Segment-basedstereomatching

using

beliefpropagation

and

aself-adaptingdissimilaritymeasure.

ICPR2006

Stefano

MattocciaBP+分割Z.WangandZ.Zheng,

Aregionbasedstereomatching

algorithm

using

cooperative

optimization,

CVPR

2008Stefano

Mattoccia协作+分割-高效（多项式时间）≈1秒-强制满足顺序约束-在深度边界和均匀区域精确-条纹效应（见下页）动态规划（DP）Stefano

MattocciaDP[11]Stefano

Mattoccia-高效（多项式时间）≈几秒-无法强制顺序约束-在深度边界和均匀区域精确-克服条纹效应问题（见下页）-内存需求高H.

Hirschmüller.Stereovisioninstructuredenvironmentsby

consistent

semi-global

matching.CVPR

2006,

PAMI

30(2):328-341,

2008

Stefano

Mattoccia扫描线优化（SO）65

bL(x,y,d)10在SO中，代价定义为：L(x,y,d)=C(x,y,d)+minL(x-1,y,i)·{

L(x-1,y,d),L(x-1,y,d-1)+P1,L(x-1,y,d+1)+P1,

L(x-1,y,i)+

P2x-1xbL(x-1,y,

7)+2L(x,y,4)=C(x,y,4)+minL(x-1,y,

6)+

P2L(x-1,y,

3)+

P1L(x-1,y,2)

+

P2L(x-1,y,

1)+

P2L(x-1,y,

0)+

P2L(x-1,y,

5)+

P1-minL(x-1,y,k)L(x-1,y,4)扫描线优化[30]Stefano

Mattoccia扫描线优化：细节75462301扫描线04

7016

52扫描线1375462301扫描线275462301扫描线34

7016

52扫描线4375462301扫描线54

7016

52扫描线634

7016

52扫描线7375462301完整SGM（8条扫描线，TAD彩色）SO+支撑域聚合该方法将有效的代价聚合策略与基于SO的视差计算框架相结合。-代价通过有效的代价聚合策略（分割支撑域）计算-视差计算依赖SO-仅使用4个方向-结果优异-很慢（由于代价聚合策略）在精确的视差计算框架中使用有效的代价聚合策略是一个有趣的趋势，也被其他研究者成功采用[,]。S.

Mattoccia,

F.Tombari,and

L.

DiStefano,Stereovisionenablingprecise

border

localizationwithin

a

scanlineoptimizationframework,

ACCV2007Stefano

MattocciaSO+支撑域聚合[29]Stefano

Mattoccia在快速SO/DP算法中强制视差场的局部一致性[67]该方法通过在初始视差假设上强制局部一致性[66]，来提高快速SO/DP算法的精度。-在C-Semiglobal[30]和RealTimeGPU[70]的初始视差假设上进行评估-大幅改善初始视差场-相对较快，在单核标准PC上约15秒-计算优化/简化[68]使我们能在不到2秒内在标准多核PC上得到几乎等价的结果（见关于论文[68]的后续页面）S.

Mattoccia,

Improvingtheaccuracyoffastdensestereocorrespondencealgorithmsby

enforcing

local

consistencyofdisparityfields,3DPVT2010www.vision.deis.unibo.it/smatt//3DPVT2010.htmStefano

Mattoccia该方法：-采用稠密立体算法提供的初始稠密视差假设（在快速、SO和DP算法[30]和[70]上测试）-通过LC技术强制局部一致性[66]obtainingtwoindependent

disparity

fields

DR

andDT-根据DR和DT检测并插值不确定的视差分配DR交叉校验插值RDT合理性R合理性TLCDTStefano

Mattoccia在Middlebury网站上可获取的C-Semiglobal[30]初始视差假设上的实验结果按以下地址提供的自动评测流程得到的实验结果：/stereo/

Stefano

Mattoccia-12LCLCLC(C-Semiglobal)

[67]LC(C-Semiglobal)

[67]C-Semiglobal

[30]C-Semiglobal

[30]Stefano

Mattoccia在Middlebury网站上可获取的RealTimeGPU[70]初始视差假设上的实验结果按以下地址提供的自动评测流程得到的实验结果：http://vision.mid/stereo/

Stefano

Mattoccia-49LCLCLC(RealTimeGPU)

[67]LC(RealTimeGPU)

[67]RealTimeGPU

[70]RealTimeGPU