计算机视觉20 第十章 立体视觉深度获取

1、第十章第十章 基于立体视觉的深度估计基于立体视觉的深度估计立体视觉立体视觉 立体成象立体成象 n我们将场景中同一点在两个不同图像中的投我们将场景中同一点在两个不同图像中的投影点称为共轭对影点称为共轭对n其中的一个投影点是另一个投影点的对应其中的一个投影点是另一个投影点的对应(correspondence)(correspondence)n两幅图像重叠时的共轭对点的位置之差两幅图像重叠时的共轭对点的位置之差( (共轭共轭对点之间的距离对点之间的距离) )称为视差称为视差(disparity)(disparity)n通过两个摄象机中心并且通过场景特征点的通过两个摄象机中心并且通过场景特征点的平面称

2、为外极平面称为外极(epipolar)(epipolar)平面平面n外极平面与图像平面的交线称为外极线外极平面与图像平面的交线称为外极线 立体成象立体成象 立体成象立体成象 FxzxlFxzBxrrlxxBFz由相似三角形可得由相似三角形可得合并两项，可得合并两项，可得F F是焦距，是焦距，B B是基线距离是基线距离 立体成象立体成象 n因此，各种场景点的深度恢复可以通过计算视差来因此，各种场景点的深度恢复可以通过计算视差来实现实现n大角度立体方法大角度立体方法 提高场景点深度计算精度的有提高场景点深度计算精度的有效途径效途径 主要的问题有：主要的问题有： 随着基线距离的增加，两个摄象机的共同

3、的可视随着基线距离的增加，两个摄象机的共同的可视范围减小范围减小 场景点对应的视差值增大，则搜索对应点的范围场景点对应的视差值增大，则搜索对应点的范围增大，出现多义性的机会就增大增大，出现多义性的机会就增大 由透视投影引起的变形导致两个摄象机获取的两由透视投影引起的变形导致两个摄象机获取的两幅图像中不完全相同，这就给确定共轭对带来困幅图像中不完全相同，这就给确定共轭对带来困难难立体成像的一般情况立体成像的一般情况n在实际中，两条外极线不一定完全在一条直在实际中，两条外极线不一定完全在一条直线上，即垂直视差不为零线上，即垂直视差不为零n两个摄像机的光轴不平行两个摄像机的光轴不平行 立体图像校正立

4、体图像校正 立体图像对重新取样，使外极线对应于立体图像对重新取样，使外极线对应于图像阵列的行图像阵列的行立体图像校正立体图像校正 将两图像投影到一个平面上就能得到理想的极线将两图像投影到一个平面上就能得到理想的极线几何左几何左( (右右) )摄象机中的每一个像素点分别对应于摄象机中的每一个像素点分别对应于左左( (右右) )摄象机坐标系统中的一条射线。摄象机坐标系统中的一条射线。 设设T Tl l和和T Tr r分别表示将左、右摄象机的射线变换到公分别表示将左、右摄象机的射线变换到公共平面坐标系的刚体变换，确定每个图像的顶点在共平面坐标系的刚体变换，确定每个图像的顶点在公共平面上的位置，创建新

5、的左、右图像网格，将公共平面上的位置，创建新的左、右图像网格，将每一个网格点变换回原来的图像上使用双变量线每一个网格点变换回原来的图像上使用双变量线性内插方法内插像素值可确定公共平面上新的左、性内插方法内插像素值可确定公共平面上新的左、右图像中的像素点。右图像中的像素点。平行光轴立体视觉系统平行光轴立体视觉系统Z Zw w=0 =0 左摄象机左摄象机左图像左图像: :参考参考右图像右图像: :目标目标右摄像机右摄像机高度高度 Z Zw w视差视差景深景深 Z Z基线基线视差公式视差公式P(X,Y,Z)P(X,Y,Z)p pl l(x(xl l,y,yl l) )光心光心 O Ol lf = f

6、 = 焦距焦距像平面像平面左摄像机左摄像机B = B = 基线基线景深景深平行光轴立平行光轴立体视觉系统体视觉系统f = f = 焦距焦距光心光心 O Or rp pr r(x(xr r,y,yr r) )像平面像平面右摄像机右摄像机dxBfDZ视差视差: : dx = xdx = xr r - x - xl l 立体匹配立体匹配n求解对应问题是立体成象系统的核心内容求解对应问题是立体成象系统的核心内容n求解对应问题极富有挑战性，可以说是立体视求解对应问题极富有挑战性，可以说是立体视觉最困难的一步觉最困难的一步 n方法方法q基于特征（点、线）的匹配基于特征（点、线）的匹配( (稀疏匹配稀疏匹配

7、) )q基于区域的匹配基于区域的匹配( (稠密匹配稠密匹配) )立体匹配的困难立体匹配的困难n场景投影到两幅图像中并不总是一致的场景投影到两幅图像中并不总是一致的q摄像机相关摄像机相关n图像噪声、不同增益、不同对比度等等图像噪声、不同增益、不同对比度等等.q视点相关视点相关n透视畸变透视畸变n遮挡遮挡n镜面反射镜面反射n复杂场景因素复杂场景因素n重复场景重复场景n无纹理区域无纹理区域引入约束，减少搜索范围引入约束，减少搜索范围外极线约束外极线约束 n一幅图像上的特征一幅图像上的特征点一定位于另一幅点一定位于另一幅图像上对应的外极图像上对应的外极线上线上 n将二维搜索转会为将二维搜索转会为一维搜

8、索问题一维搜索问题n在外极线的一个小在外极线的一个小邻域内进行搜索邻域内进行搜索 一致性约束一致性约束 n对图像进行规范化处理对图像进行规范化处理(Normalization) (Normalization) 设参考摄象机和其它摄象机的图像函数分别为设参考摄象机和其它摄象机的图像函数分别为jif,0jifk,和，则图像窗内规范化图像函数为：，则图像窗内规范化图像函数为： njmijifmn1122),(1是图像窗内光强的平均值是图像窗内光强的平均值, , 是光强分布参数是光强分布参数: : nimjkkjifjif110),(),(相似估价函数为差值绝对值之和相似估价函数为差值绝对值之和 顺序

9、约束顺序约束n如果在参考图像中点如果在参考图像中点A A在在点点B B的左边的左边= = 在目标图在目标图像中点像中点A A的匹配点也在点的匹配点也在点B B的匹配点的左边的匹配点的左边n对细小物体不成立对细小物体不成立Image from Sun et al. CVPR05Image from Sun et al. CVPR05其它约束其它约束n唯一性约束唯一性约束 一幅图像一幅图像( (左或右左或右) )上的每一个特征点只能上的每一个特征点只能与另一幅图像上的唯一一个特征对应与另一幅图像上的唯一一个特征对应 n连续性约束连续性约束 物体表面一般都是光滑的，因此物体表面物体表面一般都是光滑的

10、，因此物体表面上各点在图像上的投影也是连续的，它们的上各点在图像上的投影也是连续的，它们的视差也是连续的视差也是连续的 在物体边界处，连续性约束不能成立在物体边界处，连续性约束不能成立特征匹配特征匹配稀疏稀疏n在立体图像对中识别兴趣点在立体图像对中识别兴趣点(interesting point)(interesting point)，而后在两幅图像中匹配相对应的点而后在两幅图像中匹配相对应的点n识别兴趣点识别兴趣点(interesting point)(interesting point) 在图像中具有很大变化的区域内寻找兴趣点在图像中具有很大变化的区域内寻找兴趣点 在以某一点为中心的窗函数中

11、，计算其在不同方向在以某一点为中心的窗函数中，计算其在不同方向上的变化量上的变化量 为避免将多个相邻点选为同一个特征对应的兴趣点，为避免将多个相邻点选为同一个特征对应的兴趣点，将特征点选在兴趣测度函数具有局部最大值的地方将特征点选在兴趣测度函数具有局部最大值的地方 特征匹配特征匹配n对于左图像中的每一个特征对于左图像中的每一个特征左图像左图像角点角点线线结构结构特征匹配特征匹配n在右图像中寻找在右图像中寻找 当相似度达到最大时的偏移量就是当相似度达到最大时的偏移量就是视差视差右图像右图像角点角点线线结构结构特征匹配特征匹配稀疏稀疏n基于特征的立体匹配算法产生对应于图像特征基于特征的立体匹配算法

12、产生对应于图像特征点的场景稀疏深度图点的场景稀疏深度图 n仅仅能恢复用于求解共轭对的像素子集对应的仅仅能恢复用于求解共轭对的像素子集对应的特征点深度特征点深度 n要想得到其它点的深度值，必须通过使用有关要想得到其它点的深度值，必须通过使用有关计算方法来估算，如内插值技术计算方法来估算，如内插值技术基于区域相关性的立体匹配基于区域相关性的立体匹配( (稠密稠密) )n计算一幅图像的一个小窗函数内的像素与另一幅计算一幅图像的一个小窗函数内的像素与另一幅图像中具有同样的潜在对应特征的小窗函数的像图像中具有同样的潜在对应特征的小窗函数的像素之间的相关值具有最大相关值的小窗区域就素之间的相关值具有最大相

13、关值的小窗区域就是对应区域是对应区域n只有满足外极线约束的区域才能是匹配区域考只有满足外极线约束的区域才能是匹配区域考虑到垂直视差的存在，应将外极线邻近的像素点虑到垂直视差的存在，应将外极线邻近的像素点也包括在潜在的匹配特征集中也包括在潜在的匹配特征集中立体匹配评价函数立体匹配评价函数立体匹配评价函数立体匹配评价函数稠密匹配稠密匹配n对参考图像中每一点找到对应于场景中同一对参考图像中每一点找到对应于场景中同一点的匹配像素，得到稠密的视差图点的匹配像素，得到稠密的视差图算法评估算法评估n以真实视差场为参照，对计算得到的视差场进以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以

14、此反映匹配行评估，统计视差场的准确度，以此反映匹配方法的性能方法的性能 n/stereo稠密匹配的研究现状稠密匹配的研究现状 n生长法生长法 n松弛法松弛法n相关窗法相关窗法n动态规划法动态规划法 n马尔科夫随机场马尔科夫随机场 n基于分割区域的算法基于分割区域的算法 生长法生长法n算法思想起源于人工智能中的算法思想起源于人工智能中的“最小化承诺原最小化承诺原则则”，即不可靠的决策应该直到获得足够信息，即不可靠的决策应该直到获得足够信息后才做出最终决定后才做出最终决定 q种子点生长种子点生长 q种子区域生长种子区域生长 n优点优点q快速快速

15、q不需要完整的三维代价矩阵不需要完整的三维代价矩阵n缺点缺点q不能修正错误种子不能修正错误种子q对遮挡区域和无纹理区域效果不理想对遮挡区域和无纹理区域效果不理想生长法生长法经典相关窗法经典相关窗法n对参考图像中每个点对参考图像中每个点 (x(xl l, y, yl l) )定义以它为中心的窗口定义以它为中心的窗口(x(xl l, , y yl l) )左图像左图像n在目标图像中一定范围搜索匹配点在目标图像中一定范围搜索匹配点(x(xl l, , y yl l) )右图像右图像经典相关窗法经典相关窗法n视差就是当相关值达到最大时的偏移量视差就是当相关值达到最大时的偏移量(x(xl l, , y

16、yl l) )dxdx(x(xr r, , y yr r) )右图像右图像经典相关窗法经典相关窗法n优点优点q容易实现容易实现q速度快速度快n缺点缺点q纹理稠密图像效果较好纹理稠密图像效果较好q匹配窗口内的视差可能差别较大匹配窗口内的视差可能差别较大q被遮挡区域不能正确估计视差被遮挡区域不能正确估计视差经典相关窗法经典相关窗法经典相关窗法结果经典相关窗法结果 自适应支持权值法自适应支持权值法n格式塔心理学格式塔心理学q相似性准则相似性准则q接近性准则接近性准则n根据相似性和接近性设计邻近像素对匹配根据相似性和接近性设计邻近像素对匹配窗中心像素的权值窗中心像素的权值Yoon CVPR05Yoon

17、 CVPR05n在CIE Lab颜色空间的相似性:n接近性:欧氏空间距离nWeights: n n 匹配代价累积公式 自适应支持权值法自适应支持权值法0,( , ) (,)( ,)( ,)( , ) (,)ppdppddddq Nq Ndddq Nq Nw p q w pqe q qE p pw p q w pq( , )exp( ()pqpqcpcgw p qk222()()()pqpqpqpqcLLaabb自适应支持权值法结果自适应支持权值法结果自适应支持权值法结果自适应支持权值法结果基于分割区域的自适应窗口加权法基于分割区域的自适应窗口加权法 n对参考图像进行分割对参考图像进行分割n对每

18、个分割区域记录其在运行对每个分割区域记录其在运行过程中的平均值过程中的平均值n求匹配窗中心像素的累积代价求匹配窗中心像素的累积代价 时，只需要看它属于哪个区域，时，只需要看它属于哪个区域，找到相应区域的均值找到相应区域的均值 n进行正常的均值移动运算以累进行正常的均值移动运算以累积窗口内总的匹配代价积窗口内总的匹配代价 sTrAsAsArA-自适应窗口加权法结果自适应窗口加权法结果 松弛法松弛法n利用简单的匹配准则求得初始匹配利用简单的匹配准则求得初始匹配n根据匹配特征间的约束根据匹配特征间的约束, ,利用迭代技术增强初始匹配利用迭代技术增强初始匹配结果结果, ,提高匹配的正确概率提高匹配的正

19、确概率, ,从而达到解决解的歧义性从而达到解决解的歧义性的目的的目的 n优点优点q效果相对较好效果相对较好n缺点缺点q计算代价大计算代价大q依赖于初始估计依赖于初始估计动态规划动态规划左图像左图像右图像右图像leftSrightSp pp+p+ d dp pleftSrightSp pq qt ts s动态规划结果动态规划结果无顺序约束的动态规划无顺序约束的动态规划nTwo-PassTwo-Pass动态规划动态规划Kim CVPR05Kim CVPR05q延扫描行正交方向（即列方向）作第二次动延扫描行正交方向（即列方向）作第二次动态规划态规划n“贴标签贴标签”，标签就是视差，标签就是视差n给特

20、定像素分配一个标签有分配代价给特定像素分配一个标签有分配代价n给临近像素分配一对标签有分离代价给临近像素分配一对标签有分离代价n找到总的分配代价和分离代价之和最小找到总的分配代价和分离代价之和最小q图割算法图割算法q置信传播算法置信传播算法马尔科夫随机场马尔科夫随机场图割算法图割算法n通过计算赋权图的最小割集求能量最小化通过计算赋权图的最小割集求能量最小化q以割代价为能量，求得的割集就是标签以割代价为能量，求得的割集就是标签, ,q通过最大流算法使能量迅速减少通过最大流算法使能量迅速减少n运行时间与像素数和标签数成线性关系运行时间与像素数和标签数成线性关系q近似地说近似地说, , 低维多项式低

21、维多项式stcutL(p)p“cut”xy标签xy视差标签图割算法图割算法图割算法结果图割算法结果n在能量中包括遮挡项在能量中包括遮挡项Kolmogorov ICCV01Kolmogorov ICCV01置信传播算法置信传播算法n在马尔可夫网络上传播消息的迭在马尔可夫网络上传播消息的迭代推导算法代推导算法q消息消息: :反映邻近站点变量取值对该反映邻近站点变量取值对该站点变量取值的影响站点变量取值的影响 n对树结构有精确解，对有环图有对树结构有精确解，对有环图有较好的近似解较好的近似解D DD DD DD DV VV VV VV VD D对称置信传播算法结果对称置信传播算法结果Middlebu

22、ryMiddlebury评估网站排名第一评估网站排名第一(June 2005)(June 2005)MiddleburyMiddlebury评估网站排名第三评估网站排名第三(June 2005)(June 2005)对称置信传播算法结果对称置信传播算法结果Middlebury评估网站排名第一(June 2005)Middlebury评估网站排名第一(June 2005)对称置信传播算法结果对称置信传播算法结果基于分割区域的算法基于分割区域的算法 n隐含假设隐含假设q颜色平滑的区域内部视差能够用平滑的视差模颜色平滑的区域内部视差能够用平滑的视差模型（常数、平面等等）代替型（常数、平面等等）代替

23、q视差不连续处与分割区域边缘相一致视差不连续处与分割区域边缘相一致n通常步骤通常步骤q图像分割图像分割q初始视差计算初始视差计算 q根据初始视差估计每个视差平面参数根据初始视差估计每个视差平面参数q根据定义能量以分割区域为整体采用合适算法根据定义能量以分割区域为整体采用合适算法优化优化基于分割区域的算法基于分割区域的算法 n优点优点q区域内的平滑是被强制执行的区域内的平滑是被强制执行的 q单眼线索所获得的视差边界在很多时候比单纯单眼线索所获得的视差边界在很多时候比单纯由视差估计的边界更为准确由视差估计的边界更为准确 q对遮挡区域匹配的鲁棒性也得到改善对遮挡区域匹配的鲁棒性也得到改善 q效率更高

24、效率更高 n缺点缺点q基于分割区域的方法的分割假设并不一定总是基于分割区域的方法的分割假设并不一定总是正确的正确的 q视差模型可能并不能表示区域真正的视差视差模型可能并不能表示区域真正的视差基于区域间协同优化的立体匹配算法基于区域间协同优化的立体匹配算法 均值偏移均值偏移(Mean Shift)(Mean Shift)图像分割算法图像分割算法 通过求通过求Mean ShiftMean Shift矢量的方向来得到梯度矢量的方向来得到梯度的方向的方向, ,进而通过对其跟踪进而通过对其跟踪, ,得到密度最大得到密度最大的点的点, ,即聚类算法中的所谓模式点即聚类算法中的所谓模式点 不同带宽对立体匹配

25、的影响不同带宽对立体匹配的影响不同带宽对立体匹配的影响不同带宽对立体匹配的影响鲁棒的视差平面拟合算法鲁棒的视差平面拟合算法nRANSACRANSACq随机地从数据集随机地从数据集S S中选择中选择s s个数据点组个数据点组成一个样本作为模型的一个例示成一个样本作为模型的一个例示 q确定在模型距离阈值确定在模型距离阈值t t内的数据点集内的数据点集为一致集为一致集q经过经过N N次试验，选择最大一致集，并次试验，选择最大一致集，并用的所有点重估模型用的所有点重估模型 经过经过RANSACRANSAC平面拟合后的视差图平面拟合后的视差图 基于投票的鲁棒视差平面拟合算法基于投票的鲁棒视差平面拟合算法

26、 n通过对同一行的一对点计算通过对同一行的一对点计算 ，可以得到平面参数，可以得到平面参数a a的一个的一个估计估计 n将所有同一行的估计值在一维的将所有同一行的估计值在一维的a a参数空间进行投票，并对投票参数空间进行投票，并对投票结果进行高斯平滑后从中选出得票最多的值作为参数结果进行高斯平滑后从中选出得票最多的值作为参数a a的最终估的最终估计计 n对同一列的点通过计算对同一列的点通过计算 ，可以得到参数，可以得到参数b b的估计的估计n由上式可算出由上式可算出c c，采用类似的投票方法可确定参数，采用类似的投票方法可确定参数c c cybxayxd),(xd/yd/RANSACRANSA

27、C方法和投票方法平面拟合结果的比较。其中，方法和投票方法平面拟合结果的比较。其中，红色横线表示投票方法的拟合错误率，蓝色折线表示红色横线表示投票方法的拟合错误率，蓝色折线表示RANSACRANSAC方法的拟合错误率方法的拟合错误率 经过投票平面拟合后的视差图经过投票平面拟合后的视差图 采用基于投票的平面拟合法得到的视差图采用基于投票的平面拟合法得到的视差图 协同优化算法的基本原理协同优化算法的基本原理 R1R2R3R4R5R6R8R7R9R10)()()()(2211mmxExExExE协同优化算法的基本原理协同优化算法的基本原理 i为了使各子目标函数之间的优化结果能够保为了使各子目标函数之间

28、的优化结果能够保持一致，协同优化算法在优化每一子目标函持一致，协同优化算法在优化每一子目标函数的时候，考虑与之相关联的其它子目标函数的时候，考虑与之相关联的其它子目标函数的优化结果对其的影响。数的优化结果对其的影响。)(min)()1 (xEwxEjijxijiiii其中，其中， 表示合作强度，而表示合作强度，而 则用则用于刻画传播的力度。于刻画传播的力度。ijw协同优化算法的基本原理协同优化算法的基本原理 ,)()()1 (min)()1()()1()()(xEwxExEkjijijkikikiki协同优化算法的迭代方程协同优化算法的迭代方程迭代过程不断进行直至算法收敛或执行完规定迭代过程不

29、断进行直至算法收敛或执行完规定的迭代次数。由于对每一个区域的优化结果会的迭代次数。由于对每一个区域的优化结果会在下一次迭代中向周边传播，经过若干次迭代在下一次迭代中向周边传播，经过若干次迭代后每一个优化变量在相关子目标函数中的最终后每一个优化变量在相关子目标函数中的最终取值将会取得一致。取值将会取得一致。 mi.2 , 1for 基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 n每个区域能量项定义每个区域能量项定义n其中，第其中，第1 1项是数据能量，第项是数据能量，第2 2项是遮挡能量，项是遮挡能量，而第而第3 3项是平滑能量。项是平滑能量。idataoccludesmoothEE

30、EE基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 lrand qmax( ( )( ) , ( )( ) , ( )( )datap VVEr pr qg pg qb pb q其中，其中，V Vl l和和V Vr r分别表示当前区域在左右图像上分别表示当前区域在左右图像上的可见像素集，的可见像素集，p p、q q为左右图像上相匹配的两为左右图像上相匹配的两个对应像素，个对应像素，r r、g g、b b表示相应像素的表示相应像素的RGBRGB值。值。 基于区域间协同优化的立体匹配基于区域间协同优化的立体匹配 cB ( )( )1 0 dispsmoothpd pd qE如果 其它这里，这里，BcBc表示参考图像上当前区域的边界点集，表示参考图像上当前区域的边界点集，N N表示和表示和BcBc近邻的其它区域上的边界点集，近邻的其它区域上的边界点集，BcBc中的中的p p 、N N中的中的q q为四连通意义上的两个近邻像为四连通意义上的两个近