（通信与信息系统专业论文）基于图像分割的立体匹配算法研究.pdf

山东大学硕士学位论文 摘要 立体视觉作为计算机视觉中的重要分支，负责从摄像机采集的二维图像中恢 复自然场景的三维结构，在3 d t v 、多视点自由视点视频、汽车智能辅助驾驶、 军事、虚拟现实等方面都有非常广泛的应用背景，具有很高的商业价值和使用价 值。获取场景中物体的深度信息是立体视觉中的核心问题，而这一工作主要由立 体匹配算法来完成。立体匹配技术起源较早，但至今仍是模式识别和人工智能领 域中的研究热点。本文在学习立体匹配原理和总结已有算法的基础上，提出了两 种改进的立体匹配算法，主要的研究成果如下： 1 ) 提出了一种基于自适应加权和自适应窗口的局部立体匹配算法。目前局部 算法都采用支撑窗作为匹配基元，增强像素可区分性。根据贡献的大小，给支撑 窗内的像素赋以不同的权值；贡献越大，权重越高，贡献越小，权重越低。本文 提出了新的权重计算函数，融合了自适应支撑窗和图像分割信息，可以比较有效 地提取支撑窗内的“优质 像素；检测初始视差图中的奇异点，并采取不同的策 略估计这些区域内的视差；给出了算法的具体步骤，并在最后进行了仿真实验。 2 ) 提出了一种改进的全局立体匹配算法。全局能量函数一般包含数据项和平 滑项。数据项代表一幅图像中的像素点在某个视差下与另一幅图像中对应像素点 的匹配代价。为了使匹配代价更好地符合像素对的真实相似程度，需要增强像素 的可区分特性，支撑窗内的像素具有不用的权值，这与第三章的思想是相通的。 平滑项融合了视差图的分段平滑先验知识。来自同一物体表面的视差一般是平滑 过渡的，而视差的不连续边界大都分布在物体的边缘。而根据图像分割假设，分 割块内的像素属于同一物体，物体的边缘分布在分割块的边缘，所以增大分割块 内视差不连续的惩罚。本文构造了新的能量函数，数据项使用第三章提出的匹配 代价，平滑项融合图像分割信息，并给出了多标号向二值标号转换的过程和构建 有向图模型的方法。最后给出了检测和改善视差图中奇异点的方法。 关键词：立体匹配，图像分割，自适应加权，能量函数，平面拟合 山东大学硕士学位论文 a b s t r a c t a sa ni m p o r t a n tb r a n c h o fc o m p u t e rv i s i o n , s t e r e ov i s i o ni s r e s p o n s i b l ef o r r e c o v e r i n gt h et h r e e - d i m e n s i o n a ls t r u c t u r eo fn a t u r a ls c e n a r i o sf i o mt w o - d i m e n s i o n a l i m a g e sa c q u i r e db yt h ec 翘 t l e r a i tc a nb eu s e dt oaw i d er a n g eo fa p p l i c a t i o n sw i t hh i g h c o m m e r c i a lv a l u e ，s u c ha s3 d t v , m u l t i - v i e w f r e e v i e wv i d e o ，d r i v e ra s s i s t a n c es y s t e m s ， m i l i t a r y , v i r t u a lr e a l i t y , e t c t h ek e yp r o b l e mo fs t e r e ov i s i o ni st oo b t a i nt h ed e p t h i n f o r m a t i o no ft h eo b j e c t si nt h es c e n e , w h i c hi sm a i n l ya c c o m p l i s h e db yt h es t e r e o m a t c h i n ga l g o r i t h m s s t e r e om a t c h i n gt e c h n o l o g yh a sb e e ns t u d i e df o rq u i t em a n yy e a r s , b u ts t i l li st h er e s e a r c hf o c u si nt h ef i e l d so fp a t t e r n r e c o g n i t i o na n da r t i f i c i a l i n t e l l i g e n c e i nt h i sp a p e r , t w oi m p r o v e ds t e r e om a t c h i n ga l g o r i t h m sa r ep r o p o s e db a s e d o nl e a m i n gp r i n c i p l e so fs t e r e om a t c h i n ga n ds u m m a r i z i n gt h ee x i s t i n gs t e r e om a t c h i n g a l g o r i t h m s i ng e n e r a l ，t h em a i ni d e a sa r ci n c l u d e da sf o l l o w s ： f i r s t l y , al o c a ls t e r e om a t c h i n ga l g o r i t h mb a s e do na d a p t i v ew e i g h ta n di m a g e s e g m e n t a t i o ni sp r o p o s e d s u p p o r tw i n d o w sa r eu s e da sm a t c h i n gp r i m i t i v e sf o rm o s t l o c a lm a t c h i n ga l g o r i t h m sc u r r e n f l y a c c o r d i n gt ot h ei m p o r t a n c eo fc o n t r i b u t i o n s ， d i f f e r e n tw e i g h t sa r ea s s i g n e dt op i x e l si nt h es u p p o r tw i n d o w g r e a t e rc o n t r i b u t i o n s c o r r e s p o n dt oh i g h e rw e i g h t s ，a n dl e s sc o n t r i b u t i o n s 、i t i ll o w e rw e i g h t s an e w w e i g h t i n gf u n c t i o ni sp r e s e n t e dw i t l li n t e g r a t i o no ft h ea d a p t i v es u p p o r tw i n d o w sa n d t h ei n f o r m a t i o no fi m a g es e g m e n t a t i o n , w h i c hc a rp i c ku pt h e h i g h - q u a l i t y p i x e l s w i t l ls i m i l a rd i s p a r i t i e sa m o n gt h es u p p o r tw i n d o w t h eo u t l i e rp o i n t sa r ed e t e c t e di n t h ei n i t i a ld i s p a r i t ym a p ，a n dt h e nt h ed i s p a r i t i e si nt h e s ea r e a sa r cr e c t i f i e db ys e v e r a l d i f f e r e n ts t r a t e g i e s t h es p e c i f i cp r o c e d u r e so ft h em a t c h i n ga l g o r i t h ma r el i s t e d , a n d s o m ee x p e r i m e n t sa r et a k e na tl a s t s e c o n d l y , a ni m p r o v e dg l o b a ls t e r e om a t c h i n ga l g o r i t h mi sp r o p o s e d g l o b a l e n e r g yf u n c t i o nt y p i c a l l yc o n t a i n st w oi t e m s ：d a t ai t e ma n ds m o o t hi t e m t h ed a t ai t e m r e p r e s e n t st h em a t c h i n gc o s tb e t w e e nap i x e li no n ei m a g ea n dt h ec o r r e s p o n d i n g 瞰e l i na n o t h e ri m a g eu n d e rt h eg i v e nd i s p a r i t y i no r d e rt om e e tt h er e a ls i m i l a r i t yd e g r e e s o fp i x e l sb e t t e r , t h ed i s t i n g u i s h a b l ep r o p e r t ys h o u l db ee n h a n c e d ，w h i c hi sc o m p a t i b l e 3 山东大学硕士学位论文 w i t ht h em a i ni d e ao ft h e3 帕c h a p t e r t h ep i e c e w i s es m o o t hp r i o ro ft h ed i s p a r i t ym a p i sm e r g e di n t ot h es m o o t hi t e m t h ed i s p a r i t yo ft h es a m eo b j e c ts u r f a c ei sg e n e r a l l y c h a n g e ds m o o t h l y , w h i l et h ed i s p a r i t yd i s c o n t i n u o u sb o u n d a r i e sa r em o s t l yd i s t r i b u t e d o nt h ee d g eo ft h eo b j e c tt h i si sc o n s i s t e n t 谢lt h es e g m e n t a t i o nh y p o t h e s i s ，w h i c h s t a t e st h a tt h ep i x e l so ft h es a m es e g m e n tb e l o n gt ot h es a m eo b j e 魄a n d e d g e so ft h e o b j e c tl i n ew i t ht h eb o u n d a r i e so ft h es e g m e n tt h u s ，t h ed i s p a f i t yd i s c o n t i n u i t yw i t h i n as e g m e n ts h o u l db ep u n i s h e dw i t hag r e a t e rv a l u e an e we n e r g yf u n c t i o ni s c o n s t n l c t e c t , u s i n gt h em a t c h i n gc o s tp r o p o s e di n t h e3 日c h a p t e ra n dt h ei m a g e s e g m e n t a t i o ni n f o r m a t i o n , a n dt h em e t h o d so fm u l t i - l a b e lt ob i n a r y - l a b e lc o n v e r s i o n a n dd i r e c t e dg r a p hc o n s t r u c t i o na r el i s t e d f i n a l l y , o u t l i e r si nt h ei n i t i a ld i s p a r i t ym a p a r ed e t e c t e da n d i m p r o v e d k e y w o r d s ：s t e r e om a t c h i n g ，i m a g es e g m e n t a t i o n , a d a p t i v ew e i g h t , e n e r g yf u n c t i o n , p l a n e f i t t i n g 4 山东大学硕士学位论文 1 1 课题背景 第一章绪论 我们生活在三维空间中，从外界获取的信息约有7 5 来自于视觉系统【l 】。通 过双眼可以辨识周围的物体及相互之间的关系。空间中的物体在视网膜上的成像 是二维的，大脑对两幅二维图像进行分析，获取物体的形状、位置、方向、纹理 等信息。随着信息处理理论和计算机技术的和发展，人们开始研究人类的视觉形 成和立体融合机制，试图用摄像机获取三维场景中物体的二维成像并转化成数字 图像信号，然后使用计算机实现对视觉信息处理和判断推演的全过程，从而形成 了一门新的学科一计算机视觉【2 1 。 计算机视觉的目的是使计算机系统具有对周围环境的可视信息进行采集、处 理、判断和理解的能力。创立以来计算机视觉一直是计算机科学与人工智能领域 中的研究热点，国内外的学者也相继提出许多计算机视觉模型和理论。2 0 世纪8 0 年代初美国m i t 人工智能实验室的m a n 教授从信息处理的角度，从计算机理论、 表达与算法、硬件实现三个层次，提出了第一个较为完善的视觉系统模型，其核 心是从数字图像中恢复空间中物体的三维信息 3 1 。虽然m 锄计算机视觉理论还存 在许多争议，但该理论使得人们对视觉信息的获取有了深入的认识，至今仍是影 响最为深远、应用最为广泛的计算机视觉理论框架。 计算机视觉中处理的对象是三维场景中的物体在摄像机成像平面上形成的 二维图像。但有一维信息在二维成像过程中丢失，只有把这一维丢失的信息提取 出来，才能对三维场景进行更好的分析和理解。这种隐含的一维信息即为物体的 深度信息，三维场景中的物体到成像平面的垂直距离。从二维图像恢复出三维场 景的过程即为立体视觉。立体视觉是计算机视觉中一个重要的研究领域。获取物 体的深度信息是立体视觉中的核心问题，其精确度直接影响到三维场景的重建。 获取深度信息的途径主要有两种：1 ) 直接法，在摄像机采集图像时使用能够 感知物体到成像平面距离的特殊传感器，如利用激光、红外等获取深度图；2 ) 间接法，利用摄像机从两个或多个角度获取同一场景在不同视角下的二维图像， 然后对这些二维图像进行处理，计算三维场景中的一点在这些图像中的对应关 5 山东大学硕士学位论文 系，从而获取深度信息，这种技术也称为双目或多目立体视觉中的立体匹配技术。 立体匹配技术使用的图像对来自不同视角的同一场景，既可以是放在不同位茕的 多个摄像机在同一时间拍摄的，也可以是同一个摄像机在不同时间获取的。 立体匹配的本质就是从两幅二维图像中寻找对应点的关系，得到像素点的视 差值。利用该视差，结合两个摄像机的内外参数矩阵，通过三角几何公式，即可 获取像素点的深度信息，从而实现二维图像到三维空间的重建。 1 2 研究意义 立体匹配算法是立体视觉中不可或缺的一部分，在各种应用环境中发挥重要 的作用。双目测距是立体匹配技术在地形勘察中最直接的应用，首先利用两个已 标定的摄像机对同一场景采集图像，用立体匹配算法获取视差值，然后根据视差 值直接计算出与目标的距离。另外，立体视觉在3 d t v 、多视点自由视点视频、 汽车智能辅助驾驶、军事、虚拟现实等方面都有着非常广泛的应用背景，具有很 高的商业价值和使用价值。 2 0 1 0 年年初在美国拉斯维加斯国际消费电子展( c e s 2 0 1 0 ) 上，包括索尼、三 星在内的多个电视厂商纷纷推出了3 d t v ，继而开启了3 d t v 的新纪元。这一年 也被称为“3 d t v 元年 。3 d t v 的基本原理就是能够恢复出普通电视中丢失的深 度信息，从而观众能够享受到更为逼真、更为震撼的视觉效果。3 d t v 系统中有 两项核心技术，一个是3 d 显示技术，如色差式、偏光式、主动快门式等；另一 个就是3 d 视频的表示技术。前者与硬件相关，超出本论文考虑范围内。3 d t v 中的数据流一般采用“、，i d e o p l u s - d e p t h 模式来描述 4 1 ：一路视频流加上一路与 视频流对应的深度图流。在服务器端，通过立体匹配算法计算两路视频流的深度 图，选择一路视频流和深度图流传送给客户。在客户端，通过视角渲染技术将 “v i d e o - p l u s - d e p t h 一模式的数据流转换成两路左右视角的视频流，然后送3 d t v 显示设备显示。3 d t v 采用“v i d e o p l u s - d e p t h 一模式既可以保证与普通电视的兼 容，又可以降低数据流占用的带宽。 多视点视频自由视点视频是一种沉浸式视频，可以自由选择观看的视角，由 被动欣赏转化为主动欣赏，这大大拓宽用户的感官范围，增强体验效果。在多视 点视规自由视点视频中，立体匹配算法起着类似的作用。在服务器端，利用立 6 山东大学硕士学位论文 体匹配技术计算某些离散视点的深度图；在客户端，根据眼动等技术检测用户视 线向服务器端请求与该视线距离最近视点的视频流和深度图，再利用视角渲染技 术恢复出用户视线上左右视角的视频流。 随着汽车保有量持续增长，交通安全问题已成为世界范围内的重点问题。汽 车辅助驾驶技术受到越来越多的关注。基于立体视距的汽车辅助驾驶是一种主动 安全的辅驾技术，不仅能够实现对场景三维信息的感知，探测障碍物的深度，还 可以对行车环境中的运动物体、交通标识等进行智能分析和决策，为驾驶员提供 良好的人机交互界面。 立体匹配是立体视觉中的最困难、极具挑战性的一部分。尽管已有几十年的 研究历史，鉴于其“欠定 的固有本性，还没有一种能够完美解决的方法，仍存 在许多问题需要进一步的处理和优化。在立体匹配中遇到的困难主要有：遮挡、 弱纹理区域、深度不连续、光照不均匀、透明物体等问题【5 , 6 1 。 1 ) 遮挡问题。场景中某些区域只在一个视角中存在。这是由深度的不同造成 的，背景中某个区域可能在左视角中可见，而在右视角中就被前景所遮挡。遮挡 区域的像素点在另一视角的图像中是不存在对应点的。 2 ) 弱纹理问题。对于场景中颜色变化幅度很小的区域，搜索匹配点时存在歧 义性。弱纹理区域中的像素点可能与另一幅图像中的多个像素点都有很高的相似 性，无法判别像素间的对应关系。 3 ) 深度不连续问题。场景中的物体都有一定的深度层次性。图像中不同层次 物体的交界处会产生不连续的深度。由于受其他深度层次的影响，深度不连续边 界附近的像素容易产生前景膨胀效应( f o r e g r o u n d f a t t e n i n ge f f e c t ) 。 4 ) 噪声。在图像采集时，两个摄像机所处的光照环境是不同的，而且会存在 图像模糊、传感器噪声、镜面反射等，这些因素都会导致场景中某些点在不同视 角中的成像点具自不刚灰度值。但在立体匹配算法中，一般都采用一些假没，如 灰度一致性假设。立体匹配算法采用的假设和约束详见第二章2 3 节。 如何处理或解决上述几个问题，实现立体图像对之间准确、快速的匹配对立 体视觉的研究有着重要意义。 7 山东大学硕士学位论文 1 3 国内外相关研究综述 目前计算机视觉领域有四大顶级会议：c v p r ( 计算机视觉和模式识别) 会议， i c c v ( 国际计算机视觉) 会议，e c c v ( 欧洲计算机视觉) 会议和a c c v ( 亚洲计算机 视觉) 会议。以计算机视觉为主要议题之一的国际期刊有i j c v ( 国际计算机视觉) 期刊，i e e et r a n s o np a m i ( i e e e 模式分析与机器智能) 期刊等。每年都有大量计 算机视觉类的研究成果在这些会议和期刊上发表。 根据生成的视差图，可分为稀疏立体匹配算法和稠密立体匹配算法。前者主 要采用特征点进行匹配，如s u r f 、s i f t 算法等，这些算法只能获取某些特征点 的匹配信息，常见于图像拼接、全景图生成、环境监测等应用领域。为了实现三 维场景的重建，立体视觉需要稠密立体匹配算法，计算出每一个像素点的匹配信 息。2 0 0 1 年d s c h a r s t e i n 和1 ls z e l i s k i 对常见的稠密双目立体匹配算法进行了分 类【_ 丌，总结多数立体匹配算法遵循的四步框架，并搭建了用于评估立体匹配算法 性能的交流平台隅】。学者们根据自己提出的匹配算法估计标准库中立体图像对的 深度图，并在平台上提交。这既可以计算深度图的精确度，又可以方便地与其他 算法进行对比，极大地促进了立体匹配算法的研究发展。 d s c h a r s t e i n 等将立体匹配算法可以分成两类。第一类是局部立体匹配算法， 图像中像素点的视差仅依赖于该点的有限支撑窗，并假设窗内的像素都有相近的 视差值，又称为基于窗口的立体匹配算法。单一窗口的局部算法可以快速准确地 获取高纹理区域的视差，但小窗口在弱纹理区域不足以区分像素的差异性，而大 窗口在视差不连续区域又跨越多个视差层，这都会导致比较大的匹配误差。文献 【9 ，l o ，1 1 ，1 2 】提出了自适应窗口的立体匹配算法，针对每个像素计算最优支撑窗。 t k a n a d e 和m o k u t o m i 9 1 根据视差和灰度的局部方差选择合适的窗e 1 ，但这种 方法依赖于初始视差，且窗f 1 限制为矩形窗。yb o y k o v 等1 0 1 根据可信度假设检 验选择任意形状的支持窗。o v e k s l e r i l l , 1 2 】试图寻找窗口大小和形状的有效范围， 并评价这些窗口的代价。文献 1 3 ，1 4 提出了多窗口的匹配算法，计算各个预设窗 口的匹配代价，选择最优的支持窗，而且中心像素在窗口中的位置不同。任意选 择窗口的大小和形状时间复杂度比较高，yx u 等【l 习固定了窗口的大小和形状， 给窗口内的像素赋以合适支撑权。根据格式塔心理学理论，y o o n 和k w e o n 1 6 1 提出了一种基于自适应支撑权的立体匹配算法，支撑窗内像素的权重由距离相近 8 山东大学硕士学位论文 性和颜色相似性两部分组成。与其他局部算法相比，该算法在深度不连续区域和 弱纹理区域的视差精度有了较大的提高，与某些全局方法的精度不相上下。 第二类是全局立体匹配算法，构建全局能量函数，显式地融合视差图的平滑 先验知识，并用不同的优化算法搜索视差图使得能量函数达到最小值。全局立体 匹配算法优势在于可以将多种先验知识融入到全局能量函数中。马尔科夫随机场 0 7 ( m a r k o vr a n d o mf i e l d s ，m r f ) 是数字图像领域最常用的先验模型，可以构建 全局能量函数，然后利用贝叶斯最大后验概率( m a x i m u map o s t e r i o r i ，m a p ) 进行 推演，求解能量函数的最小值。模拟退火( s i m u l a t e da n n e a l i n g ，s a ) 是研究比较 早的优化算法，用于优化任意类型的能量函数，曾是解决m r f 推演问题的主要方 法之一1 1 3 1 9 1 ，它利用随机搜索策略寻找比较好的局部最优解。理论上讲，模拟退 化可以找到全局最优解，但需要指数次的时间。目前在高度连接或存在大量非次 模( n o n s u b m o d u l 砌函数的m r f 推理中仍有一些研究成果1 2 0 】。yb o y k o v 等1 2 1 】提出 了一种基于图割( g r a p hc u t ，g c ) 的立体匹配技术，将能量函数最小化问题转化 成图形最小割问题，最后利用口扩展、口一交换两种方法获取非常不错的能量 函数局部最优值。与以往的局部算法和模拟退火算法相比，基于g c 的立体匹配 算法在精确度上有了较大提高，但仍没有显式地处理立体匹配中的遮挡问题。v k o l m o g o r o v 和r z a b i h 改进了基于g c 的立体匹配算法1 2 2 , 2 3 2 4 1 ，在能量函数中添加 唯一性约束，显式地处理遮挡区域问题，并在文献 2 5 】中提出了一种高效的最小 割算法，提高了立体匹配的精确度和速度。微软亚洲研究院的j i a ns u n 等【2 6 】将立 体匹配问题建模成三重m r f ，同时获取视差图、深度不连续性区域和遮挡区域， 最后用置信传播( b e l i e f p r o p a g a t i o n ，b p ) 算法优化求解，取得了很好的实验结果。 视差在某些区域是平滑过渡的，而在另一些区域是不连续性的。基于颜色的 图像分割就比较符合这种视差先验知识，假设同一分割块内的视差是平滑的，而 视差不连续区域出现分割块的交界处。h t a o 等1 27 l 描述了一种基于颜色分割的立 体匹配框架，并用贪婪算法搜索局部最优值。l ih o n g 和g c h e n 在文献【2 l ，2 2 ，2 7 】 的基础上，将g c 技术融合到基于颜色分割的立体匹配框架中，用视差空间中的 平面集近似描述场景结构，把立体匹配转化成给每个分割块指定视差平面的问 题，以分割块为元素构建能量函数，并用g c 算法进行优化求解 2 8 1 。y q i n g x i o n g 等在文献【2 9 】中改进t b p 算法，首先估计初始视差并对像素分类，然后在视差精 9 山东大学硕士学位论文 细过程中使用图像颜色分割、平面拟合、分级b p 算法、迭代等方法提高视差的 精确度，更好地处理了遮挡区域和弱纹理区域，在当时是精确度最高的立体匹配 算法。 目前性能优秀的立体匹配算法都采用g c b p 图像分割，但存在计算量大、速 度慢的缺陷。针对全局匹配算法的实时性问题，学者们也提出了一些高效的立体 匹配算法。f f e l z e n s z w a l b 和p h u t t e n l o c h 一3 0 j 使用三种技术加速b p 立体匹配问题 的求解，首先将消息更新化成最小卷积问题，这将更新时间从o ( k 2 ) 降到伙七) 复 杂度，其次对于网格图使用一半的时间和空间即可实现消息的更新，最后引入多 尺度分级技术使消息传递的迭代次数大大减少，保证一定精确度的前提下极大地 加快了计算速度，达到了秒级别的处理时间。文献【3 l ，3 2 ，3 3 将动态马尔科夫随 机场( d y n a m i cm a r k o vr a n d o mf i e l d s ，d m l 心) 引入贝叶斯m a p 推理中，通过重用 上次计算的中间结果、分步优化和简化能量函数达到提高计算效率和减少内存使 用的目的，这种优化算法可以应用于口扩展g c 算法、最大积b p 算法等流行的全 局立体匹配算法中。另外，动态规划( d y n a m i cp r o g r a m m i n g ，d p ) 优化算法也常 见于实时性要求较高的立体匹配应用中。d p 算法仅对同一条极线上的像素引入 平滑性约束；依赖顺序性假设，计算每条极线上像素的视差。虽然d p 算法在精 确度上不如g c 、b p 算法，但实时性方面有较高的优势 3 4 1 ，而且改进的d p 算法也 可以达到不错的精度【3 5 l 。 近几年，国内学者也在立体匹配算法方面有了比较深入的研究。中国科技大 学的汪增福教授在文献 3 6 q 7 提出了一种基于区域协作优化的立体匹配算法，通 过融合基于颜色的图像分割、基于窗口的局部匹配、基于投票的平面拟合和区域 间协作优化四项技术来提高算法的精确度。该算法可以获取高质量的稠密视差 图，曾经长时间位列m i d d l e b u 叫立体匹配评估平台算法性能的首位。浙江大学计 算机学院的章国锋博士在文献 3 7 1 提出了一种基于视频序列的稠密立体匹配算 法，建立统一的多视图立体匹配框架，采用集束优化和多通道置信传播优化方法， 在不需要增加太大计算代价的前提下，很好地解决了噪声、遮挡、不连续边界对 视差估计的影响，提高了视差的精确度。清华大学计算机学院的邓毅等考虑到立 体图像对中一幅图像的可见区域和遮挡区域的边界与另一幅图像中视差不连续 边界对应，在文献【3 8 冲提出了一种基于分片( p a t c h ) 和g c 的对称立体匹配模型， 1 0 山东大学硕士学位论文 同一个分割块内的不同分片可具有不同的可见性，利用g c 算法求解能量函数的 最小值，最后同时获取视差图和遮挡区域。香港中文大学计算机科学与工程学院 的贾佳亚教授在计算机视觉领域也有众多研究成果，在文献【3 9 】中提出了一种改 进的立体匹配算法，引入奇异点可信度的概念，用来动态地衡量某个像素被遮挡 的可能性，在全局优化框架下使用b p 算法寻找最优解；在文献【4 0 】中针对羽状边 界提出了一种高精度的立体匹配算法，在概率框架中引入在不同视差层上像素颜 色、视差和口透明度的匹配约束，并自动地调整参数，使用期望最大化( e x p e c t a t i o n m a x i m i z a t i o n , e m ) 方法求解贝叶斯m a p 问题。 综述所述，国内外的研究都是采用不同的相似性度量函数或者建立融合更真 实视差先验知识的全局能量函数，借助高效的优化算法或者硬件技术加快视差估 计，从精确度和实时性两个方向不断地改进立体匹配算法，既能获取三维场景结 构的高精度视差图，又能符合实际应用的实时性要求。 1 4 论文的研究内容和主要贡献 本课题的研究目标主要是学习三维场景中立体匹配的基本原理，了解难以解 决的固有问题和常用的约束条件，对立体匹配技术中已有的算法进行总结，分析 经典算法的理论模型、优化方法和及其优缺点，重点学习图像分割算法在立体匹 配中的应用，并在此基础上，针对某些问题进行处理和优化，提出几种改进的立 体匹配算法。具体的研究内容和主要贡献如下： 1 给出了摄像机成像的简化模型针孔模型，描述了立体匹配中的左右摄像 机配置模型；分析立体几何在立体匹配技术中的应用，研究当前常见立体匹配算 法的基本原理和实现机制；通过对比经典的图像分割算法，分析了立体匹配中存 在的固有问题，给出了常用的约束条件，奠定研究工作的理论基础。 2 局部立体匹配算法在计算像素匹配代价时，支撑窗内的像素对中心像素 具有不同的贡献。距离越近，颜色越相似，贡献就越大，相应地权重就更高。权 重计算函数的优劣将极大影响视差估计的精确度。本论文提出了一种改进的权重 计算函数，可以根据图像的自身特性，动态调整窗口的大小、位置和像素的权重， 充分利用图像颜色分割的优势，并对视差图进行后处理，实验结果表明可以比较 精确地估计像素视差。 山东大学硕士学位论文 3 立体匹配算法主要由匹配代价计算、匹配代价集总、视差计算和优化、 视差精细处理四个步骤组成。全局立体匹配算法重点是构造新的能量函数，并利 用各种优化方法进行最小化求解。本论文提出了一种改进的能量函数，其数据项 采用新权重计算函数获得的匹配代价，平滑项融合图像分割信息，并使用鲁棒的 视差平面拟合方法估计分割块的视差模型，校正奇异像素点的视差，进一步改善 估计视差的精确度。 1 5 论文的结构安排 本文针对立体匹配技术及其应用背景进行了探讨分析，介绍了一些基本理论 和经典算法，重点研究了图像分割在立体匹配中的应用，并提出了两种改进的立 体匹配算法。论文的结构安排如下： 第一章是绪论，主要介绍了立体匹配技术的研究背景、意义和国内外研究现 状，并阐明了本文的主要内容和组织安排。 第二章是立体匹配技术基础，主要介绍了立体匹配的几何模型和基本原理， 并分析了立体匹配中存在的问题，重点研究和总结了常见的立体匹配算法。 第三章中提出了一种基于自适应加权和自适应窗口的局部立体匹配算法，该 算法引入改进的权重计算函数，结合m e a n s h i f t 图像分割算法，检测视差图中的 奇异点，并进行后期处理，有效地降低了误匹配率，精确度有了较大提高。 第四章中提出了一种改进的全局立体匹配算法，构造新的能量函数，使用第 三章提出的权重函数计算像素点的匹配代价，在截断绝对值模型平滑项中加入图 像分割信息；检测初始视差图中的遮挡区域和不稳定像素点，使用分割块的视差 模型改善这些像素点的视差，并进行了实验仿真，验证本算法的有效性。 第五章是总结与展望，对本论文的主要工作进行了简单的回顾和总结，并展 望今后的工作，提出进一步的研究重点。 1 2 山东大学硕士学位论文 第二章立体匹配技术基础 2 1 摄像机成像的针孔模型 在讨论立体匹配之前，有必要先认识一下摄像机是如何采集图像的。三维场 景中的物体经过摄像机中的透镜后在感光器件上成像。为了给三维空间中的点与 二维成像平面上的点建立联系，引入了简化的摄像机成像模型。在计算机视觉中 最常见的摄像机成像模型是透视投影模型【5 】，即针孔成像模型或小孔成像模型， 基本原理如图2 1 所示，包括透视投影中心( 即光心) 、经过光心的光轴以及与光 轴垂直的成像平面( 或焦平面，与光心的距离为焦距厂) 。场景中点p 在成像平面 上的投影就是经过该点和光心的直线与成像平面的交点p 。该直线上的点在成像 平面上具有相同的投影点，所以二维成像平面上的像素点丢失了深度信息。 图2 1 摄像机针孔成像模型 在图2 1 中存在三种坐标：三维空间中点尸所在的世界坐标系仇一l 匕乙， 摄像机所在的摄像机坐标系q 一五匕乙和成像点p 所在的图像坐标系q 一砂。 在图像坐标系中还存在两种坐标系：一种是以像素为单位的一x p y ，坐标中 心位于图像的左上角，另一种是以物理尺度为单位的- - x 月y 詹，坐标中心位于 摄像机的光轴上，在坐标系0 0 中的坐标为( 巳，c y ) 。假设成像器件的像素模型【4 1 1 如图2 2 所示，p x 和以分别为像素的宽度和高度，口为像素的倾斜角。若( x ，力 表示以像素为单位的图像坐标系的坐标，( x r , y 詹) 表示以物理单位的图像坐标系 1 3 山东大学硕士学位论文 的坐标，则在齐次坐标系下两个坐标系的转换关系可表示为( 2 1 ) 式。 p 图2 2 成像器件的成像模型 m 豸， 其中上三角矩阵k 称为摄像机的校准矩阵。 摄像机坐标系与以物理单位的图像坐标系的转换关系为： ( 2 1 ) ( 2 2 ) 摄像机坐标系和世界坐标系之间的关系，可用一个旋转正交矩阵r 和一个平 移向量，来表示，如( 2 3 ) 式所示。矩阵r 和向量f 均为摄像机坐标系相对于世界 坐标系的运动。 综上几式，得出以像素单位的图像坐标系与世界坐标系的关系： h 竹 t a n 伐| p j , l | p 。 0 x n 1 匕 1 乙 l l x 。 il ， k 7 1 i 乙 l i ( 2 3 ) ( 2 4 ) 其中3 x 4 矩阵尸称为摄像机投影矩阵；3 x 3 矩阵x 为摄像机的校准矩阵，包含6 个参数机p z ，p y ，口，q ，勺j ，统称为内参数，不随摄像机位置的改变而改变。3 x 4 矩阵r 由摄像机相对于世界坐标系的方向位置决定，旋转矩阵r 和平移向量f 1 4 1j 靠蜥 。l1 吱勺 t 匕乙l o 0 o 0 o 10 厂0 ，o o 詹 足 靠蜘l s 或 亿亿腿以 = = ，l l 匕乙。 ri00-l f t 足l 矿吁 l = 以e乙 l 匕乙。 r纠叫l 丁 k 卜 1j q 勺 i 屈o o ， _。，。l 山东大学硕士学位论文 各有3 个独立参数，统称为外参数。( 2 4 ) 式就是在针孔摄像机模型的成像原理。 在摄像机获取立体图像对前，首先要通过摄像机标定获取摄像机的内外参数，实 现视差与深度之间的转换或将像素点直接映射到世界坐标系中。 2 2 立体匹配的基本原理 立体视觉旨在从几幅二维图像中恢复丢失的深度信息，获取场景的三维结 构。立体匹配的主要目的就是获取物体的深度信息。这一节我们介绍立体匹配技 术是如何通过左右摄像机采集的立体图像对把场景的深度信息恢复出来的。 2 2 摄像机的配置模型 立体匹配首先计算三维空间中的同一点在左右摄像机焦平面上的成像点，对 应点的距离称为视差，然后再将视差转化成深度值。视差向深度的转换过程与左 右摄像机的放置密切相关。摄像机的配置主要有两种模型，分别为标准模型和会 聚模型【4 2 】，如图2 3 所示。 ( a ) 会聚配置 焦平 c o ) 标准配置 图2 3 摄像机的两种配置樱艰 以图2 3 ( a ) 的会聚配胃为例，介绍配置模型中采用的坐标系和相关术语。在 配置中涉及五个坐标系，分别是世界坐标系q 一k 匕z ，、两个摄像机坐标系 q 。一x 。匕。z c 。和q ：一t ：艺：z o ：、以及两个图像坐标系g ；l - x l y l 和q 2 一砭儿( 没有画 出) 。两个摄像机坐标系的原点对称位于世界坐标系的x 轴上，图像坐标系以物 理尺度为单位。两个摄像机的光心c l ，c ：之臼j 的连线称为光心线q c ：，或者基线 1 5 山东大学硕士学位论文 i ( b a s e l i n e ) 。基线的长度记为d ，两光轴c l z 。和c ：z ：之间的夹角为2 口。在标准配置 下，取口= 0 ，即两光轴是平行的，如图2 3 ( b ) 所示，标准配置是会聚配置的一种 特例。基线q c 2 与焦平面s 1 ，焦平面s 2 的交点记为巳、乞，它们可以看作是另 一个相机的光心在本相机焦平面上的成像点，分别称为两个焦平面s l 、s 2 的内 极点( e p i p o l e ) ，或者分别为s 2 、s 1 的对极点。若空间同一点p 在焦平面s 1 、s 2 上的成像点为q 。、q 2 ，则由p c 。c ：构成的平面( 称对极面) 经过极点( 巳、乞) 和像点 ( g l 、9 2 ) 。对极面与两个焦平面各有一条交线q c l 、q 2 c 2 ，分别称为像点g l 、q 2 的内极线或像点g ：、g 。的对极线。当摄像机的空间位置确定后，两个极点( p 。、p ：) 即可确定，再根据焦平面s 1 中的一个像素点9 1 ，即可确定一个极面和一条对极 线( 对极面与焦平面s 2 的交线) 。像素点g 。在焦平面s 2 中的对应点也必然位于该 对极线上，这就是常用对极线约束，即匹配点的搜索范围限制到了一维的对极线 上。其它约束条件将在2 3 节中详细叙述。 2 2 2 在标准配置下的立体匹配 在摄像机标准配置下的简化投影几何关系如图2 4 所示。在标准配置模型中， 焦平面s 1 和s 2 是同一个平面，基线q c 2 平行于焦平面，极点e 。和p ：将位于无穷 远点，两条极线q 。c 。和g ：c ：也是平行的。像素点g 。和g ：在各自图像坐标系中仅有 x 轴坐标的差异，而y 轴的坐标是相同的。所以在摄像机标准配置模型中估计立 体图像对的匹配点时，只需要在相同水平线的像素行中搜索即可，这大大简化了 对应点的搜索问题。 1 6 图2 4 摄像机标准配置下的简化投影几何关系 山东大学硕士学位论文 设空间中一点e ( x ，y ，z ) 在两个摄像机坐标系中的坐标分别为日( x i ，z ，z 1 ) 和b ( x 2 ，艺，z 2 ) ，在两个焦平面上的成像点分别为q l ( 而，y 。) 和g ：( x ：，y ：) ，则舅、 b 、q 。和q ：的坐标关系如( 2 5 ) 式所示，p 、只、b 的坐标关系如( 2 6 ) 式所示。 羔兹 j 五= x + 酬2 ，z = l z l = z ( 2 6 ) 【五= x d 2 ，k = y ，z 2 = z 、7 解方程得，x ：j 生一i d ，】，：二吐，z ：丝_ ( 2 7 ) 工l x 2z 一x 2而一x 2 其中，而一x ，代表对应像素点的水平偏移，称为视差。立体匹配算法的核心就是 估计各个像素点的视差值。 所以一旦确认出场景中的某点在两个成像平面的对应像素点，就可以恢复出 该点的深度信息，确定三维坐标位置。对于摄像机的会聚配置模型或者其他更通 用的模型，同一物体点的两条对极线不是平行的，像素点g 。和g ：在x 轴和y 轴 的坐标都可能是不同的，这会增加估计匹配点的复杂度。所以常见的立体匹配算 法都是对极线校正后的立体图像对进行处理。虽然极线校正会涉及图像的重采样 和插值，导致一些信息的丢失，但极线校正后的图像可以使得对应像素点的搜索 范围限制到水平扫描线上，加快匹配速度。 2 3 立体匹配中存在的问题以及常用的假设条件 为了实现三维场景结构的