（信号与信息处理专业论文）一个基于自适应窗口的立体算法gui系统的设计和实现.pdf

中文摘要 立体匹配( s t e r e om a t c h i n g ) 是计算机视觉研究中的一个热点。当前使用相关性 或者平方误差累积算法进行立体匹配计算主要的问题在于选择合适的窗口。一方 面，进行匹配的窗口必须足够大来包括足够多的亮度变化，这样才能达到可靠的 匹配：另一方面，窗口还必须足够小，以避免投影变形，导致对象边缘处出现错 误匹配。因此，窗口的大小必须根据局部的亮度和位差进行自适应的选择。 本论文设计了一个用户图形界面( g r a p h i cu s e ri n t e r f a c e g u i ) ，实现了基于自 适应窗口的局部算法和其他几种传统的窗口算法。其中，基于自适应窗口的局部 算法根据亮度和位差的变化来动态的选择对比窗口。该方案对于每个像素的位差 估计充分考虑了边缘，遮挡等因素。但是出于运算复杂度的考虑，本论文只选择 窗口的大小而不选择窗口的形状。 另外，本论文设计了一个质量评估模块来判定我们的算法和传统的基于固定 窗口的算法之间性能上的差异。对于测试图像序列，定量和定性的结果都表明我 们的算法比现在普遍存在的局部算法性能优秀，并且不像全局算法那样存在明显 的效率下降。 本论文的g u i 系统用来测试各个不同的模块和不同的立体算法之间的设计 决策，因此本论文开发了一个m a t l a b 实现，并且使用面向过程的编程技术来保 证系统的模块化和可扩展性。这个实现的模块化保证了可以对于算法的各个组成 部分进行单独测试，而可扩展性保证未来能够将其他算法( 比如全局算法) 融入 进这个系统，并且可以支持除了位差测量以外其他立体算法领域的应用( 比如多 视点图像合成，编码等) 。 关键词：立体匹配自适应窗口算法用户图形界面评价体系 a b s t r a c t s t e r e om a t c h i n gi so n eo ft h em o s ta c t i v er e s e a r c ha r e a sm c o m p u t e rv i s i o n t h e m a i np r o b l e mi ns t e r e om a t c h i n gb yc o m p u t i n gc o r r e l a t i o no rs u mo fs q u a r e d d i f f e r e n c e s ( s s d ) l i e si ns e l e c t i n ga l la p p r o p r i a t ew i n d o w t h ew i n d o ws i z em u s tb e l a r g ee n o u g ht oi n c l u d ee n o u g hi n t e n s i t yv a r i a t i o nf o rr e l i a b l em a t c h i n g ，b u ts m a l l e n o u g ht oa v o i dt h ee f f e c t so fp r o j e c t i v ed i s t o r t i o n f o rt h i sr e a s o n ，aw i n d o ws i z e m u s tb es e l e c t e da d a p t i v e l yd e p e n d i n go nl o c a lv a r i a t i o n so f i n t e n s i t ya n dd i s p a r i t y t h i sp a p e rd e s i g n e dag u i ( g r a p h i cu s e ri n t e r f a c e ) s y s t e mt oi m p l e m e n to u r s t e r e o a l g o r i t h mb a s e d o n a d a p t i v e w i n d o wa n ds e v e r a lo t h e rt r a d i t i o n a l w i n d o w - b a s e da l g o r i t h m s w ed e s i g n e dam e t h o dt os e l e c ta na p p r o p r i a t ew i n d o wb y e v a l u a t i n gt h el o c a lv a r i a t i o no ft h ei n t e n s i t ya n dt h em s p 撕t y t h i sm e t h o de s t i m a t e d t h ed i s p a r i t yo fe v e r yp i x e lb yc o n s i d e r i n gb o u n d a r y ，o c c l u s i o n h o w e v e r ，b y r e s t r i c t i o no fc o m p u t a t i o nc o m p l e x i t y ，t h i sp a p e ro n l ys e l e c t st h es i z eo ft h ew i n d o w f u r t h e r m o r e ，a l le v a l u a t i o nm o d e lh a sb e e nd e s i g n e dt oc o m p a r et h ep e r f o r m a n c e o fo u ra l g o r i t h ma n dt r a d i t i o n a lf i x e dw i n d o ws t e r e oa l g o r i t h m s q u a l i t a t i v ea n d q u a n t i t a t i v er e s u l t so b t a i n e df o ri m a g ep a i r ss h o wt h a tt h ep r o p o s e da l g o r i t h m o u t p e r f o r m sm o s ts t a t e - o f - t h e a r tl o c a lm a t c h i n ga l g o r i t h m sw i t h o u te f f i c i e n c yl o s sa s g l o b a la l g o r i t h m s o u rs y s t e mi sd e s i g n e dt oa s s e s st h ed i f f e r e n tc o m p o n e n t sa n dd e s i g nd e c i s i o n s m a d ei ns t e r e oa l g o r i t h m s t h u s ，w eb u i l dam a t l a bi m p l e m e n t a t i o nb yu s i n g p r o c e s s - o r i e n td e s i g nt e c h n o l o g yf o ri t sm o d a l i t ya n de x t e n d a b i l i t y t h em o d a l i t y g u a r a n t e e st h es t a n d - a l o n gt e s tf o re a c hb l o c ko fa l g o r i t h m a n dt h ee x t e n d a b i l i t yl e t u sc o u l da b s o r bo t h e ra l g o r i t h m s ( s u c ha sg l o b a la l g o r i t h m s ) i n t ot h i ss y s t e m a l s o ，i n t h ef u t u r e ，w ec o u l dd e v e l o po t h e ra p p l i c a t i o n si nt h i sa r e as u c h 船m u l t i v i e wi m a g e s y n t h e s i sa n dc o d i n gb yt h ee x t e n d a b i l i t yo fo u rs y s t e m k e yw o r d s ：s t e r e om a t c h i n g ，a d a p t i v ew i n d o wm e t h o d , g u i ，e v a l u a t i o n s y s t e m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤叠盘茔或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：花呐 签字日期：如口7 年6 月膳日 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权叁洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 影嗍 签字日期：丑沪7 年乡月p 日 导师签名：1 戛侈1 乏 签字日期：训7 年6 月f 男日 天津大学硕士学位论文 第一章绪论 1 1 研究背景、意义和现状 第一章绪论 视觉是人类观察世界、认知世界的重要手段，人类从外界获取的信息约有 7 5 来自视觉系统。计算机视觉是指用计算机来实现人类的视觉功能，也就是用 计算机来实现对客观世界的识别，即实现人类视觉系统的某些功能，其目标是实 现对三维场景的感知、识别和理解。二十世纪七十年代末，m i t 的m a r r 教授创 立了计算视觉理论框架，系统概述了心理物理学、神经生理学、临床神经病理学 等己取得重要成果的领域，是迄今为止最为系统的视觉理论体系，对计算机视觉 的发展起到了巨大的推进作用，虽然这一理论体系尚不完善，但仍被广大科技工 作者所接受，在计算机视觉领域占有十分重要的地位。 计算机视觉有几个核心问题，对于单幅图像，核心是分割问题；对于多幅图像 核心是三维重构问题和运动分析。在基于图像的三维重建中，未标定图像的立体 匹配是关键的步骤。 我国的立体视觉发展目前正处于方兴未艾的阶段，无论是在工业、农业还是 军事领域，都显示出广阔的发展前景。清华大学智能技术与系统国家重点实验室 研究开发的拟人机器人t b t p r - 1 1l zl ，采用的是最为典型的平行双目立体视觉 系统。东南大学电子工程系基于双目立体视觉，提出了一种灰度相关多峰值视差 绝对值极小化立体匹配的新方法，可通过立体匹配对不规则物体的三维空间坐标 进行标定。哈尔滨工业大学采用异构双目视觉系统卖现了全自主足球机器人导 航，将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部 和中下部，可以同时监视不同方位，通过合理的资源分配及协调机制，使机器人 在视野范围、测量精度及处理速度方面达到最佳匹配，通过双目协调技术使机器 人捕捉多个有效目标，在实际比赛中其它传感器失效的情况下，仅仅依靠双目立 体视觉系统仍然可以实现足球机器人的导航。 立体视觉在理论上和实际应用中都有了很大的发展，但目前还存在一些问 题，需要继续研究和探索，这些问题主要表现在以下几个方面： ( 1 ) 图像是三维景物的二维投影，一幅图像本身不具备复现三维景物的全部几何 信息，同时图像在形成过程中受到许多因素的影响，诸如摄像机的质量和光 天津大学硕士学位论文第一章绪论 传播介质的特征等。 ( 2 ) 视觉神经系统的作用是把视网膜上得到的信号传送给大脑，这同时也是一个 信息处理的过程，神经生理医学已经告诉我们，人的神经系统传导信号的速 度并不快，然而人却能在0 1 - 0 2 秒的时间内，对于眼睛所看到的危险处境( 如 一块石头向你飞来) 做出反应，足见人的视觉系统的信息处理速度是相当快 的。因而，为建立一个可类比人类视觉系统的机器视觉系统，计算机的处理 速度、图像处理算法的实时性和有效性都面临严峻挑战。 尽管立体视觉的研究碰到不少困难，但是，随着跨学科基础研究的不断深入 和计算机性能的快速提高，立体视觉会有更加广阔的发展前景，而我国飞速发展 的经济也将为立体视觉技术的发展提供更为广阔的应用空间。同时，立体视觉技 术的发展将更加有利于我国国民经济的发展和人民生活水平的提高。 1 2 本论文的主要工作 这篇论文的主要的工作在于下面两个： 1 设计一个用户图形界面( g u i ) 系统， 和其它几种窗口算法进行立体匹配计算。 并在其中实现我们的自适应窗口算法 2 提供一个统一的测试环境和量化的评价标准对算法在各个不同参数下的性能 做出比较，并提出分析。 本文将注意力集中在那些经过校准的基于两帧图像的局部算法，并将分析集 中在立体匹配算法的各个组成部分上，这样系统才能够达到高度的模块化和具有 未来的可扩展性。 因为各种立体视觉应用都要求准确度的同时都需要保证一定的实时性，所以 本文开发了自适应立体匹配算法以代替新的全局算法作为系统的算法核心。当 然，基于整个系统高度的模块化，全局算法也很容易被加入到系统中去作为未来 的扩展选项。 1 3 立体算法简介 给出一对从相距不远的视点拍下的图像，双视点立体匹配算法的任务在于找 到同一个场景点在两幅图像中投影的那些点。任何立体算法，都会显式地或者隐 含的对于物理世界和成像过程作出一些假设，也就是说他们存在一些基础的假 设。常用的假设有【1 ，2 】： 1 ) 在一个完全校准了的摄像机系统中，两个摄像机得到的图像可以被重新采样 天津大学硕士学位论文第一章绪论 来满足外极约束。而对于一个经过外极校正的图像对，图像中的每一个点的 对应点应该出现在另一个图像的同一条水平线上。因此，对应问题便被缩减 到了沿着对应的搜索线进行一维搜索的问题了。我们引用的图像组都经过了 技术的校准，满足水平外极约束。 2 ) 另一个假设是有关算法怎样测量两幅图像中的两个像素是匹配的也就是 说，他们是空间中同一个点的投影。通用的假设是我们看到的物体的表面是 l a m b e r t i a n 表面这个假设保证一个理想的表面不透明，反射所有的入射 光线，并且在所有的方向具有相等的亮度。所以，两个匹配的像素应具有相 同的颜色和亮度。 3 ) 为了简化问题，大部分算法还隐式或者显式地使用了其他一些不那么强的约 束。独特性假设认为对于参考图像中的每一个像素在匹配图像中之多存在一 个像素与之对应。 4 ) 因为物理世界通常是分段平滑的，所以另一个非常有用的假设是深度在除了 对象边界处外应保持连续变化平滑性假设。 1 3 1 计算表达 左图和右图对应的像素的偏移被称作“位差”f l 】，位差这个术语最开始是在 人体视觉领域引入的，用来描述空间中的一个特征在左右眼中的差别。其中水平 位差是最为常见的现象。大多数的立体对应的算法都是计算相对一个参考图象的 单值位差函数d ( x ，y ) ，这些算法的核心概念是位差空间( x ，y ，d ) ，也就是以参考 图像坐标为基准的位差的分布。 天津大学硕士学位论文第一章绪论 l e f tc a m e r a br i g h tc a m e r a l e n sc e n t e r l e n sc e n t e r 图1 1 水平分布的摄像机和场景对象点之间的外极约束关系 在这个研究中，所有的图像都是在同一个摄像机分布下完成的，所有的摄像 机的轴都垂直于摄像机的分布，位差只在水平方向存在。在这个配置下，一旦知 道了位差值，一个点在世界坐标系中的深度就和位差成反比( 图1 1 ) 。因此，位 差通常被当作反向深度的同义词。位差空间的坐标( 工，y ) 被认为和我们选择作为 参考图像的像素坐标重合。参考图像( 通常是左图) 中的一个像素( 工，y ) 和匹配 图像m 中对应的像素( x ，y - ) 的关系为： x 。x + s d ( x ，y ) ，y = y ( 1 - 1 ) 其中s = + - 1 ，这样可以使位差总是为正。注意，我们的图像是从左视点开始依次 向右编号，所以同一个对象在图像中所处的位置应该是从右向左。 前面给出了位差d ( x ，y ) 和位差空间( x ，y ，d ) 的概念。这里引入位差空间图 ( d i s p a r i t ys p a c ei m a g e ：d s i ) 的概念。一个d s i 是一个以位差空间为参量的三维数 据结构，它记录了参考图像的每一个像素在给定位差d 的情况下和对应像素的匹 配误差。对于局部算法而言，运算的时候可以在d s i 中使用一个渐进算法，而且 这个算法的复杂度和窗口大小的选择无关。通常d s i 记录了位差空间每一个位置 的亮度差绝对值： c o ( x ，y ，d ) = i ，( z ，y ) 一l ( x 。，y ) i ，x = x 。+ d ，y = y ( 1 - 2 ) 其中，( x ，y ) 和l ( x ，y ) 代表着参考图像和匹配图像对应像素的亮度。 立体匹配算法的目标就是给出一个位差空间的单值函数d ( x ，y ) ，并且使这个 天津大学硕士学位论文第一章绪论 函数最好的描述了场景中物体表面的深度信息。也就是说，这个单值函数具有最 小的误差和最好的分段平滑性【3 1 。 1 3 2 立体算法分类 在这一节中，本文对立体匹配算法做简单介绍。通常来说，立体算法根据他 们的优化策略被分成全局和局部算法。 局部方法通常在第二个视点对应的水平搜索搜索线上操作窗口，找到具有最 大对应关系的对应点。局部方法并显示地不施加任何平滑性( 连续性) 约束项， 也就是说，匹配误差和相邻像素的位差是相互独立的。这个特点使这些算法在无 纹理区域非常难得到正确的位差。但是，基于窗口的算法通过在同一个窗口内的 所有像素具有相同的位差隐式地做出了连续性假设。这个假设在位差不连续处不 成立，因此会得出很多错误的匹配，并且会产生前景物体膨胀效应。选择合适的 窗口大小是一个关键的决策：一方面，小窗口因为无法捕捉足够的亮度变化信息 在纹理不多的区域很难得出正确的结果。另一方面，大窗口会模糊深度边缘并且 很难捕获很小的细节和对象。这促进了有关自适应窗口算法的研究。在我们的工 作中，我们的窗口算法可以利用d s i 的高效渐进算法先生成初始的位差图。进一 步的，我们使用不同的窗口大小，先使用小窗口来在各处尽可能的保存图像细节。 而对于无纹理区域我们则通过使用较大的窗口来获得位差估计。 而另一方面，全局算法则使用显式的平滑性假设，然后来求解一个最优化的 问题。一般这些算法都不去执行一个单独的误差累计步骤，而是寻找一个能够最 小化全局误差函数( 包括一个数据项( 步骤1 ) 和一个平滑项) 的位差分布函数。 这些算法的主要差别在于寻找这个位差分布函数的方法。 基于动态编程的立体算法属于全局算法【4 】。它们独立的匹配每一对搜索线。 通常这些算法假设顺序约束，然后在一个d s i 切片中寻找一个路径来最优化一个 全局误差方程。这个误差方程通常最小化亮度误差并且会伴随一个遮挡惩罚项。 因为并没有加强搜索线之间的平滑约束，计算出来的位差图通常有水平“条纹” 效应。但是，动态变成方法在计算复杂度上大大小于其他全局算法，因此也是实 时应用的一个有利的候选。 天津大学硕士学位论文 第一章绪论 图l 一2 使用动态编程的立体算法 图1 - 2 给出了一个动态编程算法的基本说明。对于每一对对应的搜索线，在 上述的矩阵中选择一条匹配误差晟小的路径，小写字母( a - k ) 表示各个搜索线 上的像素。大写字母表示矩阵中选择的路径。如果左右两幅图的搜索线上对应的 像素匹配，则标上m 。而那些部分被遮挡( 在其中的一幅视图中看不见的像素) t 被表示为l 或者r 。通常只考虑一个不大的位差范围比如说位差d = 4 ( 图中 不是阴影的部分) 。 动态编程有两个非常明显的毛病：1 ) 很难加强搜索线之间的一致性，也就 是说在两幅图平行的搜索线之间进行匹配的时候，并不考虑垂直方向的相关性， 所以动态编程算法得出的位差图具有明显的条纹效应；2 ) 很难选择那些被遮挡 部分的匹配误差。另外，动态编程需要顺序假设，而这个假设在有些情况下是不 存在的( 前端对象过窄) 。 其它的全局算法优化一个二维的误差方程，这个方程通常由一个测量像素误 差的数据项和一个惩罚相邻的被分配了不同位差的平滑项构成。优化这个误差方 程的工作属于n p c o m p l e t e 的。b o y k o v 给出了一个基于几何切割的高效的蚕食 算法。k o l m o g o r o v 和z a b i h 通过加强独特性约束来处理遮挡而拓展了他们的工 作。b i r c h f i e l d 和t o m a s i 的能量最小化框架使用一组平面分层来代表整个场景- 他们在一个层提取和个层分配步骤之间来回的转换已得到更好的结果。全局算 法因为其模型的精确性而具有最好的位差计算准确度，但其计算复杂度是实时系 统难以接受的而实现的复杂度又因为难以估计和分析蚕食算法中各个参数的影 响存在巨大的困难。 tllll；e z 一 一 = _ 天津大学硕士学位论文第一章绪论 1 4 基于自适应窗口算法的g u i 系统 为了输入图像，参数方便和直观，我们在m a t l a b 上开发了一个简单的用户图 形界面( g ) 。这个系统的算法核心包括两个部分：第一，位差计算部分，这个 部分实现了三个独立的窗口算法；第二，质量评估部分，按照第四章给出的评估 方案，对计算的位差图进行量化评估，得出各个特征区域的统计参数。 1 5 全文安排 第二章给出了立体算法的基本模块；第三章描述了立体算法的基础理论和自 适应窗口算法的具体细节；第四章是质量评估方案；第五章在前述各章的基础上 给出了g u i 系统的基本构件和实现方案，以及未来如何利用该系统进行扩展； 第六章是本文做出的实验和测试结果。 一 天津大学硕士学位论文第二章立体算法的基本模块 第二章立体算法的基本模块 一般来说，通用的立体算法由下面的三个步骤组成： 1 ) 匹配误差计算( r a wc o s tc o m p u t a t i o n ) ： 2 ) 误差累计( a g g r e g a t i o n ) 3 ) 位差计算优化( o p t i m i z a t i o n ) ； 真实的步骤顺序依赖于具体的算法。 举例来说，局部算法( 基于窗口的算法，其中给定点的误差计算只取决于一 个有限大小窗口内的亮度值) ，在误差累积这个步骤中隐含的使用了平滑假设， 这些局部算法中的一部分很容易被分成步骤1 ，2 ，3 。传统的平方误差和算法 ( s s d ) 可以被描述为： 1 ) 匹配误差是在一个给定位差处的亮度差别的平方； 2 ) 通过在一个给定位差处的矩形窗口内对误差求和来累计误差； 3 ) 通过选择某个具有最小累计误差的像素来计算位差； 2 1 匹配误差计算 在那些基于像素的算法中，最为通用的匹配误差包括，亮度误差平方( s q u a r e d d i f f e r e n c e s d ) 【5 ，6 1 ，亮度绝对值误差( a b s o l u t ed i f f e r e n c e ) a d 7 1 。在视频处理 领域这些方法的说法是，平均平方误差( m e a n s q u a r e de r r o r ) m s e 和平均绝对 值误差( m e a n a b s o l u t ee r r o r ) m a e 引。 最近有一些更加有效的办法，包括截断的二次方程等。这些方法在误差累计 的过程中限制了错误匹配的影响，这样有利于对象边缘处得到正确的匹配。 还有一些传统的方法包括，归一化互相关，它的行为和s s d 类似【9 】，二进制 匹配误差【1o 】( 比方说，只有匹配不匹配两个值) ，这个算法基于一些类似于边缘 的二进制特征【1 l 】或者是拉普拉斯算子 1 2 】的特征。但是二进制匹配误差在高密度 立体方法中并没有被广泛的使用。 文献 1 3 】中给出了一个对于摄像机采样不敏感的匹配误差测量的方法。他们 并不像传统的算法中一样只比较整数各像素偏移位置上两个像素的亮度差值( 这 样可能失去有效的匹配) 。他们比较参考图像中的每一个像素和其他图案中的像 素的一个线性内插方程。这些方法认为：摄像机拍摄的画面总是采样后显示在有 天津大学硕士学位论文 第二章立体算法的基本模块 限的离散个象索上，而不是像真实世界那样的连续。所以参考视图中一个象素点， 可能真正对应的是匹配视图中两个像素之间的一个位置。为了正确的匹配，有两 个解决的办法，一个是增加图像的精度，使用更多地像素。另外一个准则，b & t 准则，就是在计算误差的时候，使误差函数更平滑，也就是说，我们并不是简单 的计算左圈中的像素和* 像素的亮度差别，而是比较耳和* 以及其周围像素的 线性内插的差别。 圈2 - 1 典型的d s i 切片 所有像素在所有位差位置上的匹配误差构成了初始的位差空间图像d s i ： e ( 暑y ，d ) 。图2 - 1 给出了一个典型的d s i 切片。其中，( 的是原始的图像；( b ) 是 真实的位差图像：( c - e ) 是在固定位差d = 1 0 ，1 6 ，2 l 的情况下d s i 的切片；( 。是一个 在图像b ) 中3 = 1 5 1 处的( x ，d ) 切片。途中的黑色部分表示两幅图中匹配的部分。 根据外极几何的理论，位差越大，深度越浅，所以三幅图中匹配的部分依次是书 架，桌子，人和台灯。 虽然本文现在的研究被限制在了两幅图像上但是初始的d s i 可以简单地加 上每个匹配图像误差值，这是因为d s l 是始终和同一幅参考图像联系在一起 的我们可阻得到不同的图像和参考图像的误差。这是s s a d 和s s s d 方法的 核心所以，我们的系统结构也被要求未来能够扩展到这些算法。 2 2 误差累积 在那些局部和基于窗口的方法中，通过在一定的置持区辫内将d s i c f x ，弘d 1 累加或者求平均值的方法来累积匹配误差。这个支持区域可以是一个 固定位差处的二维区域( 特别适用于前端平行的表面) 或者是一个三维的 什yd 空间中的区域( 适合于倾斜表面) 。通常使用二维平方窗口或者高斯卷 积( 传统) 来累积误差。当然，我们的系统也可以使用固定在不同的点的多重窗 口1 2 具有自适应大小的窗口“】。为了实现的方便，这个g u i 系统中只实现 天津大学硕士学位论文 第二章立体算法的基本模块 了我们自己的基于几何特征的自适应大小窗口和多重窗口两种方法。 在一个固定的支持区域内累积误差可阻通过2 - i ) 或者3 - d 卷积来进行。 c ( x ，y ，d ) = “x ，y ，却+ c o ( 儿d ) 由上一章节可知在矩形窗口的情况下使用b o x - f i l t e r 。可变的窗口也可以通过 使用一个可分离的滑动r a i n - f i l t e r 来实现。另一种累积的方法是通过巷代护蔗t 来 实现的，比如一个累积操作通过重复的将每一个像素周围的像素的误差的加权 和加到一个像素上来实现的。 2 3 位差计算和优化 局部方法：通常局部方法的重点在于前两步，这一步就显得不那么重要了， 只要选择那个最后累计误差最小的点进行匹配就好了。因此，这些方法对于每一 个像素实行一个局部的 w i a n 盯- t a k e a l l ”优化，也就是说通过哪个位差值累积计 算出来的匹配误差最小，这个误差值就作为各选项。这个方法的主要局限在于： 可能参考图像里面的点在其他的图像中对应着一个点，而反过来则不成立，也就 是说，参考图像和匹配图像之间的像素是不平等的。 左图 误差方程；误差 图2 - 2 局部窗口算法示例 图2 - 2 是一个典型局部窗口算法的示例。对于以左图的某个像素为中心的红 色窗口右图的窗口从坐往右移动，根据匹配误差，移动到右图红色窗口所处区 天津大学硕士学位论文 第二章立体算法的基本模块 域的时候误差最小，所以判定这个窗口的中心像素和左图的像素匹配。 全局优化：虽然我们没有实现全局算法，这里仍简单介绍一下全局算法的优 化技术。全局优化的主要精力都集中在了位差计算上了，而不去进行第二步累积。 许多全局的方法都是在能量最小的框架下得到自己的方程的。全局方法的主要目 的是利用找到的一个位差函数d 来最小化全局能量： e ( d ) = 三乙( d ) + 五三二。曲( d ) 其中e 嘶( d ) 用来测量在位差函数d 下，输入的图像对的匹配程度。 ( d ) = yc ( x ，y ，d ( x ，y ) ) 了，) ( 2 2 ) ( 2 - 3 ) 其中c 是最初的匹配误差d s i 。 平滑项k ( d ) 用来代表算法提出的平滑性假设。为了使计算上可行，这一 项通常只用来计算相邻像素。 点二。曲( d ) = p ( d ( x ，y ) 一d ( x + l ，y ) ) + p ( d ( z ，y ) 一d ( x ，y + 1 ) ) ( 2 - 4 ) ( x , y ) 其中p 是一个位差差别的单调递增的函数，这样就可以保证位差差别越大，能量 就越大。 文献 1 6 】中给出的方法中，p 是一个二次方程，这样位差函数d 处处平滑， 在对象的边缘处的效果就非常的差。 1 7 贝j j 解决了这个问题，他们给出的较为健 壮的方程p 具有保留不连续量的特性。- 另外，平滑项也可以和亮度差联系起来， p ( d ( x ，y ) - d ( x + 1 ，少) ) 岛( 帆z ，y ) - l ( x + l ，圳i ) ( j ，y ) ( 2 5 ) 其中i 是一个亮度差的单调递减的方程，这个方程使平滑项在亮度差非常大的地 方显著的减小，这样就默认了在亮度差别非常大的地方位差可以不连续，不需要 受到平滑项的惩罚。 1 8 ，1 9 给出了这种办法，并且使位差的不连续处和亮度的 不连续处重合了起来( 在对象边缘处，亮度，颜色差，使平滑性测度理所当然的 变小) ，这个方法在很多全局算法中给出了比较好的处理结果。 一旦给出了全局能量的定义，我们就需要探讨怎么去找到他的最小值了。传 天津大学硕士学位论文第二章立体算法的基本模块 统的方法包括：马尔可夫域算法，模拟退火【2 0 】等等。当然最近的方法一几何切 割也很好【2 。这些方法比模拟退火效率和结果都更好些。 2 4 本章小结 这章介绍了立体匹配算法常用的几个模块：误差计算，误差累积，优化和 位差计算。本章还介绍了立体匹配算法的基本分类，并且简单介绍了几种局部算 法，全局算法的基本概念。 天津大学硕士学位论文第三章基于自适应和可变窗口的s t e r e o 算法 第三章基于自适应和可变窗口的s t e r e o 算法 局部算法通常又被称作局部相关性匹配算法，它先计算参考图像和匹配图像 中两个像素及其周围一个给定区域的匹配误差，然后通过比较不同的像素的匹配 误差来决定最佳的匹配。这个方法通常速度较快，但在一些特定的区域效果较差。 正如b a n a r d 和f i s c h e r l 2 2 1 指出“相关性匹配的一个主要问题在于，窗口既要足够 大来包括足够的亮度变化，又需要足够小来避开投影变形的影响 。 有一些文献研究了使用多重窗口来进行匹配的问题。文献 1 2 】通过在一个窗 口内假设一个位差和亮度的变化模型来测量位差估计的不确定度，然后决定一个 自适应窗口的大小。文献 5 】则尝试了很大的一个可选的窗口集合，但是需要的 计算时间较长，而且选择的方法是遍历性的。而文献 1 4 ，2 3 ，1 5 则是通过改变窗 口的位置( 让候选像素不再处于窗口的中心) 来避免窗口跨越对象的边界。 3 1 固定窗口算法 3 1 1 固定窗口算法模型 在一个局部的支持区域内累积误差可以通过2 d 或者3 一d 卷积来进行，我们 重写一下公式( 2 一1 ) 。 c ( x ，y ，d ) = w ( x ，y ，d ) 枣c o ( x ，y ，d ) 对于固定窗口算法，假设窗口宽度为m ，公式( 3 1 ) 可以写作： ( 3 1 ) c ( x ，y ，d ) = c o ( u ，v ，d ) ，w = 材，vx - m 2 “ _ x + m 2 ，y - m 2 v y + m 2 ( i i , v ) e ( s a d )( 3 - 2 ) 或者， c ( x ，y ，d ) = c o ( u ，v ，d ) 2 ，w = “，v l x 一脚2 u x + m 2 ，y - m 2 疋) 类似的公式也可以用于其他的区域。 表4 1 评估体系最终输出的统计参量和对应符号的列表 名字 符号描述 n 摊se r r o r sn l z rr m sd i s p a r i t ye l t o r ，7 凇一瑙一n o n o c c 岛 ( n oo c c l u s i o n s ) 瑚髂一p m d 糟一o c c ( a to c c l u s i o n s ) ，7 w ，e t v o r sd i s c o n t ( n e a rd i s c o n t i n u i t i e s ) b a d p i x e l s a l l b b a dp i x e lp e r c e n t a g e b a d p i x e l s n o n o c c岛 ( n oo c c l u s i o n s ) b a d p i x e l s o c c易 ( a to c c l u s i o n s ) b a d p i x e l s d i s c o n tb d ( n e a rd i s c o n t i n u i t i e s ) ( 4 - 3 ) 表4 1 给出了本文收集的统计数据的一个列表。需要注意到的是，在其他区 域的测量中，本文都去除掉了被遮挡的区域，因为本文的算法在被遮挡的区域实 际上得不出什么有意义的结果，只有一些对于整个图像表面设置了平面模型的算 法可以外推着一部分的位差。另外，本文也去掉了一些边缘上的像素 e v a l ，因为目前本文的算法在图像的边缘地带也得不到非常好的结 果。_ 图i g n 4 0 r l e 给b o 出r d 了e r 这些特殊区域的计算结果。 天津大学硕士学位论文第四章评估方法 圈舢1 分段区域圈 图4 - 1 给出了由真实位差图计算出来的特征区域。其中，a ) 是原始图像，( b ) 是真实位差，( c ) 是无纹理区域( 白) 和被遮挡区域( 黑) ，( d ) 是深度不连续 区域( 白) 和被遮挡区域( 黑) 。 另外一个主要的评价算法的方法是使用颜色视图和位差图来预测其他视点 看到的图像【l ”。这个算法分为前向和后向两种方法： l _ 前向法使用得出的位差图案和参考图像来计算一个可能的视点上的图像，然 后比较预测的图像( 图4 _ 2 ) 和真实的图像之间的误差前向预测误差。 2利用位差图像讲一个新的视点的图像反向生成参考图像视点的图案( 图 4 - 3 ) 然后比较反向预测的图像和参考图像之间的反向预测误差。 图4 五一系列前向弯曲的图像 图4 - 2 中，参考图像是中间的那幅，匹配图像是右边第二幅。看不见的区域 是图像中用紫色表出来的区域。 天津大学硕士学位论文 第四章评估方法 4 2 测试数据 图年3 一系列反向弯曲的原始图像 为了定量的评价本文的算法我们需要一些图像组以及他们的真实的位差图 来评价我们的结果。这里引用的数据来自m i d d l e b u r r y 大学的图像组。每个图像 组从左视点到右视点存在等基距的八幅图像。本文采用的图像组大多都是由分段 平面构成的。比较简单的图像( 比如“s a w t o o t h ”和v e n u s 全部由分段平面构 成) 稍微复杂一些的图像( 比如c o n e s 和t e d d y ) 则存在一些非平面的对象( 采用 的图像组见附录一) 。 4 3 本章小结 本章提出了本系统的质量评价模型，以及各个铡量参数的名称和意义。在后 续的实现和测量工作中，计算出了位差图以后，本文采用这个模块评价它整体和 在特征区域的表现。另外本章也说明了采用的图像组。 天津大学硕士学位论文第五章g u l 立体算法评估系统的设计和实现 第五章g u i 立体算法评估系统的设计和实现 本文开发了一个单机的，可移植的几种立体算法m a t l a b 实现【2 5 1 。这个实现和 第二节中给出的算法联系紧密。目前这个实现中包括了基于固定窗口的算法，可 变窗口算法，以及使用自适应窗口的算法。这个实现使用图形界面技术，使用起 来非常直观方便。另外，整个系统设计采用面向过程编程技术，达到了高度的模 块化，具有非常好的可扩展性，利于后续设计中加入其他算法。整个系统的几个 主要图形界面见附录二。 5 1 启动界面和系统构成 启动g u i 功能说明： 1 ) 启动界面由图形输入、参考图像，匹配图像，真实位差图像，位差计算，位 差图像，质量评估七个按键组成； 2 ) 图形输入负责整个系统的数据输入，基本功能包括：输入参考，匹配，真实 位差三幅图像；对图像的基本参数进行设置； 3 ) 初始状态下，除了图像输入按键，其他按键都处于d i s a b l e a 状态( 图中按键字 体为浅色) ； 4 ) 参考图像，匹配图像，真实位差图像控键被使f 毙( e n a b l e ) 后，表示对应的图 像输入完成，点击可以查看对应的图像和图像本身的参数( 形状，位置，位 差图像的关系) ； 5 ) 位差计算和质量评估控键被使能之后，点击可以选择和触发相应的算法，进 行演算，计算和评估位差。 天津大学硕士学位论文第五章g u i 立体算法评估系统的设计和实现 图5 1 主系统流程、 主系统流程说明： 1 ) 系统初始化了自己的图形界面之后，除了图形输入按键以外，所有的控键都 被设置成了d i s a b l e 状态，整个系统的输入部分就是由图形输入构成： 2 ) 点击图形输入按钮之后，可以输入参考，匹配，真实位差三幅图像，并使能 相应的控键； 3 ) 参考，匹配图像控键使能后，表示这两幅图像输入完毕，可以开始位差计算， 使能位差计算控键； 4 ) 点击位差计算控键，按照参数设置计算位差，得到位差图像，使能位差图像 控键； 5 ) 当真实位差和位差图像控键得到使能之后，可以对位差图像进行评估，使能 质量评估控键； 5 2 图形输入模块 图形输入有三个功能：参考图像输入，匹配图像输入，真实位差图象输入。 本身只是一个单功能按键，点击以后探出一个界面，可以点击按键弹出三个对话 框，用来从系统外部读入对应的图像。 对应的回调函数除了读入图像存储在对应的构架数组以外，还会检测各个图 天津大学硕士学位论文 第五章g u i 立体算法评估系统的设计和实现 像的形状是否一致。系统要求参考图像、匹配图像和真实位差图像的几何大小一 致。并且真实位差图像是灰度图像，每个像素只有一个u i n t 8 存储单元存储灰度 值【1 ，2 5 5 ：参考，匹配图像则每个像素具有r 、g 、b 三个子带，都由一个u i n t 8 单元存储。 图像输入完成之后，对应的图像控键由“d i s a b l e d ”状态转换为“a b l e 状态。 点击可以显示图像本身和图像相关的参数列表，其中，位置参数可以更改。 点击参考图像之后会弹出的对话框，用来输入和设置参考图像的参数 参数说明： 1 ) 三个输入模块输入和设置的参数最终被存储到各自的构架数组中，参考图像 和匹配图像结构一致，这里仅以参考图像的构架数组为列： r e f = n a l l l e ：r e f e r e n c ei m a g e 图像数据的名称 i m a g e ： 3 7 5 x 4 5 0 x 3u i n t 8 图像数据本身 s h a p e ： 3 7 54 5 03 】 图像的形状 p o s i t i o n ：2 位置参数 这个构架数组是图像输入模块输入了t e d d y 图像组的i m 2 p p m 作为参考图像 得到的结果。其中图像数据本身是一个三维数组。我们整个系统目前只输 入”p p m 图像作为彩色输入图像。“t e d d y ”这个输入图像范围( x ，y ) 为( 3 7 5 ，4 5 0 ) ， 第三个维度是r ，g ，b 三个颜色分量。位置p o s i t i o n 参数表明了参考图像视点 在基线上的坐标。 2 ) 真实位差图像的构架数组与上述相仿，所不同的是位置参数是一个1 2 数组， 用来记录参考图像和匹配图像的坐标 t d i s p