（信号与信息处理专业论文）立体匹配及中间视合成技术研究.pdf

摘要 摘要 立体匹配及中间视合成技术研究 研究生姓名：齐增义导师姓名：罗琳 东南大学信息科学与工程学院 立体视觉是一门交叉学科，虽然已经有了2 0 多年的研究历史，但是无论在视觉生理 的角度，还是在实际应用方面来看，仍然处在十分不成熟的阶段。本文主要对立体匹配 算法和基于立体匹配的中间视合成技术进行了较深入的研究。 论文首先概括的介绍了立体匹配技术的理论基础，双目平行摄像机系统下视差与深 度的关系、立体匹配常用的约束条件以及所要用到的一些图像处理方面的基本理论。 接着，本文从初始匹配代价的计算、匹配窗口大小及形状的选取、视差计算、视差 优化四个方面对基于局部信息的匹配算法进行了讨论，在此基础上，提出了一种基于图 像分割和自适应权重的立体匹配算法，该算法首先对立体图像对进行过分割，统计各个 分割块的信息。接着进行以分割块为单位的基于块的立体匹配，获取初始的视差图，根 据初始的视差图缩小每个像素的视差搜索范围。然后，它利用像素之间的颜色相似性和 分割块的信息计算每个像素的权重，进行视差的重计算，在计算视差时，它根据平滑性 约束和块信息进行跳跃式的像素匹配。最后，根据该算法本身的特点，除了利用一致性 约束和中值滤波，本文把直方图技术引入视差优化的步骤中。实验结果表明，该算法不 仅运算量比原有的基于自适应权重的算法有了很大的降低，而且算法性能也得到了一定 程度的提高。 此外，本文还提出了一种基于视差估计( 立体匹配) 的中间视合成算法。该算法主 要分为视差估计和视图插值两个部分。在视差估计部分，该算法采用迭代的置信传播算 法，提出了一种利用颜色距离来自适应设置能量函数平滑项截断值的方法。实验结果表 明，该设置平滑项截断值的方法，能够避免视差图的过渡平滑，而且可以提高匹配的正 确率。在视图插值部分，提出了一种基于区域划分的视图插值策略。它首先根据强弱一 致性约束条件，把匹配图像分成半遮挡区域、一致区域和模糊区域，与此同时，进行遮 挡区域的补偿，然后根据各个区域本身的特点采用不同的方式进行线性插值。实验结果 表明，该中间视合成算法都能够合成具有照片感的虚拟视图，残差主要出现在图像中对 象的边缘区域即视差不连续区域。 文章最后对本文的工作进行了总结，并对下一步的工作进行了展望。 关键词：立体视觉；立体匹配；中间视合成；视图插值 a b s t r a c t a b s t r a c t s t u d yo nt e c h n o l o g yo fs t e r e oc o r r e s p o n d e n c e a n di n t e r m e d i a t ev i e ws y n t h e s i s b yq iz e n g y is u p e n ，i s e db ya s s o c i a t ep r o l u ol i n s c h o o lo fi n f o n n a t i o ns c i e n c ea n de n g i n e e r i n gs o u t l l e a l s tu n i v e r s i 锣 s t e r e o v i s i o ni sa i l 硫e r d i s c i p l i n a 巧f i e l d a l t h o u 曲i th 笛b e r e s e a r c h e df i ) rm o r e 吐i 姐2 0y e a f s ， w h 甜l e r 台o m 铴ev i s u a lp h y s i o l o 舀c a la s p e c to rm ea p p l i c a t i o na s p e c t ，i ti ss t i l lj m _ m a t i 】r e i i lm i sp a p 盯，a d e 印s t u d yo nm et e c l l l l i q i i e so fs t e r e oc o r r e s p o n d e n c e 锄di n t 锄e d i a t ev i e ws ”m e s i si sm a d e f i r s t l y ，m es t e r e oc o n e s p o n d e n c eb 嬲i ct l l e o 珂，廿l er e l a t i o n s m po fd i s p a r i 锣锄dd 印协b 勰e d0 nt l l e p a r a l l e lb i i l o c l l l a rv i s i o ns y s t e i n ，n l ec o m m o n l yl l s e dc o n s 仃a i l l t so fs t e 0m a t c h 访g 孤ds o m eb a s i cm e o 叫 o fi i | 1 a g ep r o c e s s i l l gu s e di i is t e r e o v i s i o ns y s t e ma r ei n 岔0 d u c e db r i e f l y n 虬廿l el o c a lm a t c h 吨a l g 谢t 胁i sd i s c l 】s s e d 舶m 舭f o u r 姊o c t s 谢i sc o m p u t a t i o no fi i l i t i a l m a t c h i n gc o 瓯s e l e c t i o no fs i z e 锄ds h 印ef 0 rm a t c h i i l gw i l l d o w ，d i s p 鲥够c o m p u t a t i o n 锄dd i s p 撕锣 o p 缸i z a t i o n as t e r e om a t c h i n ga l g o r i 出mb a s e do ni m a g es e g m 髓t a t i o n 锄da 如p t i v es u p p o r ti s p r e s e n t e dmt h i sc h a p t 盯f i r s t 妙，0 v e r - s e g m e i 】：c a t i o ni sc a r r i e do u to nm es t e r i n l a g ep a i r sa n dt h e i n f o n t l a t i o no fe v e d rs e g m 即ti sr e c o r d e d mo r d 盯t o 同u c e 吐l es e 锄c hm g eo fd i s p a r i 妙，s t e r e 0m a t c h i n g b a s e do ne v e 巧s e 笋：l e l l ti sd o n e 锄di n j t i a ld i s p 撕锣o fe v e 巧s e g 珥锄tj sr e c e i v e d ，n l e l l ，d i s p 撕够s e 盯c h 啪g ei sr e s e tb a s e do nn l ei 1 1 j t i a ld i s p 撕锣s e c o n d l y ，m ew e i g h to fe v e 巧p i ) 【e li sc o m p u t e db 弱e do nn l e c o l o rs i l l l i l a r 时a n d 吐l ei i l f 0 珊a t i o no fm es e g m t ，t 1 1 e i ls t e r e oc o r r e s p o n d e n c ei sd o n e 觚o m e rt i l i l eb a s e d o ne a c hs e g m e 晚峨g l lt 1 1 em a t c h i l l gp f 0 豁，al e a pp i ) 【e lm 砷c h i n gm o d ei sa p p l i e dw h i c hi ss e tb 豁e d 鲫l es m o o 岫e s sc o m 打a i m 锄dt h ei i l f o n n a t i o no fs e g m e n ti l lm ed i s p 撕妙c o m p u t a t i o ns t a g e f i i l a l l y ，i l l a d d i t i o nt 0c o n s i s t e n c yc o n s 仃a 缸a n dm e d i 锄6 1 t e r ，l l i s t o 粤韧mt e c l l i l o l o g yi si n l 阳d u c e di n t 0d i s p 撕锣 o p t i n l i 烈i o ns t a g ei 1 1a c c o r d a n c ew i t hm e c h a r a c t e n s t i c so f l ea 培o r i m mi t s e l e x p 幽e n t a lr e s u l t ss h o w m a t ，c o m p a r e dw i mm ea d a p t i v es u p p 矾a l g o r i t l l 】咀e x i s t e d ，n i ep e r f o m a n c eo fo l l ra l g o r i t h mi si m p r 0 v e d i 1 1s 响e e ) ( t c r l t 锄d 也e m n j n g t i m e i sr e d u c e d i i la d d i t i o n ，a ni n t c n n e d i a t ev i e ws ) m t h e s i sa k o r i n l mb 觞e do ns t e r c 0c o r r e s p o n d 饥c ei sp r o p o s e d ，i t c o n t a 证st 、os t a g e s ：d i s p 撕锣e s t i n l a t i o n 锄dv i e wi n t e l p o l a t i o n h lm ef i r s ts t a g e ，l o o p yb e l i e fp m p a g a t i o n i sa d o p t e dt og e tn l ed i s p a r i t ) ，i l lw h i c h 锄a d 印t i v em e t l l o dt os e tt h e 饥m c a t i o nv a l u eo ft h es m o o t l lt e l l l l w h i c hc 0 1 p u t e 出e 协m c a t i o nv a l u eo fs m o o t l lt e l 强n 1 1 o u g h 吐l ee u c l i d e a i ld i s 协n c eb e 鲥e e l ln o d ep i ) 【e l s 柚di t sn e i g h b o r h 0 0 dp i ) ( e l si i lr g bc o l o rs p a c ei sp r e s e m e d e x p e r i m e n t a lr e s u l t ss h o wt h a ti tc 锄a v o i d m ee x c e s s i v e 锄o o t h j n go ft l l ed i s c o n t i i l u o l 塔a r e 嬲a i l di l i l p r o v et i l ec o r r e c tr a t eo fs t e r e om a t c h i l l g 1 1 1 吐l e s o n ds t a g e ，an e ws 仃铽e g yo fv i e wi m 叩o l a t i o ni sp r e s e n t e d f i r s t l y ，i td i v i d e s 也ei m a g ep a i r s 而om r r e g i o 璐w h i c ha r ch a l fo c c l u d e dr e g i o n s ，m z 纠r e 百o i l s 锄dc o i l s i s t e i l c ) ，r e g i o n su s i i l gs 仃o n g 锄dw e a l ( c o n s i s t e n c yc o n s 仃a i l l t s ，锄d 缸廿l es 锄et i m et h eh a l fo c c l u d e dr e g i o n si sc ( n 驴n s a t e d t h e nw eu s el i i l e 甜 i n t e i p o l a t i o nt o 也et h j 优r e g i o n si i l d i 仟e ”e n tm o d e sa c c o r m n gt o 付l ec h 觚蛾e r i s t i co f 铋c hr e g i o n e x p e r i m e n t a lr e s u l t ss h o w 廿l a ti tc a ns y n t h e s i z eh i g hq u a l i 够v i r n j a li m a g e s 锄d 戗l ed i f f e r e n c e sm a i l l l y o c c 置j ro n 吐l ed i s c o n t i n u o u sa r e 船 f i n a l l y ，、em a k eas u 舢m u yo ft h ew o r kd o n e 锄dt h er e s e a r c h e sr e s u l t s ，a n dp m p o s e t h ep r o s p e c ta n dd i r e c t i o no ft h ef h r t h e rw o r k k e ) 懈n d r d s ：s t 唧v i s i o n ；s t e r e oc ( m 冒s p o n d e n c e ；i 1 1 t a 强e d i a t ev i e ws y n m e s i s ；v i e wi n t e 巾o l a t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：宝鹭幺 日期： 2 啤：2 ：i 夕 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名_ 叠遂鎏 导师签名： 日期：翌堕! 里 第一章绪论 1 1 课题研究背景及意义 第一章绪论 在现实的世界中，我们主要通过视觉系统来感知及理解周围的环境，视觉信息是我们感知外部 世界的主要渠道，人们从外部世界获取的信息中8 0 是通过视觉获取的【。视觉不仅是指对光信号 的感受，它还包括了对视觉信息的获取、传输、处理、存储与理解的全过程。机器视觉的提出让我 们能够利用计算机模拟人眼的视觉功能，对获取的场景图像进行数字化，利用图像和图像序列来识 别和认知三维世界，最终实现利用计算机对于三维景物的理解。计算机视觉的研究目标可以归纳为 两个，第一个目标是建成计算机视觉系统，完成各种视觉任务：第二个目标是把该研究作为探索人 脑视觉工作原理的手段，进一步加深对人脑视觉的理解和掌握。同时人脑视觉的充分理解也将促进 计算机视觉的深入研究。长期以来，对人脑系统从生理、心理、神经等各个方面进行了大量的研究， 但是还远没有揭开视觉过程的全部奥秘，可以说对视觉机理的研究和了解还远远落后与对视觉信息 处理的研究和掌握。 融合两只眼睛获得的图像并观察它们之间的差别使我们可以获得明显的深度感，这个差别，我 们称作视差。相应地，获取空间三维场景的距离信息也是计算机视觉研究中的最基础的内容。可靠 的立体感知算法在机器人视觉导航、地图生成、航空勘测、目标识别、以及三维场景的重建等领域 都有很广阔的应用价值f 2 】。另外，深度信息的获取对于三维视频会议【3 j 、虚拟现实技术1 4 j 以及三维电 视系统【5 】的广泛应用也起着至关重要的推动作用。然而，虽然计算机视觉已经有了很大的发展，但 无论是在视觉生理的角度，还是在实际应用的角度来看，现有的立体视觉技术还处在十分不成熟的 阶段。这不仅涉及到技术上的原因，而且更多的在于人类对自身视觉机制还不十分了解。人类如何 获取和分析理解视觉知识到现在为止还没有研究清楚，立体匹配作为立体视觉的核心，在理论和技 术上还存在很多的问题，比如，如何合理的选择匹配特征，以克服匹配准确性与恢复视差全面性间 的矛盾；如何有效的选择匹配准则和算法结构，以解决存在严重灰度失真、几何畸变、噪声干扰及 遮挡景物的匹配问题；如何建立更加有效的图像表达形式和立体视觉模型，以便充分地反映景物的 本质属性，为匹配提供更多的约束信息，降低立体匹配的难度。总之，至今为止，还没有一种通用 的算法能像人眼那样对所获取的图像进行分析、理解和匹配。 2 1 世纪是一个信息化的时代，随着半导体、计算机及通信技术的飞速发展，数字化信息已经渗 透到人类生活密切相关的各个领域，人类正向高度信息化的社会迈进，而纯数字化形式的信息不符 合人们所习惯的接收的信息的表示方式。为此，人类一直致力于寻求一种图文并茂，逼真自然，并 且具有身临之感的和谐人机交互环境。近年来，由于计算机视觉技术的长足发展，三维技术中的多 视点立体显示技术问题得到越来越多的关注，它可以根据观察者头部位置变化而提供相应的三维感 觉，即“连续的环视”。然而，为了达到以上的目的，通常的方法是使用多个摄像机同时摄取不同 视点的图像，显然无论是从设备的价格还是数据的存储、传输上来看都是极不可取的，而它的解决 办法正是新视点的视图合成技术。 视图合成技术涉及数字图像处理、计算机图形学及计算机视觉等多个学科。概括来说，主要有 两种视图合成方法：第一种是基于模型的绘制方法，该方法利用计算机图形学技术，对真实的场景 进行定义，从而建立三维场景的模型，然后利用计算机实现场景模型的绘制、着色、消隐、光照以 及投影等处理过程，最终生成对应给定视点和方向的图像；第二种是基于图像的绘制方法，该方法 主要研究如何采用已知实景图像来直接生成虚拟视点西安的对应图像。近年来，由于数字图像采集 技术的发展和普及，基于图像的绘制技术有了很大的发展。两者的根本区别是，基于图像的绘制方 法不需要显式的几何建模，而通过对获取的源图像进行适当的几何和灰度变换，插补和综合出位于 不同视点下的新视图( 目标图像) ，它的最大的优点在于：目标图像给出的是客观真实的场景视图， 算法复杂度与场景无关，且在实时的显示时不需要专业的图形加速设备，借助于图形技术，可以获 1 $ 南 学硕士学位* z 得! ，照片有同样真实感的i ；f 图像与虚拟物体的台成场景。而且，由于当前的显示系统本质上是维 的，基于模型的方法生成的3 d 模型擐终仍需投影成2 d 的图像，而摹于图像的绘制方法利j j ，当前 显示技术的特点，直接对已有的二维幽像进行处理。米台成新视点图像。 本文着重于研究计算机视觉中立体旺配技术以及基丁目像的视图台成技术。直体匹配直接模拟 了人类视觉处理景物的方式，通过它我们可以从二维的图像或视频序列巾获取日标场景的深度信息； 另外，通过视图台成挂术，我们可以获得同定摄像机视点之外的任意视点的图像。当然，立体匹配 技术中稠密视差圈的获得地基于图像的视圈合成技术的芙键。随着科学技术发展，以及各种交叉学 科的进一步渗透，毫无疑问，对t 这两种技术的研究，不论烛从视觉生理的角度，还是在j 二程应用 中都具有十分重要的意义。 1 2 立体匹配技术概述 立体视觉是机器视黉领域中摄重要的研究分支，而* 啡匹配技术是直体视觉中最为关键的技术 其中心问题是如何快速、鲁棒地实现图像对中对戍点的匹配，捩得满足要求的深度幽或者称为视 差i 堑| 。 l k 配 驯 度 r ( b ) 打幽像 c ) 某些约束条件f 的匹配点搜索 1 2 1 立体匹配算法的原理简述 凹l _ l 立体匹配演示过程 立体匹配的过程实际是指寻求两幅图像间的映射过程，也就是说，要将两幅不同视点的同一景 2 瓣一黼一 第一章绪论 物或物体的投影图像中对应于空间同位置的点联系起来。如图l 一1 所示，我们在立体图像对中选 一幅图像作为参考图像( 如右图像) ，则另一幅图像为目标图像( 如左图像) ，一个简单的立体匹 配过程为：从目标图像中选出一点彳( 三维场景中物体表面上某一点的投影点) ，然后从参考图像 中找出其对应点彳，这个对应点的选择应该满足某些约束条件，且该点在某种匹配测度下达到最优， 接着求出视差矢量。这个点对又称为同名点对，两个同名点之间的位置矢量差就是视差矢量1 6 j ，所 以从另外一种角度，立体匹配的过程完成了对视差矢量的估计。 我们分别假设左右图像的左下像素点为坐标原点，建立左右两个坐标系，假设目标图像( 左图 像) 中的待匹配像素点的坐标为粥，参考图像中的匹配像素点的坐标为 ，粥，则两坐标满足下 式： 阱卧网 式中 蟊1 方向的视差值，取正值； 西y 方向的视差值，取正值； r 方向符号，左图像为参考图像时取1 ，右图像为参考图像时取+ l ； 1 2 2 常见的立体匹配技术 ( 1 1 ) 目前为止，立体匹配技术已经有了长足的发展，出现了很多的立体匹配算法。根据匹配基元的 不同，立体匹配算法主要分为三大类：区域匹配、特征匹配和相位匹配i7 j 瞵儿w 。 ( 1 ) 基于区域的立体匹配算法 区域匹配【l o 】算法以基准图的待匹配点为中心创建一个窗口，用邻域像素的灰度值分布来表征该 像素，然后再在待匹配图中寻找这么一个像素，以其为中心创建同样一个窗口，并用其邻域像素的 灰度值分布来表征它，当搜索区域中的元素使匹配准则达到最优时，则认为元素是匹配的。现在用 的较多的匹配代价计算方法主要是s a d ( s 啪o fa b s 0 1 u t ed i 行e r e n c e s ) 和s s d ( s 啪o fs q u a r e d d i f f e r e n c e s ) 【1 1 1 ，但该算法的匹配窗口的大小及形状的很难选择，这取决于从待处理图像中提取最 重要的空间属性的能力，通常借助于窗口形状技术来改善视差不连续处的匹配。 一般来说，基于区域的算法计算量很大，而且对噪声很敏感，但是可以得到整幅图像的视差图 ( 深度图) 。窗口选的过大，可能匹配的选择较多，误匹配的可能性大，不适于灰度分布均匀的图 像，较适用于自然景物等的灰度分布复杂的图像。采用该方法的关键是在于排除或减轻噪音的影响。 ( 2 ) 基于特征的立体匹配算法p 儿“1 与基于区域的算法不同，基于特征的匹配算法是有选择地匹配能表示景物自身特性的特征，通 过更多地强调空间景物的结构信息来解决匹配歧义性问题。基于特征的匹配算法将匹配的搜索范围 限制在一系列稀疏的特征上。利用特征间的距离作为度量手段，具有最小距离的特征对就是最相近 的特征对，也就是匹配元素。特征间的距离度量有最大最小距离、欧式距离等。大多数方法都通过 增加约束来减少每个特征可能的对应特征数量。 关于特征选取主要考虑三个方面的问题：第一，所选取的特征应该对应景物的一定特性，并且 这种景物特性能够在两幅图像中产生相似的结果；第二，所选取的特征数量不能够太少；第三，对 于所处理的图像来说，所选取特征的分布还应该能够尽可能地避免误匹配的产生。常用的匹配特征 主要有图像中的边缘点、角点等灰度不连续的点及边缘直线等。 一般说来，特征匹配在处理立体视觉问题时有很强的鲁棒性。特征匹配基元包含了令人满意的 统计特性以及算法编程上的灵活性。算法的许多约束条件均能清楚地应用于数据结构，而数据结构 的规则性使得特征匹配适用于硬件设计。其中，基于线段的特征匹配算法将场景模型描绘成相互联 结的边缘线段，而不是区域匹配中的平面模型，因此可以很好的处理一些几何畸变问题。此外，特 征匹配不直接依赖于图像的灰度，具有较强的抗干扰性，而且计算量小，计算速度快。由于边缘特 3 东南大学硕士学位论文 征往往出现在视差不连续的区域，因此特征匹配较容易处理立体视觉匹配中的视差不连续问题。但 是，它只能够得到稀疏的视差场：另外，特征的提取和定位过程直接影响特征匹配结果的精确度， 而且，相对于基于区域的匹配来讲，基于特征的匹配精度不高，经常出现歧义匹配的干扰1 8 】。 ( 3 ) 基于相位的立体匹配算法【1 3 】【1 4 j 【1 5 】【1 6 1 【1 7 】 基于相位的匹配方法是最近二十年来出现的一种匹配方法，算法基于这么一个假设：认为图像 对中对应点的局部相位是相等的。根据傅里叶平移定理，信号在空间域上的平移产生频率域上成比 例的相位平移。频率域信号分析在数学表达上更有助于区域分析。继区域匹配和特征匹配后，k u g l i n 和h i n e s 等提出了第三种立体视觉匹配算法相位匹配。考虑傅里叶变换的空间支撑为无限，一般地， 相位匹配方法对带通滤波信号的相位信息进行处理而得到图像对间的视差。最常用的相位匹配方法 有相位相关法和相位差一频率法。 在相位匹配的滤波过程中，满足一定条件的带通滤波器均可采用。目前，很多学者都选择比加 窗傅里叶变换核更可靠、更符合人眼视觉生理特征的g a b o r 变换核。但是，对于方差为6 固定的g a b o r 函数，其伸缩平移系在相空间中的分辨率是固定的，因此，有些学者采用双正交小波基为变换核的 相位匹配算法，与前两种传统方法相比，其匹配基元一相位本身反映的就是信号的结构信息，对于 图像的高频噪声有很好的抑制作用。相位匹配适用于并行处理，对几何畸变和辐射畸变有很好的抵 抗能力，能获得亚像素级精度的致密视差【l3 】【l 刖。但是，当局部结构存在的假设不成立时，相位匹配 算法往往会出现相位奇点问题。此外，相位匹配算法的收敛范围与带通滤波器的波长有关，通常要 考虑相位卷绕，随视差范围的增大，其精确性会有所下降。 在文献【1 1 】中为了更好的对立体匹配算法进行比较，s c h a r s t e i nd 和s z e l i s k ir 把立体匹配算法整 个流程分成了四个模块，所有的算法都能够有这四个模块中的某些排列组合而成。这四个模块分别 是： 初始匹配代价的计算； 支撑框架( 窗口) 下代价的求和： 视差矢量的计算及选取； 视差矢量的优化。 根据这四个模块的不同取舍，相应的立体匹配算法被分成了局部算法和全局算法。这里的局部算法 不同于前文所述的基于区域的立体匹配算法，前文所述的基于区域的和基于特征的匹配算法都属于 局部算法的范畴。局部算法一般来说，主要强调初始匹配代价的计算和支撑框架下代价的求和两步， 相比较全局算法来说，计算量小，省时，但是支撑框架( 窗口) 的选择非常棘手，且精确度不如全 局算法：全局算法的侧重点在视差的计算及选取阶段，它能够比较容易的把各种约束条件潜入到算 法流程中，但是计算量比较大费时。 1 2 3 国内外立体视觉技术的研究现状1 3 1 1 1 7 l 立体视觉的开创性工作是在6 0 年代中期开始的，美国麻省理工学院计算机系的r o b e r t 完成的 三维景物分析工作，把过去的二维图像分析推广到了三维景物，这标志这立体视觉技术的诞生，并 在随后的2 0 年中迅速发展成了一个新的学科。特别是7 0 年代末，m a l l r 创立的视觉计算理论对立体 视觉的发展产生了巨大的影响，现在已经形成了从图像获取到最终的景物可视表面重建的完整体系， 在整个计算机视觉中占有越来越重要的地位，经过2 0 多年的研究，立体视觉在机器人系统中的应用 越来越广发，研究方法从早期的以统计相关理论为基础的相关匹配，发展到具有很强生理学背景的 特征匹配，从串行到并行，从直接依赖于输入信号的低层处理到依赖于特征、结构、关系和知识的 高层次处理，性能不断提高，其理论正处在不断的发展和完善之中。 国外开展立体视觉技术的研究较早，所涉及的领域也较为广泛。 美国麻省理工学院计算机系的y a i u nf 等人l l8 】提出了一种新的用于智能交通工具的传感器融合 方法，由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗略的目标深度信息，结合改 进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的目标分割算法 4 第一章绪论 难以在高速实时环境中得到令人满意的结果。 华盛顿大学与微软公司合作为火星卫星“探测者号”研制了宽基线立体视觉系纠憎j ，使“探测 者号”能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航，系统使用同一台摄像 机在“探测者号”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系 统采用非线性优化得到两次拍摄图像时摄像机的相对准确位置，利用鲁棒性强的最大似然概率法结 合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维 坐标。相比传统的体视系统，该方法能够更精确地绘制“探测者号”周围的地貌并以更高的精度观 测到更远的地形。 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统门，利用双目立体视 觉的原理，以每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可比矩阵，从而预测 出目标下一步的运动方向，实现了对运动方式未知目标的自适应跟踪。该系统仅要求两幅图像中都 有静止的参考标志，无需摄像机参数。而传统的视觉跟踪伺服系统需事先知道摄像机的运动、光学 等参数和目标的运动方式。 日本东京大学将实时双目立体视觉和机器人整体姿态信息集成开发了仿真机器人动态行走导航 系统【2 们，该系统实现分两个步骤：首先，利用平面分割算法分离所拍摄图像对中的地面与障碍物， 再结合机器人躯体姿态的信息将图像从摄像机的二维平面坐标系转换到描述躯体姿态的世界坐标 系，建立机器人周围区域的地图；其次，根据实时建立的地图进行障碍物检测，从而确定机器人的 行走方向。 国内关于立体视觉技术的研究也比较深入，并且取得了一定的成果。 浙江大学机械系的阮晓东等人【2 1 】完全利用透视成像原理，采用双目体视方法实现了对多自由度 机械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标，信息量少、 处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道 被测物的运动先验知识和限制条件，有利于提高检测精度。 东南大学电子工程系的管业鹏等人【2 2 】基于双目立体视觉提出了一种灰度相关多峰值视差绝对值 极小化立体匹配新方法，可对三维不规则物体( 偏转线圈) 的三维空间坐标进行非接触精密测量。 哈尔滨工业大学采用异构双目活动视觉系统实现了全自主足球机器人导航1 2 3 1 ，将一台固定摄像 机和一台可以水平旋转的摄像机分别安装在机器人的顶部和中下部，可以同时监视不同方位视点， 体现出比人类视觉优越的一面。通过合理的资源分配及协调机制使机器入在视野范围、测距精度及 处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通 过数据融合也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可 以实现全自主足球机器人导航。 清华大学率先研究开发的拟人机器人t b i p r 1 ，采用的是最为典型的平行双目立体视觉系统，其 设计指标为：具有多关节手足运动以及视觉、触觉和听觉功能的双腿机器人，身高1 6 0 米，体重1 0 0 - 2 1 0 公斤，能在内部动力驱动下，根据视觉、触觉和听觉自主实现步行、慢跑、跨越障碍运动、拾取物 体以及其它与人类似的较高级运动1 2 4 。 天津大学精密测试技术与仪器国家重点实验室把立体视觉技术应用于复杂自由曲面的非接触形 貌检测，根据立体视觉原理设计的光学非接触测头可以有效的解决接触测头在测量中存在的问题， 具有效率高、响应快和可测软质表面等优点。实验证明他们设计的测量系统可以有效地完成自由曲 面和金属强反射表面的测量。 1 3 视图合成技术概述 自上个世纪的八十年代，国外就开始有视图合成技术的报道，国内有关学者在近年来也对于图 像合成做了一些工作。过去的十几年，视图合成这个方向受到了广泛的关注，由于它涉及了计算机 视觉、计算机图形学和数字图像处理各个方向的技术，这使得它不仅难于解决，而且方法也趋于多 5 东南大学硕士学位论文 样化【l 】o 1 3 1 常见的视图合成技术 视图合成，是指通过两个或多个摄像机视点上所得到的同一三维场景的图像，直接计算出其它 各个摄像机视点或视线方向上该场景的图像。到目前为止主要有基于几何模型的视图合成技术和基 于图像的视图合成技术两大类。 ( 1 )基于几何模型的视图合成技术 基于多幅图像的场景三维建模法往往综合多幅图像的信息，对相机进行定标，然后致力于恢复 场景的三维信息。这一类的图像合成方法有从运动中恢复结构、体素法以及交互的方法掣。 从运动中恢复结构 这种方法就是从图像序列中恢复物体的形状或结构，同时获得场景和摄像头相对运动的一种图 像处理方法，它往往需要通过多幅图像的特征点的精确匹配来完成摄像机的自定标过程，然后 根据定标的结果完成图像间的稠密匹配和插值。 体素法 体素法就是用体素来表示三维场景。所谓的体素就是一个个小的立方体，这些立方体是由三维 空间中的网格线分离出来的。三维重建的过程就是恢复代表场景的体素的过程。体素法首先定 义一个“重建空间”，这个“重建空间”包含了需要重建的所有空间，当然也完全包含了整个 的场景，然后将这个“重建空间”分解成一个个体素，重建算法的任务就是根据参考图像剔除 那些透明的自由空间体素，得到表达场景的表面体素和内部体素。表面体素代表了场景的表面， 给这些体素加上颜色和纹理就可以生成新视图了。 交互式建模 交互式的建模就是在建模过程中要加入一些人工的操作，以建立场景更准确的3 d 模型，交互式 建模技术主要应用于创建虚拟场景的模型。 ( 2 ) 基于图像的视图合成技术1 2 5 】1 4 j 基于图像的视图合成技术是指利用二维的图像信息来表达、绘制场景，以达到比较好的真实感 和实时性。由于它脱离了对象的3 d 结构，所以绘制时与场景的复杂度无关。根据对图像的要求和处 理方式的不同，基于图像的视图合成技术大致可以分为一下四类： 基于全景视图的方法 该方法的基本思想是首先获得在某个视点的全景视图，然后把这个视图投影到柱形体的内表面 或球体的内表面，最后根据视点的方向获取相应的场景图像。 基于图像变形的方法 该方法的基本思想是在漫游时根据视点的位置，以及预先得到的采样视图及其特征描述，进行 图像变换和投影变换，从而得到相应的视图。该方法不需要被观察物体的几何信息。 基于光场信息的方法 光场重建技术是在全景函数重建技术上发展起来的一种新的视图合成技术，它通过采集大量的 数据，且不需要对象物体的深度、特征等几何信息，就能生成任意视点的视图。全景函数一般 由一个参数方程来描述，它定义了空间任意处、在任何时刻和任一波长范围内场景中的所有可 见信息。不过全景函数的获得非常的困难。 基于图像深度信息的方法 其基本思想是利用给定画面上可见点的深度信息值，局部重建场景的三维几何，并基于这些三 维信息对可见点直接进行投影变换，或者建立该画面与其相邻画面像素的对应关系。对于前者 可以由单幅图像生成相邻视点处新的图像；后者则需要给定至少两幅图像。这一技术不要求新 画面的视点与原图像的视点位置重合，从而可在不同视点的图像序列之间生成连续过渡的中间 画面。 6 第一章绪论 1 3 2 国内外视图合成技术的研究现状 虚拟视图的合成多年来一直是计算机图形学的难点之一。传统的合成图像的方式如1 3 1 小节所 述是基于三维几何模型的视图合成。对于传统的基于模型的方法由于生成复杂的几何模型需要付出 巨大的工作量，且需要很多技巧；另外，为了绘制出较好的光照效果，往往需要很昂贵的硬件开销， 计算量庞大，难以在普通计算平台上实时处理，而且图像的真实感没有保障1 2 0 j 。于是在这种状况下 另一种基于图像的视图合成技术得到越来越多的关注。基于图像的视图合成技术是计算机视觉和图 形学界合作的产物。早在1 9 8 4 年视觉工作者就提出了与图形学结合的设想，也有过几次合作的尝试， 但是一直没有找到一个恰当的方向，特别对于终极目标而争议很大。后来1 9 9 1 年由rcj a i n 等引发的 大讨论都曾经推动过两者的合作，比如提出了基于c a d 的图像建模等。 文献 2 7 】中，s e i 研d y e r 提出了一种图像变形的方法即视图变形，该方法所生成的新视点的图像 可保持原始参考图像的外形轮廓特征，该方法解决了原有图像变形方法在对相同场景不同视点的两 幅图像进行变形的过程中，中间图像难以保证原始图像中的内在形状特征的问题。 文献 2 8 】中，通过预变换步骤把两幅图像变换到平行的图像平面上，然后再在平行的图像平面间 进行插值，通过后变换步骤将插值所得的中间视图变换到所需的视平面上。该方法不需要三维外形 信息，仅对平面图像进行操作处理即可模拟出三维透视变换的效果。它较好的解决了图像变形中的 扭曲现象。 0 啦【2 9 】等人于1 9 9 3 年提出的虚拟中间视合成方法，第一个利用立体图像进行视图合成，他们考虑 了在远程会议中参与者眼睛虚拟接触交流的问题。给定放置于远程会议显示器两端的两个摄像机， 利用已知的两幅图像合成了虚拟的中间视图，但是文中没有考虑遮挡区域，忽略了视差图中由于遮 挡造成的空洞，在合成视图的空洞部分使用了灰度插值。， 文献 3 0 中，m c m i l l a n 等人在假设给出视差图的情况下，得到了在头盔式显示系统中实时合成新 视点图像的方法，并给出了一种基于前向映射( f o 朋a r d i n gm a p p i n g ) 解决遮挡问题的简单方法。 c h e n 和w i l l i 锄s 【3 1 】在解决计算机图形学中有效进行图像绘制的问题时，介绍了图像插值方法， 指出只有在基线与图像平面平行的条件下，线性的图像插值方法才能合成正确的视图。 文献 3 2 】中，l a w r e n c e 等入首先在隐马尔科夫( m r f ) 框架下利用置信传播算法( b p ) 、过分 割技术，求出稠密的视差图，然后利用插值技术合成了中间视图。 相比较国外来说，国内对视图合成的研究较少，如张兆扬、安平、吕朝晖、骆艳等人在获得可 靠密集视差图后，通过寻找中间视图中的像素点在左右图像中的对应位置来生成视差图1 3 3 】【3 4 j ；胡志 萍等人提出一种基于摄像机横向和纵向移动采集的图像合成新视点的方法，该方法在合成图像中优 先保证轮廓对应准确，从而使合成图像轮廓清晰1 4 ；吴琼玉等人则提出了一种若标定条件下基于图 像学习的图像序列的视图合成方法，该方法避开了匹配和三维重建，直接生成中间视图u j ：c h a i d e n g f e n 5 】等人提出了一种二分的图割算法进行视差的估计，然后进行遮挡的检测，接着区分前景 区和背景区，最后找出中间视图在输入图像中的匹配点得到中间视图像。 1 4 论文内容及章节安排 本文把立体匹配算法的设计、实现以及中间视图的合成技术作为核心研究内容，由于时间的限 制，我们仅讨论双目平行摄像机系统下的立体匹配算法及基于立体匹配的中间视合成技术。随着科 技的飞速发展，机器视觉将会得到越来越多的应用。随之而来，如何设计并实现一种实时并能获得 高质量的稠密视差图的立体匹配算法已经变得愈加迫切，另一方面，随着人类生活水平的提高，人 们致力于寻求一种图文并茂，逼真自然，并且具有身临之感的和谐人机交互环境来获取信息，而由 于信息的采集、存储、传输以及硬件方面的限制，关于如何获得虚拟视点的图像的技术变得更加重 要。 本文的章节安排如下： ， 第一章：绪论部分，首先阐述了本文研究的背景及意义：其次介绍了立体匹配技术的原理，常 7 东南大学硕士学位论文 见的立体匹配技术及其分类以及立体匹配技术的国内外发展现状；接着，介绍了常见的视图合成技 术及其分类以及视图合成技术在国内外的发展现状；最后介绍了本文的章节安排。 第二章：本章主要分两个部分，首先介绍了立体视觉技术基础理论，包括双目立体视觉的理论 基础、常见的双目视觉模型，双目平行视觉模型下深度与视差的关系以及立体匹配算法所用到的一 些约束条件；然后介绍了图像处理方面的一些基本理论，包括平滑滤波技术、直方图技术以及图像 分割，在图像分割部分重点介绍了均值漂移算法。 第三章：从初始匹配代价的计算、支撑框架的选择、视差选取、视差优化四个方面对我们提出 的一种基于局部信息的匹配算法进行介绍。并研究了算法参数的选择。 第四章：对我们提出的基于视差估计的中间视合成算法进行了介绍，主要分为：视差估计和视 图插值两个部分。 第五章：总结全文，概括了全文所做的工作与得到的成果，分析了不足，并对将来的进一步工 作做了展望。 8 第二章立体视觉及图像处理基础 2 1 机器视觉 第二章立体视觉及图像处理基础 人类是通过眼睛和大脑来获取、处理和理解视觉信息的。周围环境中的物体在可见光的照射下， 在视网膜上形成图像，由感光细胞将图像转换成神经脉冲信号传给大脑进行处理与理解。信号处理 理论与计算机出现后，人们试图以摄像机代替人的眼睛来获取图像，然后由计算机代替人的大脑进 行数据的处理与理解，这样就形成了一门新的学科一机器视觉。 m a r r 首次从信息处理的角度综合了图像处理