（检测技术与自动化装置专业论文）从全景图像中提取深度信息的方法研究.pdf

摘要 三维图像重建在工业检测、质量控制和机器视觉等领域中占有很重要的地 位，而提取场景深度信息是三维场景恢复过程中最为关键的步骤之一，从全景图 像中取深度信息由于其提取过程简单而倍受研究与开发者的青睐，正成为国内外 三维图像重建领域研究的热点。 本文以从全景图像中提取深度信息为中心。首先，对全景图像技术及其发展 进行了详细的阐述，分析并推导出从全景图像中提取深度信息的计算方法；然后， 重点对全景图像“视图“对之间的视差分析进行深入的研究。通过对全景图像技 术成像特点的分析，提出了改进的m a r t 立体匹配约束条件，分别采用基于区域 和基于特征的匹配算法对全景图像“视图”对进行了视差分析。同时，针对基于 区域匹配算法在深度不连续区域易产生误匹配以及在匹配过程中普通搜索方法 易陷入局部极值点的问题，提出了一种基于模拟退火算法的特征匹配算法。 在单方向全景图像“视图”对之间进行实验，提取深度信息。结果表明：改 进的m a r r 约束条件同样适用于全景图像“视图”对的视差分析；基于模拟退火 算法的特征匹配算法具有较好全局匹配效果，该算法思想同样也可用于传统立体 图像对的匹配。 关键词：深度信息，全景图像技术，立体匹配，模拟退火算法，三维重建 a b s t r a c t t h r e e - d i m e n s i o ns c e n er e c o n s t r u c t i o np l a y sak e yr o l ei ni n d u s t r i a le x a m i n a t i o n , q u a l i t yc o n t r o l l i n g ，m a c h i n ev i s i o na n de t ，d e p t he x a c t i o ni so n eo f t h em o s tc r i t i c a l s t e p si nr e b u i l t3 do r i g i r l a ls c e n e b e c a u s ed e p t he x t r a c t i o nf r o mt h ei n t e g r a li m a g e i s s i m p l em a n yr e s e a r c h e r sa n dd e v e l o p e r si sp r e f e rt on s et h et e c h n i q u e 。e x t r a c t i n g d e p t hi n f o r m a t i o nb a s e d o i li n t e g r a li m a g i n gh a sb e c o m et h eh o tp o i mo f t h es t u d y t h et h e s i sc a r r i e do u tt h es t u d ya n de x p l o i t a t i o nw o r kc e n t e r i n ga td e p t h e x t r a c t i o nf r o mt h ei n t e g r a li m a g e t h ed i s s e r t a t i o n ，f i r s t l y , e x p a t i a t et h ep r i n c i p l e a n dd e v e l o p m e n to fi n t e g r a li m a g i n g t h ec a l c u l a t i o nm e t h o do fd e p t he x t r a c t i o n f r o mi n t e g r a li m a g ei sd e d u c e da n da n a l y z e d a n dt h ep a p e rs t r e s s e do nt h es t u d yo f d i s p a r i t ya n a l y s i sb e t w e e nt h ev i e wi m a g ep a i r s m o d i f i e dm a r r ss t e r e om a t c h i n g c o n s t r a i n sa r ep r o p o s e dt h r o u g 血t h es t u d y i n go fi m a g i n gp r o p e r t i e so ft h ei n t e g r a l i m a g i n g a n dd i s p a r i t i e sb e t w e e nt h ev i e wi m a g ep a i r sa r ea n a l y z e du s i n gt h e a r e a - b a s e da n df e a t u r e b a s e dm a t c h i n ga l g o r i t h m s a tt h es a m et i m ea i m i n ga tt h e p r o b l e mo ff a l s em a t c h i n gi nt h ed e p t hd i s c o n t i n u o u sr e g i o no fa r e a - b a s e dm a t c h i n g a n dt h ec o m m o ns e a r c h i n gm e t h o de a s i l y e l a p s i n g i nt h el o c a l e x t r e m u m ， f e a t u r e - b a s e dm a t c h i n ga l g o r i t h mb a s e do ns i m u l a t e da n n e a l i n ga l g o r i t h mi s p r o p o s e d t h ee x p e r i m e n t sa r ec a r d e do nt h eu n i d i r e c t i o n a li n t e g r a li m a g i n gv i e wi m a g e p a k s ，a n dt h ed e p t hi n f o r m a t i o no ft h eo r i g i n a l s c e n e si se x t r a c t e d t h er e s u l t i n d i c a t e st h a tt h ef e a s i b i l i t yo fm o d i f i e dm a r r c o n s t r a i n so nt h ep a r a l l a xs t u d yf r o m t h ev i e wi m a g ep a i r s ；f e a t u r e b a s e d m a t c h i n ga l g o r i t h m b a s e do ns i m u l a t e d a n n e a l i n gh a sag o o dw h o l ec o n v e r g e n t ，a n dt h ea l g o r i t h mi sa l s oa p p l i c a b l et o t r a d i t i o ns t e r e op a i r s k e y w o r d s ：d e p t he x t r a c t i o n ，i n t e g r a li m a g i n g ，s t e r e om a t c h i n g , s i m u l a t e d a n n e a l i n ga l g o r i t h m , 3 - dr e c o n s t r u c t i o n 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。论文主要是自己的研究所得，除了已注明的地方外，不包含其他人已 经发表或撰写过的研究成果，也不包含为获得中南大学或其他单位的学位或证书 而使用过的材料。与我共同工作的同志对本研究所作的贡献，已在论文的致谢语 中作了说明。 作者签名：到盎遮垫 日期： 迎年上月业日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学位 论文，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容， 可以采用复印、缩印或其他手段保存学位论文；学校可根据国家或湖南省有关部 门的规定，送交学位论文。对以上规定中的任何一项，本人表示同意，并愿意提 供使用。 作者签名；妄j 盎龇导师签名：日期：互丛年上月! 翊 硕士学位论文 第一章绪论 第一章绪论 日常生活中，人们经常会在身边的移动电话、计算机电视和汽车上看到各种显示屏，这 些显示屏通常呈现给观看者是二维平板显示。随着人们生活水平的提高，2 d 显示已不能满足 人们的需求。因此各大公司开始致力于3 d 显示的研究与开发，三维立体显示技术已经成为当 今一个十分引人注目的前沿科技领域。三维显示广泛应用于医学、科技等众多的领域。在医 学领域，3 d 可应用于预手术计划、放疗、内科外科训练等；在科学工业设计和可视化方面， 3 d 可应用于虚拟原形开发( c a d c a m c a e ) 、药物设计、油气发现、科学数据可视化和空中交 通管制等。此外，3 d 显示还广泛应用在广告亭廊、笔记本电脑、消费类产品显示器、t v 、 移动电话和其他小型电子产品( 游戏机) 等诸多领域。 1 1 三维显示技术概述 近几年来，显示技术的高速发展使显示高分辨率图像成为现实，高分辨率显示器和高 清晰度电视( 玎) t v ) 对人们来说并不陌生。然而我们不仅需要通过颜色感知世界，而且还 需要通过物空间的深度信息来定位目标物体的位置及其大小。研究表时，观看者观看三维电 视和高清晰二维电视的主观感受，结果表明，在同样屏幕大小和视角的情况下，人观看三维 电视时，感觉整个图像的质量、亮度感、深度感以及逼真程度都要比二维电视图像要强得多 【。然而，目前的计算机显示器或电视显示的都是二维图像。虽然显示领域投入大量的人力 和物力来开发三维显示器，但高质量三维显示仍是显示领域重大难题之一 理想中的立体显示器如同一扇窗，能跨越时空让入有身临其境的感觉。如图卜i 所示， 图i - i 理想中3 d 立体显示器 具体而言，理想的立体显示器以现在所能参考的显示技术，至少应该具有如同现有c r t 一样 硕士学位论文 第一章绪论 的单眼质量( 包含解析度，色彩等) ，深度的表现可从无限远至眼前，观看者无须佩戴特殊的 眼镜、无观看者人数限制，同时，当观看者移动时具有移动视差等。 目前尚未有很好及全面性的解决方案，但每年都有新的3 d 立体显示器以不同形式出现， 所以目前的架构只能根据使用的目的需求去设计、评估，彼此非常难以比较其优劣，主要是 以其应用市场而定。三维立体显示发展至今，大体分为两个阶段：立体视【2 】和自动立体视p 1 1 4 。 立体视由于显示方式简单和造价低，目前仍有众多的追随者。与立体视相比，无须佩戴特殊 眼镜或辅助装置的自动立体显示更受广大消费者的青睐。 1 2 立体视( s t e r e o s c o p y ) 这一技术最早可源自于w h e a t s t o n e l 8 3 2 年的工作，如图l _ 2 所示。其原理在于使用各 种通道分别将左眼和右眼的图像呈现给左右两眼。人类是通过左眼和右眼所看到物体的细微 差异来感知物体的立体感，也就是说左眼看到的物体同右眼看到的同一物体相互之间有小小 的差别，平均相差约6 5 c m 。由于两眼看到景物阴影有细微的差别，因而描述场景轮廓的方 式也不尽相同。大脑根据这两个有细微差别的场景进行综合处理，产生出精确的三维物体以 及该物体在场景中的定位，从而产生具有深度的立体感觉。在w h e a t s t o n e l 后，于1 8 5 4 年， 一个默默无闻、没受过多少教育的商人g e o r g es w a nn o t t a g 在伦敦成立了第一个立体镜公 司，在四年的时间哩卖出超过一百万个立体镜和各式漂亮的立体图，而瞬间成为颇有财富名 声的人，这是第一次立体视产品的大量商品化。 辫1 目子嗣毗 左鼠 右浆 图i - 2w h e a t s t o n e 的立体成像示意图 在立体视中常用的通道有颜色( a n a g l y p hd i s p l a y ) ，偏正片( p o l a r i z a t i o nm e t h o d ) 及 电子歼关( t i m ed i v i s i o n ) 等。人们在观看立体电影或立体动画时，须佩戴特殊的装置，如 双色眼镜、头盔式追踪装置( h e a d e rt r a c k e r ) 、或其他的欣赏工具才能观看到立体图像。这 类方法实现较容易，在目前的娱乐和商业系统中仍有着较广泛的应用。然而，采用各种通道 不可避免的存在双眼竞争或强度下降所引起的眼睛疲劳，要求观察者长期佩带特殊的眼镜或 固定其眼睛的位置也不舒适。这些都大大限制了基于立体视的三维呈现方法在娱乐和通信领 域内的进一步应用。人们迫切希望无须佩戴特殊眼镜的三维显示技术，自动立体显示就因此 应运而生。 2 硕士学位论文 第一章绪论 1 3 自动立体视 观看者无须佩戴特殊的眼镜、头盔或其它的辅助性装置便可观看到空间立体场景，人们 称之为自动立体视。与立体视相比，自动立体视有着广泛的应用前景，它之所以让人们感兴 趣是因为在所有的其它显示显示设备中，它显示的效果更加接近实物的光学特性。目前，自 动立体视主要有三大类：重现显示技术，容积显示技术和视差显示技术嘲。 1 3 1 重现显示技术 重现显示技术( r e i m a g i n gd i s p l a y ) 是一种最简单的自动立体视，本身并不产生三维图 像，而是以某种方式影响物体二维图像的表面，如捕获或截取来源于三维场景的光线，然后将 其反向辐射到另一个三维物体上。最简单的重现技术是一块平的玻璃板，在此玻璃板的背面 涂上一层物质，使传播到此处的光线往不同方向以不同强度进行传播，当光的能量再一次穿 过玻璃板的前表面时，光的方向和强度又返回到捕获前的状态，实现三维的重现。其它常用 的重现自动立体设备有面镜和半镀银面镜。这种显示技术使用较成功的一个例子是被s e g a 采 纳的“穿越时空”( 当时被误称为“全息技术系统) 。由于该自动立体显示并不能显示普通的 三维场景，所以其商业用途受限，该项技术更多被嵌入其它自动显示技术中。 1 3 2 容积显示技术 容积显示又叫体块显示技术( v o l u m e t r i cd i s p l a y s ) 1 6 】，是指图像显示在一个真实的立 体空间中，这个立体空间可以是透明的发光体，可以是旋转的显示屏形成的立体空间，或者 是二维图像通过变焦面镜( v a r i f o c a lm i r r o r ) 或变焦透镜( v a r i f o c a ll e n s ) 产生深度效 果来实现3 d 显示。容积显示能够提供满足人体对立体深度的所有暗示，类似于人眼对自然物 体的立体感，因此不会造成人眼视觉疲劳。容积显示技术不过分依赖光学技术以及机械技术， 容积显示具有以下几个特性：一是可多方位进行观看，甚至可达到3 6 0 度；另外就是可允许 多位观看者进行观看。 大多数容积显示设计为一个很大的透明的球形，被观见的三维图像盘旋在这个球体中。 一般说来，实际的容积显示系统设计很复杂，其光学机械设计和投影系统的设计要求相当精 确，从而使得其造价相高和费时。另外，用于电视信号等情况时，需要较高的桢频( 2 5 0 0 4 0 0 0 桢秒) ，而目前电视信号通用的频桢远小于这个桢频( 通常是1 5 桢秒或3 0 桢秒) 。 1 3 3 视差显示 视差显示器由一块布满了显示单元的面板，这些显示单元从不同的角度发出不同强度的 硕十学位论文 第一章绪论 光。用一块平的玻璃片可作很好说明，在玻璃板的前表面是各个单元的连续统一处，每一个 单元以不同的强度发出半球形光波，每一光线的输出代表一个观看点的信息，在玻璃板的另 一侧对应位置上记录相应的信息，这单点并不包含有深度信息，但是当光从几个或许多个这 样点发出信息集成时，就可将原来记录的三维场景可再现出来。呈现在人眼面前是一副全真 三维显示画面。观看者可像我们观看周围的实物一样来观看。目前，常用视差显示技术主要 有三种：全息技术，视差栅栏和微透镜阵列。 ( 1 ) 全息技术( h o l o g r a p h y ) ，该技术应用于立体摄影，始于1 9 4 7 年伦敦理工学院的伽 伯教授，他发明了一种立体摄影技术，这种摄影技术，能够记录景物反射光的振幅和相位，并称 之为全息摄影，伽伯也因此项发明而获得了诺贝尔奖。由景物反射的光，除了有振幅和相位 之外，还有频率、光的彩色反映频率，严格地说，只有彩色全息摄影才是真正的全息摄影。 为了获取清晰的全息图，要求光源特性特别好，只有激光才能达到。所以，在激光出现之后， 全息摄影技术才迅速发展起来并获得了广泛的应用。 激光全息摄影包括两步：记录和再现过程。全息记录过程如图卜3 所示，把激光束分成两 束；一束激光直接投射到感光底片上，称之为参考光( 图中蓝色光线) ；另一束激光投射在物 体上，经物体反射或者透射，就携带有物体的有关信息，称为物光束( 图中红色光线) 。物光 束经过处理也投射在感光底片的同一区域上。在感光底片上，物光束与参考光束发生相干叠 加，形成干涉条纹，这就完成了一张全息图。用一束激光照射全息图，原来的物空间场景可 再现出来。这束激光的频率和传输方向应该与参考光束完全一样，于是就可以再现物体的立 体图像。人从不同角度看，可看到物体不同的侧面，就好像看到真实的物体一样。 图1 3 激光全息的记录过程 全息立体显示技术与2 d 平面显示能提供的更多的空间信息，首先在广告中得到应用。 全息技术应用最广的领域是作为一种防伪技术，该技术所拍摄物体的三维照片，不能够被复 印，所以不容易被盗用。目前激光全息技术作为一种高端防伪技术，在信用卡、票据和商标 中得到广泛应用。但是全息立体显示技术需要相干光源，显示的颜色有限，也因此其应用领 域受到限制。 ( 2 ) 视差栅栏。最早的视差显示方式叫视差立体视和视差全息，两种显示类型都依赖于 显示屏前面的视差栅栏，其结构如图1 - 4 所示，一块不透明的栅栏，上面布满了分布均匀的 一系列狭长的槽，当从显示屏幕过来的条纹状图像在窄长栅栏上小孔的作用下，该图像会被 分解成左视与右视两幅图像，使观看者两眼看到的足两幅不同的图像，这两幅图像经过人脑 4 硕士学位论文第一章绪论 合成，观看者就能感受到面前显示的是一幅生动的三维立体图像。 图1 - 4 视差栅栏 视差栅栏与立体视的观看原理很相似，虽然能实现无须佩戴辅助装置也观看到立体显示， 但也存不足之处，当观看者所处位置不恰当时，就可看到相邻狭长槽后的图像产生混叠现象 或产生伪图像( p s u e d o s c o p i ci m a g e ) ，另外就是胶片的分辨率决定着对视差有贡献的图像数。 ( 3 ) 透镜薄片显示技术( l e n t i c u l a r s h e e t d i s p l a y s ) ，现常被称之为全景图像技术( i n t e g r a l i m a g i n go ri n t e g r a lp h o t o g r a p h y ，简称为或i p ) ，是一种用微透镜阵列来记录和显示全真的 三维显示技术，它的记录和显示面板是由一系列微透镜紧密排列在一起形成，每个微透镜从 不同角度记录物空间场景中每一个点，连续的视差信息同时被记录在这些子图之间，将记录 胶片置于相同参数的微透镜后时，原来的三维场景可再现出来。因为具有连续视差，观看者 看到三维场景跟原来的一样。常用微透镜如图1 5 。 ( a ) 长条形微透镜阵列 1 4 全景图像技术概述 图1 - 5 两种常用微透镜阵列 ( b ) 半球形微透镜阵列 目前应用较广泛的三维显示是立体视( s t e r e o s c o p i c ) ，需要佩戴辅助性装置，长期观看很 硕+ 学位论文第一章绪论 容易使人感到疲劳，其商业用途也只能是暂时的。全息三维显示是虽然能克服上述缺陷川， 但它依赖光栅衍射或干涉来记录和显示物空丑j 的信息，需要相干光源，而生活中的物空间大 部分物体都是反射自然光或本身发光，全息技术对此无能为力。 基于以上各种三维显示的种种缺陷，全景图像技术被认为是最有望能实现真正三维显示 的三维显示技术。它具有以下几个优点：( 1 ) 记录和显示的点到点的立体空间信息隅i ，产生 的图像包含全真色彩以及连续的视差信息；( 2 ) 其记录和显示过程简单，无须相干光源；( 3 ) 不仅可以适用于静态三维场景，还可以应用于三维视频通讯领域动态捕获和显示 9 1 【l o l ( 4 ) 无须佩戴特殊的眼镜就能观看全真的三维图像；( 5 ) 全景图像以二维的形式记录三维的空间 信息，故可以较容易用现有的二维图像数据处理理论和传输技术来对其进行相关的处理和应 用研究【1 6 1 。 1 4 1 全景图像技术的发展历程 由g a b r i e ll i p p m a n 于1 9 0 8 提出【1 1 1 ，l i p p m a n 认为用两块微透镜阵列可实现全真三维 显示，由于全景图像成像系统对微透镜的制造工艺要求较高，而在当时的透镜工艺水平还没 有达成显示全景图像的要求，为此l i p p m a n 自己设计一种微透镜来做实验，结果证实了他的 理论，但观看到的是一个物空间反转的图像，后被称这个反转图像为”幻视图( p s e u d o s c o p i c i m a g e ) 叫1 2 1 。 为了克服l i p p m a n 全景图像中物空间反转问题，许多学者提出了各种方法，主要分为两 类，一类通过改变光学路径。如i v e s 引入两次记录过程 1 3 1 ，如图1 - 6 所示，通过两次记录过 程使原来的三维场景可以在正确的空间位置上再现出来。另一类对记录胶片上的子图进行数 字图像处理，即将捕获的所有子图用计算机进行旋转变换成正立的子图，但是这种方法较难 满足重建三维图像的实时性 1 4 1 。 记秉羲片磐：次记豢应片 第二次记囊蹙翳 l _ 免_ 嗽叫 _ _ _ o ( a ) 第二次记录过程 图l 巧i r e s 的二次记录过程 ( b ) 再现过程 “光 = 纛 虽然通过两次记录过程可以克服反转问题，但是由于衍射、感光乳剂及微透镜工艺等影 响，导致图像质量大大下降和空间信息的丢失。由此英国的d em o n n t f o r t 大学的三维图像 6 硕士学位论文 第一章绪论 和医学图像研究组的n d a v i e s 与m m c c o r m i c k 采用更高级的i i ! 嘲，如图卜7 所示，该装置 由一个输入宏透镜阵列、一个输出宏透镜阵列和一个自校正传输屏( a t s ) 。第一个宏透镜阵 列将远处的物体压缩到自校正传输屏附近，a t s 保证把这个压缩图无损地传输到输出宏透镜 附近，同时反转物空间场景，输出宏透镜输出一个物空间反转了的幻视图，这个图像经过记 录和显示微透镜阵列，一个位置正确的全真三维图像就可呈现出来。该技术只用了一次记录 过程，从而不会引起图像质量的大幅度下降。后来该系统被称之为两层光学传输网络。两层 光学网络还可以扩大景深和减少信息丢失的作用：不仅适合静态存储，而且也可用于实时动 态捕获嗍。 曹纛青霞麓羹库纠 图l - 7d em o n f f o r t 大学的两层光学传输网络 i i 中小微透镜其实就相当一个小小的相机，每个微透镜后面都有物空间的一个子图，由 于每个子图可显示的面积较小，约等于微透镜的大小，两束光线通过相邻微透镜后有可能交 于同一点，使相邻子图之间产生重叠，这种重叠对图像的重建是不利的，为了消除这种重叠 现象，日本n i ( 广播公司的j u na r a i 和f u m i oo k a n o 等人使用渐变型多模光纤 ( g r a d i e n t i n d e xl e n sa r r a y ，g r i nl e n s ) 阵列来代替记录微透镜阵列t 1 6 ，如图l - 8 所示， 由于g r i nl e n s 的折射率是沿着半径方向发生连续变化的，所以光在g r i nl e n s 的传播 ( 矗射英镜毫平面 物一 ( a ) 光传输路径 ( b ，实时全景图像系统 图1 - 8 渐变型多模光纤实时全景图像系统 路径是一条周期性变化的曲线。目标通过g r i nl e n s 阵列记录的是否是一个正立的像就取决 7 者- 列 看 簿 謦一 罂罴撇粉圃。一勖 唯节 硕士学位论文 第一章绪论 于其长度0 ，例如e = 1 5j i ，也就一个光学周期的3 4 ，那么在其输出平面就有一个正立的 图像，图中渐变型多模光纤阵列后面的大凸透镜是为矫正子图以便于实时捕获。同时每个g r i n l e n s 阵列的光学路径是独立互不交叉，所以各个子图相互独立，不存在重叠现象。 虽然国外很多学者对i i 研究了很久，由于i i 的分辨率、景深和视角等几个重要的问题 还没有得到很好的解决。所以很长一段时间处于停滞不前。到2 0 0 4 年韩国汉城国立大学电气 工程学院的j u - s e o gj a n g 和b a h r a mj a v i d i 对全景图像系统进行了改进，采用时分多路复用 技术，并称之为时分多路复用全景图像系统( t i m e m u l t i p l e x e di n t e g r a li m a g i n g ) i t l , 该 系统记录和显示微透镜阵列同步以一定的速度在水平方向振动，如图卜9 所示。通过这种方 法可以增加对物空间的光线采样，从而提高图像的分辨率。由于微透镜阵列排列的周期性， 为避免闪烁和重叠，要求每个图元的振动范围应该小于其对应的微透镜大小，同时其振动周 期应在人眼视觉滞留时间内。若改用非单一焦距的微透镜阵列，i i 的景深、分辨率和视角可 得到进一步的提高。由于空间采样的增加，相应的记录和显示设备的频桢也要增加。另外其 振动需要响应较快的同步时钟，这使得系统复杂化。为了避免机械振动，采用电子合成的微 透镜阵列来代替传统的微透镜阵列【l 鄹，即用一个l c d 显示面板用电脑控制其像素的开关顺序， 实现时分多路复用全景图像技术，能满足该要求的l c d 市场上还没有。但是，以电子产品的 发展速度，有望能制造出这样的l c d 。 燃瑟 撬动 多髦 图1 9 时分多路复用全景图像记录过程 i i 自从其被提出来以来，引起很多研究者们的关注，并对全景图像系统不断进行改进， 从只能静态显示到实时捕获，从提高分辨率到扩大景深和增大视角，全景图像技术不断成熟， 甚至有人提出采用两个或多个全景图像系统和虚实i i 结合起来提高i i 的成像质斟1 9 1 。本研 究采用是d e m o n f o r t 大学的全景图像技术获取场景的数据。然而，全景图像的分辨率、视角 和景深仍然限制着全景图像的商业化。 1 4 2 全景图像技术的分辨率、景深和视角分析 虽然国外很多学者对全景图像研究了很久，但是还没有真正走入市场，主要由于全景图 8 喾囤 fl 硕士学位论文第一章绪论 像的分辨率、视角和景深等几个重要的问题还没有得到很好的解决，其研究还有待深入。 ( 1 ) 分辨率 全景图像的分辨率问题一直是这个领域研究的重要问题之一，它主要取决于系统的参数 设置，如微透镜大小，记录设备c c d 的分辨率，显示设备l c d 的分辨率等等。由n y q u i s t 取 样定理可知微透镜的直径越小，图像的分辨率就会越高，但是事实却相反，主要是由于随着 透镜直径的减少，不断增强的透镜象差和光的衍射反而使图像质量下降得更快。b u r c k h a r d 和o k o s h i 对全景图像系统中参数( 如微透镜直径，焦距，景深等等) 优化问题上进行了详细 而深入的研究。很有趣的是他们所持的观点各异，b u r c k h a r d t 认为在两次记录程中微透镜最 优直径都应该在2 哪叫左右，而o k o s h i l 2 1 1 则认为第一步l o m m , 第二步则是在0 1 0 2 m m 之间。 因为他们各自基于不同假设发表了他们不同的见解，这就使得比较他们技术的优劣很难。与 他们同时代的r o z h k o v 和d u d n i k o v 对全景图像提出迥然不同的观点，认为垂直分辨率是最 重要的一个分辨率1 2 2 1 刚，且与水平分辨率有着很重要的关系，但是他所根据的光学几何是如 何形成的没有做出说明，条件含糊。 b u r c h a r d 和o k o s h i 是从参数设置来角度来分析全景图像的分辨率，1 9 9 8 年i t o s h i n o 则 从观看者的角度来分析全景图像的分辨率m l ，他定义深度系数d ，即为输出的三维图像的可 投影的最大空间频率口。一与观看点所在位置的奈奎斯特采样频率之比。他分析得出离输 出微透镜较近的图像的分辨率取决奈奎斯特采样频率；而离得较远时，当d 大于或等于1 时， 图像的分辨率并不会下降。如果使用理想的微透镜，全景图像有着与寻常的二维显示同样的 分辨率若取寻常二维显示的卢0 = 1 4 4 0 c p r ，d = i ，微透镜大小取0 6 9 唧，则子图中每个像素的 大小可达到0 4 s u m ，这对于目前的c c d 实现较难。 j - s j a n g 等人撒开参数设置的瓶颈，采用非静止的微透镜阵列增加空间采样，以此来 提高全景图像的分辨率【2 5 | 1 2 6 1 。全景图像的分辨率涉及到很多的环节，目前还没有一个统一的 衡量标准。但是有点肯定的是，随着c c d 和l c d 的分辨率的提高，i i 的分辨率也会不断提高。 ( 2 ) 景深( 场景深度) 全景图像所面临的另一个问题是景深有限，因为只有一个记录平面，所以不可能聚集到 所有的目标，从而所捕获的图像有一些部分会模糊。从透镜成像原理可。其景深主要取决于 记录微透镜的景深。在这个方面，近年来才研究得较多，一般是基于虚实图像的合成，或用 非单一焦距微透镜阵列增加场景深度1 2 7 1 。f u m i oo k a n a 【勰】等人在记录渐变型多模光纤前面增 加一个可控制景深的大凸透镜( 或渐变型多模光纤) ，通过它，可以把目标的像调到记录全景 图像装置的前面，从而实现可控景深全景图像系统。另一种比较新颖的方法是采用调幅微透 镜阵列1 2 9 1 ，该方法是基于对记录微透镜阵列的振幅透射率进行适当的双调制，这主要是根据 子图的强度分布函数图，沿光轴方向的强度响应长度决定了景深，如果对微透镜进行振幅透 射率双调制就可将其延长，从而扩大景深，该方法简单且有效，只须在每个微透镜中心贴一 9 硕士学位论文第一章绪论 层不透光的物质，其半径要小于微透的半径，就可通过它实现对光进行振幅双调制，从而扩 大景深，但是该方法会引起原来在景深内的目标模糊。 分析可知，提高i i 的景深的时，相应会降低所成全景图像的分辨率，也即景深和分辨率 之间存在一种相互制衡的关系，若景深用d 表示，分辨率r 表示，则有d 2 r = i 九，其中 表 示波长。如何去保持这两者之间的平衡也是一个很重要的研究课题。j - j s a n g 等人保持分 辨率一定的况下，采用非单一焦距的微透镜阵列可增大i i 的景深 2 7 1 。 ( 3 ) 视角 视角较小也是全景图像广泛应用的另一个瓶颈。如果i i 使用理想的微透镜阵列，理论上， 人在任意观看位置都能看到全真的清晰的三维显示。而实际上由于显示每个图元的面积有限 使得i i 的视角较小。图元面积的大小取决于微透镜的光学参数，如微透镜的宽度和焦距，视 角与微透镜大小的关系如图1 - 1 0 所示，较小的焦宽比，则可产生较大的视角，但是此时容易 产生象差，同时微透镜也不能任意的大，微透太宽会影响全景图像的分辨率。扩大视角有两 大类，一类是移动微透镜阵列 3 0 l1 3 q 。j j a n g 在同样分辨率情况下，采用时分多路复用方法， 增加微透镜之间的空隙，扩大视角，如图1 - 1 1 所示，采用该方法视角可达到3 7 度，而常规的 i i 系统视角只有2 0 度左右。另一类是添加辅助性光学装置，如图卜1 2 所示。 图像 的记 荣或 器委 ( a ) 微透镜静止下的视角( b ) 微透镜运动下的视角 图1 1 0 视角和微透镜大小的关系 訇蓟 ( a ) 多列光圈的面具上下振动( b ) 只有一列光圈的快速滑动 图1 1 2 加动态面具来扩大全景图像视角 1 0 硕士学位论文第一章绪论 b l e e 等人在微透前加一个带有光圈的面具1 3 2 l 3 3 1 ，光圈大小与微透镜大小相同，使之向水 平或垂直方向振动，按次序遮挡微透镜发出的光，从而增加每个子图的可显示面积，理论分 析最大可增加到原来的两倍，这里同样也要考虑视觉滞留效应，实际应用中这个速度目前还 是很难控制，采用计算机产生的全景图像视角可达到1 5 8 度，而不用只有l o 6 度。有研究 者提出可采用电子显示设备按顺序开关，如l c d ，但是这种设备商业上很难制造。由此他们 改用目前己存在的正交偏振屏来代替这种电子开关，这时视角可达到3 0 度，如果采用较小 的焦宽比，可达到5 0 度 3 q 。类似的方法还有文献 e e j i nc h o ih e e j n c h o i 【3 5 i 等人在微透前面 加一个动态栅栏，如图2 - 9 所示，在每个视角里可以看不同的物空间透视图，如果使这个栅 栏在人的视觉滞留时间里运动，就可以使位于不同视角里的观看者同时看到物空间不同角度 的透视图，实际应用中同样面临速度控制问题。 ( a ) 位于中央的视角( b ) 位于左边的视角( c ) 位于右边的视角 图1 1 3 多视角全景图像技术 点 全景图像的分辨率、视角和景深随着微透镜制造工艺的提高以及各种电子产品的出现， 得到很大的改善，但是还有很多思想是建立在目前还不能达到的条件之上，亦或采用高端电 子产品来实现，从而使得全景图像的造价提高，所以如何的方向，以期能使之走入普通消费 者的生活中。 全景图像技术在三维电视和可视化方面有着广泛的应用前景，目前这项技术正引起不少 三维显示领域内的科研机构和各大公司的注意和重视。如飞利浦公司与d em o n f f o r t 大学的 图像与显示工作组联合开发a t t e s t ( a d v a n c e dt h r e e - d i m e n s i o n a lt e l e v i s i o ns y s t e m t e c h n o l o g i e s ) 3 6 1 技术，日本的n h k 广播公司也正在研发全景三维电视1 3 7 1 ，d d d ( d i g i t a l d y n a m i cd e p t h ) 【3 8 】公司开发大量的软件来实现现有的二维数据向三维数据转换，从而为实现 全景三维电视0 n t e g r a l3 dt v ) 与现有媒体的兼容性提供了便利条件。高分辨率高清晰度三维 显示是未来三维显示领域的发展趋势，随着全景图像技术的深入，全景三维电视有望不久走 入人们的生活当中。 1 5 本课题研究的目的和意义 深度信息指的是场景各点离相机平面的距离，获取这些距离的过程称之为提取深度信息 硕七学位论文第一章绪论 或深度估计。通常用深度图来描述，度图像中每一个象素值表示场景中某一点与摄相机之间 的距离。深度信息在遥感、医疗图像处理，三维场景可视化、质量控制以及电视图像处理， 如基于内容的图像编码和图像操作等方面均有着广泛的应用。 在经典的机器视觉领域中，深度信息的提取一直吸引着众多研究者，所用技术手段多种 多样。提取深度信息即物空间点离相机乎面的距离计算，三维视觉中用来判定距离的参数很 多，如纹理、遮挡、轮廓连续性、表面阴影变化、透视视差等。根据不同的应用要求选择不 同的参数，就可以得到不同距离获取方法。根据光源可分为主动测距方法和被动测距方法。 前者需要得用特别的光源所提供的结构信息，而后者获取深度是在自然光照下完成。主动测 距技术具有测距精度高、抗干扰性能好和实时性强的特点，如激光测距仪等设备，但这些系 统价格非常昂贵，对于我们来说要依靠这种手段显然是不现实的。视觉机能可从图像中建立 物体的形状和空间位置，通过对生物视觉功能的模拟，使得被动测距从二维图像中恢复 三维几何结构成为计算机视觉中发展最迅速的领域，也就是通常所说的立体视觉。立体视觉 就是模拟生物的这种功能，由两幅或多幅二维图像恢复物体三维几何形状的方法。空间物体 表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机的成像的几何模型 决定的。几何模型的参数就是摄相机的参数，通过实验与计算可求出这些参数，这个过程被 称为摄相机的标定。摄相机的标定是为了确定摄相机的位置、属性参数、内部参数如焦距、 镜头失真系数、不确定性图像因子和外部参数( 如旋转矩阵和平移矢量) 来建立成像模型， 以便确定空间坐标系中物体点同它在图像平面上的象素点之间的对应关系。摄相机的标定要 考虑视点差异、光照条件、摄相机性能以及景物特点等因素的影响。摄相机的标定过程无疑 使得采用立体视觉进行被动测距变得很复杂 3 9 1 。 由于全景图像技术采用微透镜阵列来记录空问场景，空间任意一点的深度信息可以通过 一次成像直接获得，因而不存在传统机器视觉采用l 两个以上摄像机来测量深度过程中存在的 相对几何位置的标定和校准问题。利用全景图像技术作为深度测量手段，只有一次成像过程 式，从而可简化深度测量过程中的复杂性。 从全景图像中提取深度信息还处于理论研究阶段。一种方法是沿用经典的机器视觉把在 全景图像记录过程中的每个微透镜看作小相机。这些小相机各自从一个特定的位置记录一部 分三维空间场景，在相应的记录平面上形成一个小子图。整个三维场景中任一点的视差信息 被这许多的小透镜所对应形成的小子图扩散记录于整个记录平面。然而，由于尺寸的限制， 每个微透镜实际只能相当于一个非常低分辨宰的相机，企图直接从分析子图间的视差来获取 深度信息十分困难。另一种方法是试图从图像形成的反转理论来挑战这问题 4 0 i 4 1 】【4 2 1 。这一 方法首先将物空间离散化，然后用点扩散函数( p o i n ts p r e a df u n c t i o n ) 来描述全景图像成像 系统的光学记录过程；接下来把全景图像的形成看作是点扩散函数作用于物空间的结果。从 而将从全景图像中求解原来物空间的问题转化为解方程的问题。该方法应用于由假想的三维 空间点阵仿真形成的全景图像时，能够取得精确的结果。但是，该方法不仅需要卷入大量的 计算，而且无法克服由于物空间离散化过程中的信息丢失所带来影响，迄今为止，仍无法应 硕士学位论文第一章绪论 用于实际的全景图像上。w i l l 4 3 在研究全景图像技术的成像特点，分析全景图像象素点的相关 性的基础上，提取一种直接从全景图像中提取深度信息的实用方法。得出只要找出两副视图 之问的视差，就可求得深度信息，从而使从全景图像提取深度信息成为切实可行。 从全景图像中提取深度信息，关键是要分析全景图像中提取出来视图进行视差分析，视 差分析也即寻找视图对之间的对应关系，在图像对之间寻找对应一直是计算机视觉中最困难 最关键所在。由于全景图像技术成像的特殊性，其深度提取与经典机器视觉的分析方法存在 很大的差异，目前这方面所做工作甚少，还有待深入研究。 全景图像技术，与其他三维显示比较，其记录和显示过程简单，不仅适合于静态存储，同 是也能进行动态捕获，被认为是最有望能实现全真三维显示的三维显示技术之一，于2 0 0 2 年 成为s p m 会议的讨论专题。目前已引起国内外三维显示领域研究者和各大公司的注意。因此， 从全景图像中提取深度信息也将成为一项很重要的课题。 本论文的主要研究工作包括下列几个方面的内容： 1 ) 简单回顾了三维显示技术，重点对自动立体视中的全景图进行了阐述。包括全景图像 发展历程，全景图像技术中的分辨率、景深与视角的分析和探讨。 2 ) 阐述了全景图像技术成像的基本原理及其成像特点，根据全景图像的成像特点，推导 了从全景图像中提取深度的计算公式，得出全景图像中深度信息也与全景图像视图对的视差 是一个正比关系。 3 ) 从全景图像中提取深度信息关键是要分析全景图像视图对之间的视差。视差即图像对 中同名点的位置差异。分别采用基于区域的和基于特征的匹配算法，根据全景图像成像特点， 加入改进了的m a r t 立体匹配约束条件，对不同的全景图像场景视图进行视差分析，实验结果 表明改进的m a r r 约束条件适用于全景图像视图对之间的视差分析，并取得较好的效果。 4 ) 在图像对之间寻找对应点过程时，基于普通的搜索算法，往往容易陷入局部极值点， 从而产生误匹配，因此，常在匹配算法中引入一种或多种数学方法来进行启发式随机搜索； 由于采用基于特征的匹配算法在深度不连续的边缘处易产生误匹配，宜采用基于特征的匹配。 基于以上两点，提出了模拟退火算法基于的特征匹配算法进行视差分析。将该算法 h o r s e m a n u i i 全景图像“视图”之间进行视差，取得效果的明显优于普通搜索算法。 5 ) 最后，根据视差分析结果和全景图像深度计算公式，对m a t c h b o x 单方向全景图像进 行了深度提取计算和误差分析，重建了其三维场景。同时，对于复杂场景h o r s e m a n 单方向全 景图像场景，分析了在不同的视差分析算法下重建结果，并进行了比较分析。 硕七学位论文 第二章全景图像技术的深度信息提取研究 第二章全景图像技术的深度信息提取研究 深度信息在遥感、医疗图像和三维场景可视化等领域有着广泛的应用，传统机器