（信息与通信工程专业论文）全景图镶嵌与虚拟场景实时漫游研究.pdf

摘要 目前，随着计算机技术的飞速发展，虚拟现实已成为一个倍受瞩目的热点 向题。而虚拟场景绘制又是虚拟现实实现过程中的一个重要环节，因此，更成 为国内外研究人员关注的焦点。近年来，人们借鉴相关学科领域的研究成果， 提出了使用基于图像的绘制方法来解决虚拟场景绘制问题。同传统的虚拟场景 绘制方法相比，该方法具有众多优势，引起了虚拟现实领域相关研究人员的极 大兴趣。 在基于图像的绘制方法中，柱面全景图镶嵌技术和虚拟场景实时漫游技术 是较有代表性的两个技术问题0 本文的研究重点就在于寻找解决这两个关键性 问题的方法。针对柱面全景图镶嵌问题，本文提出了基于特征区域匹配的柱面 全景图镶嵌算法。该算法利用两幅镶嵌图象对应特征区域的相似性，通过图像 变换、图像整合和图像镶嵌三个阶段，来实现两幅图像之间的无缝镶嵌。该算 法在保证镶嵌效果的基础上，大大提高了镶嵌速度，是一种快速有效的图像镶 嵌算法。针对虚拟场景实时漫游问题，本文提出了基于柱面全景图镶嵌的虚拟 场景实时漫游方法。该方法以固定视点的柱面全景图为数据基础，通过视点空 问和视点空间链来组织图像数据，使用多线程控制管理机制来实现虚拟场景实 时漫游。实验证明，该方法基本能够满足虚拟场景漫游中的实时性要求，达到 了比较满意的的效果。 | f 关键词：虚拟现实鞫吨目像倒绘制方法柱面全景图 图像镶嵌虚拟场景漫游 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to f t h e c o m p u t e rt e c h n o l o g y ，v i r t u a lr e a l i t yh a sb e e n a f o c u sa r o u n dt h ew o r l d r e c e n t l y ，i m a g e b a s e dr e n d e r i n gh a sr e c e i v e di n c r e a s e d i n t e r e s ti nv i r t u a lr e a l i t yb e c a u s eo f i t s p r e f e c tp e r f o r m a n c e i ni m a g e b a s e dr e n d e r i n g ，c y l i n d r i c a lp a n o r a m i cm o s a i ca n dv i r t u a le n v i r o m n e n t r e a l t i m en a v i g a t i o n a r et w o r e p r e s e n t a t i v es u b j e c t s w ep r e s e n tn e wa p p r o a c h e st o t h e mi n t h i s p a p e r f i r s t ，w e d e r i v ea na r e a b a s e d m a t c h i n ga l g o r i t h m t ot h e c y l i n d r i c a lp a n o r a m i cm o s a i c w eo b t a i np a n o r a m i cm o s a i cw i t h o u tag a pt h r o u g h t h r e es t a g e so f i m a g et r a n s f o r m a t i o n ，i m a g er e g i s t r a t i o na n di m a g e m o s a i cb a s e do n t h es i m i l a r i t yo ft h ef e a t u r er e g i o nb e t w e e nt h et w oi m a g e s ，a n dt h ea l g o r i t h mi s e f f e c t i v ea n dc a nb ep r o c e s s e dw i t hh i g h - s p e e d s e c o n d ，w ec o n s t r u c tav i r t u a l e n v i r o n m e n tr e a l - t i m en a v i g a t i o ns y s t e mb a s e do nt h ec y l i n d r i c a lp a n o r a m i cm o s a i c o ft h ef i x e dv i e w p o i n t w eo r g a n i z et h ei m a g ed a t a b a s ea c c o r d i n gt ot h ev i e w p o i n t s p a c e a n dt h ev i e w p o i n ts p a c el i n k ，a n dr e a l i z er e a l t i m e n a v i g a t i o n o fv i r t u a l e n v i r o n m e n tb a s e do nt h em u l t i t h r e a d i n g t h ee x p e r i m e n t a lr e s u l t so nr e a li m a g e s p r o v et h a tt h ea p p r o a c h e sw ep r e s e n t e da r ee f f e c t i v ea n dc a nm e e t t h er e q u i r e m e n to f t h er e a l t i m en a v i g a t i o n k e y w o r d s ：v r1 b r c y l i n d r i c a lp a n o r a m ai m a g em o s a i c v i r t u a le n v i r o n m e n t n a v i g a t i o n 第一章引言 1 1 课题背景 近年来，随着计算机技术的飞速发展具有广阔应用开发前景的虚拟现实 技术( v i r t u a lr e a l i t y ，简称v r ) 己逐渐成为世界计算机领域中一个倍受瞩目的 热点问题。 所谓虚拟现实，就是一种创建和体验虚拟环境( v i r t u a le n v i r o n m e n t ) 的计 算机系统。具体的讲，是指通过计算机来模拟人体的视觉、听觉、味觉和触觉 等真实感知，对应于现实世界中的真实环境，运用模拟到的虚拟感知创建一个 计算机系统中的虚拟环境，使参与者在其中产生与在真实环境中相同或相似的 体验。同当前普遍使用的非浸入性的二维人机交互界面相比较，这种能给人以 身临其境感的浸入性的三维人机交互界面显然具有明显的优势，其对计算机使 用者的强大诱惑力是不可抗拒的，这也是虚拟现实技术目前倍受各界瞩目的原 因所在。 虚拟现实技术作为人机交互的一种新的手段和解决现实世界问题的一种新 的方式，其应用开发前景非常广阔，市场潜力不可估量。目前，它在航空航天、 机械设计、科学计算、影视娱乐、化学医药和军事训练等诸多领域已经得到了 初步的应用，而且很多应用还是其他技术所无法替代的。但是，总的来说，目 前的虚拟现实技术还很不成熟。尽管近年来在各界的关注下该技术已经取得 了长足的发展，但是由于其发展时间有限，技术难度高，因此当前的发展状况 距离各行各业的实际需求仍然相差甚远。虚拟现实技术要得到充分的应用还有 很多工作需要完成。 根据人体的生理特点，在人体的各种感知中视觉感知占8 0 ，听觉、触觉 等其它感知仅占2 0 ，因此在虚拟现实技术中，对人体视觉感知的模拟占据着 核心地位。相应的，通过模拟视觉感知建立起来的虚拟场景自然也成为虚拟环 境中的核心内容，它是决定一个虚拟现实系统能否给其参与者以身临其境感的 关键性因素之一。 要想在虚拟场景中获得身临其境的感觉，就要求虚拟现实系统能够实时地 生成高质量的画面。因此，在虚拟场景的创建过程中，生成三维画面的质量和 速度是衡量这个虚拟场景优劣的两项关键性指标。低速度将使虚拟场景出现不 连续和跳动：低质量则使虚拟场景产生景象失真。降低这两项指标中的任何一 项，都会严重地影响虚拟场景的真实性效果，使参与者无法产生“沉浸感”。而 第1 页 这两项指标之间又存在着矛盾：要提高画面生成速度，必然会引起画面质量的 下降；要保持画面质量，又很难维持较高的画面生成速度。从目前计算机领域 的发展情况来看，这一矛盾在短期内还很难消除。因此，与普通场景创建时一 般只注重生成画面的质量或速度中的某一项指标相比，虚拟场景创建时要同时 提高这两项指标。显然，这种对画面生成质量和速度的高要求大大增加了创建 虚拟场景的难度。 虚拟场景的生成过程非常复杂，例如：一个虚拟环境的完全漫游需要快速 模拟6 个自由度的镜头运动，包括相机旋转、对象旋转和相机移动。如果用传 统的基于儿何绘制技术的方法，首先要提取真实场景中各个物体的几何数据， 建立场景的三维几何模型；然后对场景物体表面的材料、光照、纹理等进行描 述：最后根据观察参数，用图形学方法进行虚拟场景绘制。这种方法主要存在 以下三个缺陷： 真实场景一般都比较复杂，建立场景的三维几何模型必然会造成大量的 人力耗费； 用图形学方法进行虚拟场景绘制这一过程非常耗时，当场景的复杂程度 较高时，在保持场景画面质量的前提下，其画面生成速度就很难满足虚 拟现实系统的要求； 最后，生成画面的质量和速度这对矛盾使该方法有时不得不使用昂贵的 特殊硬件设备，这使得应用该方法开发出的虚拟现实系统的成本大幅度 提高。 为了解决这一技术问题，近年来，人们借鉴相关学科领域的研究成果，提 出了基于图象的绘制方法( i m a g e - b a s e dr e n d e r i n g ，简称i b r ) 。i b r 方法首先 通过一组预先采集到的光学图像集构建数据模型，而不是用三维几何模型来编 码一个场景；然后根据用户观察参数确定图像数据合成参数；最后通过图像数 据合成参数适当组合这些光学图像来产生虚拟场景视图，以完成虚拟场景的绘 制工作。 随着虚拟现实技术的应用与发展，i b r 方法以其超前的构想和广阔的前景 正引起计算机图形学和计算机视觉领域中相关研究人员的密切关注和浓厚兴 趣，成为虚拟现实技术中的一个新的研究热点。目前，国内外相关学者已经围 绕着i b r 技术进行了一些研究，取得了一批有意义的成果，提出并讨论了多种 i b r 技术的具体实现方法。然而，由于发展时间较短，当前该项技术还很不成 熟，有许多具体问题仍处于探讨阶段。 在i b r 方法中，图像镶嵌技术和场景漫游技术是较有代表性的两个问题。 其中，图像镶嵌技术不但是i b r 技术中基于图像镶嵌方法的核心性问题，而且 往往也是其他i b r 实现方法中所必须解决的难题，关于它的研究对于整个1 b r 技术具有普遍意义；场景漫游技术是虚拟场景创建过程中的关键性环节，直接 影响到一个虚拟现实系统的性能，结合此项技术开发的虚拟现实系统具有不可 低估的应用开发前景和极其深远的市场潜力。总之，这两项技术是i b r 方法中 必须要解决的两个关键性问题，对这两项技术的研究也必将对i b r 方法以至整 个虚拟现实技术产生深远的影响。 1 2 1 课厦内容 1 2 课题内容与论文组织 本课题针对i b r 方法中图像镶嵌技术和场景漫游技术这两个关键性问题， 围绕着全景图镶嵌和虚拟场景实时漫游开展了较为深入的研究，其主要研究内 容如下： 1 解决了图像镶嵌中的特征选择和特征提取问题，选择在图像镶嵌中能够 兼顾镶嵌精度和镶嵌速度的图像特征，并实现了对该图像特征的提取； 2 提出了基于特征匹配的图像整合方法，通过图像特征匹配计算出两幅镶 嵌图像的重叠区域数据，解决了图像整合中图像变换参数的计算问题； 3 提出了一种处理图像镶嵌缝隙的简便算法，实现了两幅图像之间的无缝 镶嵌： 4 结合柱面全景图的特点，对获得的图像镶嵌算法加以改造。实现了3 6 0 度柱面全景图的镶嵌； 5 参照国内外在虚拟场景实时漫游上的相关成果，确立了基于柱面全景图 镶嵌的虚拟场景实时漫游的基本思想： 6 对虚拟场景实时漫游过程进行了认真分析，提出了虚拟场景实时漫游中 所需图像数据的选择和组织方法； 7 根据虚拟场景漫游中的实时性要求。设计了多线程虚拟场景实时漫游控 制管理机制； 8 基于以上的算法和基本思想，编程实现了图像镶嵌和虚拟场景实时漫游 两个演示系统。 1 2 2 论文组织 本文在第一章引言部分对“全景图镶嵌与虚拟场景实时漫游”课题的产生 背景及研究意义作了简单的介绍，并且简要的说明了在课题进展过程中所进行 的工作；在第二章中介绍了基于图像绘制技术的方法的工作过程、具体实现方 法；第三章对基于特征区域匹配的柱面全景图镶嵌算法的整个工作流程进行了 比较详细的叙述，并结合柱面全景图镶嵌的具体实例对该方法进行了验证和分 析；在第四章中对基于柱面全景图镶嵌的虚拟场景实时漫游作了比较细致的研 究，介绍了虚拟场景实时漫游中所需图像数据的选择、组织以及使用多线程控 制管理机制来实现虚拟场景实时漫游的方法：第五章则对在本课题的研究过程 巾设计和开发的两个演示系统：图像镶嵌演示系统和虚拟场景实时漫游演示系 统作了一个简单的介绍；第六章是对本课题的总结和展望。 第= 章虚拟现实中基于圈像的绘制技术 目前，如果从建模和绘制角度来划分，虚拟现实系统可以总的分为基于几 何绘制技术的虚拟现实系统和基于图像绘制技术的虚拟现实系统这两类。本章 将对基于图像绘制技术的虚拟现实系统进行详细的讨论。 2 1 基于图像绘制技术的虚报现实 从8 0 年代初开始，计算机图形学研究的核心就是真实感图形的生成问题。 过去一直认为是标准的且被广泛接受的方法是基于几何绘制技术的实现方法， 这种方法导致的直接问题是：建模的开销和绘制的开销都非常大。由于现实世 界中的事物是形态各异，千变万化的，因此在生成虚拟场景时，传统的基于几 何绘制技术的方法无论是在理论上还是在实际上都无法满足虚拟场景绘制的要 求，严重限制了虚拟现实技术的应用发展。 2 1 1 基于圈像的麓模与绘制 基于图像的建模与绘制技术( i m a g e - b a s e dm o d e l i n ga n dr e n d e r i n g 。简称 i b m r ) 是用照片代替传统的几何输入来进行建模和图像合成。在这一思想下， 照片可以有两种用法：一种是利用从照片中抽取出的三维信息，重构传统的几 何模型，这其中很多问题可以归结到计算机视觉领域；另一种是将照片作为系 统的输入，消除传统的基于几何的建模和绘制过程，而代之以二维的、基于图 象的视图重构方法。这两种途径在i b m r 技术中可能同时采用，也可能只选择 后者。本论文将重点讨论后一种途径。 计算机图形学中利用照片、图像由来己久，其中，最典型的例子就是纹理 映射技术( t e x t u r em a p p i n g ) 。为了获得传统绘制技术中难以做到的真实感和细 节层次，该技术将真实照片作为模板映射到由几何造型技术创建的模型和结构 上。另一种广泛采用的技术是环境映照( e n v i r o n m e n tm a p ) 。即指将周围的环 境映射到一个有光泽的物体上的过程。最初使用环境映照是作为光线跟踪的一 种廉价替代，其思想是由于发光物体会反射出它周围的环境，因此可以将这种 现象预先计算好存储起来，当绘制该物体时直接用纹理映射的方法来产生那种 环境的映射效果，从而避免了光线跟踪的复杂过程。环境映照中使用的典型环 境形状有平面、立方体和球面。环境映照技术在基于图象的绘制中也将发挥重 第5 页 要作用。 i b m r 基于图象的建模和绘制，顾名思义是指用预先获得的一组图象( 合 成的或真实的) 来表示场景的形状和外观，而新图象的合成则是通过适当地组 合原有的图象来实现。与基于几何的建模和绘制方法相比，i b m r 有以下突出 的优点： 建模容易：由于拍摄照片是比较容易的，因此不需耗费大量的精力和技 巧。另外，通过相机拍摄到的照片不仅能够直接体现真实景物的外观和 细节，而且还可以从中抽取出场景的几何特征、对象的运动特征、及物 体的反射特征等。把不同视线方向、不同位置拍摄的照片数据按某种形 式组织起来以表示场景，如全景图象( p a n o r a m i ci m a g e ) ，这就是i b m r 意义下的所谓建模。 绘制快：不需要复杂的计算，直接根据已有的视图合成新的视图，例如： 只要根据不同的视线方向映射全景图象相应的部分即可。整个绘制过程 都在二维空间进行，绘制时间不依赖于场景的复杂度，只跟显示分辨率 有关。 真实感强：由于源图像是从真实环境中直接捕获的，因此基于图象的方 法能更加真实地反映景物的形状、明暗、颜色、材料、纹理等信息，不 需要经过额外的光照模拟。 交互性好：由于较好的克服了绘制速度和真实感这对矛盾，再加之先进 的交互设备和反馈技术，因此，基于图象的虚拟现实系统有更好的交互 性。 另外，基于几何绘制技术的方法需要建立整个场景的完整的、精确的表达 绘制时也要对整个场景进行计算和存储，相比之下，i b m r 方法只需要离散的 相片采样，绘制时也只要对与当前视点相邻的图象进行处理，因此，i b m r 方 法具有较小的计算开销。但是，就目前已有的i b m r 方法来看，该技术也存在 着很多问题和局限： 表示模式：即数据的组织问题。怎样获得一种简便有效且适合计算机存 贮的表示模型，能精确完整地对场景进行编码，这一点对于完全基于图 象的方法是难以做到的。 捕获方法：是用手持相机还是用被精确定位与控制的数控摄像机，图象 采样的数量多少、采样模式及样本均匀性等都会影响问题求解的难度和 精度。 失真问题：如何解决因采样和多重采样引起的失真问题。失真问题是出 于连续图像信号的离散化、采样设备的精度和质量、设备噪声等多种因 素的影响而产生的；同时，i b m r 方法不可避免地要对场景图象进行多 重采样，这样，又产生了采样积累误差。它必然会使失真问题变得更为 严重。 可见性判断：空洞( h o l e ) 和重叠( f o l d ) 是围绕可见性的两个问题。 由于拍照只能获得某一时刻、某一方向、某一位置的静态场景图象，景 物间的相互遮挡会使部分几何细节丢失。如果这些信息不能从其它图象 中填补的话，就会在新合成的视图中出现空洞。如果因为视点变化使得 原来不同的可见点变得相互遮挡。而又无法获得合理的几何解释时就 会产生重叠，使前景点被错误地解释。 信息压缩：基于图象的方法不可避免地面临着图象的组织、存储、甚至 传输问题，怎样利用数据问的连贯性，获得合理有效的压缩及解压缩机 制也是一个亟待解决的问题。 完全漫游：如何实现基于图像绘制技术的完全实时漫游。包括模拟相机 旋转、对象旋转、相机移动及缩放等连续的运动方式是基于图像绘制技 术的虚拟现实能否走向实际应用的关键性问题。 综上所述，基于图象的绘制方法简单快捷，适合模拟复杂的现实场景；但 是，数据的完整性和精确性要略逊于基于几何绘制技术的方法。在虚拟现实技 术中，对场景的绘制速度和真实感均提出了较高的要求，此时，基于图象的绘 制方法显然具有较大的优势。 2 1 2 相关研究领域 不能否认，i b m r 技术的产生源于图像绘制技术的发展和相关研究领域的学 科交叉。与i b m r 技术密切相关的研究领域有计算机图形学、计算机视觉、数 字图象处理、计算几何等学科。其中计算机图形学研究的是如何由场景的几何 模型绘制出场景视图的问题，而计算机视觉研究的却是如何由场景视图重建场 景j i a i j 模型的问题。由此可见，计算机视觉与计算机图形学可以说是两门互逆 的学科，一个的输出结果刚好是另一个的输入数据。数字图象处理是对图象本 身进行的操作，包括图像分割、图像恢复、图像增强等，计算机视觉中通常是 使用数字图象处理的方法来对图象进行分析，例如对图象特征的识别、滤波、 以及不同分辨率上的重取样等。丽计算几何则为其它学科提供了基本的数学运 算方法。 i b m r 方法的提出在计算机图形学与计算机视觉这两门学科之间搭起了一座 桥梁( 如图2 1 ) 。i b m r 方法与计算机视觉有相同的输入，而它的输出又是计 算机图形学所要求的结果。总之，l b m r 方法的目的就是试图从图象几何 图象这条链中完全地或尽可能多地消除儿何部分( 非自然因素影响最大的 部分) 所占的比重。从而使图像绘制更加接近自然。因此，i b m r 方法毫无疑 问地离不开计算机视觉技术和计算机图形学技术。另一方面由于1 b m r 方法主 要考虑在图象空间完成图像绘制工作，因此，它必然也要求使用数字图象处理 技术。 图2 1 i b m r 与计算机图形学和计算机视觉的关系 事实上，正是计算机视觉技术的研究成果为1 b m r 方法的实现提供了理论 依据：反过来，i b m r 方法又使计算机视觉技术走出了实验室，进入到了实际 应用领域。 驼1 3 绘制流程 尽管基于图象的绘制方法与基于几何绘制技术的方法有显著的不同，但是 这些不同主要体现在场景的表示上，如果仔细比较两者的绘制过程，就会发现 它们在绘制处理环节上有奇妙的相似之处，其原因在于它们的结果都是对视图 产生过程的模拟。 基于几何绘制技术的方法总的来看，可以分为两类绘制模式；基元驱动模 式( p r i m i t i v ed r i v e n ) 和显示驱动模式( d i s p l a yd r i v e n ) ，前者通过计算场景中 每一元素对最终视图的贡献来实现场景绘制，后者则对输出视图中的每一个样 本点搜索场景中那些决定该样本值的场景元素，通过这些元素的合成来完成场 景绘制。图2 2 是基元驱动模式的基于几何绘制技术的绘制流程。场景中的元 素首先被分成小平面面片；这些面片接着从基元所在的场景几何模型坐标系变 换到场景视平面坐标系；然后根据光源和视点决定每个面片的颜色：如果面片 的某部分落在观察的视野范围之内，则将该面片相应顶点的三维坐标投影到视 平面上；最后的视图是通过在整数网格上对面片的内部点进行取样而得到的。 总的来看，基于几何绘制技术的绘制流程可以分为两个阶段：前一阶段处理儿 何基元，主要是一些三维变换，将规范的几何模型变换到相应的视平面上：后 一阶段是在图象空间中的量化操作，将以三维顶点坐标表示的几何模型转换成 视s 严面空问中二维点的采样。 图2 2 基于几何绘制技术的绘制流程 图2 3 是一种基于图象的绘制流程。第一阶段同样是变换阶段，只是这里的 变换是指图象变换( i m a g ew a r p i n g ) ，基元是参考图象中的采样点。图象交换 是在二维齐次空间内完成的，它把参考图象中的样点变换到合成视图所在的平 面坐标系，然后以生成图象大小为窗口进行裁剪，并且将齐次坐标转换为图象 坐标( 这相当于几何绘制中的投影) 。基于图象绘制的最后阶段是重构和重采样 过程，与基于几何绘制技术的绘制流程中的光栅化处理相对应。 图2 3 基于图像绘制技术的绘制流程 2 2 基于图像绘制技术的基本方法 基于图象技术的最早尝试要算电影映象系统( m o v i e - m a ps y s t e m ) ，它把几 千幅图象存储在可交互的视频光盘上，这些图象可以根据视点的变换随机地显 示，但是m o v i e m a p 不能合成新的图象。 近年来，i b m r 才逐渐成为一种场景绘制的新方法。由于它在绘制速度和真 实感上的明显优势，吸引了大批业内人士的关注。目前已有很多文章和成果发 表，提出并讨论了多种具体的实现方法。总结这些方法，可以粗略地把i b m r 方法归纳为以下几类： 2 2 1 基于立体视觉的视圈合成方法 基于立体视觉的视图合成方法主要利用立体视觉( s t e r e ov i s i o n ) 技术由已 知的参考图象合成相对于新视点的合成图象，其关键问题是找出每对已知图象 之间的对应映射，即解决立体匹配( s t e r e om a t c h i n g ) 问题。由对应关系可导 出偏差映射( d i s p a r i t ym a p ) ，并能进一步估计出场景中可见点的深度信息。利 用深度信息可以对已有的图象进行变换。来合成新视点的图象。也就是说，通 对 图2 4 基于立体视觉的视图合成方法 过参考图象问的对应关系实现了基于图象的虚拟场景绘制工作。如图2 4 所示： 其中白色摄象机代表不同物理位置的参考图像，阴影摄像机代表新视点的合成 图像，双向箭头表示邻接的参考图像问的立体对应关系，单向箭头表示对参考 图像所作的变换。 基于立体视觉的图象合成方法主要有以下优点： 新视图可以由两幅邻近的参考图象及它们的对应关系合成，整体的几何 模型不是必需的； 图象变换过程要比传统的图象绘制过程快得多，而且其计算时间与场景 的复杂度无关； 只需知道邻接相机之间的相对轮廓信息，而不需要对相机进行精确的定 标。 但同时这种方法也存在着立体视觉中固有的缺陷： 由于场景有可能部分或全部地被遮挡，只能掌握场景有限的信息，导致 在参考图像中不可见而在新视图中应该可见的区域出现空洞，如何填补 这些空洞是一个难以解决的问题； 由于只能产生有限的深度分辨率( 深度信息不连续) ，会使图像匹配过 程中出现误差。 2 2 2 基于视图插值的方法 基于立体视觉的视图合成方法能由参考图象生成任意视点的新视图。与其 不同，基于视图插值( v i e wi n t e r p o l a t i o n ，也叫图象插值) 的方法对新视点的位 置要加以限制，新视点必须位于两幅参考图象的视点所决定的直线( 称基线， b a s e l i n e ) 上，这样，新视图就可以由参考图像的线性插值产生。当然，如果有 很多幅参考图像，也可以通过一系列的插值获得定范围内任意视点的图象， 与基于立体视觉的视图合成方法相同，基于视图插值的方法同样要建立参考图 象间的对应关系，因而仍然面临由于遮挡和深度不连续所带来的问题。另外， 许多基于视图插值的方法在一般情况下不能精确地重构，即不能产生正确的透 视投影结果，而只能生成近似的中间视图。只有当基线平行于图象平面时才会 产生征确的透视投影视图。 2 2 3 基于圈像镶嵌的方法 将同一场景中多张有重叠区域的图象组合成一幅完整图象的处理过程叫做 图像镶嵌( m o s a i c ) 。图象镶嵌技术的典型应用是全景图的生成、改善图象分辨 率、图象压缩及视频扩展等方面。在进行图象镶嵌之前，首先要完成一项重要 第1 i 页 的： 作：图象整合( i m a g er e g i s t r a t i o n ) ，即把参考图象中相互重叠的部分对齐 的过程。 一般地，图象镶嵌问题可以分为两类。一种情况是当两幅图象有相同视点 或者视点不同，但观察对象是一个平面场景时，图象整合工作可以通过透视变 换来完成，在很多文章中使用全局优化法计算透视变换参数进而提出这种情 况下的全景图镶嵌算法。另一种情况是当两幅图象有不同视点，而且观察对象 是一个非平面场景时，此时除了计算透视变换参数外，还必须估计每个象素的 深度，为解决这个问题，要么施加额外的约束，要么利用更多参考图象来增加 输入变量。 2 2 4 基于分层表示的方法 图2 5 基于分层表示的绘制流程 还有一种方法与基于图象镶嵌的方法正好相反，叫做分层表示( 1 a y e r e d r e p r e s e n t a t i o n ) 。它针对一视频系列将一个三维场景分成运动独立的、由仿射运 动模型描述的不同层次。每一层都产生一个独立的称为子画面( s p r i t e ) 的二维 图象流，每一层都可以单独控制其图像流的刷新频率、空间分辨率及绘制质量 等参数。最终各层的子画面通过图像组合显示到屏幕上。基于分层表示的绘制 流程如图2 5 所示。 第三章基于特征区域匹配的柱面全景图镶嵌算法 根据上文所述全景图镶嵌是基于图像绘制技术的方法中所必须解决的一 个关键性问题。而如何兼顾算法计算量和图像镶嵌效果是目前该项技术研究的 核心内容。显然，提出一种快速有效的算法，达到计算量和镶嵌效果的完美结 合是该技术必然的要求。 本论文结合国内外在图像镶嵌领域的研究成果，提出了一种柱面全景图镶 嵌的快速算法，它利用特征区域匹配原理，通过对两幅图象问重叠部分的对应 特征区域进行提取和匹配来完成图象镶嵌工作，进而通过一组参考图像实现了 柱面全景图的镶嵌。实验表明该算法在获得良好镶嵌效果的基础上，大大提高 了镶嵌速度，是一种快速实用的柱面全景图镶嵌算法。 3 1基于特征区域匹配方法的基本思想 全景图一般可以分为柱面全景图和球面全景图，本论文主要针对柱面全景 图的镶嵌问题加以讨论。所谓柱面全景图，就是指在视点固定的情况下，观察 方向在一个水平面内，围绕固定视点旋转一周所观察到的一幅完整的3 6 0 度环 视图像。由于该环视图像可以看作是绘制一个假想圆柱体的内表面上的，因此 称为柱面全景图。 根据柱面全景图的定义，所谓柱面全景图镶嵌，就是指针对某一场景，按 照视点固定、观察方向在水平面内变化这一规贝0 采集一组有重叠区域的连续环 视图象作为原始图像数据：然后按照全景视觉一致性的要求，将原始图像数据 转化为镶嵌图像数据：再通过图像镶嵌技术，将这组图象中相邻两幅图象间的 重叠部分整合在一起；进而实现两幅图像的镶嵌。由于采集到的图像集是连续 环视图像，因此当完成了所有相邻图像的镶嵌之后，将会得到一幅完整的3 6 0 度环视图像，即场景的柱面全景图。显然，柱面全景图镶嵌是图像镶嵌技术的 一个重要扩展。 3 1 1 柱面全景圈镶嵌的传统实现方法 柱面全景图镶嵌主要是根据采集到的图像数据中相邻两幅镶嵌图象重叠区 域的相似性来实现的。在进行柱面全景图镶嵌时，一般要通过某种方法对这种 镶嵌图像重叠区域的相似性程度进行判断，然后对得到的判断结果加以分析， 从而实现柱面全景图镶嵌。因此，对镶嵌图象重叠区域相似性程度的判断方法 在柱面全景图镶嵌的实现过程中是处于核心地位的。 传统的柱面全景图镶嵌方法，如s z e l i s k i 的基于运动( m o t i o n - b a s e d ) 的方 法、p e l e g 和h e r m a n 的多重投影法( m a n i f o l d p r o j e c t i o n ) 等，其算法实现过程 都是直接从镶嵌图象重叠区域中的对应象素灰度值出发去考虑问题，使用最小 二乘法等数学方法来计算镶嵌图象重叠区域的差异，并将计算得到的统计参数 来作为衡量镶嵌图象重叠区域相似性程度的判别参数。然后，通过对判别参数 的比较，来判断镶嵌图像重叠区域的相似性程度，进而得到镶嵌图像重叠区域 的范围，实现柱面全景图镶嵌。 虽然传统方法可以完成柱面全景图镶嵌工作，但是这种方法存在以下两个 难以弥补的缺陷： 首先，由于在传统方法中存在着对镶嵌图像象素灰度数据的大量直接计 算，所以普遍存在着算法计算量太大这一缺点，这严重影响了柱面全景 图的镶嵌速度； 其次，传统方法是从镶嵌图象重叠区域中对应象素点的相似性出发去考 虑问题的，当镶嵌图像受到比较严重的干扰时，这种方法就极有可能对 镶嵌图象重叠区域中对应象素点的相似性做出错误的判断，从而影响到 柱面全景图的镶嵌质量。 3 1 2 基于特征区域匹配方法的基本思想 根据上文所述，传统方法中存在着难以弥补的缺陷，并不能很好的完成柱 面全景图镶嵌工作。因此，有必要提出一种能够同时兼顾镶嵌质量和镶嵌速度 的全新的柱面全景图镶嵌算法，来克服传统方法中的不足之处。 本论文中使用的基于特征区域匹配的图像镶嵌算法的基本思想产生于对人 工图象镶嵌过程的研究。不难发现，人在进行图象镶嵌时并不是象传统镶嵌算 法那样，通过精确比较两幅图象重叠区域中各对应象素点的灰度值来完成镶嵌 工作的。而是遵循这样的途径：首先在两幅图象中寻找出一块共同拥有而且唯 一的典型区域，该区域或在灰度分布、或在区域轮廓等方面具有区别于其他区 域的明显特征，这种典型性使浚区域具有易分辨的特点：然后将两典型区域剥 齐r 由于此区域具有易分辨的特点，因此将它们对齐并不困难；最后对图像边 缘的不吻合部分作必要的处理后，就完成了整个图象镶嵌工作。这种基于图象 特征区域的图象镶嵌方法在保证镶嵌质量的前提下，极大的提高了镶嵌速度， 具有较强的实用性，本算法正是受此启发，试图用计算机来模拟人的这种思维 过程。 算法的基本思路是：首先根据图象象素灰度值信息完成特征提取工作，将 两幅原始图像转变为两幅特征图像；然后以一幅特征图象中的特征区域作为模 板，在另一幅特征图象中搜索与该模板相对应的特征匹配区域t 由匹配时两图 像的相对位置得到图象问在宽度、高度上的重叠量，从而完成图象整合工作； 最后根据求得的平移参数排列两图象，并使用图像平滑算法对两幅图象间的镶 嵌缝隙进行处理。 3 2 基于特征区域匹配方法的算法流程 上文介绍了基于特征区域匹配的柱面全景图镶嵌算法的基本思想，接下来， 就以此为基础，分析下该柱面全景图镶嵌算法的具体实现过程。 3 2 1 图像数据的采集 观察方向 图3 i柱面全景图图像数据采集示意图 向 一般来说，柱面全景图镶嵌所需要的图像数据是将通过普通照相机或摄像 机采集到的相片或录像带经过数字化处理后得到的。 具体地既，是根据柱面全景图的定义，在采集图像数据时，将照相机或摄 像机固定在不动的支架上，以保持观察视点不变；以机器镜头为轴转动3 6 0 度 并连续拍照，来模拟观察方向的变化；拍照时，务必使相邻两图像间具有一定 程度的区域重叠，保持适当的信息冗余，以便于进行图像镶嵌而得到柱面全景 图；转动镜头时，应该尽量避免镜头的偏斜和俯仰，以保证观察方向位于同一 个水平面内。图3 1 描述了图像数据采集的过程。 3 2 2 基于特征区域匹配方法的算法流程 柱面全景图镶嵌的目标是要生成没有镶嵌缝隙的柱面全景图。图像变换、 图像整合和图像镶嵌是基于特征区域匹配的柱面全景图镶嵌过程的三个重要阶 段。其算法流程图如图3 2 所示。 图3 2 算法流程图 在图像变换过程中要进行柱面投影变换，将原始图像数据转化为镶嵌图像 数据。 在图像整合过程中要计算相邻两幅图像间的变换参数，确定相邻两i 晤图像 问在宽度、高度上的重叠程度，得到冗余图像区域的范围。 在图像镶嵌过程中要去除相邻两幅图像间的冗余信息，将两幅图像平滑的 连接在一起，实现真正的无缝镶嵌。 3 3 柱面投影变换与反变换 图像变换过程是全景图镶嵌工作的第一步。在这一过程中，要将平面投影 性质的原始图像数据转换为柱面投影性质的镶嵌图像数据，以保持全景视觉的 一致性。 3 3 1 全景视觉的致性 根据上文所述的图像数据采集过程可知，进行柱面全景图镶嵌的原始图像 数据是现实场景在各自观察方向所对应的视平面上的投影。而根据柱面全景图 的定义，镶嵌算法所要得到的柱面全景图应该是将现实场景投影到一个以固定 视点为中心的假想圆柱体表面上而获得的。显然，采集到的输入图像数据与柱 面全景图镶嵌算法最终要得到的输出图像数据在投影方式上具有非一致性，输 入为平面投影图像而输出为柱面投影图像。因此，在算法中要处理的第一个 问题就是全景视觉的一致性问题。 原始输入图像观察图像 图3 3 柱面全景图、原始输入图像及观察图像 通过适当的算法处理全景视觉一致性问题是非常有必要的。如果回避这一 问题，将原始图像数据直接作为镶嵌图像数据，即对含有重叠区域的原始图像 直接进行镶嵌，将会破坏现实场景的全景视觉属性，得到图像畸变的柱面全景 图镶嵌结果。例如：本来是直线的道路，会由于全景视觉的非致性，在镶嵌 出的柱面全景图中成为折线。 对于全景视觉一致性问题，可以通过柱面投影变换来处理。以变换后的柱 面图像数据作为镶嵌图像数据来进行柱面全景图镶嵌，才能维持现实场景中的 空间约束关系，保持全景视觉的一致性。 同时还应当看到，当将柱面全景图用于虚拟场景实时漫游时，需要将柱面 全景图中某一个观察方向上的视图实时地提供给用户作为观察图像，此观察图 像是虚拟场景在该观察方向所对应的视平面上的投影。同样道理，此时也要解 决全景视觉一致性问题，其处理方法是对柱面全景图进行柱面投影反变换，将 第1 8 页 柱面全景图转换为用户观察图像。 图3 3 反映了柱面全景图、原始输入图像及观察图像之间的关系。 3 3 2 柱面投影变换 所谓柱面投影变换，就是指为了保持全景视觉的一致性，通过某种算法， 将从现实场景中采集到的反映各自投影平面的原始输入图像从视平面映射到一 个标准投影柱面投影上，从而得到能够用于柱面全景图镶嵌的柱面投影图 像的过程。 ( 2 ) r m ( 3 ) 图3 4 柱面投影变换示意图 r 2 显然，柱面投影变换公式是在此阶段中要研究的核心问题。为此，首先要 建立坐标系如图3 4 ( i ) 所示。以原始输入图像对应的观察方向为z 轴，以 原始输入图像所在的视平面为x y 平面，以固定的观察视点为坐标圆点，并将 原始输入图像标定为r ，柱面投影图像标定为f ，投影柱面标定为c ，观察视 点标定为o 。然后要设定一些相关参数的符号，设投影柱面半径为r ，横向观察 视角为n ，纵向观察视角为b ，原始输入图像的宽度为w ，高度为h 。 对原始输入图像上的任意一点m ，已知它在图像上的坐标为( x ，y ) ，现 第1 9 页 在假定经过柱面投影变换后，点m 在柱面投影图像上的对应点为n ，坐标也相 应的变为( x ：，y ：) ，则要解决的问题就是要推导出一组能够描述由( x ，y 1 ) 到( x ：，y ：) 的坐标变换关系的公式。 图3 4 ( 2 ) 和图3 4 ( 3 ) 分别是横向观察方向和纵向观察方向的柱面投影 变换示意图，图中标定了原始输入图像和柱面投影图像上的两个对应点m 和n 的相互位置关系，以及投影柱面半径、横向观察视角和纵向观察视角的情况 分析图3 4 ( 2 ) 中m 和n 的关系；可以得到坐标横轴，即x 和x 2 之间的柱面 投影变换公式： 口 。2 2 7 一2 + 7 0 7 。增 一一j r ( 式3 1 ) 同样道理，分析图3 4 ( 2 ) ，可以得到坐标纵轴，即y 和y 2 之问的柱面投影变 换公式： 何 y 22 ：+ ( 式3 2 ) ( 式3 1 ) 和( 式3 2 ) 中所使用到的参数w 和h 由原始输入图像得到，n 在采集图像数据时由设备的特性参数或得，而r 则可以通过下式推导得出： w 2 信竺 z 3 3 3 柱面投影反变换 ( 式3 3 ) 所谓柱面投影反变换，是指为了满足全景视觉一致性的要求，通过适当的 方法，将柱面全景图映射到与用户观察方向相对应的视平面上，从而将柱面全 景图转化为观察图像的过程。 柱面投影反变换是柱面投影变换的逆过程，可以根据柱面投影变换公式推 导出柱面投影反变换公式。由于这里所用到的柱面全景图和观察视平面分别对 应于柱面投影变换- p 的柱面投影图像和原始输入图像所在的视平面，因此，如 图3 4 ( 1 ) 所示，可以将图中的柱面投影图像f 作为柱面全景图p ，将原始输 入图像r 作为观察图像l 以用户观察方向为z 轴，以观察图像所在的视平面为 x y 平面，观察图像的宽度设为w ，高度设为h ，其它设定及标定保持不变。 设点n 是柱面全景图上的任意一点，已知它在图像上的坐标为( x 2 y 2 ) ， 假定经过柱面投影反变换后，点n 在观察图像上的对应点为m ，坐标也相应的 变为( x ，y ) ，则现在要解决的问题就变成了要推导出一组由( x ：，y 2 ) 到( x i ， y ) 的坐标变换公式。 由图3 4 ( 2 ) 和3 4 ( 3 ) 及已推导出的柱面投影变换公式( 式3 1 ) 和( 式 3 2 ) ，通过逆变换过程，就可以得到所要求的柱面投影反变换公式： 铲警e - - i 堡t g 一 。i 2 丁 一 日 j ，l 2 i + ( 圹拼2 小一警 2 r ( 式3 4 ) ( 式3 5 ) 同柱面投影变换相同，柱面投影反变换中所使用到的参数w 、h 和r 仍由原始 输入图像及( 式3 3 ) 得到。 3 4 图像的整合 图像的整合是图像镶嵌技术中的难点，它要计算相邻两幅具有重叠区域的 图像间的变换参数。由于在柱面全景图镶嵌的图象数据采集过程中机器镜头没 有发生大的偏斜和仰俯，采集到的图象集中相邻两幅图象间旋转、仿射、透视 的关系并不明显，而主要是平移关系，因此，本文所要研究的重点是要确定通 过柱面投影变换得到的镶嵌图像集中相邻两幅图像之间在宽度和高度上的重叠 程度。根据此项数据，可以按照变换参数将各镶嵌图像排列成首尾相连的完蝗 的一列，从而实现柱面全景图的整合。 图像的整合不但是图像镶嵌中的难点，而且还是进行图像镶嵌时最为关键 的一步，它直接影响到整个图像镶嵌过程的镶嵌效果和镶嵌速度。图像整合过 程如图3 5 所示： 毳 毳毳 霪篓毳 ii 一 首尾相接 图3 5图像整合过程示意图 本论文巾使用基于特征区域匹配的方法来进行图像的整合工作，它由两幅 图象重叠部分的剥应区域入手，提取典型的对应区域作为特征区域，利用特征 区域问存在的相似性关系进行特征区域匹配，得到图像间的冗余区域范围，实 现图像的整合。 3 4 1 特征选择 基于特征匹配的图像整合过程的第一步是进行图像匹配特征的选择。一幅 图像中蕴含着丰富的信息，用于区别该图像和其它图像的图像特征也是多种多 样的，图像中的像素灰度、几何形状、画面明暗、色彩分布等因素都可以作为 描述这幅图像的特征参数。图像匹配特征的选择就是要根据柱面全景图整合的 特点，在综合考虑算法效果和算法速度的基础上，从众多的图像特征参数中选 择一种适用于柱面全景图整合的特征作为图像匹配特征，以实现图像整合算