（计算机软件与理论专业论文）基于图像绘制虚拟现实关键技术研究.pdf

茎王璺盥叁! ! 生篓堡壅叁壁茎点堑茎 摘要 传统的虚拟现实是用计算机图形学的方法构造的。通过对真实世界的抽象建 立三缝足 嚣攘黧，漫游簿摄摄躐察者兹稼墨方囱，弱臻谤舞辍实魏多逮形绘裂、 着色、光照、消隐以及投影的方法生成新的视景。这种方法需要大量的三维几何 建摸秘专门酌三缝绘裁溪 睾，穗县在场爨实霉拿漫游避，场最的复杂疫影嫡了绘潮 的表现质量，滩以达到完全逼真的场景。 基于图像绘测虚拟现实技术剩用摄豫枕拍摄的真实图像，经过图像处联把一 系列图像合成众景图，褥重新桷成新的视图。这种方法不需要建模，场景邋真度 高，场景的处域与场景的复杂度无关，只与图像分辨率有关。因此近年来这个领 域很抉成为计舞视视觉、图像簸淫、计簿视图形学研究的热点。 本论文是以基于图像绘制技术作为理论基础，因此先概述了基于图像绘制技 术，着重夯绥了全景函敬建模豹方法和全象图静辫像绘裁方法。 在基于图像绘制技术的基础之上，本论文综述了基于阁像绘制虚拟现蜜的关 键闺嚣之一霾豫差謦矮技术。在参舞7 大量翡瀚际土最耩靛文献之后，禳据图 像拼接的过程进行论述，即对图像的获取、几何变形校正、图像对齐、图像融合 等步骤弱骚究方法馋了毙较分摄，著擐漱了当蘩疆究孛存在懿驾熬。 为了处理当前的全景图拼接样在的效果和速度的问题，本论文提出了一种新 的抉逮的柱厦垒景圈豫的捞接方寰。墅像瓣弃采髑鳇基予2 幂子髫像豹攘缀相关 度法，从而提商了对齐的速度和减小了图像间重藏率。对于柱面套景图，使用一 种新的迭代方法计算照相机焦躐参数。农圈像的融合前，提出了基于重叠联域的 曝光 p 偿和平滑过渡的融合方法。另外还讨论了局部对齐，对优亿变换袋用了 l e v e n b e r g - m a r q u a r d t 非线性最小化迭代算法计算其最小谈差。 当全荣图像拼接成功后，藏w 良投影交形梅逡漫游场景。场景漫游类似一台 虚拟摄像机在场景中运劫，摄像机的运动决定了漫游的路线。虚拟场景的漫游需 要一令交互静环境，本文给窭了全景霾溺菱器的羹瑷算法愚籍，缝织帮链犊全景 图节点构建虚拟环境，平滑连续的切换场景节点就可以实现虚拟环境的漫游。 为了扩大键绫潮爨器漫游静巍努，零文疆窭一秘基予惫歉投影瓣霪按场景漫 游浏览器。它可以让漫游时观察的场景视野更大，观察者w 以对场景全局概念有 更好的理鼹。除姥之势，这静浏蓬器还霹班遁囊横熬菠转戆球瑟。 关键溺：虚拟现实，图像绘割，图像拼接，全景圈，鱼g 疑投影，攫掇场景漫游 簸盥大学硕士学位论文第1 页 堡! 鉴型曼苎! ! ! ! ! ! ! 垦竺! 竺! ! ! ! 里竖：! 竺鲤墨竺! 型坚! ! 型型垦型! 堡 一 a b s t r a c t t r a d i t i o n a l l y , v i r t u a lr e a k t ys y s t e mu s e3 dc o m p u t e rg r a p h i c st om o d e la n dr e n d e rv i r t u a l e n v i r o n m e n t si nr e a l - t i m e i nt e r m so ft h ed i r e c t i o no fo b s e r v e r ，an e w v i e wc a nb ec r e a t e du s i n g p o l y g o nr e n d e r i n g ，c o l o r a t i n g , i l l u m i n a t i n g ，b l a n k i n ga n dp r o j e c t i n g w h i c hc o m p u t e ri m p l e m e n t 、 t h i sa p p r o a c hu s u a l l yr e q u i r e sl a b o r i o u sm o d e l i n ga n de x p e n s i v es p e c i a lp u r p o s er e n d e r i n g h a r d w a r e t h er e n d e r i n gq u a l i t ya n ds c e n ec o m p l e x i t ya r eo f t e nl i m i t e db e c a u s eo ft h er e a l 。t i m e c o n s t r a i n t i m a g e - b a s e dr e n d e n n gv i r t u a lr e a l i t yu s er e a li m a g e sw h i c hc a m e r as h o o t ，a n das e r i a lo f i m a g e sc o m b i n e st op a n o r a m i ci m a g eb yi m a g ep r o c e s s i n g ，t h e nc r e a t ean e w v i e wb yp r o j e c t i o n t h ea p p r o a c hd o e s n tn e e dm o d e l i n ga n ds c e n ef i d e l i t yi sh i g h s c e n eq u a l i t yi si n d e p e n d e n to f s c e n ec o m p l e x i t ya n di sd e p e n d e n to ni m a g er e s o l u t i o nr a t i o s ot h ef i e l ds o o nb e c o m e sa na c t i v e a r e ao fr e s e a r c hi nt h ef i e l d so fc o m p u t e rv i s i o n , i m a g ep r o c e s s i n ga n dc o m p u t e rg r a p h i c si n r e c e n t y e a r s t h et h e o r yb a s eo ft h i sp a p e ri st h et e c h n o l o g yo fi m a g e - b a s e dr e n d e r i n g , s of i r s t l yt h e t e c h n o l o g yi ss u m m a r i z e d i nt h i sp a r t ，p l e n o p t i cf u n c t i o nm o d e l i n ga n dp a n o r a m ar e n d e r i n ga r c i n t r o d u c e d t h ea u t o m a t i cf a s tc o n s t r u c t i o no f u n l i m i t e df i e l do f v i e w , h i g h - r e s o l u t i o ni m a g em o s a i c si sa m a i nr e s e a r c ht a s ko fi m a g e - b a s e d r e n d e r i n g t h ep a p e r s u m m a r i z e st h er e s e a r c ha n d d e v e l o p m e n to fi m a g em o s a i c s a c c o r d i n g t ot h e p r o c e d u r eo fi m a g em o s a i c s ，t h ep a p e r i n 仃o d u c e sa n dd i s c u s s e si m a g ea c q u i s i t i o n ，g e o m e t r i cc o r r e c t i o n s ，i m a g er e g i s t e ra n di m a g e b l e n d i n gi nd e t a i l i na d d i t i o n , t h ep a r tn l a k e sad i s c u s s i o no n s o m e p r o b l e m so f c u r r e n t r e s e a r c h i no r d e rt om a k ec o m p r o m i s ew i t ht h ep r o b l e mo fq u a l i t ya n ds p e e di np a n o r a m as t i t c h i n g ， t h i sp a p e rp r e s e n t san e w a p p r o a c ht h a tu s e s3 6 0 - d e g r e ec y l i n d r i c a lp a n o r a m i ci m a g e st oc o m p o s e av i r t u a le n v i r o n m e n t i nt h ea p p r o a c h ，t w o - p o w e r s u b - i m a g e i su s e di np h a s ec o r r e c t i o ns oi m a g e r e g i s t e ri sf a s t e rt h a ne v e la n e wi t e m t i v em e a n sc a nf i g u r eo u tf o c u so fc a n l e r ap a r a m e t e r t h e p a p e rb r i n g sf o r w a r de x p o s u r ec o m p e n s a t i o n b a s e do n o v e r l a p p i n ga l g aa n d s m o o t ht r a n s i t i o n l o c a lr e g i s t e r , n a m e l yt r a n s f o r mo p t i m i z a t i o n ，u s e sl e v e n b e r g - m a r q u a r d tm i n i m i z a t i o na l g o r i t h m t om i n i m i z et h es u mo f t h es q u a r e di n t e n s i t yd i f f e r e n c e sb e t w e e nt h ei m a g e s t h ep a n o r a m i ci m a g e sc a nb ec r e a t e dw i t hs t i t c h i n gt o g e t h e ro v e r l a p p i n g p h o t o g r a p h s t a k e n w i t har e g u l a rc a m e r a t h ep a n o r a m i ci m a g ei s d i g i t a l l yw a r p e do n - t h e f l yt os i m u l a t ec a m e r a p a n n i n ga n dz o o m i n g w a l k i n gr o u t i n ei sd e p e n d e n to nc a m e r am o t i o n t h ep a p e rd e s c r i b e s a r i t h m e t i ct h o u g h t r e a l i z i n g ap a n o r a m i c i m a g ev i e w e r w a l k i n g i na s p a c e i s c u r r e n t l y a c c o m p l i s h e db y h o p p i n g ”t od i f f e r e n tp a n o r a m i cp o i n t s u n l i k et r a d i t i o n a l p e r s p e c t i v ep r o j e c t i o n , f i s h e y ep r o j e c t i o n c a nc o n s t r u c tav i r t u a l e n v i r o n m e n tw i t hs p e c i a le f f e c t ss u c ha sw i d ev i e wa n d g l o b a lv i e w ak i n do f n e w v i e w e rc a l l e d v i e w e ro f f i s h e y e p r o j e c t i o n ，b a s e do nt h ec o n c o p t so f t w o k i n d so f f i s h e y e p r o j e c t i o n ，i m p l e m e n t s t h ea l g o r i t h mt op m d u c ea n g u l a r f i s h e y ep r o j e c t i o nf r o ml a t i t u d e l o n g i t u d ep r o j e c t i o ni m a g e t h e a l g o r i t h mh a sav i e w i n gc a p a b i l i t yo ft h r e e d e g r e e - o ff r e e d o mi nt e r m so fc a m e r ar o t a t i n ga n d c o n t i n u o u sz o o m i n g k e yw o r d s ：v i r t u a lr e a l i t y , i m a g e - b a s e dr e n d i n g ，i m a g em o s a i c s ，i m a g es t i t c h i n g ，p a n o r a m i c i m a g e ，f i s h e y ep r o j e e t i o n ，v i r t u a lr e a l i t yt r a v e l i n g 复旦大学颂士学位论文第1 i 页 第一章前言 第一章前言 本章先阐述了研究背景、传统虚拟现实的限制和基于图像绘制虚拟现实的发展 机遇，然后概述了基于图像的绘制技术，主要介绍了全景函数建模和全景图的方法， 最后介绍本文的研究内容和文章的组织结构。 1 1 研究背景 虚拟现实( v i r t u a lr e a l i t y ) 技术是一种能够逼真地模拟人在自然环境中的视 觉、听觉、运动等行为的人机界面技术。虚拟现实的基本特征是： 沉浸( i m m e r s i o n ) ，参与者在虚拟环境中有身临其境的真实感觉； 交互( i n t e r a c t i o n ) ，通过使用虚拟的交互接口设备实现人的自然技能对 虚拟环境物体的交互操作和从环境中得到相应的自然反馈； 构想( i m a g i n a t i o n ) ，参与者沉浸在多维信息空间中，依靠自己的感知和 认知能力全方位地获取知识，形成新的概念。 虚拟现实是多种技术的综合，其关键技术和主要研究内容：环境建模技术， 立体声合成技术和立体显示技术，触觉反馈，人与场景的融合交互技术，图形图 像的实时生成技术等。 传统的虚拟现实技术是利用计算机图形学的三维建模技术生成几何模型，这 些模型可以用通过c a d 建模软件和三维数字化设备等工具生成。要生成表面具 有真实感的三维几何模型，通常采用纹理映射，环境映射，明暗算法和实时消隐 等技术，或者这些技术来实现组合。 虚拟环境的建模是整个虚拟现实系统建立的基础，主要包括三维视觉建模和 三维听觉建模。其中，视觉建模主要包括几何建模( g e o m e t r i cm o d e l i n g ) 、运动 建模( k i n e m a t i cm o d e l i n g ) 、物理建模( p h y s i c a l m o d e l i n g ) 、对象特性( o b j e c t b e h a v i o r ) 建模以及建模切分( m o d e ls e g m e n t a t i o n ) 等。听觉建模通常只是把交 互的声音响应增加到用户和对象的活动中。基于数据手套的虚拟现实建模方法是 虚拟现实建模的一种新的探索，可以很直观的建模，但要应用到实际，需要大量 的虚拟现实模型库。 在目前有限的软硬件的条件下，三维建模和图形绘制是不能满足实际的虚拟 现实的需要，而且存在很多限制： 生成复杂的几何模型需要巨大的工作量和数据量，也需要使用很多建模 方面的技巧； 为了绘制出较好的效果，需要大量耗费时间的计算，并且经验对结果影 复旦大学硕士学位论文 第1 页 响很大，绘制效率低下； 生成图像结构不能够很好的满足不同层次的要求，很多细节也很难用结 构来描述完善，对于微观细节变化丰富细腻的场景，单纯的实体模型很 难达到真实的视觉效果。 由于三维的建模和图形绘制的这些限制，计算机图形学和计算机视觉学界开 始关注一种称为基于图像绘郴m a g e b a s e d r e n d e r i n g ) l 拘新技术。 基于图形绘制的发展影响着这三个领域发展：计算机视觉试图模仿人的视觉 功能，从若干视点的图像来推断成像物体的得几何形状并识别物体；计算机图形 学中，通过将图像粘贴于几何模型的表面( 纹理贴图) 来增强近视几何绘制法的 真实效果，图像用于近似球形光照效果中( 环境贴图) ，和图像自身构成场景描 述为主体的系统。同时，计算机图形学从已知的物体几何模型生成指定视点的投 影图像。 对于复杂的真实场景，传统的计算机图形学的几何建模技术是难以生成具有 真实感的图像的；利用计算机视觉中多视图几何理论建立基于图像的模型，则不 必过分依赖于场景的几何模型就可以生成真实感较强的图像。 基于图像绘制虚拟现实技术与传统三维建模和图形绘制场景技术的根本区 别在于：它不过分依赖于几何建模，而是通过事先获取的一组自然场景图像序列， 对环境进行合成，对这些图像适当的变换，插补出位于不同视点下的新视图，最 终实现虚拟环境的完全漫游。其最大优点在于，生成的环境是这组图像所反映的 客观真实的场景。 与基于几何的传统绘制技术相比，基于图像绘制技术的优势在于： 利用二维图像信息来表达、绘制场景，以达到比较好的真实感和实时性。 不需要复杂的计算，而是直接从已有的视图中合成新的视图。由于它脱 离了对象的三维结构，所以绘制时与场景的复杂度是无关的： 预先存储的图像或环境映照既可以是计算机合成的，也可以是实际拍摄 的画面，两者可以混合使用； 算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复 杂场景的实时显示。 1 2 基于图像绘制的技术 基于图像绘制( i m a g eb a s e dr e n d e r i n g ) 技术是在二十世纪八十年代由 l i p p m a n 和m i l l e r 提出来的 l i p p m a n 8 0 m i l l e r 9 2 ，这种方法一经提出，便得到 了极大的发展。基于图像的绘制技术，是基于一些预先生成的场景图像，对接近 于视点或视线方向的图像进行变换、插值与变形，从而快速得到新视点处的场景 复旦大学硕士学位论文第2 页 第一章前言 图像。 基于图像绘制技术源于在计算机图形学中广泛使用的纹理映射。纹理映射是 将纹理图像映射到简单景物的几何表面，以近似模拟景物表面丰富的纹理细节。 用户可取不同的位置和角度来观察这些景物，变化观察视点和视线方时，新视图 的绘制过程实际上是纹理图像在取景变换之后的简单景物几何上的重投影变形 的过程。 在纹理映射的基础上出现了环境映射方法，环境映射是采用景物的包围球及 其经、纬度定义的。用纹理图像来表示景物表面的镜面反射和规则透射效果。具 体来说，场景中任意一点处的环境映射可通过取该点为视点，将周围场景投影变 形到一个中间面上来得到，中间面可取球面、立方体、圆柱面等。这样，当通过 该点沿任意视线方向观察场景时，环境映射都可提供场景的完全、准确的视图。 环境映射以较小的代价成功地实现了复杂场景的实时绘制。 根据本文的需要，下面讨论两种基于图像绘制的技术。 1 2 1 全景函数建模 在1 9 9 5 年，m c m i l l a n 提出一种新的图像绘制的模型描述方法全景建模 ( p l e n o p t i cm o d e l i n g ) 方法 m e m i l l a n 9 5 。这种方法根据a d e l s o n 的全景函数 ( p l e n o p t i cf u n c t i o n ) 概念 a d e l s o n 9 1 建立了个统一的数学描述给定场景的所 有图像信息。 全景函数当时是为了所谓“前期视觉”( e a r l yv e r s i o n ) 研究的需要而提出来的。 前期视觉和常规的计算机视觉不同，它考虑的不是把一幅图像中的物体恢复出 来，明确图像中“有什么东西”，而着重于图像的内容提取，寻找图像中“有什 么内容”，以便于后期的计算机视觉处理。图像“内容”则主要体现在图像的辐 射能量( 光强) 分布结构上。 a d e l s o n 把从空间任意点，在任意时刻和覆盖任意波长范围的可见光线锥， 命名为全景函数。全景函数描述了从观察者而非光源的角度所感知的全部辐射能 量。它的假定是：所有的基本视觉测量都可以被认为是沿着单个函数的一维或两 维描述本地的变化，该函数描述了传递到观察者的光线中的信息结构。用这个函 数来表达空间的辐射能量分布，并推导因为运动、颜色、观察方向变化而引起的 辐射能量分布变化。 a d e l s o n 通过提供一个对全景函数有效的参数空间，进一步将此函数的描述 公式化，见图2 1 。 复旦大学硕士学位论文 第3 页 第一章前言 图2 ，1 全景函数定义 骰恕一个瑷想铯豹人艰，可强把它披在空阈 t ，玩，咒孛拯意一点。飙那里 可以通过选择水平和垂直的方便角( 口，) ，以及需考虑的波长带宽五来选择任意 的可煲光线。 程动态的场景情况下，可以附加上时间f ，于是全景函数变为： p = p p ，妒，丑，k ，以，f ) 在计算枫豳形中，全景函数描述了一个已知的场景的所有可能的环袋闰集 合。基于可视化目的，我们可把全景函数看作一种场景表示法。为了从一个已知 酶熹在一个特辣翡方两上产生橇闰，我稻只需要对菜一常数f 输入个 ，t 值并选择一个一，庐) 范翻即可。 定义了全繁遮鼗器，基于图像绘裁瀚踅可敬糖述为：透过对全象函蠡黢离鼗 采样，生成全景函数的一个连续袋示，然后由这个连续的表示合成新视点的图像， 聱全豢涵数骢采撑、重建移重罴撑豹过瑕。 为定义一个完整的全景函数样板，把它作为在给定时间和观察点的情况下的 全景球蘧图。怒义一个习浣全的样板，份为此球矮圈弱菜立体惫菠豹子嶷。摄 据这个定义，球形映射和立方体映射的怒完全样本，平面映射和圆柱体映射的是 不完全样本。m c m i l l i a n 采用圆犍体映射作为重拇全景蘧数韵样本。 全景函数程重构过程中会出现重叠和空洞。对于重擞的情况，可以采用类 似插戗的方法，将圆 烹蕊上的务个点进行排序，从后向髓进行变换，就可以解 决重藏时的可嫩性问题。对于空洞问题，可以采用设置背景色和插值来进行弥 补，这和视图捅值方法是一样的，但在燕构输段两个样冰之闻的对应点谯这个 模型下基本是用手工解决的，当前的s t e r e o 技术仍然不能解决。这种方法在漫 游到一个新的视点时需簧产生个新的众景图，其实对予普通的漫游来说，只 需要计算一定视线方向的输出豳像而没必要生成全景图。另外对于真实图像产 藏旦大学硕士学位论文 第4 页 硷哪 第一章前言 生的全景图需要事先标定对应点，对于计算机生成的图像需要知道视点参数和 图像深度值。在全景函数模式下，视点的唯一矢量实际上被转化为角度差矢量。 要得到一个场景的全景函数几乎是不可能的，因此有很多研究努力对全景函 数进行了简化。 光域重建 l e n v o y 9 6 1 ( l i g h t f i e l dr e c o n s t r u c t i o n ) 技术就是在全景函数重建技 术基础上发展起来的。它将空间中的任意一条光线用两个平面来描述，光线与两 个平面的交点坐标就构成了它的全景函数坐标。再假设场景不随时间变化，并且 不考虑波长，则可以有效地将全景函数的维数降低到4 维。 g o r t l e r 9 6 的 l u m i g r a p h 的表示方法把场景限制在立方体中，表示比较复杂，通过对自由空间 的进行密集采样来表示全景信息，这一表示可以支持任意角度和角度的观察，但 是需要巨大的数据量，而且方法也复杂，生成新视图的运算量比较大。 h e u n g y e u n gs h u m 提出了同心圆拼图的方法 s h t n n 9 9 ，更进一步将全景函 数维数降低到了3 维，从而大幅度降低了需要采集的数据量。利用同心圆的方法， 只要用一个摄影机作一个平面旋转运动，就可以采集到所需的数据，重建全景函 数。和1 i g h tf i e l d 、l u m i g r a p h 相比，同心圆拼图法生成的文件较小。同心圆 拼图法可以不用恢复几何和照片空间的模型，用户可以在圆的范围内自由的移 动。 1 2 2 全景图方法 当虚拟照相机的位置被固定在一个很小范围时，即视点固定不动，沿着三个 方向转动，视线可以任意转动。这样将从视点所能见到的所有图像都保存下来， 显示时根据视线的方向把相应的图像显示出来。称为全景图方法 r e g a n 9 4 m a r m 9 4 】。 如果视点不运动，那么全景函数中的位置变量 ，吒) 都可以省去，这样 就成了两维的全视函数( 口，) ，这样，全景函数建模就变成了全景图技术 ( p a n o r a m a ) 。 当全景图的表现是视点不动时，视线方向改变所可能看见的所有视图，描述 了在一个固定视点上接收到的所有可见光辐射的能量。 全景图可以用图形绘制、全景照相机( o m n i - d i r e e t i o n a lc a m e r a ) 或者鱼眼 ( f i s he y e s ) 照相机方便地获得。但是目前最流行的方法而是在一个视点上拍摄 四周得到一组图片，把它们拼接起来就得到了全景图。 构建全景图像绘制的过程通常可以分成三步：先通过“对齐”( r e g i s t c r ) ， 把原始场景照片变换投影到一个统一的参考面上进行对齐；然后把对齐的照片鹅 拼接融合在一起构成全景图上，通常用经纬纹理图表示s z e l i s k i 9 6 ；最后，全 复旦大学硕士学位论文 第5 页 第一章前言 景图像被重投影蓟一个几何形体的表面上进行显示。投影平面通常有：简荦形体 有平面、立方体表面和最常见的球面和闼柱面。 爨然全景图技术存在着视点不稚交国移动的缺点，餐楚因为便愆这释技术场 景构筑简单，算法成熟，到目前为止，迢产品化得最好的基于图像绘制技术。 a p p l e 公司裁溺垒景鹜技末生产鳃q u i c k t i m ev r c h e r t 9 5 是第一个成臻瀚萋予 图像绘制技术的商业软件产品。 畿鑫毅照糖捉熬经爱露定避，镜头终饪意方巍转羲怼，可叹题辐金爨錾亲 记录替个方向得到的图像，在鼠示时只嚣按照相应的视点方向显示预先存储的全 景图的一部分藏可以褥剩稳应的瑗景输感。 全景图的方法的优点在于： 采样简单、样本少。构建全景图的输入图像只需要数蝠就够了。 减少了信息的冗余。去除输入的图像样本之间的鲞复信息，把这髓图像 拼接融合成全爨图像。念景图像上的每个像素都是唯一的。 数学模型简荜，二维就搿驻描述整个场綮。 场景熏现只需翳对全景图重投影即可。 1 3 本文研究内容和组织结构 根据前面对研究背景和基于图像绘制技术的分析，可以看出熬于图像绘制虚 拟现寅还嚣要锻多特研究鲍内寨。 本文首先对目前图像拼接技术综述，根据图像拼接过程，对图像获取、几何 校正、图像对齐和图像融合等步骤的各秘技术进行了分耪亍细评论，并提出了存在 的问鼷。 针埘图像拼接的技术，本论文提出了自己的磺究方法，对全最图韵拼接采用 了更麓有效快遴翦愚籍，帮基予2 幂子黟像酶相位相关度对齐酶方法。霹鼗坐标 的全景图拼接鬻要估计照相机焦距参数f t 本文采用了两两对齐相邻图像位置偏 移叠热熬方法。奁图像辫缮光 偿审，挺出了基予重叠嚣域夔瀑巍 偿方法稻醚 合前的光强平滑过渡算法。 受援场景的溺夔霹淤使鼹器学赛旗箕凌夔在纛援场暴孛漫游。奉文在交互强 境上作了些工作，给出全景图浏览器的算法和虚拟环境中全景图节点的组织和链 接。为了扩大浏览爨的视野，本文提出了基于鱼目器投影靛缓最漫辩愚想，它寿剩 于漫游场景时对全局的理解。同时，也可以逼真的模拟球体的浏簏。 本文共分六章，第一章前言舟绍了错究背景和概述了基予图像绘赣l 技术，第 六章为总结和滋一步的工作，第二章到第五章的为本文论述和研究内容。 第二章匿i 像拼接技术。分析和比较了图像拼接过程中务步骤的技术；照 藏量大学碾士学位论文第6 页 第一章前言 相机拍摄时的三种运动状态决定了图像获取；全局几何校正和局部几何 校正：几种典型的图像对齐模型；和图像融合的技术。 第三章一种快速的图像拼接算法。论述了基于2 幂子图像的相位相关度 的快速图像拼接方法，和计算柱面投影时虚拟照相机的焦距参数的方法， 以及局部对齐的方法。在曝光补偿中，提出基于重叠区域的曝光补偿的 方法和融合平滑过渡的算法。 第四章基于图像虚拟场景的漫游。在虚拟摄像机运动模型和全景经纬映 射图的基础上，给出了全景图场景浏览的算法，虚拟环境中全景图节点 的组织和链接。 第五章基于鱼眼投影虚拟场景漫游。概述了半球鱼眼投影和角度鱼眼投 影，给出了全景图的鱼眼重投影和交互浏览的算法。 复旦大学硕士学位论文 第7 页 塑三兰鬯照塑堡垫垄 第二章图像拼接技术 由一系列重叠的图像自动快速的构造一个大视野、高清晰的图像一直是图像拼 搂镖域疆舞约圭要援越。本章擞提蚕缘拱接熬过程，怼鹫缘获取( 籀摄) 、扎鼹变 形的校正、圈像对齐模型和图像融合等步骤进行了详细的论述和比较分析。并指出 了当嚣璎究中存在匏些翅题，跣及今舞妻皇研究夯囊， 2 。1 弓i 言 图像拼接( i m a g em o s a i c s ) 是一个日益流行的研究领域，它已经成为照相绘 鞫学、计算橇 ! 冤整、霞檬处理帮计算梳蕊澎学霹究中静热点。垂像掰接解决静阔 题一般是，通过对齐一系列空间重叠的圈像，构造一个茏缝的，黼清晰的图像， 它其鸯跑萃个激像更褰豹分辨率嚣更大豹褪舅。 早期的图像拼接研究一直用于照相绘图学，主要是对大量航拍或卫星的图像 兹整合。近年来疆藿图像巍接投术魏礤突帮发爨，它镬蒸予銎缘戆绘铡( i b r ) 成为结合两个赋补领域一计算机视觉和计算机图形学的研究焦点。在计算机视觉 领域中，图像攒接成为慰可视钝场景攒述( v i s u a ls c e 珏er e p r e s e n t a t i o n s ) 麴主要 研究方法 a n a n d a n + 9 5 ；在计算机图形学中，现实世界的图像过去一直用于环境 贴图，即合成静态的背景和增加合成物体真实感的贴图。图像拱接可以便i b r 从一系列真实随像中快速绘制舆有真实戆的新视阔 k a n 9 9 7 a 。 翻前，一个特别流行图像拼接技术附应用是全景图的拼接，它是基于图像绘 涮虚羧现实场祭创建藕寝狠漫游的基碲。由于圈像是独童拍摄鹃，在光滑表面上 (如圆柱面 c h e n 9 5 m c m i l l a n 9 5 【s z e l i s k i 9 6 】 和球面 【s z e l i s k i 9 7 x i o n 9 9 7 c o o r 9 9 8 c o o r # 0 0 0 ) 逶簿图豫辨接对溥耀度滏有约寒， 并且可阻避免不连续现象。全景图提供一种在虚拟场景蹙互式浏览中良好的感 觉，搜蠲苇熹台藏多令场景可强诖强户褒场景之耀甥挨漫游 c h e n 9 5 c o o r 9 9 8 ， 利用计算机视觉的方法，能够从两个节点之间产生新的中间视点图像 蛩4 e m i b a n 9 5 。与几键模型绘制真实场豢相反，霹以从这些苇点熬建场景熬3 d 几何模型 s h u m 9 8 。 嬲像拼接的其它一些应用礴凰缘的稳定和变化检澳 m o r i m o t 0 9 7 ，图像分辨 率增强 c a p e l 9 8 ，视频处理 i r a n i 9 6 】，包括视频压缩 l e e + 9 7 和视颓索引 i r a n i 9 8 。 图像拼接过程一般分为四个步骤： ( 1 ) 拍掇获取嚣像净磺。希鋈辩按静结果决定了瀚像获取方式。 ( 2 ) 镜头引起几何变形的校正。利用图像序列数据或照相机模型进行校 复旦大学硕士学位论文 第8 页 第二章网像拼接技术 正。 ( 3 ) 对几何校正羼的图像进行对齐。 ( 4 图像的融合，清除对齐图像躺不连续释缝陈。 很多情况下，( 2 ) ( 3 ) 是结合在一起进行的。通常的图像拼接的技术也适用 于全爨錾像擗羧，困魏本文籍一目讨论垒景图像拼接。 本章首先介绍了图像获取( 拍摄) 的方法，按着讨论了图像几何变形的校正， 然嚣难典型静黼像对齐模墅窝辩莠君麴强像台裁避蠡了谬缀魏论逑泰魄较分辑。 最后指出了研究中存在的问题，以及今后的研究方向。 2 2 图像获取( i m a g ea c q u is i t i o n ) 黼像获取方法不蹒导致取衡输入图像的不同，最终拼接结果也不同。黼像获 取由照相机拍摄时运动状态决定。一般肖三种情况 c h e r t 9 9 ：( 1 ) 照相机阉定在 三角蘩上，旋转慧裰梳糖摄。( 2 ) 照福橇放置予一个滔鞔上，平行移动照楣梳送 行拍掇。( 3 ) 照一种普通的情况，人手持照相机，站在原地拍摄四周，或者沿着 照相搬豹光辘藤壹方囱走菇拍凝。 2 2 。1 旋转照相枕拍摄 猩这种情况下，放黻照相机的三脚架在拍摄过程中一直在同一位置。拍摄时， 爨葙橇绕垂壹辘旋转，簿囊转一定獒角发，箍摄张照片。理怒豹谤瑟下，爨耦 机不绕照相机光轴旋转。 攒摄褥到一系列照片孛超邻嚣张必矮毒郭分重叠。熏爨区域大小是髫镶糖接 最重要的影响因素。文 c h 。9 5 建议相邻图像之间重叠比例达到5 0 。重叠比例 越丈，拱接就越容易，但是嚣要的照片越多。 旋转照相机拍摄由于照相机固定，不需要恢复过多参数，较容易实现。但是， 拍摄图像不在个平面上，需要投影到嚼个平灏上，这将会导致强像质爨f 降。 一个解决方法怒使用愆焦距，即广角镜头。 2 。2 。2 平移爨裾辘季妻摄 平移照相机指的是照相机农一个平行于敲像平面的方向上平穆。在固定焦距 鲍情况下，照柏机放置在一个滑轨上移动拍摄。褥体和照相杌的躐离远近，或者 拍摄物体的大小的变化，都会影响到最后的拼接结果。 这种倩琵酌缺点；拍摄酶耨片在一个平蔼上，全景图的三维感觉不如旋转拍 摄的。 瑟旦犬学硕士学位论文第9 页 第二章图像拼接技术 2 2 3 手持照相机拍摄 这种方法比较容易做到，手持照相机原地旋转拍摄，或按一定的路线平行于 对象拍摄。但是，拼接手持照相机拍摄的照片是很困难的，因为在拍摄过程中， 照相机的运动非常复杂。原地旋转拍摄类似于固定照相机旋转拍摄，但是角度控 制，旋转控制都很差。摄像机沿预定的路线移动时，类似于平移拍摄，控制距离 和保持相同的成像平面很困难。为了减少这些影响，可以增加重叠比例，使照相 机旋转角度、平移减小，因而减小相邻图像之间的不连续程度。 2 2 4 存在的问题 最常见的问题就是相邻图像之间光强的变化较大。理想情况下，相同的区域 应该有相同的光强，但是因为光源变化或者照相机运动和光源夹角的变化，导致 光强的差异。 另外一个和光照条件相关的问题是反光区域，例如，镜子和闪亮金属。高亮 光将会降低相应区域的对比度。 场景中物体移动和拍摄时透镜引起的图像变形也将给对齐拼接带来困难。 上述的方法一般限制了照相机的运动，但是实际中拍摄的图像存在小视差， 不同比例的缩放和大角度旋转，这些都增加了对齐拼接的难度。因此很多文献 【m c m i l l a n 9 5 【s z e l i s k i 9 6 k a n 9 9 7 b 要求照相机以最小运动视差旋转拍摄。 2 3 几何校正( g e o m e t ri cc o r r e c t i o r s ) 几何变换通过重新映射，改变图像象素点之间空间关系。几何变换包括全局 和局部的变换【g u m u s t e k i n 9 9 b 全局的变换通常有一个等式定义可以对整幅图像 进行变换。局部变换只用于图像的部分，难以精确表达。几何变换通常用一些参 数控制整个图像象素的运动，大量的象素信息对参数的估计很有效。 2 3 1 照相机运动投影模型 照相机运动投影模型包括2 d 的仿射变换和透视变换。仿射变换可以表示为 ，( z ) = a x + b 其中a 是变换矩阵，b 是平移矢量。矩阵a 控制仿射的缩放、旋转和剪切效果 椭( 篇：篱 缩放和旋转 复旦大学硕士学位论文 第1 0 页 第二章图像拼接技术 垂直剪切 水平剪切 比例变换 透视变换是中心投影的射影变换，用非齐次射影坐标表达时，透视变换用8 参数单应矩阵( h o m o g r a p h y ) a 表示，改变矩阵一进行透视校正，透视变换也表 示为平面的分式线性变换： 工t = 竺! ! 兰! 1 2 z 竺! m 3 【j + m 3 2 y + 1 v - = m 2 1 x + m 2 2 y + m 2 3 m 3 t x + m 3 2 y + 1 其中w 为缩放参数。变换后的新图像坐标：z = x w ，y = y 7 w 。 仅当图像之间没有运动视差时，相应图像的仿射变换才对所有象素有效。运 动参数可以通过迭代求解 s z e l i s k i 9 6 【s z e l i s k i 9 7 c a p e l 9 8 s a w h n e y 9 7 。 8 参数单应矩阵能够精确描述照相机沿固定点旋转拍摄的不同视图间透视变换。 具有代表性的透视变换有：投影变换，立体平面( s t e r e o g r a p h i c ) 变换和等距投 影变换。这些变换有各自的特点：投影变换保持了线的形状，而立体平面变换保 持了圆形状的特征。立体平面变换可以映射球面全部区域到一个投影平面上。等 距投影变换可以看作球面的展平，它映射视图全部区域而不再是近似的情形。 2 3 2 柱面、球面投影 照相机绕固定点旋转拍摄获取图像序列的描述和合成一般用柱面和球面投 影表示。在柱面、球面上合成的3 6 0 度的图像称为全景图。全景函数 m c m i l l a n 9 5 1 ( p l e n o p t i cf u n c t i o n ) 描述了一个已知场景可能环境集合，全景图是从固定观察 位置全景函数的一个采样。 描述全景图通常采用柱面映射 c h e n 9 5 【m c m i l l a n 9 5 s z e l i s k i 9 6 】，不考虑底 面和顶面，在柱面坐标系统中用一致的采样合成全景图。球面映射 【s z e l i s k i 9 7 x i o n 9 9 7 c o o r 9 9 8 也作为描述全景图的环境。但球面全景图在极点 处的异常使其构造显得复杂，极点附近的数值误差会导致自动拼接时评价误差不 规则。在极点区域用鱼眼透镜获取图像和相对小尺寸图像会减轻上述异常的出 复旦大学硕士学位论文第1 i 页 ， 习刁o 0 a o o = 一一 l i 4 a 爿 1j 工y 1 viijj且 。 ：! 丑 强 m m 珊 m m m 。l i l 1，j f r ，l 帮二章图像拼接技术 现。在文 s z e l i s l 【i 9 7 】和( c o o 玛9 8 中，相邻闰像间在映射到球面前的相对旋转运动 可以避免图像辩齐时的异常。文【s a t y a n 2 0 0 0 3 提出了一个从普通光学中心得到一 系列图像产生球面拼接的算法。这个算法计算蹶每幅图豫和基准图像的相关旋 转，从而修正照相机内部参数估计，同时又根据念局重叠图像区域优化了目标函 数，褥翔精确酌旋转增蹩。 2 ，3 。3 照相规条姻搓运动 平面照相机在平移运动情况下，拍摄存在的视差会使几何校戚变得复杂，一 维照稳梳( 鲡“p u s h b r o o mc a m e r a ”) 掇猫式静场景掐裰能够避免这静复杂的情 况。这种方法能够用传统的照相机模拟，把两维图像序列中扫描条合并为一系列 程韶嚣域。一维熏裾瓿霹戮旋转褥鹫穰蟊浃辩蕊像或者平穆褥裂芷交浚黪图像 p e l e 9 9 7 a 文 r o u s s 0 9 7 孛，涎缝图缀豹摆弦条羹壹予粼