（计算机科学与技术专业论文）虚拟场景绘制中基于图像绘制方法的研究.pdf

国防科学技术大学研究生院学位论j 摘要 三维建模技术在计算机仿真、虚拟现实等领域有着广泛的应用。不断发展和逐渐深 入的应用对虚拟场景的绘制提出了更高的要求：要求场景绘制的真实性和实时性。基于 几何的三维建模技术已经得到了充分的发展，但是也充分暴露了其所存在的缺点：对 于大多数复杂程度超过计算机描述能力的景物而言，要达到照片般的真实程度几乎是不 可能的：处理时间与场景的复杂度相关，对于复杂场景，很难保证实时绘制。9 0 年代 兴起的i b r 技术使得这些问题得到了缓解，为计算机图形学的发展开拓了一个新的领域。 与传统的基于几何的图形绘制技术相比，i b r 避免了复杂的手工建模过程，图形绘 制速度更快，绘制效果具有照片级真实度这些优点使得i b r 技术在图形学领域得到深 入的研究和广泛的应用。本文针对现有i b r 方法存在的不足，提出了一些改进措施，主 要进行了基于以下两方面的研究： 1 、用非规则几何体面实现的全景图模型，能在真实的虚拟场景中实现3 6 0 。漫游。 总结已有的i b r 技术，可以发现：在基于全视函数表示的全景图建模方法中，都是将真 实的图像序列投影到一个简单的几何体表面进行显示。可用的几何体面有：球面、柱面 和立方体面，但是球面的变形和存储困难、立方体面精确的摄像机定位技术以及柱面对 视野的限制，使得每一种全景图都不能达到再现真实场景的目的。针对这一缺陷，本文 提出了一种综合虚拟体的全景图建模方法：该方法主要用柱面和半球面组成非规则几何 体面，在生成全景图后，关键的技术是在反投影之前要通过构造一个h a s h 函数对全景 图和虚拟体面进行经纬划分、面片剖分，构造场景面片的口一西面片连接表。由口一中面 片决定所使用的反投影算法并生成口一毋局部视图，最后还要将局部视图坐标转换为全 局的。这种全景建模方法实现了场景3 6 0 。漫游，克服了球面全景图变形和存储困难的 缺点，增强了场景的真实感。 2 、直接从动态纹理构造出运动景物的三维模型。自然界中，火焰、云、烟等运动 状态的模拟是计算机图形图像的一个重要问题，现有的合成算法大部分都是基于粒子系 统，其主要缺点是运算量大；而在另一方面，又很容易通过视频采集或数码相机得到景 物的动态图像序列。基于这两点，本文提出了一种a 一体建模方法：这种方法首先通过 对实拍图像的学习生成的动态纹理，接着就是算法的重点通过对纹理进行边界合成得 到划分了颜色区域的图像，通过对图像区域边界的扫描，勾勒出图像的轮廓线网格，并 根据其离中心的距离为每个网格边界赋以a 值，最后旋转每个网格生成三维模型。实验 证明这种动态景物的建模方法具有很好的鲁棒性和连续性。 最后构建了一个虚拟海防预警的系统原型，在其中验证了本文的算法的有效性，并 用d i r e c t 3 d 在场景中模拟真实世界雷达实时扫描运动目标、导弹智能跟踪运动目标以 及图像的处理，如背景消隐等。 关键字：基于图像的绘制；全景图：正投影；反投影；经纬映射；动态纹理；d i r e c t 3 d 第1 页 国防科学技术大学研究生院学位论j a b s t r a c t 3 dm o d e l i n gt e c h n o l o g yw a se x t e n s i v e l yu s e di nt h ef i e l do fs i m u l a t i o na n dv i r t u a l r e a l i t y w i t ht h ed e v e l o p m e n to fa p p l i c a t i o n ，p e o p l ep r e s e n t e dah i 曲e rr e q u e s tf o rv i v i da n d t i m e l ys c e n ei nv i r t u a ls c e n er e n d e r i n g t h e r eh a v eb e e nd e v e l o p m e n t e df o rg e o m e t r y - b a s e d r e n d e r i n g ( g b r ) ，y e ts o m ed r a w b a c kw e r ee m e r g e d ：o n e , f o rs o m es c e n e r i e sw h o s ec o m p l e x e x t e n te x c e e da b i l i t yo fc o m p u t e r sd e s c r i p t i o n ，i t si m p o s s i b l et oa c h i e v ep h o t o r e a l i s t i c t w o ，t i m eo fp r o c e s s i n gi sa s s o c i a t e dw i t ht h ec o m p l e xo fs c e n e ，s oi tc a nn o tb er e n d e r e d t i m e l y i m a g e b a s e dr e n d e r i n g ( i b r ) r i s i n gs i n c e1 9 9 0 ss o l v e dt h i sp r o b l e ma n de x p l o i t e da n e wf i e l df o rc o m p u t e rg r a p h i c s c o n t r a s tt ot h et r a d i t i o n a lg b r i b ra v o i d sp r o c e s so fc o m p l e xa a i f i c a lm o d e l i n g ，c a n r e n d e rr a p i d l ya n dp h o t o r e a l i s t i c d u et ot h e s ea d v a n t a g e s ，i b rh a sb e c o m eah o ti s s u ea n d a t t r a c t e dm a n ya l t e n t i o n so fg r a p h i c sr e s e a r c h e r sr e c e n t l y t h i sd i s s e r t a t i o np r e s e n t ss o m e i m p r o v e m e n t so f t h ep r e v i o u sw o r k si nt h i sf i e l da n df o c u s e so nt h et w om a i nf a c t sb e l o w ： 1 ak i n d o fu n r e g u l a rg e o m e t r y b a s e dp a n o r a m i cm o d e lt h a tc a ni m p l e m e n t3 6 0 。 r a m b l ei nv i v i dv i r t u a ls c e n e s u m m a r i z ec u r r e n ti b rt e c h n o l o g y , if i n d ：i np a n o r a m i c m o d e l i n gm e t h o d se x p r e s s e db yp l e n o p t i cf u n c t i o n ，p a n o r a m i cm o d e li ss i n g l eg e o m e t r ye n t i t y t 1 l eg e o m e t r ye n t i t ys u r f a c et h a tc a l lb eu s e di sc y l i n d r i c a ls u r f a c e 、s p h e r es u r f a c ea n dc u b e s u r f a c e b u ti nf a c t ，w ec a n ta c h i e v et h eg o a lo fp r e s e n t i n gv i v i ds c e n ed u et ot h ef a c t so f c y l i n d r i c a ls u r f a c e s l i m i t a t i o no fv i e w 、s p h e r e sd i s t o r t i o na n dc u b es u r f a c e sa c c u r a t e v i d i c o no r i e n t a t i o n a i ma tt h e s ed r a w b a c k , w ep r o p o s e dam e t h o do fc o m p r e h e n s i v ed u m m y e n t i t yp a n o r a m a ：t h i sm e t h o du s e da nu n r e g u l a rg e o m e t r ys u r f a c et h a ti sc o m p o s e do fs p h e r e s u r f a c ea n dc y l i n d r i c a ls u r f a c e f i r s t , a f t e ra c h i e v ep a n o r a m a , t h em o s ti m p o r t a n tq u e s t i o ni st o d ol a t i t u d e - l o n g i t u d ep r o j e c t i o nb yc o n s t r u c th a s hf u n c t i o nb e t w e e np a n o r a m aa n dd u m m y e n t i t y d i s s e c tp a n o r a m aa n dc o n s t r u c t 0 一ol i n kt a b l eo fs c e n eb e f o r e n e g a t i v e p r o j e c t i o n t h e n ，w em u s td e s i d en e g a t i v ep r o j e c t i o n a r i t h m e t i cw h i c hw ew i l l a d o p t a c c o r d i n gt oc o r r e s p o n d i n g 口一驴p i e c e sa n dp r o d u c e 口- 西l o c a lv i e w a tl a s t w e n e e d t r a n s f o r ml o c a lc o o r d i n a t et ow h o l ec o o r d i n a t e t h i sp a n o r a m i cm o d e li m p l e m e n t s3 6 0 。 r a m b l e 。o v e r c o m e ss p h e r em o d e l sd e m e r i to f d i s t o r t i o n 2 c o n s t r u c t3 dm o d e lo fm o t i o ns c e n e r yf r o md y m a m i ct e x t u r ed i r e c t l y i t sai m p o r t a n t p r o b l e mt os i m u l a t es o m em o t i o ns c e n e r yi nc o m p u t e rg r a p h i c s ，s u c ha sc l o u d ，f i r e , s m o k ea n d s oo ni nn a t u r e m o s to fe x i s t i n ga r i t h m e t i c sf o rs y n t h e s i z i n gf i r ea t eb a s e do np a r t i c l e s y s t e m ，am a i nd r a w b a c ko fw h i c hi sh e a v yc o m p u t a t i o n ，o nt h eo t h e rh a n d ，i t se a s yt oo b t a i n d y m a m i ci m a g es e q u e n c eo ft h e s em o t i o ns c e n e r y b a s e do nt h et w op o i n t s ，w ep r o p o s e da n o v e l 一b o d ym o d e l i n ga r i t h m e t i c ：f i r s t l y , w en e e dt ol e a r ni n p u t e di m a g es e q u e n c ei no r d e r t oc r e a t ed y n a m i ct e x t u r e t h e nw ee n t e rt h ek e yp a r to f a r i t h m e t i c ：t h ec o l o rr e g i o n so f i m a g e c a nb eo b t a i n e db y s y n t h e s i z i n gt e n t u r e sb o u n d a r y , t h e nd r a wt h eo u t l i n eo fi m a g eb y s c a n i n gb o u n d a r yo fr e g i o na n dc o m p u t ea l p h a v a l n ef o re v e r yb o u n d a r yo fg r i d d i n g 第u 页 国防科学技术大学研究生院学位论j a c c o r d i n g t od i s t a n c ea w a yf r o mt h ec e n t e r a tl a s t ，c i r c u m g y r a t ee v e r yg r i d d i n ga n dc r e a t e3 d m o d e l e x p e f i m e n t m i o nb e a ro u tt h a tt h i sm o d e l i n ga r i t h m e t i co fm o t i o ns c e n e r yi sr o b u s ta n d c o n s e c u t i v e i nt h ee n do f t h i sp a p e r w ei n t r o d u c eo t h e rt h r e ea p p l i c a t i o n ss i m u l a t e dw i t hd i r e c t 3 di n s y s t e m o n ei ss i m u l a t i n gr e a l r a d a rs c a n i n gm o t i o no b j e c t st i m e l y , t h eo t h e ri s s i m u l a t i n g m i s s l et r a c k i n gm o t i o no b j e c t si n t e l l e c t l v e ，t h et h i r di sp r o c e s s i n gi m a g ew i t hd i r e c f l d ，s u c h a sb a c k g r o u n de l i m i n a n t k e yw o r d s ：i b r ，p a n o r a m a , p o s i t i v e p r o j e c t i o n ， n e g a t i v ep r o j e c t i o n ， l a t i t u d e l o n g i t u d ep r o j e c t i o n ，d y n a m i ct e x t u r e ，d i r e c t 3 d 第1 i i 页 国防科学技术大学研究生院学位论j 图1 1 基于图像的绘制技术 图目录 图1 2 a 实物虚化( 虚拟几何模型) 图1 - 2 b 虚物实化( 实景图像) 图1 - - 2 c 虚实结合 图2 - 1i b r 系统构成框图一 图2 2 基于几何表示方式的建模流程9 图2 - 3 图像表示方式的i b r 技术流程l o 图2 - 4 全视函数表示方式的i b r 技术流程11 图2 5 光场 图2 - 6 同心拼图拍摄过程 图2 7i b r 系统分类图 图2 - 8 柱面体模型和展开示意图 图2 - 9 柱面正投影示意图 图2 1 0 柱面坐标转换图 1 4 1 5 一1 5 。1 7图2 11 相邻照片几何关系示意图 图2 1 2 球面正投影示意图 图2 1 3 球面坐标转换图 图3 - 1 全视函数的几何表示 图3 - 2 柱面全景图像概念图。 图3 3 综合虚拟体概念图 图3 4 综合虚拟体视图生成过程示意图 1 9 2 2 2 3 2 3 图3 - 5 柱面正投影实例 图3 - 6 球面正投影实例。 图3 7 柱面和球面拼接示意图 图3 - 8 正映射关系。 2 4 2 6 2 7 2 7 图3 - 9 逆映射关系 图3 1 0 用本章方法拼接后的侧面全景图 2 8 3 0 图3 - 1 1 顶面和底面全景图3 2 图3 1 2 用本章方法生成的视图 图3 1 3 鱼眼镜头拍摄球面全景图3 3 图3 一i 4 球面全景图的视图3 3 第i i i 页 国防科学技术大学研究生院学位论j 图3 1 5 校园全景图3 4 图3 - 1 6 校园视图3 4 图3 - 1 7 海防预警系统场景侧面全景图3 4 图3 1 8 海防预警场景顶面和底面全景图，3 5 图3 1 9 虚拟海防预警系统场景视图 图4 - 1 动态纹理生成图 图4 - 2f ( t ) i q o 点值随t 变化曲线 图4 3 火焰纹理划分和边界合成 图4 - 4 不同角度的视图( 分别转9 0 度) 图4 - 5 几种用粒子系统生成的火焰 图5 - 1 对象之间的关系 图5 - 2 雷达波模型 图5 - 3 计算雷达旋转的流程图 3 5 4 1 4 3 。4 4 4 5 4 5 4 8 图5 4 雷达扫描示意图51 图5 - 5 雷达扫描及信息显示流程图 图5 6 a 没有目标时雷达的信息 图5 6 b 有目标时雷达的信息 图5 7 计算导弹轨迹和方向示意图 图5 - 8 导弹跟踪目标过程图 图5 - 9 背景处理 5 5 5 7 第i v 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目： 虐挞烫量绘剑生基王圈基坌剑左鲎鲤堡嚣 学位论文作者签名：捣垒歪 日期：山。多年弓月；。日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：麈塑垣量垒剑生基士匿錾篁劐虚鎏煎煎壅 学位论文作者签名：搦金盈日期：j ”岁年，月弘日 作者指导教师签名：李! ：窒i 玺 日期：形年；月孑。日 国防科学技术大学研究生院学位论j 第一章绪言 1 1 研究背景 在虚拟场景的建模中，实时性和照片般真实感是两个重要的特点，也是计算机图形 学追求的个基本目标。真实感是指绘制的图像如同照片一般( p h o t o r e a l i s t i c ) ；实时 性是指绘制的速度没有滞后。早期的二维图形学通过绘制直线的透视投影获得深度感： 线框图过于简单，引发了人们对实体表面的需求，从而推动了消隐算法的发展；明暗处 理则为物体表面带来变化的亮度级，模拟了光源照亮物体的效果；阴影计算产生了影子 相互投射的效果，进一步增强了绘制的真实感；曲面造型技术扩展了可以表示的物体的 范围。借助各种造型工具我们可以生成复杂物体的模型。8 0 年代出现的光线跟踪和辐射 度算法使我们真正绘制出照片级真实度效果。 随着场景建模技术的不断发展，人们对虚拟场景的真实感程度提出了越来越高的要 求，传统的真实感场景是基于计算机图形学理论建模：首先为场景中所有的物体建立三 维几何模型和光照模型等特性描述，然后指定视点，利用透视投影原理将三维几何模型 变换到二维屏幕空间，经过裁减、阴暗处理、隐藏面消除等处理生成一个屏幕投影。其 真实感图形绘制则是利用纹理图像来描述对象表面的反射特性，从而获得景物表面丰富 的色彩。传统计算机图形学由于其几何学的理论基础，优越之处在于可以自由地控制视 点和视角，结合纹理映射的技术可以达到比较逼真的虚拟效果，但同时也带来了如下问 题： ( 1 ) 由于大多数真实景物的复杂程度已经远远超出了人或者计算机的描述能力。复 杂场景的建模与表达十分困难，如烟雾、火焰、等用粒子系统来建模，但处理时间就现 有技术而言远远无法满足实时绘制要求。 ( 2 ) 处理时间与场景的复杂度成正比，在较复杂场景中，其多边形与纹理的实时绘 制要求很高的计算性能。虽然近年来图形硬件的性能有了很大提高，同时很多传统图形 学绘制中的步骤，如消隐纹理映射都有了快速的硬件实现算法，但还是赶不上虚拟场景 等图像学应用对真实感越来越高的要求。 现代的图形学技术，正如p a u ld e b e v e c 在1 9 9 9 年s i g g r a p h 会议的课程上指出的： “建模是艰难的，绘制是缓慢的，结果导致达到真正照片级真实度极端困难”。( m o d e i n g i s h a r d ，a n dr e n d e r i n g is s l o w a sar e s u l t ，a c h i e y i n gt r u l yc o m p e l l i n g p h o t o r e a l i s mi se x t r e m e l yd i f f i c u l t ) p e b e v e c1 9 9 9 。正是在这一背景下，基于 图像的建模和绘制技术( i m a g eb a s e dm o d e l i n ga n dr e n d e r i n g ，i b m r ) 应运而生。 该技术分为两部分，基于图像的建模( i m a g eb a s e dm o d e l i n g ，i b m ) 和基于图像的 绘制( i m a g eb a s e dr e n d e r i n g ，i b r ) 。基于图像的建模，从严格意义上来说，属于计算 机视觉( c o m p u t e rv i s i o n ) 的研究范畴，是计算机视觉在图形学领域的应用，从信息 第1 页 国防科学技术大学研究生院学位论j 处理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论、表达与计算方法， 试图通过对一幅或多幅二维图像的分析，感知三维环境的几何信息。然而由于摄像机内 外参数标定以及立体匹配等过程的不鲁棒性，很难自动得到复杂场景的高精度几何信 息：同时繁杂的计算过程也难以满足虚拟场景实时显示的要求。 计算机图形学和计算机视觉在某种意义下是一个互逆过程，但是它们的融合，并不 意味着抵消，从真实场景图像出发，利用计算机视觉的原理，恢复场景的几何信息，再 经过计算机图形学的处理，可以绘制出新视点下的图像。基于图像的绘制技术就是从这 个思想出发，经过图像的采集、压缩、存储，按某种表示方式生成图像数据库，最后从 数据库中重采样图像数据来绘制新图像的一种综合技术。与传统的图形绘制技术相比， i b r 技术不仅可以免除繁杂的手工建模操作，缩短绘制时间，还带来了图形学梦寐以求 的照片级真实度，很好的解决了传统计算机图形学建模存在问题，是近几年图形学研究 的热点。本文的工作就是在这一背景下展开的。 1 2 1i b r 技术研究现状 1 2 研究现状及意义 基于图像的绘制主要研究如何采用已知实景图像来生成新视点下的对应图像。i b r 虽然有来自计算机视觉和计算机图形学的成分，但是它并非二者的简单迭加，它绕开了 计算机视觉中精确恢复场景几何信息和计算机图形学中用几何生成真实感场景需要大 量计算开销的困难，直接用计算机图像学和计算机视觉的一些理论，通过分析和重映射 在采集图像和需要台成的图像间建立联系。与传统的基于几何模型的方法相比较，i b r 方法无论从出发点、思路。还是从输出方式上都是截然不同的一种新方法，它从一个新 的角度重新考虑计算机图形学，不但可以采用计算机生成的图像，而且更多的是采用真 实世界的图像作为样本，从而避免了基于几何方法建模的不合理性和繁琐的手工操作。 他们之间的关系可以用图卜1 表示： 图1 - 1 基于图像的绘制技术 第2 页 国防科学技术大学研究生院学位论j i b r 建立v e 具有快速、简单、逼真等独特的优点，正得到越来越多的应用，成为目 前虚拟场景建模技术中最受关注的研究课题之一。与传统计算机图形学中重构场景的根 本区别在于：它不依赖于几何模型，而是利用事先获取的一组真实图像序列，对环境进 行编码并通过适当的处理变换合成位于新视点的视图，最终实现环境的三维观察。与 传统的计算机图形学相比，其最大的优点在于： ( 1 ) 建模容易：不需要耗费大量的人力和技巧，通常i b r 意义下的建模过程主要是 一个系统如何组织和联系现有获得数据的问题，而不需要所有的几何细节。用户要做的 事情主要是拍摄照片及一些简单的交互操作。即使需要一些额外的几何信息，i b r 系统 一般也是主要通过计算机视觉的知识进行自动提取和匹配，而不需要人工的繁复劳动。 ( 2 ) 绘制快：不需要复杂的计算，直接从己有的视图中合成新视图，绘制时间不依赖 于场景的复杂度，它所构造的场景模型一旦建立，在绘铝n 输出时和场景的复杂度没有关 系，只跟采样与显示分辨率有关。在场景复杂度增加时，它的显示输出时间是一个常数， 不会因为场景的复杂度增加而引起“闪屏”现象。如在同心拼图中，只需要根据不同的 视线方向抽取不同的狭缝图像就可以合成新视图，整个绘制过程都在二维中进行。在计 算遮挡时，仅仅需要计算采样视图间的内容，无需考虑场景建模中的诸多因子。由于绘 制速度快，可以在低档微机上实时生成场景，无需高档图形专用硬件，这是i b r 技术的 一个明显优势。 ( 3 ) 真实感强：由于所有景物的形状、光照、材质和纹理等效果都是来自真实拍摄 的照片，而不是通过模型计算生成光照与纹理图像，真实场景的显示容易达到很高的逼 真效果，是传统基于几何方法所无法比拟的，这是i b r 技术相对于传统的几何建模绘制 技术最明显的一个优势。 ( 4 ) 计算量小：基于几何的方法需要建立场景完整的、精确的表达，绘制时也要对 整个场景进行计算和存储。相反，i b r 技术只需要离散的相片采样，绘制时也只要对与 当前视点相邻的图像进行处理，因此计算量远远小于传统的图形学建模。 但由于场景中的虚拟物体是图像中的二维对象，因而用户很难，甚至不能与这些二 维对象进行交互，只适合于基于真实自然场景的三维虚拟环境的建立，很难用于虚拟战 场场景中。本文中，要求建模方法既要避免建立复杂虚拟场景的大量计算，又要满足实 时性要求，本文采用了基于图像与图形的混合建模方法。在虚拟现实混合建模中，用户 可以用用户化身( u s e ra v a t a r ) 这个特殊的虚拟实体对象的形式进入虚拟场景，即用户 与虚拟场景的交互是通过用户化身与场景中其它虚拟实体对象间的数据交换来完成的。 习惯上，运用基于图像的绘制技术将现实世界的真实三维环境( 现实物体对象的集合) 转变为计算机中的虚拟世界三维环境的过程，称为实物虚化，而经过基于图形渲染的建 模技术把人们头脑中的主观意义上的概念对象转变为计算机虚拟世界中可感知和可操 作对象的过程称为虚物实化。虚实结合可以创建既有真实感，又有可交互的虚拟场景。 图卜2 显示了一个几何与图像结合的过程。 第3 页 国防科学技术大学研究生院学位论j 图1 - - 2 a 实物虚化( 虚拟几何模型) 图i - 2 b 虚物实化( 实景图像) 图1 - - 2 c 虚实结合 第4 页 国防科学技术大学研究生院学位论j 1 2 ，2 国内外的发展 i b r 技术是在二十世纪八十年代由l i p p m a n 和m i l l e r 提出来的，该技术一经提出， 就由于应用的迫切需要和前景的广泛，得到了极大的发展。下而是围内外研究现状。 国外研究有： 1 9 7 8 年，m i t 的媒体实验室开发成功新颖的a s p e nm o v i em a p 项目：四架摄像机穿 行a p s e n 街道时，同时拍摄四个方位的照片，并在每个街道路口的场景中加入选择漫游 路线的交互手段。播放时用户类似于自己开车在城市里游玩，通过触摸屏和游戏杆来 控制自己的速度和去向，对一些有名的建筑，提供了相关的资料供查询，同时还提供导 航图来标识用户位置、提示关键场所等。虽然受当时条件技术的限制，采用的是模拟视 频技术，但其思想却是新颖的、超前的。 1 9 9 5 年，a p p l e 公司开始推出全景视频产品q u i c kt i m ev r 【2 l ，第一次使人们领略了 具有照片质量的虚拟现实环境。它利用软件把相同视点的若干张边缘稍有重叠的照片粘 合在一起。组成一张3 6 0 。全景图，通过热点，将不同视点的全景图进行连接。通过在 全景图上开窗口实时生成用户所要观察的场景，经由不同全景图间切换来实现虚拟环境 中漫游。 2 0 0 1 年，美国卡罗莱纳州大学实现了基于图像绘制的球形环境映射【3 】。利用从一个 可见点捕获所有的光线，能绘制观察点位于球心的所有方向的投影视图，并且可以扩展 为允许观察点在有限的空间移动。通过操作图像信息创建捕获的环境的视图，利用这些 视图提供的视差信息，观察遮挡区域，实现在球形环境中漫游。 国内的研究有： 国防科技大学的虚拟实景空间系统i t v s n 是目前国内做的比较完整的一个系统。它首 先利用采集的离散图像或连续视频作为基础数据，处理成3 6 0 。柱面全景图，然后通过 合适的空间模型把多幅全景图组织为虚拟实景空间，提供进退、俯仰视、3 6 0 。环视、 近看、远看等漫游功能。 国防科大还实现了同心球拼图的室内三维漫游系统【5 l 。由于球面同心拼图如同单同 心拼图缺少足够的深度信息，有着垂直方向畸变缺陷，而室内空问多为平面或折线，还 原图像变形很大。中国科学院计算所实现了一个基于球面全景图固定视点室内漫游系统 怕】。由于通常照相机所拍摄的照片均为平面图像，球面与平面问相互映射失真较大，而 且因数据的存放与组织较困难，整个过程中图像的映象与变换不如柱面方便。 清华大学则实现了一个基于柱面全景图的室内漫游系统【7 】。支持固定视点环视和场 景间跳跃连接。 浙江大学实现的西湖白堤的自然风景漫游系统1 8 1 采用混合式建模，将前景中有关对 象按人工设定的三维几何建模，按交互设定的灭点，恢复行进中图像的深度信息，采用 蜘蛛网模型【9 1 来近似校正前景的视偏差。中国科学技术大掣m 1 和华中师范大学i “1 同样采 用柱面全景图，达到虚拟三维物体真实模型的效果。 第5 虫 国防科学技术大学研究生院学位论j l - 3 本文的研究工作与创新 本文主要研究了虚拟场景建模的一些关键技术，并利用这些技术设计和实现了虚拟 海防预警系统，主要的研究了以下几方而的内容：系统原型设计、非规则全景模型绘制 技术、特效的真实再现以及用d i r e c t 3 d 进行场景模拟的三个应用实例。其中主要进行 了以下两方面的仓q 新： 1 ) 由于球面与立方体全景图数据的映射和管理较为困难，平面照片与全景图相互 变换失真较大。在目前基于i b r 所实现的系统都是柱面全景图漫游系统。圆柱面由于缺 少充分的深度信息和垂直方向较为开阔的视野，缺少任意漫游和任意俯仰视的能力；球 面虽然可以满足任意方向的环视，但由于通常所拍摄的照片是平面图像，球面与平面间 的映射造成的畸变使生成的视图变形很人，而且数据的存放与组织比较困难，难以满足 本系统对虚拟场景的要求。 为此本文提出了一种混合虚拟几何体的方法，将采样图像映射到一个由前面这几种 组成的非规则的封闭的虚拟几何体上，然后将几何体看作一个整体进行经纬划分并与已 拼接的全景图相对应，并根据这种对应关系定义的一个h a s h 函数构造。一中面片连接表， 并基于这个连接表通过逆映射对场景进行预绘制，结果保存在e o 全景图中，存储e m 全景图所需的数据结构不复杂，浏览时只需传递少量的面片，占用空间较少。最后计 算给定视点和视角的全局视图。这种方法存储方便、不变形，并且可以实现水平和垂直 方向的环视，克服了以上几种全景图的缺点，满足了虚拟场景的要求，具有着重要的理 论价值和现实意义。 2 ) 在虚拟战场中，爆炸烟雾、火焰和电磁场是不可避免的，在传统的建模方法中， 主要是基于物理的和基于分形的。由于这些现象的运动性和纹理的不确定性，因此需要 大量的存储空间来保持他们纹理的一致性和连续性，同时还需要大量的计算来保持他们 运动状态的随机性，这些复杂的计算对硬件有着很高的要求，必须有显卡的支持才能实 现。为了减少运算量，近几年提出了用动态序列合成运动纹理，但是这种方法目前仅仅 局限于二维空间。因此本文提出了一种对战场中的特效进行图像与几何相结合的新的建 模方法。这种方法实现了动态景物的三维显示，也克服了传统的基于物理建模方法计算 量大的缺点。 1 4 本文的组织结构 本论文是基于虚拟海防预警仿真系统三维场景的设计和实时绘制的实现展开的，在 整个系统的设计和实现过程中，主要讨论了如何将基于图像的场景绘制技术用于真实地 建立虚拟场景和动态景物。本文后几章的主要内容如下： 第二章分析了基于图像绘制技术的现状，主要包括了i b r 系统的构成和分类，对 于i b r 技术中重要的全景图技术进行了深入研究，并分析了现有的几种全景图技术的发 展现状和不足之处。 第6 负 国防科学技术大学研究生院学位论j 第三章主要讲述了本文提出的混合虚拟几何体的建模与绘制方法。在分析现有i b r 方法缺陷的基础上，结合本系统中虚拟战场场景的特点，提出了自己的思想，对已有算 法的改进并在系统中加以验证。 第四章主要论述了本文提出的基于图像的战场特效的建模和实现。在分析现有的 建模方法缺点的基础上，提出了一种不需要计算机视觉知识从已有的图像恢复几何体， 这里称为n 一体从而可以实现在三维空间动态变化。 第五章构建了一个海防预警系统原型，在系统实现中，使三、四章的算法得到了 有效的验证，并用d i r e c t 3 d 实现了系统中三个主要的应用，包括雷达动态扫描目标、 导弹的自动跟踪和背景消隐。 第六章论文的总结和对未来工作的展望。 第7 页 国防科学技术大学研究生院学位论j 第二章ib r 技术的研究与分析 2 1i b r 系统构成和技术分类 基于图像的绘制( i b r ) 1 2 1 就是把预先获得的一组图像，经过一定的处理，合成新图 像的技术。i b r 技术绘制的场景真实感强，实时性好，不需要硬件支持，是传统的计算机 图形学不可比拟的：近年来，基于图像的绘制技术，尤其是全景图技术使得虚拟场景建 模有了很大的发展，同时不可避免得存在一些问题，下面通过对i b r 的技术分析来了解 和解决这些问题。 2 1 _ 1 系统构成 b r 技术的核心是场景图像数据，围绕这些数据，产生了i b r 中的几个要素： 数据采样方法、数据的表示方式、数据的存储和传输方式以及数据的显示方式，其 中，数据的表示方式是i b r 技术的核心，决定了如何采样数据和显示数据，并影响到数 据存储和传输方式。 这四个因素相互联系又相互影响构成了完整的i b r 系统。图2 - 1 是i b r 系统构成框 图。 图2 1i b r 系统构成框图 第8 页 国防科学技术大学研究生院学位论j 2 1 2 基于图像的绘制技术分类 考虑到数据表示在 b r 中的核心地位，对i b r 技术是否利用几何信息，是否适于真 实场景应用起本质上的决定作用，因此，将i b r 的数据表示方式作为t b r 的技术分类标 准对i b r 技术进行分类，分别为：几何表示方式的i b r 技术、图像表示方式的i b r 技术 和全视函数( p l e n o p t i cf u n c t i o n ) 表示方式的i b r 技术。 几何表示方式的i b r 技术 在几何表示方式中i b r 数据被组织成传统计算机图形学当中的元素，如点、线、 面、几何体等，并采用传统计算机图形学的纹理映射等技术的理论和实现方法。基于几 何表示方式的建模流程如图2 - 2 所示： i ；一 + 立体视劳技术 r1 r 1 篓鍪邈i 您爱腾等楚堡愿慧i 鬣i ，j ，i f - 三维图像变换 雾i 图2 - 2 基于几何表示方式的建模流程 根据其所用的几何元素的不同，可把基于几何表示方式的i b r 分为以下几类：基于 几何体表示、基于层或者面表示、基于几何点表示。根据场景的性质和视点与场景的距 离从远至近，依次可采用背景图、分层的场景、层次深度图像，最近距离的场景可采用 几何体表示。 图像表示方式的i b r 技术( 图2 - 3 为图像表示方式的i b r 技术流程) 图像表示方式部分依赖于传统图形几何学建模。它把原始图像看成是象素之间相互 有对应关系的图像，由一系列己知对应关系的图像通过插值二维变换( 2 dw a r p i n g ) 生 成新视图，其中用到的一项重要技术是图像变形( i m a g em o r p h i n g ) 。图像变形通过稠 密对应和稀疏对应建立开始图像平u 结束图像之间的映射来生成两幅图像之间的过渡图 筇9 页 国防科学技术大学研究生院学位论j 像。 重要的图像表示方式的i b r 技术有视图插值( v i e wi n t e r p o l a t i o n ) 、视图变形( v i e v m o r p h i n g ) 。 蓼黪骖霹疆梁；謦器鏊黧溺 o 虢女g # 蹬“i d # 瓣女# 0 * 测蕊赫罐 图2 3 图像表示方式的i b r 技术流程 全视函数表示方式的i b r 技术( 图2 4 为全视函数表示方式的i b r 技术流程) 全视函数表示方式的i b r 技术，其基本的思路就是把摄取的图像看成是整个场景光 线集合的样本。同前面两种方法相比，全视函数表示方式的i b r 技术是真正意义上的“基 于图像的绘制”，它关心的不是图像代表什么几何物体，而是代表着怎样的光线。 国防科学技术大学研究生院学位论j 一、” 一2 ” 菜些交瓦输入；图像j 一“ ：“1 i “。 i l 一 望堡竺! 全视函数， 光线抽取( 重采样) 蕺；疆帮鬻嚣鬻嚣飘露爹霹霹瀑 岫讪磷蔬蚶茹龇型生竺酞。一们浦。蒜i 图2 - 4 全视函数表示方式的1 b r 技术流程 1 ) 全视函数：1 9 9 1 年，a d e l s o n 和b e r g e n 提出了一个叫“全视函数”( p l e n o p t i c f u n c t i o n ) 【l3 j 的概念：定义一个多维函数，沿着这个函数的一个或者几个维度变化而造 成的辐射能量变化就表达了这整个空间的辐射能量分布结构。拍摄图像，我们把任意一 条视线用球面角0 和中来定义