（控制科学与工程专业论文）基于折反射全景的动态虚拟环境建模与绘制技术研究.pdf

国防科学技术大学研究生院博士学位论文 摘要 动态虚拟环境的建模与绘制是当前基于图像的建模与绘制( 简称i b m r ) 技术 领域中的难点和研究热点。本文在折反射全景技术的基础上，提出了一种动态虚 拟环境建模与绘制方法，构造的动态虚拟环境不仅能够实现空间域中一定范围的 自由漫游，而且当动态虚拟环境中仅存在周期性、类周期性或统计性运动场景时， 可以在视觉上表现动态虚拟环境无限时间的连续变化。 根据m m 技术构造虚拟环境的通用流程，本文的主要工作包括样本数据获 取( 第二章) 、动态虚拟环境建模( 第三章) 以及动态虚拟环境绘制( 第四、五、 六章) 三个部分，主要内容概述如下： 一、本文以折反射全景作为样本数据，样本采集方面主要研究折反射全景获 取与柱面展开算法。在深入研究折反射全景成像技术的基础上，设计并实现了一 种折反射全景成像装置；推导了将该成像装置拍摄的环状全景图像展开为柱面全 景图像的光路跟踪展开算法；针对光路跟踪展开算法中存在的计算量大、实时性 差等不足，提出了同心圆环近似快速展开和八项对称重用快速展开两种快速展开 算法。 二、研究基于折反射全景的动态虚拟环境建模方法。以折反射全景数据作为 样本，提出了一种基于“动静 分离原则的动态虚拟环境表示模型，将动态虚拟 环境分割为动态区域和静态区域分别描述，然后通过时空关联进行整合。针对该 模型，提出了“动静 分离的建模框架，并分别提出了基于折反射全景图像移动 拍摄系统的静态区域虚拟环境自动建模方法、基于端点同步全景视频的动态区域 虚拟环境建模方法以及对静态区域和动态区域进行空间关联的方法。 三、研究基于折反射全景的动态虚拟环境绘制方法及其所涉及的关键技术。 本文是基于柱面视图合成来实现动态虚拟环境绘制的，而对极几何估计是进行视 图合成的基础，因此，动态虚拟环境绘制所涉及的关键技术主要包括对极几何估 计和柱面视图合成，本文按照先关键技术，后绘制方法的顺序进行本部分内容的 研究。 1 ) 对极几何估计。提出了一种基于特征匹配的对极几何自主估计方法，首先 自动获取图像对之间的匹配点集，然后以此为样本，估计可描述对极几何 约束关系的基础矩阵，为了提高匹配点集的精度，提出了一种基于双向最 大相关和视差约束的特征匹配方法，为了提高基础矩阵估算的鲁棒性，提 出了一种基于群体智能的基础矩阵估计算法。 2 ) 柱面视图合成。提出了先自主估计对极几何约束关系，再图像校正和视图 插值的分步式视图自动合成算法框架，提出了基于平面图像极线校正和基 第i 页 国防科学技术大学研究生院博士学位论文 于柱面图像极线校正两种柱面视图合成方法，并对两种算法的差异及其实 验结果进行对比和分析，选出了更适合本文动态虚拟环境绘制要求的柱面 视图合成方法。 3 ) 动态虚拟环境绘制。首先提出了基于柱面视图合成的动态虚拟环境生成方 法来生成当前观察视点和观察时刻的动态虚拟环境，然后提出了基于透视 投影变换实现对当前观察视点和观察时刻动态虚拟环境快速显示的方法。 综上所述，本文围绕动态虚拟环境的构造，依次研究了折反射全景获取与柱 面展开、动态虚拟环境建模和动态虚拟环境绘制。 主题词：基于图像的建模与绘制折反射全景对极几何 基础矩阵图像 校正视图合成动态虚拟环境 第i i 页 国防科学技术大学研究生院博士学位论文 a b s t r a c t m o d e 1 玛龇1 dr c i n d e 面a go f 由，1 1 a 血c 删e 岫皿e n ti s 也et e c h l ：1 i c a l l y d i = e f i c u h ya n d 日1 ef o c l l so fr e s e a r c hi ni m a g e - b a s e dm o d e l i n ga n dr e n d e 如g ( i b m r ) i n t h i sp a p e r ，ad ) ，1 1 砌c 啊删髓i r o 衄e n tm o d e l i n ga i l dr e n d e r 血gm e t h o db a l s e do nt h e t e c h n o l o g yo fc a t a m o p t r i cp a i l o r a m ai sp r e s e n t e d t h ed y n 删cv 砷皿le r l v i r o m n e n t c o n 鲢n l c t e db y 也em e 也o dm 础o n e da b o v ec a nn l d to n l yr e a l 讫e 丘e em o v e m e n ti n s p a c et 0s o m ee ) ( t e n t ，b ma l s os h o w 也e 、，i s u mc o n t m u o l l sc h a i 唱eo f 也e 听r t t l a l e n 、血。功叮e n t 、杭t h 如丘n i t et i m ew h e n 也e r ei so 五d yr 印e t i t i v e ，呷i - r e p 咖i v eo r 删s t i c m o 、血玛s c e n e s a c c o r 曲玛t 0c o 姗皿o nf l o w 也a tc o n s 臼m c t s 仕l ev i r t u a le n v i r o 衄e n t 谢也m e m r t e c h l l 0 1 0 9 y ，t 1 1 em a i n 、o f k 洫gi 1 1t h i sp a p e ri 1 1 c l u d e ss 锄p l ec a p t u 血g ( c h a p t e r2 ) ， d y n a 血c 啊删e 工l v 的1 1 1 n e n tm o d e n n g ( c k 呸) t e r3 ) a n dd y n a l i c 啊r t u a le i 心) n 】n e n t r e n ( 1 e 血l g ( c h a p t e r 4 ，5 ，6 ) 明bf 0 1 1 0 w i l l gi st h ea b s 仃a c to fm a i nc o n t e m ： 1 i i l 也i sp a p e r ，c a 础o p t r i cp a n o r a m ai ss e l e 曲e da ss 锄p l ed a 饥a n dt h er e s e a r c h o ns a 工n p l ec 雄) n l r i n gm a 缸l yf 0 吼l so nc a t a d i o p t r i cp a n o r 姐ac 雄) n l r i n ga n dc y l m d d c a l u n 盯a p p i i 培a l g o r i t h l n b a s e do nt h ed e e pr e s e a r c ho fc 删i o p t r i cp a i l o 删n ai r l l a 咖g 钯c h 王1 0 l o g y ，ac a t 妣p 垃i cp a r m r a 瑚a 如1 a 星妞gd i e v i c ei sd e s i g 芦e da r l dr e a l i z e d k n o 砸c a l 仃a c k i i l gu 1 1 w r 印p i l l ga l g o 打出mt h a tu i m ，r a p st ：h ec i r c l l l a rp a n o r a m ac a p 心e db y 也i s 缸哪面gd e v i c ei n t 0c y l i n d e rp a n o r a m a 血a g ei sp r e s e n t e d i no r d e r t 0o v e r c o m e 也e s h o 帕m i n gs u c ha sl a r g ea 玎u n to fc o m p u 七a t i o na n dp o o rp r o p e r 眵o nr e a l 血n ei 1 1 血e a b o v em e 吐l o d ，衄sp 印e rp r e s e n t sa f 致印p r o ) 【i 】n 撕o nc o n c e n t r i cc i r c l e s 吼w l a p p i l l g a l g o r i t b ma n d af a s te i g h td 硫c t i o n 跚龇e 伍cr e l 珞e m a p p i n ga l g o r i t b m 2 1 kd y d a 加i c 、，i m 脚e n v 亩衄e n tm o d e l i l l gm e 吐1 0 db a s e d0 nc 犯成o p t r i c p a n o m i m u s 砸g 也ed a ：t ao fc a t a d i o p t r i cp a n o r a 】ma ss a l p l e ，ad y n a 血c 删 e 妇衄e n t a le x p r e s s i o nm o d e lb a s e do nd y n a 血ca n ds t a t i cs 印a r a 纽gs t r a t e g yi s p r e s e n t e d i td i v i d e st h e 由m a 耐cv i r t l l a le n v 打。衄e n ti 1 1 t o 由删ca n ds 伽ca r e at ob e d e s c r i b e ds 印a r a t e l y ，a n dt j l e ni n c o i p o r a l - e st h e s e 铆oa r e a 丽血也es p a t i a lr e l a t i o n s h i p f o r 也i sm o d e l ，t h ep a p e rp r e s e n t sad ) ，n a 工m c - s 伽cs e p a r a t i l l gm o d e n gf h m e w o r ka n a u t o m a t i cs t a t i ca r e a 啊r t u a le 沌衄e mm o d e l i 工培m e m o db a s e do nm o v i n gc a p t u r e s y s t e mo f 也ec 删o p t r i cp a n o r a m i ci n l a g e ，ad y n a r n i c a r e av 删e n v h o n 1 e n t m o d e h n gm e t h o db a s e do ns y n c h r o l l i co m n i d i r e c t i o n a l 、r i d e oa 1 1 das p a c t i a lr e l a t i n g m e 也o d t 0 也es t a t i ca 工l d 由瑚血ca r e a 3 t kd y d a 瑚i c 啊内1 a 1 髓硝r o 皿e n tr e n d e 血1 9m 毹h o db a s e do nc a t a d i o p t r i c p a n o 姗a 趾d 瓶r e l a t i v ek e yt e c h n o l o g y i nt h i sp a p e r ，也er e a l 删o no fd y 删c 、，i r n 皿le n _ v i r o 衄e n tr e n d e r 血gi sb a s e do nc y l i 武m c a l 、，i e ws ”1 也e s i s t h ee p i p 0 1 a r g e o m e t 哆e s t i m a ：t i o ni st h eb a s i so fv i e ws y n t h e s i s ，s o 也er e l a ：t i v ek e yt e c h i l o l o 百e so f t ：b ed y n 缸1 1 i cv j i t l m ie i i r o m n e n tr e n d e 血gm a i l l l yi 1 1 c l u d ee p i p o l a rg e o m e t 叮e s 位m a d o n 第i i i 页 国防科学技术大学研究生院博士学位论文 a n dc y n n d n c a v l e ws y n t n e s l s 1 1 1t b l i sp a p e r ，t h es e q u e n c eo ft h er e s e 甜c hi s 血ek e v t e c h l l 0 1 0 9 y 伍s ta n dt h er e n d e 血gm e 也o dl a t e r 1 ) t h ee p i p 0 1 a rg e o m e 臼ye s 血1 a t i o n a n 印i p o l a rg e o m 嘟e s t i i n 撕o nm e t h o d b a s e do nf e a _ u r em a t c l l i n gi sp r e s e 工l t e d i ti st h em 咖i d e ao ft h ea b o v em e 也o d 1 a t m a 士c h i n gp o i l l ：t ss e to fi m a g ep a i r si sa u t o m a t i c a l l yg 蛐dt oe s 缸a t et h e 矗1 i 】d a 加e n t a l m 劬r i x ，、) 1 7 ：1 1 i c hc a nd e s c r i b e s t h ec o n s t r 山tr e l a t i o n s 址po ft h ee p i p o l a rg e o m e 拉y 1 1 1 o r d e rt 0i n l p r o v e 也ep r e c i s i o no f 也es e t so f m a t c 蛐昭p o 证t s ，af e a 加r em a t c h i l l gm e t l l o d b a s e do nb i d i r e c t i o n a lm 函工l 吼c o r r e l a t i o na i l dp a r a l l a c t i cc o i l s 仃a j n ti sp r e s e m e d t o i 1 1 1 p r 0 v et 1 1 er o b u s 恤e s so ft h em r l d 锄e n t a lm a 在e s t j m a 石。巩a na l g o r i 吐1 lf o r 缸1 蛔e n t a lm a 血e s t 妇a t i o nb a s e do ns w 锄血e u i g e n c ei sp r e s e n t e d 2 ) c y i 础c 面访e ws y n t h e s i s a na u _ _ c o m a t i cm u l t i s t e pv i e ws 蛳s i s 鱼m i e 、r k i sp r o p o s e d ，t 1 1 em 血i d e ai sa t 缸s ta u t o m 撕c a l l ye 鲥m a ：t i n g 吐l ec o i l s 仃a 缸r e l a t i o n s k p o ft 1 1 e 印i p o l a rg e o m e n y ，a n d 廿1 e n 血a g er e c t i 丘c a t i o n a tl a s t 、，i e w 血e r p 0 1 a t i o n t 、v o c y l i l l d r i c a l 访c w 町l ，n 血e s i sm e 也o d sa r ep r e s e n t e d ，o n ei sb a s e do np l a n e ri m a g ee p i p 0 1 a r r e 僦c a t i o na n dt 1 1 eo 也e ri sb a s e do nc y i 洫嘶c a l i m a g e印i p o l a rr e c t i 丘c 撕o n a c c o r 曲唱t oc o m p a r i s o na 工da n a l y s i so fe x p e r 血e n t a lr e s m t s 丘o m 也o s et 、v om e 廿1 0 d s ， 也em o r es u 妇b l ec y l 血嘶c a l 圻e w s y 玎吐】e s i sm e 也o di sc h o s e n 3 ) d y 删c 删e n 、，i r o 啪e n tr e n d e 血g a tf i r s t ，ad y n a i n j cv j r n 翻e n v 拍嗽e n t g e n e r a t i l l gm e 也o db a s e do nc y c a lv i e ws y n t h e s i si sp r e s e n t e dt or e r l d e r 吐1 e d y l l 觚n j c 、，i i t l l a le 刀啊r 0 衄e n to fn l ec u i r e n to b s e r v e 访钾l i p o 洫ta 1 1 do b s e r v et i m e a n d 也e n ，也ep 印e rp r e s e n t sam e t h o db a s e do np e r s p e c t i v ep r o je c 缸。玛w b j c hq u i c l ( 1 y d j s p l a yt h e 奶删c 访r t u a l 耐。衄e mo f 吼1 r r e n to b s e r v e 访e 、p o i i l ta 工l do b s e e 血e a b o v ea l l ，廿1 i sp a p e rf o c u s e so n 也ec o r eq u e s t i o na b o u th o wt oc o n s 订u c td y d a t n j c v 删e n 啊r o n m e n t ，a n di i l s e q u e n c ee x p l o r ec a 谢i o p t r i cp a 工1 0 r a n l ac a p t l 埘n g a 工l d c y l i n d r i c a lu n 研印p i n g ，d y 衄m c 诎知a l 疵衄e n tm o d e l i 】玛a n dr e n d e r i n g k e yw o r d s ：i m a g e - b a s e dm o d e i i n ga n d r e n d e r i n g ，c a t a d i o p t r c p a n o r a m a ， e p j p 0 i a rg e o m e t 哆， f u n d a m e n t a im a t r i ， i m a g er e c t i f i c a t j o n ， v i e w s y n t h e s i s ，d y n a m i cv i r t u a le n v i r o n m e n t 第i v 页 国防科学技术大学研究生院博士学位论文 表2 1 表4 1 表4 2 表4 3 表4 表4 表4 表4 表目录 八向对称重用算法与光路跟踪坐标映射法时间对比3 8 特征相关匹配矩阵5 9 设置了阈值的特征相关匹配矩阵5 9 不同实验图像的角点匹配算法实验结果对比6 1 初始匹配点集7 1 聚类结果7 3 正确匹配点集7 3 黜蝌s a c 算法中成功拟合的匹配点集7 3 第v 页 国防科学技术大学研究生院博士学位论文 图目录 图1 1 动态虚拟环境构造流程1 5 图2 1 球面全景和柱面全景2 1 图2 2 柱面全景概念图2 1 图2 3 拼接裂缝示意图2 2 图2 4 明暗差异示意图2 2 图2 5 基于二次凸曲面反射镜的折反射全景成像系统原理图2 4 图2 6 基于凸曲面反射镜的折反射全景成像系统结构图2 4 图2 7 圆锥反射生成柱面全景图像原理图2 6 图2 8 抛物面反射生成柱面全景原理图2 8 图2 9 柱面全景展开图2 8 图2 1 0 相机拍摄的环状全景图像2 9 图2 1 1 变换后的柱面全景图像2 9 图2 1 2 同心圆环近似展开算法示意图3 0 图2 1 3 环状全景图像3 2 图2 1 4 变换后图像对比示意图3 3 ( a ) 环状全景图像八向对称点3 4 ( b ) 柱面全景图像八向对称点3 5 图2 1 5 全景图像八向对称划分及对称重用示意图3 5 图3 1 基于折反射全景的动态虚拟环境表示模型的空间漫游范围4 0 图3 2 基于折反射全景的动态虚拟环境表示模型的组织结构4 1 图3 3 基于折反射全景的动态虚拟环境表示模型漫游范围的扩展4 3 图3 4 静态区域虚拟环境建模过程4 4 图3 5 折反射全景图像移动拍摄系统结构图4 5 图3 6 静态区域虚拟环境自动建模系统工作原理图4 5 图3 7 平面两点关系4 6 图3 8 自动生成的静态虚拟环境模型4 8 图3 9 全景视频纹理效果图5 0 图3 1 0 静态区域虚拟环境模型5 1 图3 1 1 动态区域视频纹理在柱面全景图像中的位置表示5 2 图3 1 2 动态区域视频纹理在柱面全景图像中的位置表示5 2 图4 1 对极几何约束5 6 图4 2 四个不同位置的圆模板及其u s a n 区的显示5 7 第页 国防科学技术大学研究生院博士学位论文 图4 3 半径r = 3 4 的圆模板5 8 图4 4 相关匹配。5 9 图4 5 校正平面图像对的角点匹配结果6 3 图4 6 合成场景未校正平面图像对的角点匹配结果6 4 图4 7 实际场景未校正平面图像对的角点匹配结果6 5 图4 8 同一场景的左右视图一7 1 图4 9 聚类效果图7 2 图5 1 基于对极几何的视图合成算法框架7 6 图5 2 柱面全景图像的极线示意图7 7 图5 3 柱面投影示意图7 8 图5 4 已校正图像间像素的线性插值8 1 图5 5 合成场景的柱面图像对和柱面反投影后的平面图像对8 3 图5 6 对图5 5 的平面图像对进行校正后的图像8 3 图5 7 合成的平面视图以及柱面正投影后得到的柱面视图8 3 图5 8 真实场景的柱面图像对8 4 图5 9 对图5 8 柱面图像对做柱面反投影后得到的平面图像对8 4 图5 1 0 对图5 9 的平面图像对进行校正后的图像8 4 图5 1 1 合成的平面视图以及柱面正投影后得到的柱面视图8 5 图5 1 2 柱面全景图像的对极几何8 6 图5 1 3 极线采样示意图8 9 图5 1 4 柱面全景图像间像素插值示意图9 2 图5 1 5 合成场景的柱面全景图像对9 3 图5 1 6 从图5 1 5 中截取的柱面图像对9 3 图5 1 7 对图5 1 6 的柱面图像对进行校正后的图像9 3 图5 1 8 合成的中间视点柱面图像9 4 图5 1 9 真实场景的柱面全景图像对9 4 图5 2 0 从图5 1 9 中截取的柱面图像对9 5 图5 。2 1 对图5 2 0 中柱面图像校正后的图像9 5 图5 2 2 合成的中间视点柱面图像9 5 图5 2 3 未校正柱面图像对( 对应点未对齐) 9 6 图5 2 4 将图5 2 3 所示的柱面图像投影为平面图像9 7 图5 2 5 对图5 2 4 所示平面图像校正的结果( 对应点已对齐) 9 7 图5 2 6 对图5 2 4 所示柱面图像直接校正的结果( 对应点已对齐) 9 7 图5 2 7 两种方法的柱面视图合成结果9 8 第页 国防科学技术大学研究生院博士学位论文 图6 1 静态区域虚拟环境中静态全景单元的确定1 0 2 图6 2 实验方案1 0 5 图6 3 左端点处a 静态全景单元以及该处同步视频纹理的图像帧1 0 5 图6 4 右端点b 处静态全景单元以及该处同步视频纹理的图像帧1 0 6 图6 5 视点c 处静态全景单元以及合成的该视点处3 个时刻的动态区域视图1 0 7 图6 6 视点c 处的动态虚拟环境1 0 8 图6 7 双线性插值示意图1 1o 图6 8 图像宽度为w 的视图扫描行1 11 图6 9 柱面全景图像11 2 图6 1 0 柱面全景图像显示实例1 1 2 第页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已 经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文题目： 基王盘区射全量鲍边查虐赵丕埴建搓生绘剑遮盔叠窒 学位论文作者签名：么垒聋 日期： z 护噼罗月日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权国 防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允 许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书 学位论文题目：基王堑屋挝全量鲍盈查麈赵巫埴建搓曼绘剑拉苤盈究 学位论文作者签名：筮! 鱼 一 日期： 抄司年夕月昭日 作者指删币摊：兰趣 魄& 叼年罗月f 歹日 国防科学技术大学研究生院博士学位论文 1 。1 1 问题的提出 第一章绪论 1 1 立题背景 虚拟现实( v i r t u a lr e a l 毋，简称t ) ，是一种基于可计算信息的沉浸式交 互环境，具体地说，就是采用以计算机技术为核心的现代高科技手段生成逼真的 视、听、触觉一体化的特定范围的虚拟环境，用户借助必要的设备以自然的方式 与虚拟环境中的对象进行交互作用、相互影响，从而产生“沉浸”于等同真实环境 的感受和体验。由于人类对外部信息的接收大约有8 0 是通过视觉途径实现的 【7 0 】，因此，如何生成可漫游的、逼真的视觉虚拟环境( 本文中以下简称为虚拟 环境) 一直是虚拟现实技术中的一个重要研究课题。 当前虚拟环境的建模与绘制技术主要可以分为两大类：一类是基于几何的建 模与绘制( g e o m 啷r - b a s e dm o d e l i n ga n dr e n d e r i i 培，简称g b m r ) ，一类是基 于图像的建模与绘制( i m a g e b a s e dm o d e l i n ga n dr e n d e 血g ，简称m r ) 。 采用g b m r 生成虚拟环境的过程是先对真实世界进行抽象，然后建立其3 d 几何模型。在给定观察点和观察方向后，利用计算机实现模型绘制、着色、消隐、 光照以及投影等一系列过程，最终产生虚拟环境。用g b 脉技术构造虚拟环境 的好处在于环境中所有对象的几何模型都是准确知道的，因此用户不但可以在这 种虚拟环境中自由漫游，而且还可以任意地操纵虚拟环境中的虚拟对象，真正地 “沉浸 在这样的虚拟环境中。 但是在实际应用中，无论从人的角度还是从目前计算机处理能力看，用 g b m r 技术构造虚拟环境都存在严重的不足。一方面是建模难度大。虚拟环境 建模过程非常复杂，使用手工创作几何模型和具有真实感的表面模型是十分耗时 的，而且需要专业人员和高性能的图形工作站才能完成，为了取得很好的视觉效 果，不但要有很多光源，而且还需要大量的纹理映射。另一方面是虚拟环境的实 时绘制相当困难。对于非常复杂的场景，运用传统计算机图形学中的绘制技巧， 如光线跟踪和光线辐射方法，虽然可以产生极其真实的图像，但是生成一帧图像 需要几个小时甚至是几十个小时。而实际应用中，要满足实时漫游的要求，场景 的绘制速度不能低于2 4 帧秒，否则用户就会感到画面的不平滑。在现有的硬件 条件下，这种绘制要求是十分苛刻的。为此g b m r 研究者提出了一些提高绘制 速度的方法，如：复杂模型的简化及多分辨率表示方法，可见性检测方法，对于 复杂、特殊的物体用相应的纹理来代替三维模型的方法，以及模型的几何压缩方 第l 页 国防科学技术大学研究生院博士学位论文 法等等【75 1 。利用这些方法，再加上专用的图形绘制硬件，可以大大提高绘制速 度。但是无论怎样，实时绘制复杂真实感场景的能力依然十分有限，生成的场景 还无法与拍摄的实景照片相媲美。而客观上人们对虚拟环境中场景复杂度的要求 却是永无止境的。 为了提高虚拟环境的场景绘制速度，增加场景的真实感，从2 0 世纪9 0 年代 开始，国际上逐渐开始流行构造虚拟环境的另一种技术：基于图像的绘制( m m ) 技术。i b 脉技术采用完全不同于g b 凇技术的思路，它以从环境中采样的离 散图像组成基础数据，通过处理和组织这些图像数据来得到虚拟环境的连续描 述，其本质是由虚拟环境中采样的已知视图合成虚拟环境的新视图。 与g b 脉技术相比，使用i b m 技术生成虚拟环境有许多好处，主要表现 在：第一，虚拟环境中场景的绘制速度只与图像的分辨率有关，而与场景的复杂 度无关。用g b 皿绘制场景的速度依赖于场景的复杂程度，场景越复杂，计算 量就越大，绘制时间就越多；而m 以图像为基础绘制场景，绘制速度仅依赖 于图像的分辨率，因而极大地提高了绘制性能。第二，以图像为基础构造虚拟环 境，无需建立虚拟环境的3 d 几何模型。g b m r 以3 d 几何模型为基础构造虚拟 环境，而使用手工创作几何模型和具有真实感的表面模型费时费力，构造出的模 型却依然无法与复杂真实世界的对象一模一样，许多人把这归咎于缺乏有效的 3 d 建模工具，但事实上创作过程的改善并没有象绘制系统的性能那样呈指数地 增加。另一方面，高分辨率的数码相机和数码摄象机已经普及，人们可以方便地 获取高质量的图像。与3 d 几何建模相比，图像既丰富又易获取，更重要的是， 图像表示场景的几何复杂度和真实度的能力远远超出了目前的3 d 建模能力。第 三，预先存储的图像既可以是计算机合成的，也可以是拍摄的真实世界实景图像， 两者还可以混合使用，产生出虚实结合的效果。用g b m 技术构造的虚拟环境 只能生成完全虚拟的场景，而m 脉技术构造的虚拟环境可以生成虚实结合的场 景。第四，无需价格昂贵的图形工作站和图形加速硬件。g b m 技术构造虚拟 环境需要进行大量的计算，因而对硬件的要求很高；而m 胀技术计算量小，无 需高档硬件支持。由于i b 凇技术的这些诸多优点，使得它得到了越来越广泛的 应用。 早期的m 腿技术只能构造静态虚拟环境，没有考虑场景随时间的变化，而 真实世界中的场景往往与时间相关，这大大限制了m 脉技术的应用范围。近年 来，借助视频技术的飞速发展，基于m 敞的动态虚拟环境构造方法的研究逐渐 兴起，由于要反映场景随时间的变化，在此类技术中通常采用具有时间关联的图 像序列视频作为样本数据，所以此类技术也称为基于视频的建模与绘制 ( v i d e o b a s e dm o d e l 迦a n dr - e n d e 血g ，简称v b m r ) 。 第2 页 国防科学技术大学研究生院博士学位论文 显然，与传统的构造静态虚拟环境的m r 技术相比，v b 凇技术更加复 杂。当前，m r 技术发展还处于初级阶段，许多问题有待解决，动态虚拟环 境的自由漫游和动态虚拟环境的大时间范围连续表现就是其中两个急需解决的 问题。 1 动态虚拟环境的自由漫游 m r 技术的理论基础是a d e l s o na n db e r g e n 提出的全光模型【1 4 1 ，基本原理 是通过采集环境中光线的有限样本来重构环境的连续全光函数。由于这种完全不 同于g b m r 的虚拟环境建模与绘制机制，使得在基于g b m r 技术构造的虚拟环 境中很容易实现的自由漫游，在i b m 技术构造的虚拟环境中实现却非常困难。 而对于m r 技术，环境中的光线不仅会随空间方位的不同而有所差异，而且 会随时间变化，因此，重构环境的连续全光函数难度更高，自由漫游的实现更加 困难。 2 动态虚拟环境的大时间范围连续表现 视频只能反映某个时段的虚拟环境变化，具有明显的开始、进行和结束。要 表现更长时间的场景变化，延长视频的采集时间是最直接的办法，但这会使数据 量快速增长，增加处理的复杂度，且无限延长视频样本的采集时间在实际实现中 也并不现实。对于类似流水、摆动的树叶这样的周期性或类周期性的运动现象来 说，视频纹理【4 】可以基于有限时长的视频样本产生无限时长连续变化的视觉效 果，如果动态虚拟环境中的运动形态都是周期性、类周期性或统计性的运动，视 频纹理技术可以作为解决动态虚拟环境大时间范围连续表现问题的有效手段。但 视频纹理技术只能表现固定观察方位的场景的无限时长连续变化，要将其应用于 动态虚拟环境的建模与绘制，还必须结合全景技术和视频合成技术，得到动态虚 拟环境中任意观察方位的无限时长连续变化的场景视图。 为了解决上述两个问题，本文提出了基于折反射全景的动态虚拟环境建模与 绘制方法，基于折反射全景技术构造具有高漫游自由度且能实现视觉效果上无限 时长连续变化的动态虚拟环境。 1 1 2 课题的研究意义 沉浸性和交互性是虚拟现实系统的两个关键特征。要实现虚拟现实系统的沉 浸性，关键是构造逼真的虚拟环境，而由于真实世界的场景大部分都是动态的， 因此，动态虚拟环境的构造至关重要。虚拟现实系统的交互性则要求用户能尽可 能自由地与虚拟环境交互，而自由漫游是基本的交互手段，因此，能否实现虚拟 环境的大范围自由漫游是决定虚拟现实系统交互性能的关键因素。 在虚拟环境建模与绘制中，m 脓技术具有无需复杂的几何建模、硬件配置 第3 页 国防科学技术大学研究生院博士学位论文 要求低、绘制速度与场景复杂度无关等优点，对逼真、复杂场景的绘制效率远高 于g b m r 技术，但m r 技术实现虚拟环境的大范围自由漫游和表现动态虚拟 环境比较困难。本文提出的基于折反射全景的动态虚拟环境建模与绘制方法是一 种可实现动态虚拟环境自由漫游的腿技术，构造的虚拟环境具有场景逼真、 交互性能好、图像获取方便以及所需硬件要求低等特点，不但具有很强的学术研 究价值，而且可广泛地应用于虚拟旅游、电子游戏、虚拟战场环境生成等诸多领 域。 在虚拟旅游方面，传统m 脉构造的静态虚拟环境，在很多情况下( 例如： 当景点中存在瀑布、摇曳的树叶等动态景物时) ，无法逼真地再现景点的真实景 象。而利用本文方法构造的动态虚拟环境可以很好地表现这类动态景物，从而实 现用户在一个更加逼真的环境中虚拟旅游。 在电子游戏方面，某些情况下，本文的方法可以代替g b 腿技术构造可自 由漫游的动态虚拟环境，从而在保证场景逼真度和交互性的前提下，大大节省计 算资源，提高场景绘制效率。 在虚拟战场环境生成方面，利用本文方法可以生成具有良好交互性能而且会 随时间变化的虚拟战场环境，军事人员可以在更加“真实”的虚拟环境中作战， 完成各种训练任务。 除此之外，本文在折反射数字全景成像技术方面的研究成果，也具有很强的 实用性和推广价值。在军事领域，折反射数字全景成像技术主要应用在军事装备 的侦察系统、火控系统等方面。例如：以色列陆军已把这种技术用于制造新型 3 6 0 度全景潜望镜，该3 6 0 度潜望镜被安装在“梅卡瓦”系列主战坦克炮塔后部 的一个立柱上，从而使“梅卡瓦”坦克指战员不需要旋转潜望镜，便能检测坦克 周围的可疑情况与敌方目标，以提供实时预警。美国海军则已利用折反射数字全 景成像技术来制造可用于海军舰艇的新型光电桅杆。在民用领域，折反射全景成 像技术以其一次成像、无监控盲点等优势，在安防监控、机器人视觉、工程机械 操作、车辆安全行驶等方面都具有广泛的用途。 1 2 国内外研究现状 m 腿技术兴起于上个世纪9 0 年代，其基本思想是通过采集有限的场景图 像或视频作为样本来重构虚拟环境。在脉技术中，最经典的理论是a d e l s o n a n db e r g e n 所提出的全光模型1 4 1 ，它采用7 维全光函数厂7 ( 圪，巧，圪，乡，伊，元，r ) 来 描述场景中的所有光线，其中( 圪，圪) 描述3 维空间位置， ( 护，伊) 描述光 线朝向，名描述光线波长，f 描述时间。 第4 页 国防科学技术大学研究生院博士学位论文 7 维全光模型虽然是虚拟场景最完整的描述形式，但其建模非常困难，为了 使其能实际应用，m c m i a n 和b i s h o p 首先在9 5 年提出了简化的5 维全光模型【1 5 】： 厂p ( 圪，圪，秒，伊) 。该方案在3 维视场的不同位置设置拍摄点，在每个拍摄点 旋转镜头拍摄一周并将其合成柱面全景图。这样就形成了静态场景的5 维描述， 3 维用来描述观察位置，2 维用来描述在柱面全景图中的观察域。漫游过程中， 当观察点位于拍摄点时，由采样的全景图像即可实现该视点的全方位观察；当观 察点不位于拍摄点时，则利用邻近的柱面全景图之间的对应关系变形求得当前位 置和视线方向的视图。为了恢复不同位置的柱面全景图之间的对应关系，需要计 算大量的光流信息。在实际中，完全获得这些光流信息是很困难的。因此， m c m i l l a n 和b i s h o p 的全光建模系统依然只是对全光函数理论的一种验证和探 索，离实用还有很大的距离。 9 6 年提出的光场绘制【7 8 】技术，通过引入一个立方体包围盒，可将全光函数 降为4 维。但该方法虽然较m c m d l a i l 的5 维全光模型【1 5 】方法的可实用性强，但 该方法依然存在光场重建过程复杂、计算量大、数据采集成本高、漫游范围小等 许多问题，在工程实践中也难以应用。 9 9 年，沈向阳提出的同心圆拼图【9 】方法是基于图像绘制领域的一个重大突 破。该方法限制相机运动在平面同心圆上。同心圆拼图由同心圆不同位置上拍摄 | 韵图像组成，用3 个参数来描述：圆的半径、旋转角，仰角。它用一种有效的方 式结合适当的捕获来绘制新视图。该方法采集成本低，计算简单，重建过程无需 几何信息，对于室内小范围场景有不错的效果。但该方法存在着漫游