（电路与系统专业论文）面向移动设备的动态目标的光场渲染技术研究[电路与系统专业优秀论文].pdf

摘要 摘要 随着多媒体技术的不断发展，视频技术也需要从二维向三维转变，和普通的 二维视频相比，三维视频增加了场景的深度信息，增强了视觉的现实感和逼真感， 可以给用户提供全方位沉浸式的感受。三维视频技术可以广泛应用于数字电视、 移动设备系统，三维视频会议系统、虚拟现实系统等方面，而其中移动设备系统 更为人们所关注，移动设备已经逐渐成为人们进行信息获取、处理处理、个人娱 乐等的重要途径。因此人们迫切的希望在移动设备上享受真实感绘制，比如：显 示真实感的3 d t v 、虚拟现实的漫游等等。 移动设备由于采用电池供电，存储器空间有限，带宽较小，因此移动设备的 真实感绘制系统应具有低功耗和低带宽的特点。传统的计算机图形学是建立在基 于3 d 网格模型的绘制基础上，能否准确的构建成场景的3 d 网格模型将直接影响 最终绘制的效果，整个绘制过程与场景复杂度有关，带来了功耗大的问题。而基 于图像的绘制技术( i b r ) 由于与场景复杂度无关且真实感强等特点，在近十年来 成为真实感绘制的研究热点，但由于其数据量庞大，对于移动设备有限的存储空 间和带宽非常不利。针对这些问题，本文提出了一种面向移动设备的动态3 d 目 标的真实感绘制技术。 主要工作和创新如下： 1 )针对移动设备存储空间小和带宽有限的特点，提出了一种面向移动设备 的动态3 d 目标的光场渲染编解码器设计。由于3 d 网格模型来源于图 像，降低了人工建模的复杂度。同时，由于具有场景目标的几何信息， 场景目标重构所需的图像数量可以大量减少，降低了数据量，有利于低 带宽的移动设备的数据传输，实验结果表明，数据量相比基于图像的绘 制方法，存储数据量以及传输数据量都得到了有效的降低。 2 )结合重建的目标的3 d 网格模型，提出了一种面向移动设备的目标表面 光场采样方法，详细分析了光场采样前的可见性问题以及虚拟视点的生 成方法。该方法不但可以实现真实感效果，而且可以实现自由视点的绘 制。实验结果表明，这种采样方法准确记录了目标向空间发出的光线信 息，包括了光线的强度和光线的方向。 3 )由于采样的光场矩阵包含的数据量较大，不利于视频数据的传输，提出 了一种自适应的奇异值分解算法，自动控制光场矩阵的分解级数，解决 了人为主观因素的控制，保证重建质量的同时，提高了压缩率。光场矩 阵分解后获得目标的表面纹理和视点纹理，采用矢量量化和s 3 t c 压缩 摘要 算法去除纹理图像之间及内部的冗余信息，实验结果表明，在保证真实 感效果的前提下，数据量得到了有效的降低。此外，s 3 t c 算法为图形 硬件广泛支持的标准纹理压缩算法，有利于实现光场重建的硬件加速过 程。 4 )提出了一种面向移动设备的光场渲染解码器的硬件架构设计，采用自行 设计的图形处理器，对光场解码过程进行硬件加速，实现实时绘制。同 时针对解码器中负责光场重建的核心单元纹理映射单元，提出了一 种f p g a 设计方案，对其中的纹理存储单元( c a c h e ) 进行了优化设计，采 用了基于4 4 压缩纹素块的存取方式，充分地利用了像素间的相关性， 提高c a c h e 的命中率，减少了对总线带宽的需求。实验结果表明，该架 构可以实现动态3 d 目标的真实感绘制，证明了本文提出的面向移动设 备的动态3 d 目标真实感绘制的可行性。 关键词：移动设备，三维视频，光场，真实感绘制，编解码器 i i a b s t r a c t a b s t r a c t w i t ht t l e d e v e l o p m e n to fm u l t i m e d i at e c h n i q u e s ，v i d e ot e c h n i q u e sn e e dt o t m s f o n l lf r o mt w od i m e n s i o n ( 2 d ) t o 缸e ed i m e n s i o n ( 3 d ) c o m p a r e d 谢t h2 d v i d e o ，t h ed 印t hi n f o i 】m a t i o no fs c e n eh a sb e e na d d e dt o3 dv i d e o ，a n dt l l er e a l i t yo f v i s u a l i t yh a sa l s ob e e ne n h a n c e d ，w h i c hc a 【1p r o v i d et h ef e e l i n go fi m m e n s i o ni na l l d o m a m s 3 dv i d e ot e c h n o l o g yc a nb ew i d e l yu s e di nd i g i t a lt e l e v i s i o n ，m o b i l ed e v i c e s y s t e m s ，3 dv i d e o - c o n f e r e n c i n gs y s t e m s ，v i r t u a lr e a l i t ys y s t e m s ，a n ds oo n a m o n g t h e m ，m o b i l ed e v i c es y s t e m s 、) 、，h i c ha r em o r ec o n c e m e da b o u tp e o p l e m o b i l ed e v i c e s h a v eg r a d u a l l yb e c o m ea n i m p o r t a i l tw a yt oi n f b m a t i o na c q u i s i t i o n ，p r o c e s s i n g t r e a t m e n t ，p e r s o ne n t e r t a i l l n l e m ，a n ds oo n t h u sp e o p l eh o p eu r g e m l yt l l a tt h e yc a n e n j o yt h ep h o t o r e a l i s t i cr e n d e r i n go nm o b i l ed e o i c e s ，f o re x a m p l e ，r e a l i s t i cd i s p l a y 3 d t v ，v i n u a lr e a l i t yr o 锄i n g ，e t c a sar e s u l to ft h eu s eo fb a n e r y p o w e r e d ，l i m i t e dm e m o 巧s p a c ea n ds m a l l e r b a n d w i d t ho nm o b i l ed e v i c e s ，t h ep h o t o r e a l i s t i cr e n d e r i n gs y s t e mo fm o b i l ed e v i c e s h o u l dh a v et h ec h a r a c t e r i s t i c so fl o wp o w e rc o n s u m p t i o na r l dl o wb a l l d w i d t h t r a d i t i o n a lc o m p u t e rg r a p h i c si sb u i l to n3 dm e s hm o d e lr e n d e r i n g ，m em t i m a t e r e n d e r i n ge f r e c ti sd i r e c t l ya 肮c t e db y3 dm e s hm o d e l 、v h i c hw h e t h e rc a l lb eb u i l t a c c u r a t e i y t h ee n t i r er e n d e r i n gp r o c e s si sr e l a t e d 谢t ht 王l ec o r n p l e x i t yo fs c e n e ， l e a d i n gt ot h ep r o b l e mo fl a r g ep o w e r a st h ei b rh a st h ec h a r a c t e ro fn or e l a t i o n w i mt h ec o m p l e x i t yo fs c e n e2 u l dt l l es t r o n gr e a l i s t i c ，t th a sb e c o m er e s e a r c hf o c u so n p h o t o r e a l i s t i cr e n d e r i n gi nt h ep a s td e c a d e b u td u et ot l l el a 唱ed a t a 锄o u n t ，i ti sv e d r d i s a d v a n t a g ef o rm o b i l ed e v i c e sw i t hl i m i t e ds t o r a g es p a c ea n db a n d w i d t h f o rt h e s e p r o b l e m s ，t h i sp i p e rp r o p o s e sap h o t o r e a l i s t i cr e n d e r i n gt e c l u l i q u eo f3dd y n 锄i c o b j e c to nm o b i l ed e v i c e s t h em a i nw o r ka n di n n o v a t i o na r ea sf i o u o w s ： 1 ) f o rt h ec h a r a c t e ro fs m a l ls t o r a g es p a c ea n dl i m i t e db a n d w i d t ho nm o b i l e d e v i c e ，t h i sp a p e rp r o p o s eal i g h t 矗e l dr e n d e r i n gc o d e cd e s i g no f3 dd y n a m i co b j e c t o nm o b i l ed e v i c e a st h e3dm e s hm o d e l 丘o mt l l e 证l a g e ，i tc a nd e c r e a s et l l e c o m p l e x i t yo fa n m c i a lm o d e l i n g a tt h es a m et i m e ，w i t ht l l eg e o m e t r i ci n f o 肌a t i o no f o b je c t s ，t h en u m b e rr e q u i r e m e n tf o rm er e c o n s t m c t i o no ft 1 1 et a 唱e ts c e n ei m a g e sc a n b eas i g 脯吐凹tr e d u c t i o n ，w “c hh a sa na d v a l l t a g e o u so fl o w - b a n d 们d md a t at i a n s f e r f o rm o b i l ed e v i c e s t h ee x p e r i m e n tr e s u l t ss h o wt h a tt l l e 锄o u n to fd a t as t o r a g ea r l d a b s t r a c t d a t a t r a n s m i s s i o nh a v eb e e nr e d u c e de f f e c t i v e l y c o m p a r e dt oi b r 2 1c o m b i n e d 谢t hm er e c o n s t m c t e d3 dm e s hm o d e l ，t 1 1 i sp 印e rp r o p o s e sa su r ：f a c e l i g h tn e l ds a m p l i n gm e t h o d so nm o b i l ed e v i c e ，a n a l y s et h ei s s u eo fv i s i b m t yb e f o r e l i g h t6 e l ds 锄p l i n g ，a sw e l la st l l eg e n e r a t i o no ft h ev i r t u a lv i e w p o i n ti nd e t a i l - t h i s m e t h o dn o to n i yc a na c h i e v er e a l i s t i cr e s u l t s ，b u ta l s ot h er e a l i z a t i o no f 行e ev i e 、v p o i n t r e n d e r i n g t h ee x p e r i m e n tr e s u l t ss h o wt l l a tt h i ss 锄p l i n gm e t h o dr e c o r d st h el i 曲t i n f o m a t i o no ft h eo b j e c ta c c u r a t e l y ，i n c l u d i n gt h el i g h ti n t e n s i t ya i l dl i g h td i r e c t i o n 3 ) a st h el i 曲t f i e l ds a m p l i n gm 积xc o n t a i n sal a 唱e ra m o u n to fd a t a ，“i s d i s a d v a n t a g ef o r t h et r a n s m i s s i o no fv i d e od a t a t h i sp a p e rp r o p o s e sa na d a p t i v e a l g o r i t h mf o rt h es i n g u l a rv a l u ed e c o m p o s i t i o n ，w h i c hc a na u t o m a t i c l yc o n t r o lt l e m a t r i xd e c o m p o s i t i o nl e v e l ，g u a r a n t e et h eq u a l i t yo f 也er e c o n s t r u c t i o nv ，h i l ei m p r o v e c o m p r e s s i o nr a t i o t h es u r f a c et e x t u r ea n dv i e wt e x t u r ec a j lb eo b t a i n e da r e rl i g h t f i e l dm a t r i xd e c o m p o s i t i o n w eu s ev e c t o rq u a n t i z a t i o na n ds 3 t cc o r r l p r e s s i o n a l g o r i t h m st or e d u c et h ee x t e m a la j l di n t e m a lr e d u n d a j l c yo ft e x t u r ei m a g e s t h e e x d e r i m e n tr e s u l t ss h o wt h a tm e 锄o u n to fd a t ah a sb e e nd e c r e a s e de 毹c t i v e l yu n d e r t h ep r e m i s eo fr e a l i s m f u r t h e m o r e ，s 3 t ci st h es t a n d a r dt e x t u r ec o m p r e s s i o n a l g o r i t h m 航c hi sw i d e l ys u p p o r tb yg r a p h i c sh a r d w a r e ，t h u si ti sa d v a n t a g ef o rt h e h a r d w a r ea c c e l e r a t i o no fr e a l i z i n gl i g h tf i e l dr e c o n s t m c t i o n 4 ) t h i sp a p e rp r o p o s e sah a r d w a r ea r c h i t e c t u r ed e s i g no fl i g h tf ；i e l dr e n d e r i n g d e c o d e rf a c i n go nm o b i l ed e v i c e w bu s es e l f d e s i g n e dg r 印m c sp r o c e s s o rt o a c c e l e r a t el i g h tf i e l dd e c o d i n ga j l dr e a l i z et h er e a l t i m er e n d e r i n g a tt h es 锄et i m e ， f o r 也ec o r em o d u l e 、h i c hi sr e s p o n s i b l ef o rl i g h tf i e l dr e c o n s t m c t i o n - t e x t u r e m a p p i n gu n i t ，t h i sp 印e rp r o p o s e sa nf p g a d e s i g n 1 nt h ei m p l e m e n t a t i o n ，m e r ei sa n o p t i m i z e dh a r d 、a r ed e s i g no ft e x t u r ec a c i h et h r o u g hu t i l i z i n ga c c e s s i n gm e t h o d s b a s e do n4 4c o m p r e s s e dt e x e lb l o c k t h ea b o v eo p t i m i z a t i o nm a k e s 龟l lu s eo fm e r e l a t i o l l s h i pb e t w e e np i x e l s ，s om er a t eo fc a c h es h o o t i n gb e c o m e sh i g h e ra n dm c d e m a l l do f b u sb a n d 、i d t hb e c o m e sl o w e r n l ee x p e r i m e n tr e s u l t ss h o wm a t 仳s a r c h i t e c t u r ec a nr e a l i z et h er e a l i s t i cr e n d e r i n go f3 dd y n 锄i co b j e c t ，p r e s e n te v i d e n c e o ff e a s i b i l i t yo f3 dd y n a m i co b j e c tr e a l i s t i cr e n d e r i n go nm o b i l ed e v i c e k e vw o r d s ：m o b i l ed e v i c e ，3 dv i d e o ，l i g h tf i e l d ，r e a l i s t i cr e n d e r i n g ，c o d e c 4 目录 图表目录 图1 13 d 图形绘制管线。5 图1 2 光场表示7 图2 。1 发光强度18 图2 2 亮度1 9 图2 3朗伯球体的亮度、1 9 图2 4 点光源的照度。2 0 图2 5 4 d 光场函数的不同表示方法。2 3 图2 6 l j g h tf i e l d 实现方案。2 4 图2 7 参数化的球面。2 5 图3 1 光场渲染的整体架构。2 9 图3 2 表面光场模型3 0 图3 3 光场分割的三种形式。3 0 图3 4 基于边分割光场。31 图3 5 基于顶点分割光场3 2 图3 6 视点位置采样。3 4 图4 1视锥体形成与相交示意图4 0 图4 2 立方体与曲面相交的1 4 种情况4 1 图4 3 从d a v i d 图像序列中重构的可见外壳三角面网格：4 3 图4 4 从p r e d a t o r 图像序列中重构的可见外壳三角面网格4 3 图4 5 从s k u l l 图像序列中重构的可见外壳三角面网格4 3 图4 8 本文算法重构的三维模型效果图。4 4 图4 9d a v i d ，d i n o s a u r 撇l r r i o r 和s o l d i e r 图像序列可见外壳不一致性误差4 5 图4 1 0 s k u l i ，r o m 卸，p r e da _ c o r 和a i i e n 图像序列可见外壳不一致性误差4 5 i x 目录 图4 1 1d a v i d ，d i n o s a u r w 打i o r 和s o l d i e r 图像序列运行时间复杂度。4 6 图4 1 2s k u l l ，r o m a n ，p r e d a t o r 和a l i e n 图像序列运行时间复杂度4 6 图5 1 光场采样的三种方式4 9 图5 2 图像坐标系5 1 图5 3 摄像机坐标系。5l 图5 4 三角面在视点空间的分布5 4 图5 。5 部分可见视点的特殊情况5 6 图5 6 表面位置采样过程。5 7 图5 7 直角三角面和空间三角形之间的纹理映射关系5 8 图5 8 顶点光场可见视点部分5 9 图5 9d e l a u n a y 三角剖分。6 1 图5 1 0 外接圆准则6 1 图5 1 1局部优化准则6 2 图5 1 2 虚拟视点的采样6 3 图5 13 三角面重心坐标6 4 图5 1 4 可见视点三角面外的采样点权值计算6 5 图5 1 5 顶点光场矩阵的表示形式6 5 图5 1 6 测试摄像机标定的结果6 6 图5 1 7 表面采样测试结果6 7 图5 18 可见视点的d e l a u n a y 三角剖分6 8 图5 1 9 虚拟视点采样点的确定6 9 图5 2 0 虚拟视点下的图像6 9 图5 2 l两个虚拟视点下的图像差异7 0 图6 1不同的s v d 分解级数下的重建效果7 8 图6 2 奇异值稳定性测试。7 9 x 目录 图6 3 不同的n m f 分解级数下的重建效果8 1 图6 4s v d 和n m f 的p s n r 对比图s 2 图6 5s v d 和n m f 分解速度对比图8 3 图6 6k - 1 对应的表面纹理和视点纹理8 5 图6 7k = 2 对应的表面纹理和视点纹理8 6 图6 8 矩阵能量和奇异值数量之间的关系一8 7 图6 9 顶点光场矩阵的重建效果8 7 表6 1 不同分解级数下的顶点光场矩阵相关数据8 7 图6 1 0s 3 t c 编码示意图9 1 图6 1 l 理想的空间点分布9 l 图6 1 2 空间点的分布方向9 2 图6 13中间颜色的计算9 2 图6 1 4s 3 t c 算法测试9 3 表6 2 测试模型压缩重建后的相关数据9 3 图6 1 5 表面纹理和视点纹理压缩前后对比9 4 表6 3 表面纹理和视点纹理压缩后的相关结果9 4 表6 4 测试结果9 4 表6 5 编码速度。9 4 图7 1 解码端的硬件架构9 7 图7 ，2 视锥体裁减和背向面剔除1 0 0 图7 3 边扫描算法示意图1 0l 图7 4 平面几何中的商线方程10 2 图7 5 边界方程示意图1 0 3 图7 6 三角形包围盒示意图1 0 3 图7 。7z i g z a g 扫描方法1 0 4 x i 目录 图7 8 重心插值法示意图1 0 4 图7 9 纹理透视校正效果1 0 5 图7 9 纹理坐标的局部透视校正1 0 6 图7 1 0 纹理的采样1 0 7 图7 1l三角面填充效果：1 0 8 图7 1 2 纹理映射效果1 0 8 图7 1 3 纹理映射模块整体架构1 0 9 图7 1 4 纹理寻址时的三种情况11 0 图7 15 l 1c a c h e 状态机l ll 图7 1 6l 2c a c h e 状态机。1 1 2 图7 1 7 纹理解压单元1 1 2 表7 1纹理映射单元综合后的资源统计1 l3 图7 18 单个像素寻址的仿真波形1 1 3 图7 1 93 d 动态目标光场重建效果1 1 4 x u 中国科学技术大学学位论文原创性声明 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：垒墨签字目期：尘卜f ， 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 母公开口保密( 年) 作者签名：型 签字日期：丕塑z ：么： 新虢耻 签字日期：2 竺! z ：f 第一章绪论 1 。1 引言 第一章绪论 本章主要讨论了三维视频研究的背景和意义，概要的介绍了三维视频的应用 领域和发展情况，同时介绍了三维视频的研究现状，分析了各种i b r 技术的优 点和缺点，提出了一种适合于移动设备的三维视频设计方案，最后给出了本文的 主要研究工作和工作成果。 1 2 研究背景及意义 随着数字技术的发展，数字信息化几乎涉及到世界的每一个角落，改变了人 类的生活和工作方式。信息化的一个主要特征包括了多媒体技术。随着多媒体技 术的不断发展，交互性将成为未来多媒体技术的一个主要特征，具有交互性的多 媒体技术将使我们能够在某些方面由被动欣赏转化为主动欣赏。例如我们可以在 一个场景中改变我们的视点，选择我们感兴趣的区域进行观赏。为此视频技术也 需要从二维向三维转变，和普通二维视频相比，三维视频增加了场景的深度信息， 增强了视觉的现实感和逼真感，可以给用户提供全方位沉浸式的感受。 三维视频技术( 沈燕飞，2 0 0 5 ) 主要应用于数字电视领域，目前主要的发展趋 势是追求对自然景物更加真实、清晰的表征。近年来成为主流的高清数字电视 ( h d t v ) 通过增加图像显示的分辨率，进一步提高视觉的真实性。然而人们对场 景的观看仍然停留在二维平面上，无法真实感受自然场景深度信息，人们也希望 能够看到物体在多个视角的描述。为了满足人们的这种需求，能构提供3 d 视觉 的多视点视频技术越来越受到学术界和工业界的重视，并且成为当前视频研究领 域的热点之一。 此外三维视频技术还广泛的应用于虚拟现实系统( 石教英，2 0 0 2 ) 。虚拟现实 是人们通过计算机对复杂数据进行可视化操作与交互的一种全新方式，与传统的 人机界面以及流行的视窗操作相比，虚拟现实在技术思想上有了质的飞跃。虚拟 现实中的“现实”是泛指在物理意义上或功能意义上存在于世界上的任何事物或 环境，它可以是实际上可实现的，也可以是实际上难以实现的或根本无法实现的。 而“虚拟”是指用计算机生成的意思。因此，虚拟现实是指用计算机生成的一种特 殊环境，人可以通过使用各种特殊装置将自己“投射”到这个环境中，并操作、控 第一章绪论 制环境，实现特殊的目的，即人是这种环境的主宰。从本质上来说，虚拟现实就 是一种先进的计算机用户接口，它通过给用户同时提供诸如视觉、听觉、触觉等 各种直观而又自然的实时感知交互手段，最大限度地方便用户的操作。根据虚拟 现实技术所应用的对象不同，其作用可表现为不同的形式，例如将某种概念设计 或构思可视化和可操作化，实现逼真的遥控现场效果，达到任意复杂环境下的廉 价模拟训练目的等。 交互性、实时性、沉浸感和多感知性是虚拟现实系统的主要特征。 1 )交互性是虚拟虚拟现实系统设计的出发点，指用户对模拟环境内物体的 可操作程度和从环境得到反馈的自然程度。它强调入和虚拟环境之间的 感知能力，反映为系统对人的信号检测和信号反馈过程。 2 )实时性要求信号传输的速度能够满足交互的需求。视觉实时是关键因素 之一，它要求用户在虚拟环境中改变视点位置或视线方向时，系统能快 速地更新画面，生成新视点下的视图。但是由于场景的表示越来越复杂， 绘制需要考虑微妙的光照和阴影等细节效果，因此采用传统真实感图像 绘制方法往往非常耗时。为了解决这个问题，人们从绘制算法和图形硬 件两方面进行了研究，但用户需求的不断发展和软硬件技术瓶颈之间的 矛盾仍然阻碍着虚拟现实技术的进一步应用。 3 )沉浸感是指用户感到作为主角存在于模拟环境中的真实程度。逼真的信 号反馈方式可以使得用户忘却周围的客观世界，全身心的浸入到虚拟环 境中。从视觉的角度，沉浸感表现为视图的真实感。 4 )多感知性是指除了一般计算机技术所具有的视觉感知之外，还有听觉感 知、力觉感知、触觉感知、运动感知，甚至包括味觉感知、嗅觉感知等。 理想的虚拟现实技术应该具有一切人所具有的感知功能。由于相关技 术，特别是传感技术的限制，目前虚拟现实技术所具有的感知功能仅限 于视觉、听觉、力觉、触觉、运动等几种。 一般来说，一个完整的虚拟现实系统由虚拟环境、以高性能计算机为核心的 虚拟环境处理器、以头盔显示器为核心的视觉系统、以语音识别、声音合成与声 音定位为核心的听觉系统、以方位跟踪器、数据手套和数据衣为主体的身体方位 姿态跟踪设备以及味觉、嗅觉、触觉与力觉反馈系统等功能单元构成。这里，虚 拟环境处理器是虚拟现实系统的心脏，完成虚拟世界的产生和处理功能。输入设 备给虚拟现实系统提供来自用户的输入，并允许用户在虚拟环境中改变自己的位 置、视线方向和视野，也允许改变虚拟环境中虚拟物体的位置和方向。而输出设 备是由虚拟系统把虚拟环境综合产生的各种感官信息输出给用户，使用户产生一 种身临其境的逼真感。主要的研究内容包括以下几个方面： 2 第一章绪论 1 )动态环境建模。虚拟环境的建立是虚拟现实系统的核心内容，动态环境 建模技术的目的就是获取实际环境的三维数据，并根据应用的需要建立 相应的虚拟环境模型。三维数据的获取可以采用c a d 技术，更多的情 况则需采用非接触式的视觉技术，两者有机结合可以有效地提高数据获 取的效率。 2 )实时三维图形生成技术。三维图形的生成技术已经较为成熟，这里的关 键是如何实现“实时”生成。为了达到实时的目的，至少要保证图形的刷 新频率不低于1 5 帧秒，最好高于3 0 帧秒。在不降低图形的质量和复 杂程度的前提下，如何提高刷新频率是该技术的主要内容。 3 )应用系统开发工具。虚拟现实应用的关键是寻找合适的场合和对象，即 如何发挥想像力和创造性。选择适当的应用对象可以大幅度提高生产效 率，减轻劳动强度，提高产品质量。为了达到这一目的，必须研究虚拟 现实的开发工具，例如虚拟现实系统开发平台、分布式虚拟现实技术等。 4 )立体显示和传感器技术。虚拟现实的交互能力依赖于立体显示和传感器 技术的发展，现有的设备远远不能满足需要，比如头盔式三维立体显示 器有以下缺点：过重( 1 5 埏至2 埏) 、分辨率低( 图像质量差) 、延迟 大( 刷新频率低) 、行动不便( 有线) 、跟踪精度低、视场不够宽、眼睛 容易疲劳等，因此有必要开发新的三维显示技术。同样，数据手套、数 据衣服等都有延迟大、分辨率低、作用范围小、使用不便等缺点。另外， 力觉和触觉传感装置的研究也有待进一步深入，虚拟现实设备的跟踪精 度和跟踪范围也有待提高。 5 )系统集成技术。由于虚拟现实系统中包括大量的感知信息和模型，因此 系统集成技术起着至关重要的作用。集成技术包括信息的同步技术、模 型的标定技术、数据转换技术、数据管理模型、识别与合成技术等等。 为了表示三维视频数据并对其进行编码，i s o ，i e c 制定了一套虚拟现实建模 语言模型v r m l ( 张翰峰，) 。用它可以描述三维物体及其行为，构建虚拟世界， 建立互联网上的交互式三维多媒体。虽然v r m l 有许多优点，但是由于v i m l 是面向图形的，绝大部分场景是使用计算机产生的图形或者是静态的图像，场景 的真实感非常有限。作为v 刚l 的补充，i s o 巾v i p e g 联合企业制定新的标准来 增强三维视频的真实感和交互性。例如在早期的m p e g 4 标准中，使用者可在图 像或比特流中选择一个具体的对象，随后改变它的某些特性，提供将自然视频图 像同合成数据有效结合的方式，同时支持交互式操作。后来m p e g 4 又进行了扩 展，其中动画框架扩展a f x 对自然场景规定了新的格式，同时a f x 也提供了新 的工具来对自然图像中的场景对象使用表面光场和深度图像绘制技术进行建模 第一章绪论 等。 随着v i 蝴l 和m p e g 4 ( 佚名，2 0 0 1 ) 等国际标准的制定和发展以及多媒体通 信技术的快速进步，促进了数字视频，计算机图形和计算机视觉的迅速融合，引 发了人们对如下研究领域越来越多的关注：自然的视频物体与3 d 虚拟图像环境 的无缝融合。主要应用于远程三维视频会议系统和远程教育等交互式多媒体系统 中。在这些交互式多媒体系统中，用户能够在3 d 虚拟环境中交互式地访问真实 的视频物体，具有全身心的参与感和体验感。视频物体是2 d 的，要实现与3 d 虚拟环境的无缝融合，就必须实现视频物体的视点自适应功能，即利用有限的视 点真实的视频图像，根据用户在3 d 空间中视点的变化，自适应地合成相应视点 的视频物体虚拟图像。为了实现这一功能需要进行视频物体虚拟视图绘制技术的 研究。 1 3 三维视频技术的研究现状 视频物体虚拟视图绘制主要通过以下两种技术手段完成：基于3 d 网格模型 绘制( m o d e l - b a s e dr e n d e r i n g ，m b r ) 和基于图像绘制( i m a g e - b a s e dr e n d e r i n g ，i b r ) 。 1 3 1 基于3 d 网格模型的绘制技术 基于3 d 网格模型的绘制技术自2 0 世纪8 0 年代以来一直是图形学发展的核 心，并为计算机三维成像技术给出了一个标准的绘制流程( 托马斯，2 0 0 4 ) ，如图 1 1 所示。 4 第一章绪论 图1 。13 d 图形绘制管线 3 d 网格模型先经过模型到世界坐标系以及世界坐标系到观察坐标系两次坐 标转换，将原来位于模型的局部坐标系下的顶点坐标转换到了观察坐标系下。随 后，在观察坐标系下进行光照运算，也就是说，根据每个顶点的空间位置，算出 从该顶点发射或者反射到人眼的光强。投影变换将人眼看到的范围( 称为视锥体) 变换到一个规则的正方体中。背向面剔除将位于物体背面的三角面剔除，因为这 些图元是看不到的。最后，部分或者全部位于视锥体之外的三角面将被裁减，只 保留位于视锥体之内的部分，并将这部分三角面转换到屏幕坐标系。几何部分到 此结束。光栅部分的工作是将屏幕上的三角面进行填充，使之看起来是一个实体。 扫描转换单元首先生成一系列位于三角面内部的像素点，并用线性插值的方法计 算这些像素点的颜色。为了提高场景的真实性，有时候还需要进行纹理贴图。为 保证最终显示在屏幕上的点就是我们可以看到的点，还需要进行可见性测试，以 剔除被遮挡的点。最后将通过可见性测试的点的颜色写入帧缓冲。显示控制电路 读取帧缓冲的内容，使得我们可以从屏幕上看到一幅远近分明、错落有致的画面。 基于3 d 网格模型的绘制技术存在下面的问题：首先能否准确逼真的构建出 场景的3 d 网格模型将直接影响最终成像的效果，然而对于复杂场景，直接构建 出场景模型是困难的，而且即使构建出场景模型，往往需要花费大量的人力和物 力，真实感可能满足不了用户的需求。其次在绘制阶段，绘制速度是g b r 的瓶 颈所在。g b r 中影响真实感的因素最直接的就是光照和阴影。为了生成真实感 图像，模拟现实环境的光照条件计算物体表面及周围的明暗情况。研究者从光学 的原理出发，建立光照模型( p h o n e 模型等) 来模拟局部或全局的光源，增强物体 表面的真实感，但由于计算是基于线性插值的，有些光照效果仍无法准确表达。 研究者又提出光线跟踪方法，虽然在光照效果上有了提高，但计算复杂度却大量 增加，往往无法满足实时渲染要求。 传统的基于3 d 网格模型的绘制技术无论从理论上还是方法上都无法满足不 断发展的虚拟现实系统的需要，因此需开辟一条新的绘制途径解决现有问