虚拟现实技术论文

1、2013-2014学年第1学期期末考试论 文考试科目：虚拟现实及其通信技术学 院： 信息与通信工程学院 专 业： 电子信息工程 班 级： 班内序号： 学 号： 姓 名： chi 手 机： 任课教师： 黄 海 北京邮电大学时间：2013年12月31虚拟现实及其通信技术期末论文 姓名：chi 学号： 2013-2014学年第1学期虚拟现实相关技术简介北京邮电大学信息与通信工程学院摘要： 虚拟现实是近年来新兴的具有广泛应用前景的技术。目前，虚拟现实技术已经广泛应用于娱乐游戏，建筑设计，医疗等领域。本文从虚拟现实技术的概念，特性，应用领域出发，介绍了实现虚拟现实所必需的关键技术，然后又介绍了虚拟现实的

2、近期的热点研究方向，比如三维模型检索技术，三维模型水印技术，分布式虚拟环境通信等技术。关键词： 虚拟现实技术 三维模型检索技术 数字水印 分布式虚拟环境通信 1 虚拟现实的概述虚拟现实是采用以计算机技术为核心的现代先进技术生成的逼真的视觉，听觉，触觉一体化的虚拟环境，用户可以通过必要的输入输出设备与虚拟环境中的物体进行交互，相互影响，进而获得身临其境的感受与体验。这种由计算机生成的虚拟环境可以是某一特定客观世界的再现，也可以是纯粹虚构的世界。输入输出设备包括立体头盔显示器，数据手套，数据衣服等穿戴式设备，还包括不直接穿戴在身上的传感设备。用户对虚拟现实的交互包括手的移动，头的转动等，虚拟现实中

3、的物体能做出实时的反馈。虚拟现实有三个特性，它们分别是沉浸性，交互性，想象性。沉浸性，是指用户感觉到好像完全处于虚拟现实中一样，被虚拟世界包围。理想的虚拟现实可以让用户难辨真假。交互性，是指用户与虚拟世界以自然的方式进行交互，通过人的肢体运动以及特定的硬件设备感受来自虚拟世界的实时反馈。想象性，是指虚拟环境是人想象出来的，同时这种想象体现了设计中的相应的思想，因而可以用来实现一定的目标。沉浸性想象性交互性图1 虚拟现实三特性虚拟现实的应用领域非常广，可以用在军事，医学，娱乐，学习，科技开发等等领域。医疗领域如虚拟手术系统，用于指导手术的进行。军事领域，如利用虚拟现实技术模拟战争来研究作战方案，

4、培训指导员等。娱乐领域，如玩家通过虚拟现实头盔得到震撼的游戏体验。学习领域，比如远程沉浸学习，协同学习等。2 虚拟现实的若干关键技术要实现一个虚拟现实系统既需要功能强大的特定的硬件支持，还需要相应的软件和技术来配合。在虚拟现实技术这门课程中，我们在前半学期学习了虚拟现实输入设备，虚拟现实输出设备，虚拟世界生成设备。后半学期课程主要集中介绍虚拟现实的相关技术。2.1 立体显示技术人类从现实世界获取的信息中有80%来自视觉。立体视觉显示技术是虚拟现实中重要的支持技术，而且要实现完美的立体显示技术较为复杂。我们之所以感受到立体物体，是由于人的左右眼得到的图像相似但有细微差异，大脑对其进行融合产生空间

5、感。我们借助特定的硬件设备，使左右眼观察到细微差异的图像，从而恢复出三维深度信息。下面介绍几种具体的立体显示实现技术。 彩色眼镜法。它主要利用滤光片只能通过相同颜色光线的特点，让左右眼戴不同颜色的滤光片，从而左右眼看到不同的影像，实现立体显示。但这种方法使人两眼的色觉不平衡，观众容易产生疲劳。 偏振光眼镜法。它利用了光是一种横波以及偏振光只能通过特定方向的狭缝的特点。在电影放映时，两个电影机同时放映两个画面，重叠在一个屏幕上，镜头前装有相差90度的偏振片。观众的左右眼分别戴在偏振轴互为90度的，并与放映画面的偏振光相应方向的偏振镜片，从而形成立体效果。 串行式立体显示法。它是一种分时的串行立体

6、显示技术，它以一定的频率交替显示两幅图像，用户通过以相同频率同步切换的眼镜来观察图像，左右眼只能看到相应的图像。眼镜的开关转换频率对图像的立体效果起着关键性的作用。若转换频率太低，人眼不能感受到图像的连续，若转换频率太高，会产生干扰现象。一般来说，转换频率控制在40到60帧/秒较为适合。 裸眼立体显示。三维立体液晶显示技术巧妙结合了双眼的视觉差和图片三维的原理。自动生成了两幅图片，由于双眼观看液晶的角度不同，左右眼看到不同的图像，因此不要戴上立体眼镜就可以看到立体图像。下图是裸眼立体显示的原理示意图，图中示意了两种实现原理图2 裸眼立体显示的原理示意图2.2 环境建模技术 要建立虚拟现实环境，

7、首先要对环境进行建模，然后在建模的基础上再进行实时绘制，立体显示，从而形成一个虚拟世界。这里的虚拟环境既可以是模拟真实世界中的环境，也可以是人的主观构造环境，还可以是人类不可见的环境。虚拟环境中的物体要有良好的操作性能，当用户与物体交互时，物体必须做出相应的反应。目前主要的环境建模是三维视觉建模和三维听觉建模。其中三维视觉建模又可以分为几何建模，物理建模，行为建模等。下面主要介绍三维视觉模型中的方法。 几何建模技术。几何建模是基于几何信息来描述物体模型的建模方法，它处理物体的几何形状的表示，研究图像数据结构的基本问题。首先要构造几何模型，然后模拟虚拟照相机在6个自由度运动，并得到相应的输出画面

8、。几何模型一般可以分为面模型和体模型。面模型用面片来表现对象的表面，其基本几何元素多为三角形，体模型多用体素来描述对象的结构，其基本几何元素多为四面体。几何建模通常又分为两种，一种是人工的几何建模方法，另一种是自动的几何建模方法。人工的建模方法通常是利用建模软件来进行建模。自动的几何建模方法最典型的是采用三维扫描仪对实际物体进行建模，它能快速将真实世界的物体的三维信息转换为计算机可以处理的数据。 物理建模技术。物理建模是几何建模的进一步发展，在建模的时候就考虑对象的物理属性。典型的物理建模方法有分形技术和粒子系统。分形技术是指用来描述具有自相似特征的数据集。自相似结构可以用于复杂的不规则外形物

9、体建模，比如河流和山体的地理特征建模。分形技术的优点是用简单的操作就可以完成复杂的不规则物体建模，缺点是计算量太大，实时性差。因此分形技术比较适合在虚拟现实中静态远景的建模。粒子系统是用简单的体素完成复杂的运动的建模。粒子系统由大量称为粒子的简单体素构成的，每个粒子具有位置，速度，颜色等属性。在虚拟现实中粒子系统用于动态的，运动的物体建模。 行为建模技术。行为建模技术主要研究物体运动的处理和对其行为的描述，体现了虚拟环境中的建模特征。行为建模赋予虚拟现实中物体的行为和反应能力，服从一定的客观规律。行为建模方法有两种，一种是基于数值插值的运动学方法，另外一种是基于物理的动力学仿真方法。采用运动学

10、和动力学仿真都可以模仿物体的运动行为，但各有其优点和缺点。运动学动画技术可以做得很逼真和高效，但应用领域不广。动力学仿真适合于物体间交互较多的虚拟环境。2.3 真实感实时绘制技术为了在计算机中重现真实世界，需要模拟真实物体的物理属性，比如物体表面的纹理和粗糙程度等。真实感绘制技术就是为解决这个问题而提出的。另外因为用户在虚拟环境中会从不同视角观察物体，所以我们需要实时绘制物体，跟上用户视角转变的速度。实时绘制技术可以分为两种，一种是基于几何图形的实时绘制技术，另一种是基于图像的实时绘制技术。第一种绘制方法就是用曲线，曲面等数学模型预习定义好虚拟场景的几何轮廓，再采用纹理映射，光照等数学模型加以

11、渲染。但是这种方法费时费力，对计算机硬件性能要求高。第二种方法是直接用图像来实现复杂环境的实时动态显示。它是从一系列已知的图像中生成未知视角的图像。具体来说是基于一些预先生成的场景图像，对接近于视点的图像进行变换，插值与变形，从而快速得到当前视点处的场景画面。基于图像的绘制相关技术主要有全景技术，图像的插值及视图变换技术为了提高显示的逼真度，常采用纹理映射，环境映照，反走样等方法。纹理映射是将纹理图像贴在简单物体的几何表面，近似描述物体表面的纹理细节，加强真实性。它是一种简单有效改善真实性的方法。环境映照在纹理映射的基础上，采用纹理图像来表示物体表面的镜面反射和规则投射效果。反走样是为了对抗因

12、为图像的像素形状造成的失真现象。反走样方法实质上是提高像素的密度。由于三维模型包含较多的二维图像信息，虚拟场景越复杂，其数据量越大。为了保证三维模型能实现刷新率不低于30帧/秒，提出了几种降低场景复杂度的方法：3D剪切，可见消隐，细节层次模型等。3D剪切将一个复杂的场景划分成若干子场景，对不可见物体和部分可见物体上的不可见部分进行剪切，从而减少计算量。可见消隐与用户的视点有关，系统仅显示用户当前能看见的场景，可以大大减少所需显示的多边形数目。细节层次模型使用具有不同细节的描述方法得到一组模型，对场景中不同的物体采用不同的细节描述方法。简单的模型采用简单的描述方法，便于减少计算量。2.4 三维虚

13、拟声音的实现技术除了视觉，人们获得外界信息的第二途径就是听觉。我们把在虚拟场景中能使用户准确判断出声源位置，符合人们在真实世界中听觉方式的声音称为三维虚拟声音。三维虚拟声音系统的核心是声音定位技术，它有三个主要特征，分别是全向三维定位特性、三维实时跟踪特性与沉浸感与交互感。全向三维定位特性是指在三维虚拟空间中把实际声音信号定位到特定虚拟专用源的能力。它能使用户准确判断出声音的精确位置，从而符号人们的真实听觉方式。三维实时跟踪图像是指三维虚拟空间中实时跟踪虚拟声音位置变化的能力。三维虚拟声音的沉浸感指加入三维虚拟声音后能使用户产生身临其境的感觉，有助于增强临场效果。三维声音的交互特性是指随用户的

14、运动而产生的临场反应和实时响应能力。用语音和虚拟现实进行交互是我们的一个目标。语音技术主要分为语音识别技术和语言合成技术。语音识别技术是指将人说话的语言信号转换为可以被计算机程序所识别的信息。一般包括参数提取，参考模式建立，模式识别等过程。语音合成技术是指用人工的方法产生语音技术。实现语音输出有两种方法，一是录音/重放；二是文语转换。如果将语音合成与语音识别技术结合起来，就可以让用户和虚拟环境进行简单的语音交互了，从而实现人机自然的交互。2.5 自然交互与传感技术虚拟现实强调交互的自然性，就是让人们如同在与真实世界进行交流。人可以使用眼睛，耳朵，手势，语音等方式与虚拟现实中的物体进行交互。 手

15、势识别。手势是一种简单方便的交互方式。手势识别可以分为两种，一种是基于数据手套的识别，另一种是基于视觉的手势识别。基于数据手套的手势识别系统就是利用数据手套和位置跟踪器来捕捉手势的运动轨迹和检测手的方向，手指弯曲程度等信息，根据这些信息对手势进行分析。这种方法的优点是系统识别率高，缺点是不方便。基于视觉的手势识别是从视觉通道获得信号，通常采用摄像机采集手势信息，由摄影机连续拍摄手的运动，再用边界特征识别的方法判断出具体手势。这种方法的优点是输入设备简单，但识别率较低，实时性较差。 面部表情的识别。在现实人际交往中，人的表情传递了很多微妙的信息。对人脸的识别是虚拟现实交互中很重要的部分。但目前的

16、人脸表情的识别还不太成熟。人脸检测的基本思想是建立人脸模型。根据对人脸知识的利用方式，可以将人脸检测分为两大类：基于特征的人脸检测方法和基于图像的人脸检测方法。基于特征的人脸检测方法直接利用人脸信息，比如人脸肤色，人脸的几何构造等。基于图像的人脸检测方法不直接利用人脸信息，而是将人脸检测问题看作一般的模式识别问题。2.6 实时碰撞检测技术为了保证虚拟环境的真实性，要求虚拟环境中固体物体上不可穿透的，当用户接触到物体时能发生真实碰撞，并实时做出相应的反应，否则会发生穿透现象。碰撞问题一般可以分为碰撞检测与碰撞响应两个部分。碰撞检测的任务是检测到有碰撞发生以及发生碰撞的位置，碰撞响应是在碰撞发生后

17、，根据碰撞点及其他参数使被碰撞物体做出正确动作。3 虚拟现实研究最新热点介绍虚拟现实技术发展到今天又出现了不少需要解决的问题。下面简单介绍几个国内外最近的研究热点。3.1三维模型数字版权管理网络在带来便利的同时，也让盗版数字资源的行为越加猖獗。音频，图像，视频等多媒体资源的版权保护已经得到了大家的日益关注。为了有效解决版权保护的问题，出现了加密解密，数字签名，数字指纹，数字水印等多种技术。近年来，越来越多的三维模型在网络上发布，传播，使用。这些三维模型同样凝聚着创作者的智慧的汗水。三维模型也面临着版权保护等问题。三维模型的创作者需要一种能够阻止未经授权而非法使用他们成果的方法。数字水印是一种将

18、特定，可识别模型归属的信息隐藏在媒体信息中的技术。它是一种新兴的多媒体信息保护技术。用户在发布作品之前将作品的所有权标识嵌入到作品中，而在发生版权纠纷的时候，能唯一地从中提取出该标识，而且该标识不会产生任何歧义。数字水印技术可以判别保护对象是否受到保护，监视被保护数据的传播，解决版权纠纷。运用数字水印技术，在三维模型中嵌入数字水印，是解决三维模型版权保护问题的一种有效方法。虽然三维模型数字水印技术相对于数字图像水印，音频水印，视频水印技术来说还是不够成熟的，但这一领域已渐渐成为数字水印应用研究的热点。1997年，日本IBM东京研究实验室的Ohbuchi等在ACM multimedia国际会议上

19、发表了一篇关于3D网格数字水印的文章，被公认为是第一篇在国际上公开发表的关于3D网格模型数字水印技术的文章。2003年Kalivas等提出了一种利用主成份分析法的3D盲水印算法，对各种攻击均有一定鲁棒性。2005年，清华大学的张静提出了一种基于几何特征的三维网格数字水印算法。三维数字产品版权保护系统流程与一般的水印算法流程类似，包括输入三维模型文件，数字水印嵌入，系统攻击，数字水印提取，判别版权归属。其中的关键部分是根据导入的模型设计适合的数字水印算法。三维模型网格水印算法是三维模型水印算法中研究的最多，也是最为完善的一类。按水印嵌入三维模型域的不同又可细分为网格空域和网格变换域水印算法。网格

20、空域水印算法又可分为基于拓扑的数字水印算法和基于几何信息的数字水印算法两类。变换域的三维模型数字水印算法通过对信号处理已有技术在三维模型中的拓展实现，主要的三维变换域技术包括了网格频谱分析，小波变换和球状小波变换。3.2三维模型检索技术随着计算机和三维建模技术的日益成熟，三维模型在互联网上的数量已指数方式增长，而且在很多领域都发挥中重要的作用，比如虚拟环境，CAD，3D游戏等。创建一个逼真的三维模型需要非常庞大的工作量。而且研究表明，大多数情况下用户只需要查找一些已经存在的相似三维模型来进一步开发，而不是重新设计一个模型。如果能充分利用互联网上已经存在的三维模型，那么将大大减少新模型的设计工作

21、量。如何在互联网上准确，快速地查找到用户需要的三维模型，已经成为信息检索中迫切需要解决的问题。三维模型检索技术的研究，不仅具有重要的科研价值，而且具有较高的应用价值。三维模型检索技术主要有三种，基于文本关键字的检索，基于内容的检索和基于语义的检索。谷歌公司于2006年发布了基于文本关键字的三维模型检索系统Google 3D Warehouse。发布的三维模型都是有作者自己对模型进行标注。但是基于文本关键字的检索不可避免得带有人为主观因素的影响。基于内容的检索利用模型本身的三维形状特征在特征数据库里建立特征索引，然后根据特征之间的相似性达到检索三维模型的目的。这种方法更加符合人们依靠主观印象来观

22、察模型并获取模型信息的方式。近年来，研究者又提出基于语义的三维模型检索。基于语义的三维模型检索技术通过对语义特征的相似性匹配来查找用户所要求的三维模型。目前比较经典的三维模型检索系统主要有美国普林斯顿大学形状检索与分析小组研发的三维模型搜索引擎，德国莱比锡大学计算机图形学与图像处理实验室开放的三维模型在线检索系统。国内的三维模型检索技术起步较晚。实力较强的研究机构有中国科学院软件研究所，北京大学视觉与听觉信息处理国家重点实验室等。三维模型检索领域主要研究内容包括：模型预处理技术，模型特征提取方法，相似性匹配技术，模型基准测试数据库及检索性能评价指标。检索过程的基本步骤是，首先对输入的三维模型进

23、行特征提取，其次将提取得到的模型特征与模型特征库中的模型特征做相似性匹配计算，根据相似度对模型进行排序处理，最相似的排在最前面。 模型预处理。互联网上三维模型的来源各异，为了能准确进行模型相似性比较，在模型特征提取前，有必要对模型进行预处理，将模型放置在一个统一的坐标系中。目前常用的方法有主成分分析方法。这种方法通过线性变换从多个变量中挑选出比较重要的几个变量，然后根据这几个特征向量构造出一个新的坐标系，实现三维模型的姿态调整。 三维模型的特征提取。目前三维模型的特征提取方法主要有三类：基于统计的特征提取，基于骨架的特征提取和基于视觉相似性的特征提取。统计特征提取方法就是从统计学角度出发，寻找

24、有意义的几何特征和形状特征，优势在于具有几何不变形，对边界噪声不敏感，特征描述符易于理解并技术简单，缺点是无法反映模型的局部信息，检索性能不稳定。基于骨架的特征提取主要通过比较三维模型的拓扑结构来获得模型的几何相似性，优点是既适合做全局匹配，也可以做局部特征匹配。缺点在于计算量较大，对模型本身要求比较严格。基于视觉相似性的特征提取通过对三维模型进行投影得到一系列不同视觉下的二维视图，然后对二维视图进行处理提取其特征进行相似性比较，优点在于可以降低特征提取的复杂度，不足在于二维图像的存储需要较大空间，图像间的比较计算开销大，因此检索的效率不高。 相似性度量。相似性度量就是在多维特征向量空间中，计

25、算输入模型与模型库中模型的相似性距离。常用的距离度量方法有Euclidean距离，Manhattan距离等。设任意两个三维模型的特征向量为X=x1,x2,xn，Y=y1,y,yn，模型之间的相似度记为dX,YEuclidean距离dX,Y=i=1nxi-yi2Manhattan距离dX,Y=i=1nxi-yi检索性能评价。检索性能的评价即该检索系统返回的结果是否能与用户的查询意图相匹配。目前三维模型的检索性能评价指标主要有查全率，查准率，最近邻准确度，第一等级匹配等。其中比较重要的查全率，查准率。查全率表示返回的模型检索结果中正确的模型数占整个这一类相关模型数的比例，该指标反映了检索系统返回正

26、确检索结果的能力。查准率表示返回的模型检索结果中，正确的模型数占所有返回的检索结果总数所占的比例，该指标反映了检索结果的准确性。3.3 分布式虚拟现实通信技术分布式虚拟现实是虚拟现实和网络通信技术相结合的产物。基于网络的虚拟现实系统，供多用户同时异地参与的分布式虚拟环境，处于不同地理位置的用户如同进入到同一个真实环境中，进行交流、学习，协同完成一件任务。网络虚拟现实系统的网络架构有 3 种：对等模型、 客户服务器模型、 和混合的架构对等模型。每个对等实体共享其他对等实体的资源，没有客户和服务器的区别。这种对等模型使每个对等实体直接发送包给任一其他对等实体。对等模型具有低延迟的优点，因为数据包直

27、接通过最短路径从发送方到接收方。但对等模型有伸缩性问题。因为随着对等实体数量增多，它们发送的数据包的数量会快速增长。客户/服务器模型。客户服务器模型是一种集中管理模型，由服务器完成管理任务。客户服务器模型能有效管理数据，过滤服务，但有更大的延迟，每个包从源主机到目的主机交换需要通过服务器。因为一个服务器负担与每一个客户通信的任务，所以随着虚拟现实参与者增加，服务器必须处理更大的通信量。服务器成为限制虚拟现实用户参与数量的一个瓶颈。混合模型。由对等模型和客户服务器模型相结合的模型称为对等服务器模型，或称为混合模型。混合模型利用了这两种模型的优点。对等通信模型用在短距离高宽带的局域网，而客户服务器

28、通信用在长距离低宽带的广域网上。混合模型体现了通信中速度和距离的一种折中。它是一种自适应的网络虚拟环境系统的体系结构。分布式虚拟现实系统的通信协议选择取决于应用需求，网络结构及所要传输的数据。常用的网络通信协议用TCP,UDP。TCP是面向连接的，具有较的可靠性，UDP是无连接的，但它的实时交互性比TCP要好。还有另外一些协议专门用于分布式虚拟现实系统。比如分布式交互仿真协议DIS，交互式共享传输协议ISTP，分布式虚拟现实世界传输和通信协议DWTP，虚拟现实传输协议VRTP。一个合适的网络架构和通信网络协议对设计和实现网络虚拟现实系统是重要的。分布式虚拟现实有许多需要解决的问题。比如如何提高虚拟现实交互的实时性，如何更好实现可伸缩性等4 课程收获与期望 通过本学期课程的学习，让我对虚拟现实技术有了整体性的了解。课程从虚拟现实概述开始，然后依次介绍了虚拟现实输入设备，输出设备以及虚拟世界生成设备等具有特定功能的硬件设备，最后课程介绍了虚拟现实的相关技术。这门课程的优点是对虚拟现实技术的方方面面都介绍到了，让我们对虚拟现实技术有了比较全面的认识。而且老师也准备了不少虚拟现实相关的视频资料，让我们对虚拟现实技术有了感性的认识，让课堂更加有趣。我期望进一步学习的知识点有关于虚拟现实自然交互方