l论文-虚拟现实技术概述

虚拟现实技术概述作者：廉志超 学号：1606210415摘 要：介绍了虚拟现实技术的定义、所具有特征、介绍了建模技术，Web3D技术，之后讨论了虚拟现实开发平台EON，最后探讨了虚拟现实技术的目前所面临的十大科学技术问题。关键字：虚拟现实；建模技术；Web3D;EON1、 虚拟现实定义：虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中1。2、虚拟现实的特征1993年,Burdea G在Electro 93国际会议上发表的“Virtual Reality System and Application”一文中,提出了虚拟现实技术三角形。即三“ I”特征: Immersion(沉浸)、Interaction(交互)、Imagination(构想)。Immersion(沉浸)是指用户可以沉浸于计算机生成的虚拟环境中和使用户投入到由计算机生成的虚拟场景中的能力,用户在虚拟场景中有“身临其境”之感。他所看到的、听到的、嗅到的、触摸到的,完全与真实环境中感受到的一样。它是VR系统的核心。Interaction(交互)是指用户与虚拟场景中各种对象相互作用的能力。它是人机和谐的关键性因素。用户进入虚拟环境后,通过多种传感器与多维化信息的环境发生交互作用,用户可以进行必要的操作,虚拟环境中做出的相应响应,亦与真实的一样,如拿起虚拟环境中的一个篮球,你可以感受到球的重量,扔在地上还可以弹跳。交互性包含对象的可操作程度及用户从环境中得到反馈的自然程度、虚拟场景中对象依据物理学定律运动的程度等;VR是自主参考系,即以2用户的视点变化进行虚拟交换。Imagination(构想)是指通过用户沉浸在“真实的”虚拟环境中,与虚拟环境进行了各种交互作用,从定性和定量综合集成的环境中得到感性和理性的认识,从而可以深化概念,萌发新意,产生认识上的飞跃。因此,虚拟现实不仅仅是一个用户与终端的接口,而且可使用户沉浸于此环境中获取新的知识,提高感性和理性认识,从而产生新的构思。这种构思结果输入到系统中去,系统会将处理后的状态实时显示或由传感装置反馈给用户。如此反复,这是一个学习创造再学习再创造的过程,因而可以说,VR是启发人的创造性思维的活动。3、 虚拟现实建模技术 建模是对现实对象或环境的逼真仿真。在虚拟环境中，虚拟对象是主要的对象，它的虚拟再现是通过建模来实现的。虚拟对象的建模意味着对象的静态特征和动态特征各个方面的建模，也就是对形状、外观、运动学约束、智能行为、物理特性等建模4。3.1对象虚拟对象虚拟是虚拟现实研究的重点，是使得用户沉浸的首要条件，通常，对象虚拟主要研究对象的形状和外观的仿真，其过程主要包括建模和视觉外观设计。建模方法包括几何建模、图像建模、图像与几何相结合的建模三种方法。视觉外观包括为场景添加光照和纹理映射。3.1.1几何建模 虚拟对象基本上都是几何图形构成的，几何建模主要处理具有几何网络特性的几何模型的拓扑信息和几何信息，总体而言，建模方法分为3类：多边形，非统一有理B样条(NURBS)和构造立体几何(CSG).多边形建模是最先发展的建模方式，它将点、边、面组成一系列线段和平面，通过把线段和平面嵌入到物体中来生成一个多边形网络然后利用网络逼近生成模型。非统一有理B样(Non-Uniform-Rational B-Splines,NURBS).其中，Non-Uniform是指一个控制顶点的范围能够改变，用来创建不规则曲面。Rational是指每个NURBS模型都可以用数学表达式来定义，可以应用有理方程式。B-Splines是一种三个或者多个点之间进行插补的构建曲线的方法。构造立体几何(CSG)又称布尔模型，是一种通过布尔运算将一些简单的三维基本体素拼合成复杂的三维模型实体的描述方法。3.1.2图像建模几何模型实现真实图像非常复杂，建模开销大，实时绘制慢，所以图像建模与绘制技术(Image Base Modeling and Rendering,IBMR),是指用预先获取的一系列合成或真实的图像。新图像的合成是通过适当的组合和处理原有的一系列图像来实现。包括全景图建模技术、图像插值及视图变换技术。IBMR具有建模容易，真实感强，绘制速度快，交互性好等优点。3.1.3图像与几何相结合的建模方法几何建模与图像建模各有优缺点，而图像与几何相结合的建模方法则合理利用二者的优缺点，提出了两种技术：一种是模型+贴图形式，另外一种是背景+模型形式。模型+贴图形式原理是根据不同视角的被建模物体的照片，通过建模软件多视图的点、线位置采样，然后分区块构建模型。背景+模型形式是将几何建模构建的虚拟对象与图像建模构建的背景完全融合，满足用户的视觉一致性。3.1.4.三维对象的视觉外观场景光照和纹理映射可以实现场景的复杂度和真实感。场景光照分为局部光照和整体光照，涉及到Gourand明暗处理、基于法向量差值Phong明暗处理、光线跟踪算法、辐射度算法、光子映射算法、预计算辐射度传递。而纹理映射则主要包括凹凸映射、法向映射、位移映射、视察映射、浮雕映射。3.2物理建模物理建模综合体现对象的物理特性，包括重量、惯性、表面硬度、柔软度和变形模式等。柔软建模分为两类：一类用于表现人与动物，另一类则表现自然场景。典型的建模方法包括：分形技术，用于对具有自相似的层次结构的物体建模；粒子系统，用于对有生命周期的、动态的、运动的物体建模；碰撞-响应建模，用于对物体碰撞时的变形建模。3.3运动建模运动建模主要用于确定三维对象在世界坐标系中的位置，以及它们在虚拟世界中的运动。通过设置观察世界的方式，即虚拟相机的运动。虚拟相机图像需要经过变换投影到二维显示窗口中，为用户提供视觉反馈。行人运动模型是对现实世界中行人行为特征的抽象和数学描述，典型的代表性模型有元胞自动机模型、磁力场模型、社会力模型，排队论模型。3.4行为建模行为建模是探索一种能够接近真实对象行为的模型，使人能够按照这种模型方便地构造出一个行为上的正式的虚拟实体对象。虚拟环境中虚拟实体对象的行为可以分为两类：需要用户控制的行为和不需要用户控制的行为。目前，已有的行为建模方法大致分为5种，基于Agent的行为建模，基于状态图的行为建模，基于物理的行为建模，基于特征的行为建模和基于时间驱动的行为建模。3.5声音建模虚拟声音建模可以定义为人类用听觉模型把信息精确的传输给操作员的一种媒体，它兼有方向特性和语义特性，以及在虚拟环境中的形成动态物体和事件的自然表达。距离和方向对声音的传播具有一定影响，这也是在声音跟踪、声音再现和处理等关键技术中讨论的主题。4、 虚拟现实Web3D技术Web3D一词来源于Web3D协会，是一个国际性的非盈利组织，只要任务是制定因特网3D图形的标准与规范，其前身是VRML协会。VRML(Virtual Reality Modeling Language,虚拟现实建模语言)是3D图形和多媒体技术通用的交换文件的格式，用来描述交互式3D对象和场景的几何对象的尺寸和形状、色彩、材质、灯光、动画及其交互性支持纹理映射，全景背景，雾、视频、音频、对象运动和碰撞检测等。4.1 Web3D技术的特点Web3D主要包括三大部分，建模技术、显示技术、三维场景中的交互技术。三维复杂模型的实时建模与动态显示是虚拟现实技术的基础，目前，三维复杂模型的实时建模与动态显示技术可以两类：一类是基于几何模型的实时建模与动态显示，另一类是基于图像的实时建模与动态显示，在众多的Web3D开发工具中，Cult3D是采用基于几何模型的实时建模与动态显示技术，而APPLE的QTVR则采用基于图像的三维建模与动态显示技术。4.2 三维全景技术三维全景(panorama)也称为全景环视或360o全景，它是一种运用数码相机对现有场景进行多角度环视拍摄，然后进行后期缝合，并加载播放程序来完成的一种三维虚拟展示技术。全景技术种类已经从简单的柱形全景发展到球星全景，立方体全景，对象全景和球形视频。下面介绍两种有代表性的全景技术软件：QuickTimeVR是美国苹果公司开发的新一代虚拟现实技术属于桌面型虚拟现实，是一种基于静态图像处理的，在微机平台上可实现的初级虚拟现实技术。IPIX全景图片技术是基于IPIX专利技术的鱼眼镜头拍摄的两张180o的球形照片，再把两幅图片拼合起来，制作成一个IPIX360o全景图片的实用技术。4.3 Cult3D技术Cult3D技术是利用现有先进网络技术和强大的3D引擎在网页上建立互动的3D物件，让网络用户了解给物体的外观以及组成部分。Cult3D内核是基于JAVA的，可以嵌入客户自己开发的JAVA类，因此具有很强大的交互和扩展性能。Cult3D有三个不同的程序功能，包括Cult3D Exporter、Cult3D Designer、Cult3D Viewer。Cult3D Exporter是供3D建模的软件，例如3D Studio或者Maya使用的插件。由于Cult3D 不具备3D建模功能，利用这个插件可以从3D软件中把3D模型导出到Cult3D Designer中制作。Cult3D Designer是Cult3D技术的核心技术，在其中可以对3D Studio,Maya等3D软件导出Cult导出Cult3D模型对象建立基本的交互功能。Cult3D Viewer是供IE和Navigator等软件使用的插件，它可以使这些软件播放Cult3D对象并且展示交互功能。5、虚拟现实开发平台EON虚拟现实系统开发平台一般包括两个部分：一部分是硬件开发平台，即高性能图像生成及处理系统，通常为高性能的图形计算机或虚拟现实工作站，另一部分为软件开发平台，即面向应用对象的虚拟现实应用软件开发平台。其中软件开发平台承担着三维图形场景的建立和应用功能的二次开发，同时也是连接VR外设、建立数学模型和应用数据库的基础平台，并负责整个VR场景的开发、运算、生成，是虚拟现实系统开发平台的核心部分。虚拟现实开发平台一般具有以下功能：实时渲染、实时碰撞检测、交互性强、整合性强、模拟品质佳、实用性强、支持多种VR外部设备。EON是一种运用3D虚拟现实技术整合研发与行销管理的科技，它与VRML技术在结构上很相似，但是EON整合功能强大，可嵌入多媒体软件平台，支持多款建模软件、多种模型、多种贴图格式，软件操作简单，生成文件小，非常适合网络传输。使用EON软件无需撰写程序，利用内部300多个预先设定好的功能节点及元件，通过鼠标拖动可完成丰富的互动效果，另外通过简单的设置节点参数就能做出各种特殊效果，如雨滴振动，明暗反射，环境映像以及光纤追踪等。EON公司针对不同的行业需求开发了多个产品，常用的EON软件主要包括EON Studio、EON Professional、EON Icatcher、EON Icube、Ultra2009等。5.1 EON StudioEON Studio是一个制作交互式3D应用程序的开发工具，也会EON核心产品，用户不需要任何编程经验，就能简单、快速的创建复杂的高品质交互式应用程序，一般的工作流程包括：模型导入、交互制作、程序发布。从建模工具导入各种3D格式物体或者场景，导入模型之后在EON图形操作界面中拖拽节点操作，EON交互主要体现三方面：一方面给相机添加行走节点，实现场景自由漫游，另一方面通过给虚拟场景添加多媒体集结点实现虚拟场景的扩展，再一方面可以和物体进行交互，场景物体做出反馈，使用节点时将节点从元件库拖拽的模拟树框架下，然后再拖拽交互设计视窗中进行逻辑关系的连接。最后通过发布向导发布作品。5.2 EON ProfessionalEON Professional是专门为特定开发者打造的一款强大的软件模块，这一模块在功能方面提供了高画面质量，高仿真的实时视觉效果。EON Professional包括4个模块：(1)、实时视觉特效模块，它支持CG材质编译功能，利用CG脚本友好的编辑界面，开发人员还能够轻松地编译出自己独有的着色器。(2)、EON CAD模块，通过CAD本身自带的拓展功能，可以将数据格式直接转换为EON默认的EOZ/EOP格式，并且进行批量装换。(3)、EON物理模块，该模块主要通过刚体节点、动力管理节点以及各种仿真连接节点，大大提高了程序的开发程度，并且取代了传统的用动画代替动态仿真的方法。(4)、EON 模拟人模块 这一模块使得建筑师、开发人员、工程师、以及城市规划人员可以在建筑群里加入一些活动的任务对象增加灵气。5.3 EON Lcatcher EON Lcatcher是一款沉浸式立体显示解决方案，除了EON软件加上基本都是计算机硬件外另外包含的硬件配置是LCD投影仪或DLP投影仪。EON Lcatcher支持多种投影显示方式，正投、背投、单通道、多通道。5.4 EON LcubeEON Lcube是一个多通道（36墙）沉浸式显示系统,即CAVE(Cave Automatic Virtual Environment系统)，在该系统中参与者可以感受到不只是包围着自己的立体影像，还有环绕立体影响效果，3D环境参与者中的任何物体都可感受参与者的操作，并同时产生相应的变化，它由围绕观察这的多个投影面组成，使用高增益材料的投影幕，并且内置多通道同步的功能。6、虚拟现实技术发展的十个科学技术问题根据参考文献5的描述，根据近年来 VR 技术的发展趋势、VR 应用和产业发展所遇到的技术瓶颈的认识, 以及研究体会, 提出当前 VR科学技术中新的 10 个科学技术问题. 这些技术的突破会导致VR 应用和产业的新的巨大进展.1)、 VR 头戴显示的输入与交互现有 VR 头戴式显示器看不到体验者自身, 输入不便, 也缺少与景物的交互机制, 身临其境的感觉受限. 因此, 便捷友好的 VR 输入方式, 能够实时逼真地表现体验者肢体、并能与虚拟场景对象实时交互的机制是需要研究的问题。2)、 头戴式显示的空间计算与AR虚实融合及其室外化头戴式显示虚拟场景的空间计算, 包括体验者头部和位置的实时精准跟踪定位, 以及 AR 头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题.与此相关, 虚实融合是 AR 的基本问题之一, 包括视频式 AR 显示中图形对象与视频图像的融合,以及光学透视式 AR 显示中图形对象与现实景物的融合，前者研究的时间比较长, 后者随着光学AR头戴显示的实用化, 逐步成为这一方向的主流, 许多问题有待解决. 同时, 光学透视式 AR 的室外化,包括室外大场景下的虚实融合是有待探索的一个方向.3) 、VR 视频的采集、制作与交互式播放VR 全景视频(包括基于桌面、移动终端或Web 的 VR 视频) 的采集、制作、交互式播放技术与设备, 以及跨平台 VR 视频播放器, 是一个研究发展方向. 如何在 VR 视频中引入几何与控制元素, 增加 VR 视频的交互类型, 提高其交互性是值得研究的问题.4 )、基于移动终端和互联网的 VR基于移动终端和互联网的VR 具有巨大发展潜力. 对于前者, 低计算、低存储 VR 技术, 云计算VR 技术, 低延迟大数据传输与新型交互等是可创新技术方向. 后者需要全屏3D 绘制、VR 设备接入与更合适的人机交互机制, 以及新型浏览器标准. Web VR 将对现有浏览器和邮件系统等带来变革和颠覆性影响, 成为互联网的新入口.5)、 物理特征的更多表现与新型物理模型目前, 虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面. 物理模型也只有粒子系统、弹簧模型、SPH (smoothed particle hydrodynamics) 方法等少数几个. 物质的许多物理特征(如材料特征), 爆炸、切割等物理现象, 柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现, 存在许多理论问题. 由于物理模型计算量巨大, 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题.提出表现某类物理特征和物理现象的新型物理模型, 构造其物理引擎及核心算法芯片PPU(physics processing unit), 可以带来原创性、平台工具性成果.6)、进化演化模型与虚拟孪生基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题, 可能产生新的知识型、概率型等模型类型.现实世界中的每一个 (类) 对象, 均可以构建虚拟孪生, 使其与现实孪生在几何、物理、生理, 及进化演化等方面高度相似. 人体、城市和复杂装备的虚拟孪生会成为未来发展的重点, 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响.构造虚拟孪生, 特别是可交互几何类虚拟孪生的理论与方法, 既是 VR, 也是 AR, MR (mixed reality, 混合现实) 等的基础.7)、智能行为模型随着 VR 应用领域的不断扩展, 虚拟人 (或计算机生成的人) 操纵实体 (如飞机、车辆等) 成为 VR系统的重要组成部分, 这些智能体的行为使得VR 系统所具有的 3I (immersion, interaction, imagina-tion) 特征向 4I 发展, 即 VR 系统将具有更多的智能(intelligence)特征. 该类问题的解决有赖于人工智能技术和人脑科学的发展.8)、 力交互的柔韧感与新型自然交互人与虚拟对象之间的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题, 特别是柔韧感; 此外新的感知通道, 如温湿感、嗅/味觉等, 有的刚起步, 有的尚未涉足. 这是一个需要多学科交叉研究解决的问题领域.9)、 VR 内容的智能化生产技术与通用软件开发工具目前 VR 内容制作生产力低下, 原因一是 VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低, 二是 VR 硬件不兼容, 均采用各自的软件开发工具包 (software development kit,SDK). 提高 3D 建模 (几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容, 研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径.10)、VR 的逼真性度量与 VR 心理学与VR 社会学VR 的逼真性, 即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题. 在此基础上研究各类 VR 应用的效果评价, 特别是对人的心理影响, 以及对人类社会带来的影响, 并进行相关约束与法律研究也是必要的, 这会形成新的人文学科研究方向.实际上, VR 研究与应用领域中存在大量的科学技术问题. VR 是一项可能的颠覆性