VR虚拟技术初探.ppt

VR虚拟技术初探 2020年4月4日 主要内容 一概述二VR硬件及交互设备三虚拟现实与网络GIS四虚拟现实主要开发技术五虚拟环境建模及其工具六开发实例 南京师范大学仙林校区虚拟校园七发展展望与存在的问题附录 参考文献 一概述 虚拟现实是高度发展的计算机技术在各种领域的应用过程中的结晶和反映 不仅包括图形学 图像处理 模式识别 网络技术 并行处理技术 人工智能等高性能计算技术 而且涉及数学 物理 通信 甚至与气象 地理 美学 心理学和社会学等相关 1 1什么是虚拟现实 虚拟现实或称虚拟环境 是由计算机生成的 具有临场感觉的环境 它是一种全新的人机交互系统 虚拟现实技术本质上说是一种高度逼真地模拟人在现实生活中视觉 听觉 动作等行为的交互技术 传统的信息处理环境一直是 人适应计算机 而当今的目标或理念是要逐步使 计算机适应人 人们要求通过视觉 听觉 触觉 嗅觉 以及形体 手势或口令 参与到信息处理的环境中去 从而取得身临其境的体验 这种信息处理系统已不再是建立在单维的数字化空间上 而是建立在一个多维的信息空间中 虚拟现实技术就是支撑这个多维信息空间的关键技术 1 2虚拟现实的特点 浸没感 Immersion 交互性 Interaction 想象性 Imagination 浸没感 Immersion v计算机产生一种人为虚拟的环境 这种虚拟的环境是通过计算机图形构成的三维数字模型 编制到计算机中去产生逼真的 虚拟环境 从而使得用户在视觉上产生一种沉浸于虚拟环境的感觉 这就是虚拟现实技术的浸没感 Immersion 或临场参与感 交互性 Interaction 虚拟现实与通常CAD系统所产生的模型以及传统的三维动画是不一样的 它不是一个静态的世界 而是一个开放 互动的环境 虚拟现实环境可以通过控制与监视装置影响或被使用者影响 这是VR的第二个特征 即交互性 Interaction 想象性 Imagination 虚拟现实不仅仅是一个演示媒体 而且还是一个设计工具 它以视觉形式反映了设计者的思想 比如当在盖一座现代化的大厦之前 你首先要做的事是对这座大厦的结构 外形做细致的构思 为了使之定量化 你还需设计许多图纸 当然这些图纸只能内行人读懂 虚拟现实可以把这种构思变成看得见的虚拟物体和环境 使以往只能借助传统沙盘的设计模式提升到数字化的即看即所得的完美境界 大大提高了设计和规划的质量与效率 这是VR所具有的第三类特征 即想象性 Imagination 1 3虚拟现实的分类 桌面虚拟现实沉浸的虚拟现实增强现实性的虚拟现实分布式虚拟现实 1 4虚拟现实与三维动画的区别 1 5虚拟现实技术在现实中的运用 许多游戏厂商 为了使游戏人物的动作更逼真 常常就会使用动作捕获系统 虚拟现实技术在电影中的运用 例子 黑客帝国商品展示 如家居 家电等 二VR硬件及交互设备 一个典型的虚拟现实系统由空间数据采集系统 人体数据捕捉系统 三维显示设备 三维控制设备以及和计算机系统构成 空间数据采集系统 人体数据捕捉系统为虚拟环境建立空间模型 三维显示设备 三维控制设备同属于三维交互设备 设计和制造出性能优越的三维交互设备是虚拟现实技术的关键 空间数据采集系统 人体数据捕捉系统 计算机系统超级图形工作站 三维控制设备 三维显示设备 采集 交互 空间数据采集系统 空间数据采集系统 通过卫星遥感 航空遥感和全球定位系统等获取及时空间数据 建立准确可靠的虚拟现实空间环境 遥感是一种利用物体反射和辐射电磁波的固有特性 通过贯彻电磁波 识别物体以及物体存在环境条件的技术 人体数据捕捉系统 人体数据捕捉设备 可以实事的记录人体的各项数据和动作 包括人体动作 面部表情 生理指数 气味 语音等 三维交互设备 常见的三维显示设备有头盔式显示器和立体眼镜等 头盔式显示器采用立体图绘制技术来产生两幅相隔一定间距的透视图 并直接显示到对应于用户左 右眼的两个显示器上 新型的头盔式显示器都配以磁定位传感器 可以测定用户的视线方向 使场景能够随着用户视线的改变而作出相应的变化 三维交互设备 三维空间控制设备共同特征是至少能够控制六个自由度 DegreeofFreedom 对应于描述三维对象的宽度 高度 深度 俯仰 pitch 角 转动 yaw 角和偏转 roll 角 常见的三维控制设备有数据手套 跟踪球 三维探针 三维鼠标器及三维操作杆等 数据手套的出现 为虚拟现实系统提供了一种全新的交互手段 可以为用户提供一种非常真实自然的三维交互手段 高性能计算机系统 高性能计算机系统处理技术主要包括数据转换和数据预处理技术 实时 逼真图形图像生成与显示技术 多种声音的合成与声音空间化技术 多维信息数据的融合 数据压缩以及数据库的生成 包括命令识别 语音识别 以及手势和人的面部表情信息的检测等在内的模式识别 分布式与并行计算 以及高速 大规模的远程网络技术 三虚拟现实与网络 GIS 现在的虚拟现实技术综合了各学科的最新研究成果 包括计算机科学 通信网络技术 地理信息系统 遥感科学等多领域的成果 本节主要内容 虚拟GIS网络虚拟GIS分布式GIS地理协同 3 1虚拟GIS 计算机科学中图形技术和人机接口技术的发展 特别是虚拟现实技术应用的推广 为GIS提供了一种新的分析地学数据和探索地学问题的技术平台 推动着GIS技术同虚拟现实技术和可视化技术的融合 拓展了多维GIS 特别是三维GIS研究的内涵 提供了全新的空间数据分析模式和新的GIS应用模式 当前国际上把这种结合虚拟现实技术和科学计算可视化技术而设计的多维GIS系统称之为虚拟GIS系统 VirtualGIS VGIS 3 2网络虚拟GIS介绍 同网络结合是当前虚拟GIS发展的方向 结合网络技术的网络虚拟GIS不但为人们通过网络来分析空间数据和解决空间问题提供了技术平台 同时通过 沉浸式 的虚拟现实模式 为人们通过虚拟的地理空间交互提供了可能性 从而为研究虚拟地理环境提供了理想平台 网络虚拟GIS架构 1 一种虚拟GIS是以网络GIS为基础 将虚拟现实系统同GIS的Client端连接起来 在虚拟现实系统中提供简单的空间分析功能或是将GIS的分析结果转化为虚拟现实系统支持的数据格式 供虚拟现实系统观察 2 另一种虚拟GIS是基于分布式虚拟现实系统 在虚拟现实系统中扩展空间数据类型的支持能力 提供简单的空间分析功能 WEB虚拟GIS的总体结构 3 3CORBA在网络虚拟GIS系统结构中的作用 CORBA是当前主流的分布式对象计算平台之一 CORBA平台以成为当前计算机工业界所广泛接受 并且完全开放地分布式网络平台 分布式对象是CORBA设计的基础 具有可伸缩性 安全性 负载均衡能力和容错能力 实时性 为设计特别性能要求的分布式系统提供了理性平台 通过基于CORBA网络平台来设计网络虚拟GIS 通过重用CORBA的网络结构和基本网络服务大大的简化网络虚拟GIS网络结构设计的难度 基于CORBA可以使网络虚拟GIS采用较灵活的网络结构 基于CORBA命名服务的网络VGIS系统映象概念图 3 4虚拟地理环境与地理协同 虚拟地理环境 是以化身为基础的多用户分布式三维智能虚拟环境 是地球空间环境特定地理现象与规律的数字与多通道感知表达 计算与模拟 可用于地球多维信息的综合管理与多媒体集成发布 人机交互 交融式创新式地球科学研究 分布式协同规划 设计与决策等 用户化身 在虚拟地理环境中 两个用户的化身可以在同一个虚拟地理位置进行面对面的交流 而化身作为真实用户的一种表达 它的信息源可以包含视觉 听觉甚至味觉等多种信息源 使得用户拥有一种沉浸感 可以身临其境的感受到本身是虚拟地理环境中的一部分 视觉听觉等信息源可以传达协同工作者对事情的真实态度和情绪 是虚拟地理环境中协同工作者之间交流的重要组成部分 并且在分析地理数据和决策规划中也都起着非常重要的作用 交流模式 对于虚拟地理环境不但要有真实的地理背景 而且要为协同工作者们提供一个可靠的信息交流的平台 为此 我们更加需要研究如何改进人与人之间的交流模式 增强在虚拟地理环境中化身之间的各种交流 目前 按照交流的时效性分类 非即时交流 电子邮件和公告板即时交流 交互性 实时性好 主要包括传统二维场景 三维场景 流媒体技术和结合模式等 四虚拟现实主要开发技术 VRMLXMLX3DJava3D VRML XML 地理实体 X3D JAVA3D 在虚拟现实技术中 VRML GeoVRML XML X3D GML以及Java3D技术各有所长 互为补充 利用VRML的图形建模功能 XML的国际化 结构化 模块化的特性以及Java强大的网络编程语言 共同组成一个强大的虚拟现实开发环境 4 1VRML 1994年 在瑞士日内瓦举行的第一届国际互联网大会上 提出为创建三维网络的界面便于网络传输的VRML 1995年 VRML1 0版本正式推出 1996年 在对1 0版本进行重大改进的基础上推出了2 0版本 其中添加了场景交互 多媒体支持 碰撞检测等功能 1997年 经过标准组织的评估后 VRML2 0成为国际标准 并改称VRML97 VRML简例 sphere wrl VRMLV2 0utf8Shape 定义节点 含有两个属性appearanceAppearance 外观属性materialMaterial material 材质 emissiveColor100 材质反光性 geometrySphere 几何属性radius1 4 3XML XML的英文全名是ExtensibleMarkupLanguage 中文译名为可延伸式标记语言 它是一个由W3C WorldWideWebConsortium 所推广的结构化信息交换标准 并且已经广泛地被使用 VRML采取XML作为编码的主要原因是因为XML具备国际化的特性 结构化的格式和模块化的对象等优势 藉由已经被明确制定落实的XML规范 X3D以XML为语法是容易被实现的 而不需要庞大的反向工程 reverseengineering XML与GIS XML可以在GIS应用中发挥什么样的作用 利用XML我们可以定义查询 其实这和传统的GIS查询没有什么不同 比如可以说 根据用户指定的区域进行水淹分析 并且返回结果 响应消息就可能是基于XML格式的 分析结果在以下图形中 与传统方式不同之处在于 XML将查询的地理数据和请求统一包含在了一个单独的XML文档中 响应信息也在XML文档中 XML支持自定义标记 提供了强有力的扩展机制 这必然会出现许多GIS行业独有的标记 XML与GIS OpenGISConsortium OGC 适时推出了GIS的XML标记集GML GeographyMarkupLanguage 为XML在GIS中的应用提供了良好的规范化道路 得到了行业内众多公司的支持 利用XML 我们能够实现许多GIS任务 浏览和生成影像 如SVG VMLandX3D格式 可以进行数据转换 如XSLT 可以进行Schema配置 如DTD XMLSchema等 可以进行数据查询 如Xpointer和XQL等 还可以运行在不同的平台上 如PDA等 4 3X3D X3D全名是Extensible3D X3D早期的名称叫做VRML NG VRMLNextGeneration 它是下一代具扩充性的3D图形规范 并且延伸了VRML97的功能 X3D名称的由来是整合了XML ExtensibleMarkupLanguage 和VRML VirtualRealityModelingLanguage X3D是VRML的继承 VRML VirtualRealityModelingLanguage 虚拟现实建模语言 是原来的网络3D图形的ISO标准 ISO IEC14772 X3D的目标 1 包含VRML97的功能 仍然可以使用X3D的技术浏览VRML的内容 2 与XML整合 可以使用XML来展现VRML97的功能 3 组件化 封装经量级的核心 core 技术 使其能够轻易地加入新的功能 4 扩充性 使用组件去增加新的节点 并且符合核心技术的执行码 5 使用Java保证的平台通用性 4 4JAVA3D 由于VRML GML X3D等空间建模语言载程序设计方面的欠缺 因此迫切需要一种高级编程语言来代替原有的脚本编写的功能 Java的网络性和操作平台无关性以及其对三维图形的强有力支持 使得他在未来的三维开发市场中占据重要的位置 Java3D则提出了一种新的基于视平台的视模型和输入设备模型的技术实现方案 它不仅提供了建造和操作三维几何物体的高层构造函数 而且利用这些构造函数还可以建造复杂程度各异的虚拟场景 这些虚拟场景大到宇宙天体 小到微观粒子 五虚拟环境建模及其工具 虚拟环境建模的基本原理是通过三维建模软件在三维空间建立与现实物体一样的三维模型 然后获取现实物体的属性和纹理数据对模型进行渲染 做成仿真模型后再通过数据转换 最后导入三维实时驱动软件进行三维动态仿真演示 环境建模技术环境建模流程AUTOCAD和3DSMAX结合进行三维动态仿真MultigenCreator和Vega进行三维仿真 5 1环境建模技术 Euclidean geometry方法 欧基里德几何方法 Fractal geometry方法 不规则碎片形几何方法 PhysicallyBasedModeling 基于物体的建模方法 ImageBasedRendering 基于图像的建模方法 混合建模技术 PhysicallyBasedRendering和ImageBasedRendering 是未来虚拟环境建模的发展方向 5 2环境建模流程 现实世界 数据和纹理采集 三维建模 仿真渲染 数据输出 实时驱动 景观仿真 5 3AUTOCAD和3DSMAX结合进行三维景观动态仿真 AutoCAD和3DSMAX软件是目前工程界应用最广泛的两种软件 AutoCAD软件在构造 编辑二维图形方面功能强 使用方便 并且开放性好 有AutoLISP编程语言的支持等许多优点 3DSMAX软件在三维造型 动画和渲染等方面有很大的优越性 VR数据格式转换 在用3DSMAX为VR系统创作好模型后 结合VR系统的要求 看是否需要采用诸如LOD LevelofDetail 模型 如果需要可利用MAX自带的LOD插件直接生成对象的LOD模型 最后根据VR系统的编辑环境将模型输出为编辑环境所能接收的文件类型 如VRML97或DXF等格式的文件 在AUTOCAD中进行精确的二维建模 生成 dwg文件 在3DSMAX中制作成效果图和动画输出 处理和制作各种纹理贴图 并在3DSMAX中作立体渲染 导入3DSMAX中建立三维立体模型 5 4MultigenCreator和Vega进行三维景观动态仿真 MultigenCreator系列软件 由美国Multigen Paradigm公司开发 它拥有针对实时应用优化的OpenFlight数据格式 强大的多边形建模 矢量建模 大面积地形精确生成功能 以及多种专业选项及插件 能高效 最优化地生成实时三维 RT3D 数据库 并与后续的实时仿真软件紧密结合 在视景仿真 模拟训练 城市仿真 交互式游戏及工程应用 科学可视化等实时仿真领域有着世界领先的地位 AUTOCAD和3DSMAX结合进行三维建模 生成 3ds文件 维建模 生成 dwg文件 导入MultigenParadigmCREATOR中对三维立体模型进行纹理贴图和渲染 并输出为OPENFLIGHT文件 flt 把OpenFlitht文件导入MultigenParadigmVEGA中对三维立体模型进行实时动态驱动 实现漫游和动画输出功能 更专业的建模工具和专业模块 TerrainBundle 大面积精确三维地形功能集成 需CreatorPro模块 RoadTools 标准道路生成工具 与BaseCreator CreatorPro均能结合 Paradigm Vega 构建高级实时仿真的高效工具VEGA是开发实时视觉和听觉仿真 虚拟现实和通用视频应用的业界领先的软件环境 VEGA包括图形环境Lynx 一套可以提供最充分的软件控制和最大程度灵活性的完整的应用编程接口 一系列相关的库和AudioWorks2实时多通道音响系统 VEGA及其可选模块能运行在视窗NT操作系统和SGIIRIX操作系统 并支持大量种类的数据库加载器 OpenFlight格式及APIs OpenFlight是Multigen开发的 在视觉仿真领域最为流行的标准文件格式 OpenFlight采用几何层次结构和节点属性来描述三维物体 允许用户直接对层次结构及节点进行操作 保证从大型数据库到物体单个顶点的精确控制 逻辑层次结构及细节层次 截取组 绘制优先级 分离面等功能 使得图像产生器知道何时及如何绘制三维场景 极大地提高了实时系统的性能 OpenFlightAPIs C语言开发环境 可以扩展原有的功能及算法 开发用户自定义的数据库实体 MultigenCreator Vega仿真应用实例 虚拟洛杉矶 虚拟深圳中心区 六开发实例 南京师范大学仙林校区虚拟校园 虚拟新校区 就是在计算机环境中 虚拟再现新校区的景观 通过头盔 三维鼠标等设备 人们可以进入到虚拟的新校区进行漫游 领略校园的美景 通过这个途径让更多的人对新校区有清晰的认识 对于该地区的发展规划及交通 旅游等方面有更明确的目标 软硬件环境 硬件设备 SGIOctane图形工作站两台 IntergraphNT工作站 IBMP 550微机一台 头盔 操纵杆 三维鼠标 立体眼镜 Intergraph高精度扫描仪 刻录机 磁带机 4mm 外置50G硬盘 软件支持 数字摄影测量软件 VirtuoZo3 1 GIS软件 Arcinfo7 1 Arcview3 1 IMAGIS VR软件 MultiGen Vega 图象处理软件 Photoshop5 0 三维建模软件 AutoCad 3DMax 实施步骤1 数据准备阶段 1 原始资料 包括南京师范大学仙林校区大比例尺航摄相片 影像比例尺1 2500 相机检校参数文件 地面控制点文件 2 元数据库建设 包括航摄比例尺分母 航高 航摄仪焦距 航摄单位 航摄日期 航片数 航片编号 高斯 克吕格投影带号 分带方式 中央子午线和标准纬线等 步骤2 数据预处理阶段 数据采集 将航摄相片经扫描数字化 转入数字摄影测量软件中 利用VirtuoZo3 1建立南京师范大学仙林校区的数字高程模型DEM 获得正射影像图并测得这一地区的建筑模型数据以及道路 湖泊等属性数据 数据转换 将数据采集阶段获得的数据通过数据转换 分别按地形数据 文化数据和建筑数据等方式转入虚拟现实建模软件MultiGen中 在完成了上述转换过程后 用户成功实现了异构系统间的转换 将测量数据通过GIS转换为创建数字虚拟城市所需的数据格式 如数字高程模型数据DED 数字文化数据DFD 建筑模型数据FLT 纹理数据TIFF或JPG格式 步骤3数据建模阶段 1 地形数据处理 将数字高程模型数据DED通过选择合适的算法建立起三维地表模型 按照与地表模型相对应的经纬度坐标 贴上正射影像图作为地表纹理 形成仙林校区的真实的三维地貌景观 2 属性数据处理 数字文化数据DFD 如道路 湖泊等 可按照不同的地物属性分层输入MultiGen 选择或重新建立对应的特征码 FeatureID 和表面材质码 SMC 赋予其适当的纹理 然后选择合适的投影方