第三章--显示综合-虚拟现实技术122.ppt

虚拟现实技术 一 虚拟现实的基本概念二 虚拟现实的基本特征三 虚拟现实技术的发展四 虚拟现实分类五 虚拟现实系统的主要技术构成六 虚拟现实的应用领域 人类有许多梦想 一些梦想已经变为现实 而有一些梦想也许永远都不可能实现 然而 有一种技术却能使一切梦想全部在感知中实现 这就是虚拟现实技术 VirtualReality 简称VR 虚拟现实 VR 技术是20世纪90年代以来兴起的一种新型信息技术 它集多媒体 网络技术 传感技术等多种先进技术为一体 是当今前景最好的计算机技术之一 几种虚拟现实 虚拟环境 虚拟房间 虚拟汽车 虚拟人 VirtualReality VR J Lanier 1989 译为 虚拟现实 灵境 幻真 其他 VirtualEnvironmentArtificialReality M W Krueger 1970s Cyberspace W Gibson 1984 一 虚拟现实的基本概念 虚拟现实 是一种可以创建和体验虚拟世界的计算机系统 而虚拟世界是全体虚拟环境或给定仿真对象的全体 虚拟环境是由计算机生成的 通过视 听 触觉等作用于用户 使之产生身临其境感觉的交互式视景仿真 利用计算机生成的能给人多种感官刺激的人机交互系统 用计算机技术来生成一个逼真的三维视觉 听觉 触觉或嗅觉等感觉世界 让用户可以从自己的视点出发 利用自然的技能和某些设备对这一生成的虚拟世界客体进行浏览和交互考察 逼真的感觉视觉 听觉 触觉 嗅觉等 自然的交互运动 姿势 语言 身体跟踪等 个人的视点用户的眼 耳 身所感到的感觉信 迅速的响应感觉信息根据视点变化和用户输入及时更新 一 虚拟现实的基本概念 一 虚拟现实的基本概念 虚拟现实是一项综合技术涉及 计算机图形学 人机接口技术 图像处理与模式识别 多传感器技术 语音处理与音响技术 网络技术 并行处理技术 高性能计算机系统 人工智能技术 核心 2M MPP MultiMedia 2O OpenSystem Object oriented 需要 计算机专家 人类工程学 Ergonomics 专家 心理学专家等共同开发研究 两个方面 第一是计算机生成的虚拟环境必须是能给人提供多种感觉的感官刺激的环境 能让人有 沉浸 的感觉 现在的技术水平 虚拟现实通常由视觉 听觉和触觉构成 其二是虚拟现实系统是一种高级的人机交互系统 因此人机交互是虚拟现实的核心 二 虚拟现实的基本特征 1 沉浸性 Immersion 又称临场感 让用户感到作为主角存在于模拟环境中的真实程度 沉浸被通俗地解释为 身临其境 虚拟技术三角形 视觉沉浸 显示象素足够小 刷新频率足够高 具有双目视差 足够大的视场等 听觉沉浸 三维声音 触觉沉浸 力反馈方面 嗅觉沉浸身体感觉沉浸 味觉沉浸等 二 虚拟现实的基本特征 2 交互性 Interaction 交互性指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度 包括实时性 3 构想性 Imagination 用户沉浸在多维信息空间中 依靠自己感知和认知能力全方位地获取知识 发挥主观能动性 寻求解答 形成新概念 虚拟技术三角形 特点 虚拟环境中人的参与与反馈 人机交互的有效性人机交互的实时性 虚拟现实与仿真的区别 三 虚拟现实技术的发展 1965年 Sutherland在篇名为 终极的显示 TheUltimateDisplay 的论文中首次提出了包括具有交互图形显示 力反馈设备以及声音提示的虚拟现实系统的基本思想 从此 人们正式开始了对虚拟现实系统的研究探索历程 1970年 出现了第一个功能较齐全的HMD系统 美国的JaronLanier在80年代初正式提出了 VirtualReality 一词 80年代 美国宇航局 NASA 及美国国防部组织了一系列有关虚拟现实技术的研究 并取得了令人瞩目的研究成果 1984年 NASAAmes研究中心虚拟行星探测实验室组织开发了用于火星探测的虚拟环境视觉显示器 将火星探测器发回的数据输入计算机 为地面研究人员构造了火星表面的三维虚拟环境 90年代 迅速发展阶段 例如1993年的11月 宇航员利用虚拟现实系统成功地完成了从航天飞机的运输舱内取出新的望远镜面板的工作 而用虚拟现实技术设计波音777获得成功 是近年来引起科技界瞩目的又一件工作 1994年 美国SGI公司和比利时的BARCO投影机制造公司 在英国建设了世界上第一个虚拟现实系统 到2002年底 全球的虚拟现实系统已达500多个 除石油工业外 在计算机辅助制造 游戏娱乐业 航空航天 生物技术 军事 培训等众多领域均有广泛的应用 三 虚拟现实技术的发展 四 虚拟现实分类 按照系统功能和实现方式的不同 可以分为三种类型 沉浸型虚拟现实系统提供完全沉浸的体验 它利用头盔式显示器或其它设备 把参与者的视觉 听觉和其它感觉封闭起来 并提供一个新的 虚拟的感觉空间 并利用位置跟踪器 数据手套 其它手控输入设备 声音等使得参与者产生一种身临其境 全心投入和沉浸其中的感觉 例如 在消防仿真演习系统中 消防员会沉浸于极度真实的火灾场景并做出不同反应 这种系统的优点是用户可完全沉浸到虚拟世界中去 缺点是系统设备尤其是硬件价格相对较高 难以大规则普及推广 1 沉浸型虚拟现实系统 可穿戴的 VR系统 沉浸式虚拟现实 高级虚拟现实系统提供完全沉浸的体验 使用户有一种置身于虚拟境界之中的感觉 四 虚拟现实分类 2 简易型虚拟现实系统 桌面VR系统 桌面虚拟现实利用个人计算机和低级工作站进行仿真 将计算机的屏幕作为用户观察虚拟境界的一个窗口 通过各种输入设备实现与虚拟现实世界的充分交互 这些外部设备包括立体眼镜 3D控制器使监视器或者鼠标 追踪球 力矩球等 它要求参与者使用输入设备 通过计算机屏幕观察360度范围内的虚拟境界 并操纵其中的物体 桌面虚拟现实最大特点是缺乏真实的现实体验 但这种系统的特点是结构简单 价格低廉 组成灵活 易于普及推广 是一套经济实用的系统 桌面虚拟现实系统和沉浸式虚拟现实系统比较 1 沉浸度差异桌面虚拟现实系统采用CRT彩色显示器和三维立体眼镜增加身临其境感觉 而沉浸式虚拟现实系统则采用头盔显示器 HMD 增强身临其境感觉 2 交互装置差异桌面虚拟现实系统采用的交互装置是六自由度鼠标器或三维操纵杆 而沉浸式虚拟现实系统采用的是数据手套和头盔 3 分布式虚拟现实 如果多个用户通过计算机网络连接在一起 同时参加一个虚拟空间 共同体验虚拟经历 那虚拟现实则提升到了一个更高的境界 这就是分布式虚拟现实系统 分布式虚拟现实系统的应用 分布式虚拟现实系统在远程教育 工程技术 建筑 电子商务 交互式娱乐 远程医疗 大规模军事训练等领域都有着极其广泛的应用前景 利用它可以创建多媒体通信 设计协作系统 实境式电子商务 网络游戏 虚拟社区全新的应用系统 洽谈 讨论 设计 五 虚拟现实系统的主要技术构成 虚拟世界的生成 人与虚拟世界的自然交互 识别用户各种形式的输入 并实时生成相应的反馈信息 模型的建立 虚拟声音的生成 管理 显示 数据库的建立管理 整个虚拟世界中所有物体的各方面信息 1 动态环境建模动态环境建模技术的目的就是获取实际环境的三维数据 并根据应用的需要建立相应的虚拟环境模型 2 实时三维图形生成技术三维图形的生成技术已经较为成熟 至少要保证图形的刷新频率不低于15帧 秒 最好高于30帧 秒 提高刷新频率是该技术的主要内容 3 立体显示和传感器技术虚拟现实的交互能力依赖于立体显示和传感器技术的发展 设备过重 分辨率低 延迟大 有线 跟踪精度低 视场不够宽 眼睛容易疲劳等 因此有必要开发新的三维显示技术 4 应用系统开发工具虚拟现实的关键是寻找合适的场合和对象 即如何发挥想像力和创造性 选择适当的应用对象可以大幅度提高生产效率 减轻劳动强度 提高产品质量 5 系统集成技术由于VR系统中包括大量的感知信息和模型 因此系统集成技术起着至关重要的作用 集成技术包括信息的同步技术 模型的标定技术 数据转换技术 数据管理模型 识别与合成技术等等 实现虚拟现实的关键技术支持 实现虚拟现实的关键技术支持 硬件方面跟踪系统 确定参与者头 手和躯干的位置 触觉系统 提供力与压力的反馈 音频系统 提供立体声源和判定空间位置 图像生成和显示系统 产生空间图像和立体显示 高性能计算机处理系统 具有高处理速度 大存储容量 强联网特性 软件方面能够接收高性能传感器的信息 如头盔的跟踪信息 能生成立体的显示图形 并可对虚拟环境作实时渲染 能提供对各种数据库 各种CAD软件进行调用和互联的集成环境 虚拟现实系统硬件配置示意图 几种常用的虚拟现实设备 高性能图形计算机 环形屏幕 头盔 眼镜 三维显示器 三维鼠标 手套 设备 头盔显示器 头盔显示器是虚拟现实应用中的3DVR图形显示与观察设备 可单独与主机相连以接受来自主机的3DVR图形信号 使用方式为头戴式 辅以空间跟踪定位器可进行VR输出效果观察 同时观察者可做空间上的自由移动 如 自由行走 旋转等 VR效果非常好 沉浸感极强 在VR效果的观察设备中 头盔显示器的沉浸感优于立体眼镜 头盔显示器视频透视HMD概念图光学透视HMD概念图 头盔显示器 设备 三维立体眼镜 立体眼镜是用于3D模拟场景VR效果的观察装置 它利用液晶光阀高速切换左右眼图像原理 有有线和无线之分 可支持逐行和隔行立体显示观察 也可用无线眼镜进行多人团体VR效果观察 是目前最为流行和经济适用的VR观察设备 设备 数据手套 数据手套是虚拟现实应用的主要交互设备 它作为一只虚拟的手或控件用于3DVR场景的模拟交互 可进行物体抓取 移动 装配 操纵 控制 有有线和无线 左手和右手之分 可用于WTK Vega等3DVR或视景仿真软件环境中 29 虚拟现实交互设备 数据手套传感器的典型配置 30 虚拟现实交互设备 数据手套示例Immersion数据手套产品 31 虚拟现实交互设备 数据手套示例PinchGlove数据手套 32 虚拟现实交互设备 数据手套示例5DT数据手套 设备 三维空间交互球 三维空间交互球是虚拟现实应用中的另一重要的交互设备 用于六个自由度VR场景的模拟交互 可从不同的角度和方位对三维物体观察 浏览 操纵 也可作为3DMouse来使用 并可与数据手套或立体眼镜结合使用 作为跟踪定位器 也可单独用于CAD CAM Pro E UG 设备 位置跟踪器 三维空间跟踪定位器是VR系统中用于空间跟踪定位的装置 一般与其他VR设备结合使用 如 数据头盔 立体眼镜 数据手套等 使参与者在空间上能够自由移动 旋转 不局限于固定的空间位置 操作更加灵活 自如 随意 产品有六个自由度和三个自由度之分 位置测量原理 根据刚体动力学分析 能够用运动物体上参考点的坐标表示该物体的位置坐标 并通过测量该参考点到空间三个静止的非共线点之间的距离唯一确定 位置和方向磁跟踪器工作原理 交流电流通过线圈产生变化的磁场 如果把一个线圈放在这个磁场中 线圈会产生感生电流 感生电流的强弱将由这两个线圈的距离以及他们之间的角度来确定 在磁跟踪器中 三个互相垂直的线圈组成了发射器 蓝色 另外三个相互垂直的线圈组成接收器 红色 通过计算机比较接收器三个线圈中的电流 可以确定接收器与发射器之间的相对位置和方向 37 虚拟现实交互设备 三维定位跟踪设备电磁式跟踪器示例 38 虚拟现实交互设备 三维定位跟踪设备光学跟踪器 设备 三维显示器 这种三维显示器并不需要使用者在头部佩戴任何特制眼镜之类的装备 而是应用当前的计算机的计算能力回放或实时渲染显示三维影像 数据衣 虚拟环境中的实体分类图 五 虚拟现实系统的主要技术构成 建模 实体建模的三个方面 几何建模 三个层次 点线面层次 部件和控制层次 对象层次物理属性建模 将物理特性加入虚拟环境中的过程行为建模 原是美国关于在军事仿真中在CGA ComputerGeneratedActor 内对各类与军事相关的战术等动作建模的专称 现在一般指在仿真建模中在CGA中构建人的决策和控制过程 使得这些角色在环境中的行为及反应较为逼真 基于建模的方法是以几何实体建立虚拟环境 几何实体可采用计算机图形学技术绘制 也可用建模工具如AutoCAD 3DStudio等建立模型 然后以统一数据格式输出 进行实时渲染 基于建模的方法主要涉及以下关键技术 三维实体建模技术 动态建模 渲染的实时性与真实感技术 实时渲染是实现虚拟环境真实感的关键技术之一 碰撞检测 干涉校验及关联运动 物理属性 物理属性包括实体表面光滑程度 光学效果 软硬程度 密度 力学特性等 视觉逼真 建模与绘制方法基于几何的建模与绘制 GeometryBasedModelingandRendering 基于图像的建模与绘制 ImageBasedModelingandRendering 特殊效果表现 对真实世界进行抽象 建立其3D几何模型 几何建模软件 给定观察点和观察方向 利用计算机实现模型绘制 着色 消隐 光照以及投影等一系列过程 产生虚拟场景 图形平台 优点 场景中所有对象的几何模型都是准确知道的 因此用户可以在这种虚拟场景中自由漫游 还可以任意地操纵虚拟场景中的虚拟对象 真正地 沉浸 在这样的虚拟场景中 基于几何的建模与绘制 GBR 点线面模型 面片模型 添加纹理 面片模型 添加纹理和环境效果 真实地形构建的虚拟环境 海浪效果的虚拟环境 IBR是计算机图形学和计算机视觉相结合的产物 使用计算机图形学的思想构造虚拟场景 使用计算机视觉技术从已知的图象中生成新的图象 特点 以图象为基础构造场景 无需构造场景的3D模型 基于图像的建模与绘制 IBR 柱面全景图象 发型 衣物的模拟 运动系统建模 形体建模 面部建模 皮肤变形模拟 皮肤 头发光照模拟 构造的合成自然环境 SyntheticNaturalEnvironmentSNE 除了在视觉逼真外 还需要模拟一些自然景象 如 时间气候尾迹 尾焰等 特殊效果表现 白昼下的虚拟环境 夜幕下的虚拟环境 云雾效果的虚拟环境 阴天的虚拟环境 烟雾 火光 实时生成的导弹尾迹 实时生成的尾焰 被炸毁的房屋 被击落的直升机 被击毁的坦克 运动逼真 物理属性建模运动学 动力学方程的构建 行为逼真 实体在虚拟环境中的行为是由其模型决定的 实体的模型包括 物理能力模型和类人能力模型 物理能力模型是实体的物理本质及其内在的工作原理建模 如对导的建模仿真其动力性能 抗干扰能力 准确性和毁伤能力等 类人能力模型是实体的认知能力和决策能力 这种能力使得实体能够在没有人干预的情况下 对虚拟环境中的状态和事件自主地进行推理和决策 并实时地做出响应 行为建模的目的 目的 几何建模和物理属性的建模能够在视觉 触觉等方面提供更为逼真的感受 使得虚拟环境更为逼真 行为建模则考虑计算机生成角色的行为逼真性 使各种自治实体的行为更加逼真 而且行为建模可以为各种类型的实体在虚拟环境的动态变化提供一致的表示 行为建模的主要研究内容 CGA的研究与机器人的研究有很多类似之处 如果把机器人看作现实世界的 虚拟人 的话 可以把CGA看作虚拟世界中的 虚拟人 他们都涉及如何模拟人在动态 实时的环境中各种判断和处理过程 六 虚拟现实的应用领域 1 用于遥控机器人的遥现技术 遥现技术是指当实际上在某一个地方时 可以产生在另一个地方的感觉 例如 在宇宙空间站的开发计划中 受各种因素的制约 机器人的遥控遥现技术起了至关重要的作用 2 仿真技术计算机生成的具有沉浸感的环境 它对参与者生成诸如视觉 听觉 触觉 味觉等各种感官信息 给参与者一种身临其境的感觉 例如 飞行仿真系统 与虚拟生物对话 作战仿真系统等 3 对象可视化技术 在科学研究中对研究数据生成可视化效果以便观察和研究 例如 虚拟风洞 4 虚拟实验室 在研究工作和学习过程中 总会有许多实验需反复进行 以期得到不同条件下的不同结果 虚拟实验室能提供这样一个平台 例如 虚拟物理实验室 5 虚拟电力控制室 使用虚拟现实技术研制辅助设计控制室的系统 使用该系统可以自由地改变控制室内的配置等室内外环境 以便从不同方向观察研究控制室情况 6 分布式虚拟现实系统 分布式虚拟现实系统 DVR 即是一个较为典型的实例 所谓DVR是指一个支持多人实时通过网络进行交互的软件系统 每个用户在一个虚拟现实环境中 通过计算机与其它用户进行交互 并共享信息 7 扩增实境 扩增实境是虚拟现实最具实用价值的应用之一 它在真实环境的基础上把虚拟环境叠加进去 使二者有机结合 产生虚实难辩 亦幻亦真的感觉 例如 当人进入到一商店购某物时 即可在显示设备上显示此物的价格 性能及各种参数等 六 虚拟现实的应用领域 虚拟现实在教育领域的具体应用 虚拟学习环境虚拟实验室虚拟实训基地虚拟仿真校园虚拟远程教育 虚拟现实在军事领域的具体应用 虚拟战场环境单兵模拟训练与评判诸军种联合虚拟演习进行指挥员训练 虚拟现实技术的军事应用 据通讯 虽然武器平台不在同一地区 距离相隔很远 但虚拟战场环境描述的是在同一空间 同一地域和同一时间 前面所述的分布式虚拟现实技术主要用于虚拟战场的开发 图是一个虚拟指挥中心 图虚拟战场演示图 用虚拟试验场手段提升靶场试验水平 美国虚拟试验场 VPG 已实施多年 美国陆军阿伯丁试验场 红石技术试验中心 尤马试验场 达格威试验场分别在车辆 导弹和生化武器防护等研究中进行了虚拟试验探索 值得我们研究和借鉴 完成改进型M1坦克的作战试验 采用实物模拟需要24个月 耗资4000万美元 而用分布式交互模拟技术 只需3个月 花费640万美元 毫米波 红外雷达制导导弹虚拟飞行试验 由每年耗资1250万美元 下降为180万美元 高新武器的研制试验总伴随着高昂的经费 而在虚拟战场环境中测试武器装备的准确射程 打击范围 损毁程度等指标 不仅精确度高 也大大节省经费 BacktoBaghdad 重返巴格达 沙漠风暴 仿真系统 由美国防部组织并提供素材 如地形 地貌 有关武器性能 操纵和显示方式及描述方程以及作战想定等 由MilitarySimulationsInc 和其它仿真公司合作研制 主要用于决策人员 F 16驾驶员 地面指挥人员的训练系统能演示导航 预警 电子干扰等功能 以及有关武器和地面设备 如APG 68多脉冲多普勒雷达 的功能可提供驾驶员 地面人员和训练教官等人的多种视景 已成为美 英 德 以 南非等空军和指挥人员的必要的训练手段 F 16驾驶员座仓的虚拟场景 美国Sandia国家试验室用于核弹B 61 x的VR辅助设计系统 各组成部分 总装完成后 用于组装和拆卸过程的训练及型号的改进如B61 0 1 2 3 4 5 10 NASA的JPL利用网络计算功能 在Web上利用VRML的创作工具CosmoWorlds创作了一个基于VRML的火星虚拟环境 虚拟现实在矿业领域的具体应用 模拟矿井开采矿业人员技术培训矿井设备的虚拟设计和制造事故模拟与调查分析 虚拟现实在商业领域的具体应用 物品外观展示物品特性展示物品的功能参数物品的价格 虚拟现实在房地产领域的具体应用 最直观的交流方式最快捷的审批平台最方便的设计工具最先进的营销手段 几个已实现的例子 1 XX公司用来招揽买主的 厨房世界 2 杭州大学开发的虚拟故官游玩系统3 美国佐治亚理工学院开发出虚拟动物园的大猩猩系统4 XX的一家公司设计制造出一个虚拟世界中的歌手5 宾夕法尼亚大学研究制成虚拟现实人杰克 国内研究概况 从1996年开始 在863计划的资助下 以北京航空航天大学计算机系为系统集成单位 国防科技大学 装甲兵工程学院 北航仿真所 浙江大学 中科院软件所和解放军测绘学院等单位为关键技术研究单位 开展了高级概念演示项目 分布式虚拟战场环境DVENET DistributedVirtualEnvironmentNETwork 的研究开发工作 到2000年底该项目取得阶段成果 主要有以下几个方面 DVENET 建成了一个基于多种精度真实地形数据 能满足多种武器平台演练的 具有逼真地表文化特征 自然景象和现象 可表现一定特殊效果的虚拟战场环境 开发了人在回路的歼击机 直升机 坦克 自行高炮 指挥车 雷达 导弹 舰艇和潜艇等多种虚拟武器仿真器和计算机生成兵力 CGF 按照真实军事演习的设置 演练管理器在虚拟战场中的功能对应于真实军事演习中的导演台 负责演练前的规划 准备 演练中的监控 记录 演练后的回放 分析等任务 是分布式虚拟战场环境的重要组成部分 也是提高演练逼真度的重要因素 根据演练管理器的功能需求和DVENET的特点 我们在微机平台上开发了一个功能初步完备的演练管理器 整个软件包括 仿真启动 实时态势监控 实时网络监控 实时数据记录 PDU统计分析和数据回放等六个模块 设计实现了具有实体配置 动态数据采集 二维显示和演练回放等功能的演练管理器 用户可以控制虚拟武器仿真器在虚拟战场景中漫游 感受云 雾等特殊效果及昼夜的变化 可以使用炮火打击对方 当炮弹击中目标时 可以将目标摧毁 并有一定的爆炸效果 坦克等地面车辆行进时 可以随地形起伏 改变姿态 系统还可以检测出仿真实体之间 仿真实体与建筑物等静态物体之间发生的碰撞 并作出碰撞响应 基于真实交互设备的坦克炮手仿真器 增强现实技术及其应用 增强现实技术 增强现实技术是将虚拟世界直接叠加在人类感知的真实世界之上的一种技术 E g 增强现实系统特征及结构 增强现实系统的特征 真实世界和虚拟世界融为一体 具有人机交互功能 真实世界和虚拟世界在三维空间上的整合 103 增强现实系统 系统组成 增强现实的支撑技术 显示技术三维注册技术立体显示技术 三维注册技术 注册实际上就是将计算机生成的虚拟物体与摄像机获得的真实环境进行拼接的过程 三维注册所要完成