10-虚拟现实67.ppt

虚拟现实 MuRuiAssistantProfessor Dept ofMEE XiamenUniversity 361005 ChinaEmail iris murui 参考文献 汪成为 人类认识世界的帮手 虚拟现实 清华大学出版社 暨南大学出版社 2000年6月周祖德等 虚拟现实与虚拟制造 湖北科学技术出版社 2005年2月肖田园等 虚拟制造 清华大学出版社 2004年8月WilliamR Sherman AlanB Craig 虚拟现实系统 接口 应用与设计 电子工业出版社 2004年11月李欣等 虚拟现实及其教育应用 科学出版社 2008年6月张树生等 虚拟制造技术 西北工业大学出版社 2006年2月 虚拟制造概述 DELMIA 数字化工厂 虚拟现实 VirtualReality 虚拟现实技术是使用感官组织仿真设备和真实或虚幻环境的动态模型生成或创造出人能够感知的环境或现实 使人能够凭借直觉作用于计算机产生的三维仿真模型的虚拟环境 虚拟制造概述 丰田公司利用VR技术改进上车下车的舒适度 虚拟与现实 Question 知识改变命运 数码改变生活 虚拟改变什么 什么是虚拟现实 人类在不断地认识世界和改造世界时仍迫切需要各种强有力的工具 用工具来增强 延伸 扩大自己的感官 肢体和大脑的功能 能够基于对研究对象的认识 根据研究问题的需要 提供一个具有尽可能逼真的虚拟对象 虚拟环境的虚拟世界 帮助我们沉浸在这个虚实结合的环境中 身临其境地体验这个虚拟世界中的一切 在这样的环境中研究和分析问题 能够根据需要 灵活地扩大或缩小虚拟世界的时间尺度和空间尺度 例如 在数秒内观察地壳的演变历程 在数分钟内细细品味子弹穿过玻璃时的精细过程 亲眼领略火星探测车降落火星时的壮观场面 能够帮助我们跟虚拟世界交流 跟虚拟世界发生相互作用 我们不只是能够移动和触摸虚拟世界中的虚拟物体 还能在虚拟世界的街巷楼宇之间漫游 公众号 别墅8 Dream 晋代儒学家陆机 文赋 观古今于须臾 抚四海于一瞬 创建一个时域与空域可变的虚拟世界 人与这个世界的关系是 沉浸其中 超越其上 进出自如 交互作用 虚拟现实技术的前身 中国古代 公元前468年 公元前376年 的战国时期据 墨子 鲁问 记载 公输般竹木为鹊 成而飞之 三日不下 人们在风筝上系上竹哨 利用风吹竹哨 声如筝鸣 故称 风筝 虚拟现实技术的诞生 1961年MortonHeilig Sensorama 沉浸式虚拟环境 概念的先驱者1962年J C R Licklider被任命为美国国防高级研究计划局 DARPA 信息处的处长 人 计算机共生 Man ComputerSymbiosis 1962年 Licklider主持计算机图形处理的研讨会MIT IvanSutherland sketchpad1965年IvanSutherland发表 终极的显示 将计算机的显示屏进化为 观看虚拟世界的窗口 只要运用恰当的计算机程序 就有可能在计算机的屏幕上重现文学上的爱丽丝漫游仙境的绚丽奇景 虚拟现实技术的发展 60年代IvanSutherland的 终极显示 IvanSutherland的博士论文 SKETCHPAD stereoHMD positiontracking andagraphicsengine1966年Sutherland在MIT研究了HMD HeadMountedDisplay 1967 TomFurness displaysystemsforpilots IvanSutherland sHMD 1966 1966年 Sutherland在MIT林肯实验室开始研制人类的第一个头盔显示器 HMD TX 2计算机 限幅除法器 矩阵乘法器 矢量生成器 头盔和头部位置跟踪器 NicolasNegroponte 推动虚拟现实应用的先锋1976年提出研制具有随机存取功能的多媒体系统 1979年在MIT成立了媒体实验室 特别邀请建筑大师贝聿铭设计了一座在多媒体技术 人机接口技术 人工智能技术 虚拟现实技术等领域中一直享有盛名的建筑 1981年 MichaelMcCreevey 空间感知和先进显示 虚拟现实技术的诞生 1985年 MichaelMcCreevey建成了供航空和航天人员使用的虚拟现实环境 J Zimmermn和JaronLanier MIT 合作发明了一种在每个活动关节上都配有传感器的特殊手套 虚拟现实技术的诞生 虚拟现实技术的发展 70年代1977 Brooks开发了力反馈系统GROPE1977 SandinandSayre发明了具有弯曲度感知的数据手套1979 Raab等人发明了Polhemus跟踪系统 GROPE 虚拟现实技术的发展 80年代1980年 SIMNET计划1989年 JaronLanier杜撰了新词 virtualreality 1989年 NASA发明LCDHMD 开发了 VirtualInterfaceEnvironmentWorkstation VIEW 虚拟现实技术的发展 90年代NASA的VIEW继续研究Largesimulationandtrainingneeds Couldnotsendhumanstootherplanets RelativelysmallbudgetsSTOW计划TheSyntheticTheaterofWar Architecture军事仿真国内DVENET1996年开始 清华大学浙江大学北京航空航天大学上海大学中科院计算所 虚拟现实技术的发展 虚拟现实技术的概念 背景从60年代末起 在计算机技术的支持下已对科学计算提出可视化的要求不仅仅是获得和计算数据 并且要解释数据 理解数据 即把计算所得的数字信息转换为直观的 用视频或声频信息表示的 随时间和空间变化的物理现象或模拟的物理现象先进的科学计算将能洞察到传统科学计算所不可能看见的结果 Toseetheunsee 可视化是把某些不可见对象或抽象事物转化为可见的 可感知的结果 Thepurposeofcomputingisinsight notnumber RichardHamming NumericalMethodsforScientistsandEngineers 虚拟现实技术的概念 背景 续 自90年代初起 在高性能计算的支持下要求实现沉浸式 协同式的可视化计算人机和谐 定性定量结合是创造性研究的源泉 要求不仅仅是观察计算所得的数据 希望还能感受计算所得的形象结果和全局观念研究人员甚至还希望能沉浸在计算所得 计算所创建的三维空间中 能交互地控制 驾驭和修改所 看见和感受到 的计算结果为研究人员在认识世界和改造世界时 提供了有效的 定性和定量相结合的研究手段 为创建和谐的人机环境提供基础 虚拟现实技术的概念 背景 续 自90年代中旬以来在网络计算技术的支持下要求实现协同式的可视化计算解决复杂问题 必须跨领域合作集体攻关网络技术已基本成熟 基于网络计算可实现资源共享基于统一的开放体系框架结构 应用程序接口和面向对象的中间件 已能实现 优势互补 即插即用 的协同式的可视化计算 虚拟现实技术的概念 背景 续 总之 高性能计算机为沉浸式 协同式的可视化计算提供基础高性能计算机和高性能网络技术大量的 快速的 分布的 基于网络的数值计算开放体系结构 中间件 人机接口和经验模型的建立把数据映射成可视化的 具有某种物理属性的对象 虚物实化 把实物转化为可融入虚拟环境的虚拟对象 实物虚化 虚拟现实技术的概念 背景 续 前30年计算机技术的发展 减少人的认知空间和计算机的处理空间的差异 人思考问题的认知空间并行的多维的开放的归纳演绎 传统计算机的处理空间串行的单维的封闭的预定程序 建立和谐人机环境M大规模并行M多媒体O开放系统O面向对象N网络计算逐步减小人和机器间的隔阂 虚拟现实技术的概念 背景 续 后20年计算机技术的发展 从MMOON到AKV有望实现和谐的人机环境ArchiveStorageandProcessing 海量信息存储与处理KnowledgeProcessing 知识处理VisualizedComputing VirtualReality 可视化计算与虚拟现实 虚拟现实技术的概念 虚拟现实VirtualReality钱学森院士翻译为 灵境 Virtual的英文本意是表现上具有真实事物的某些属性 但本质上是虚幻的 Reality的英文本义是 真实 而不是 现实 是一种基于可计算信息的沉浸式人机交互环境虚拟现实是利用计算机构造一个视景真实 动作真实 声音真实 感觉真实的虚拟环境 VirtualEnvironment 的技术 虚拟现实技术的概念 虚拟现实 续 采用以计算机技术为核心的现代高技术生成逼真的视 听 触觉一体化的一定范围的虚拟环境 用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用 相互影响 从而获得亲临等同真实环境的感受和体验 赵沁平等定义 Ahigh enduser computerinterfacethatinvolvesreal timesimulationandinteractionthroughmultiplesensorialchannels vision sound touch smell taste 虚拟现实的定义 狭义用于创建人造世界的计算机系统 在这个世界里 使用者有沉浸于其中的感觉 能在其内漫游并能操纵其内的物体 广义指由计算机技术所创建的三维环境 这个环境既可以是虚拟想象的三维环境 三维可视化 也可以是对真实世界的三维模拟 虚拟现实是利用计算机生成一种三维模拟环境 通过多种传感设备使用户 投入 到该环境中 实现用户与该环境直接进行自然交互的技术 虚拟现实的定义 传感设备包括 立体头盔 数据手套 数据衣等 自然交互指日常使用的方式对虚拟环境中的物体进行操作并得到实时立体反馈 虚拟现实技术的概念 VR的特征沉浸感 Immersion 用户产生一种沉浸于虚拟环境的感觉 视觉 听觉等 交互性 Interaction 虚拟现实环境可以通过控制与监视装置影响或被使用者影响想象性 Imagination 可感知形式反映了设计者的思想 沉浸 Immersion VR系统的核心 表示用户投入到由计算机生成的虚拟场景中的能力 用户在虚拟场景中有身临其境之感 交互性 Interaction 用户与虚拟场景中各种对象相互作用的能力 它是人机和谐的关键性因素 交互性包含对象的可操作程度及用户从环境中得到反馈的自然程度 以及虚拟场景中对象依据物理学定律运动的程度等 VR是自主参考系 即以用户的视点变化进行虚拟交换 构想 Imagination VR不仅仅是一个用户与终端的接口 而且可使用户沉浸于此环境中获取新的知识 提高感性和理性认识 从而产生新的构思 因此 VR是启发人的创造性思维的活动 虚拟现实特征 3I图 虚拟现实与仿真的区别 设备 三维立体眼镜 立体眼镜是用于3D模拟场景VR效果的观察装置 它利用液晶光阀高速切换左右眼图像原理 有有线和无线之分 可支持逐行和隔行立体显示观察 也可用无线眼镜进行多人团体VR效果观察 是目前最为流行和经济适用的VR观察设备 设备 数据手套 数据手套是虚拟现实应用的主要交互设备 它作为一只虚拟的手或控件用于3DVR场景的模拟交互 可进行物体抓取 移动 装配 操纵 控制 有有线和无线 左手和右手之分 可用于WTK Vega等3DVR或视景仿真软件环境中 设备 头盔显示器 头盔显示器 又称数据头盔或数字头盔 是虚拟现实应用中的3DVR图形显示与观察设备 可单独与主机相连以接受来自主机的3DVR图形信号 使用方式为头戴式 辅以空间跟踪定位器可进行VR输出效果观察 同时观察者可做空间上的自由移动 如 自由行走 旋转等 VR效果非常好 沉浸感极强 在VR效果的观察设备中 头盔显示器的沉浸感优于立体眼镜 设备 三维空间交互球 三维空间交互球是虚拟现实应用中的另一重要的交互设备 用于六个自由度VR场景的模拟交互 可从不同的角度和方位对三维物体观察 浏览 操纵 也可作为3DMouse来使用 并可与数据手套或立体眼镜结合使用 作为跟踪定位器 也可单独用于CAD CAM Pro E UG 设备 位置跟踪器 三维空间跟踪定位器是VR系统中用于空间跟踪定位的装置 一般与其他VR设备结合使用 如 数据头盔 立体眼镜 数据手套等 使参与者在空间上能够自由移动 旋转 不局限于固定的空间位置 操作更加灵活 自如 随意 产品有六个自由度和三个自由度之分 位置测量原理 根据刚体动力学分析 能够用运动物体上参考点的坐标表示该物体的位置坐标 并通过测量该参考点到空间三个静止的非共线点之间的距离唯一确定 设备 力反馈器 力反馈器是VR研究中的一种重要的设备 该设备能使参与者实现虚拟环境中除视觉 听觉之外的第三感觉 触觉和力感 进一步增强虚拟环境的交互性 从而真正体会到虚拟世界中的交互真实感 该设备广泛应用于虚拟医疗 虚拟装配等诸多领域 触觉反馈分为 接触反馈和力反馈 设备 三维显示器 这种三维显示器并不需要使用者在头部佩戴任何特制眼镜之类的装备 而是应用当前的计算机的计算能力回放或实时渲染显示三维影像 视觉显示技术 立体视觉一般地 人脑有两类用以感知物体深度 立体感 的信息 绝对距离和相对距离 人脑从四个方面获得深度信息 静态图像的深度信息 运动中产生的深度信息 生理上的深度信息 眼球的转动 晶状体的调解 双目视差产生的深度信息 方法是为每只眼睛各产生一幅图象 左右两幅图象是通过把视点左右各偏移两眼距离的一半而计算出来的 用户可以分别用左右眼盯着这两幅图象 然后将目光交汇在一起 或者使图象通过不同偏振滤光镜 用户佩带相应的滤光眼镜 此外 用户还可以佩带显示同步的液晶快门眼镜 LC快门眼镜 观察在监视器上快速交错显示的左右两幅图象 大脑会将它们合成为立体景象 视觉显示技术 多通道立体投影系统 专业的VR Platform多通道投影系统 采用5台高亮度等离子显示器 最多可支持24台 每台等离子显示尺寸为1020X610mm 可替换为更大尺寸 可支持24个通道同步显示 高沉浸感的虚拟现实仿真显示系统 演示效果出色 适合大中型机构或项目使用 虚拟现实体验的四个关键要素 虚拟世界沉浸虚拟现实最简化的定义 在另一个现实或视点下的沉浸 感觉反馈交互性 虚拟现实的类型 桌面式虚拟现实系统沉浸式虚拟现实系统分布式虚拟现实系统增强式虚拟现实系统 桌面虚拟现实 桌面虚拟现实利用个人计算机和低级工作站进行仿真 将计算机的屏幕作为用户观察虚拟境界的一个窗口 沉浸式虚拟现实 高级虚拟现实系统提供完全沉浸的体验 使用户有一种置身于虚拟境界之中的感觉 桌面虚拟现实系统和沉浸式虚拟现实系统比较 1 沉浸度差异桌面虚拟现实系统采用CRT彩色显示器和三维立体眼镜增加身临其境感觉 而沉浸式虚拟现实系统则采用头盔显示器 HMD 增强身临其境感觉 2 交互装置差异桌面虚拟现实系统采用的交互装置是六自由度鼠标器或三维操纵杆 而沉浸式虚拟现实系统采用的是数据手套和头盔 增强现实的虚拟现实 增强现实性的虚拟现实不仅是利用虚拟现实技术来模拟现实世界 仿真现实世界 而且要利用它来增强参与者对真实环境的感受 也就是增强现实中无法感知或不方便的感受 分布式虚拟现实 如果多个用户通过计算机网络连接在一起 同时参加一个虚拟空间 共同体验虚拟经历 那虚拟现实则提升到了一个更高的境界 这就是分布式虚拟现实系统 分布式虚拟现实系统的应用 分布式虚拟现实系统在远程教育 工程技术 建筑 电子商务 交互式娱乐 远程医疗 大规模军事训练等领域都有着极其广泛的应用前景 利用它可以创建多媒体通信 设计协作系统 实境式电子商务 网络游戏 虚拟社区全新的应用系统 虚拟现实技术的应用 应用广泛Helsel与Doherty曾对全世界范围内已经进行的805项VR研究项目作了统计 主要分布在 影视娱乐对虚拟现实发展的影响 1995年11月Disney和Pixar 玩具总动员 76个角色 11 4万个画面1998年11月 虫虫特工队 侏罗纪公园金刚 钢铁侠 Windows7多点触摸技术 2008 5 28JulieLarson Green 虚拟现实技术的应用 医学在虚拟环境中 可以建立虚拟的人体模型 借助于跟踪球 HMD 感觉手套 可以很容易了解人体内部各器官结构Pieper及Satara等研究者在90年代初基于两个SGI工作站建立了一个虚拟外科手术训练器 用于腿部及腹部外科手术模拟 这个虚拟的环境包括虚拟的手术台与手术灯 虚拟的外科工具 如手术刀 注射器 手术钳等 虚拟的人体模型与器官等 借助于HMD及感觉手套 使用者可以对虚拟的人体模型进行手术远距离遥控外科手术 复杂手术的计划安排 手术过程的信息指导 手术后果预测 虚拟现实技术的应用 军事仿真SIMNET NPSNET DVENET 国内北航 航天技术 火星探路者 利用三维虚拟的环境对火星车进行全面的仿真 当一切确定无误后把指令发送给位于1 9亿公里外的火星车 火星车行进后所获得的数据经过11分钟延迟后送回NASA的JPL 虚拟现实模拟仿真的实战训练案例 1976年103名以色列人法国航空公司雅典非洲乌干达 恩德培机场 VR的四个重要特征 多感知性除了一般的视觉感知外 还有听觉感知 触觉感知 运动感知 甚至还包括味觉 嗅觉感知等 存在感指用户感到作为主角存在于模拟环境中的真实程度 交互性指用户对模拟环境内物体的可操作程度和环境得到反馈的自然程度 自主性指虚拟环境中的物体依据现实世界物理运动定律动作的程度 实现虚拟现实的关键技术支持 硬件方面跟踪系统 确定参与者头 手和躯干的位置 触觉系统 提供力与压力的反馈 音频系统 提供立体声源和判定空间位置 图像生成和显示系统 产生空间图像和立体显示 高性能计算机处理系统 具有高处理速度 大存储容量 强联网特性 软件方面能够接收高性能传感器的信息 如头盔的跟踪信息 能生成立体的显示图形 并可对虚拟环境作实时渲染 能提供对各种数据库 各种CAD软件进行调用和互联的集成环境 在虚拟现实系统中 为了使人与计算机能够融洽的交互 让人沉浸到计算机所创造的虚拟环境中去 必须配备相应的硬件设备 常用的交互设备包括 跟踪系统跟踪系统的任务是要实时检测出虚拟现实系统中人的头 身体和手的位置与指向 以便把这些数据反馈给控制系统 生成随视线变化的图象 电磁跟踪电磁跟踪系统由励磁源 磁接收器和计算模块组成 励磁源由3个磁场方向相互垂直的交流电流产生的双极磁源构成 磁接收器由3套分别测试3个励磁源的方向上相互垂直的线圈组成 经3次测量 可以测得9个数据 由此可确定被测目标的6个参数 即空间坐标x y z和旋转角 虚拟现实系统的硬件 声学跟踪利用不同声源的声音到达某一特定地点的时间差 相位差及声压差 可以进行定位与跟踪 与电磁跟踪法相似 超声波式传感器也有发射器 接收器和