虚拟现实概述

1、Virtual Reality虚拟现实技术及其应用,北京邮电大学,虚拟现实系统典型硬件装置,虚拟现实的图形学基础,真实感图形的实时绘制技术,碰撞检测与三维真实感声音,主要内容,虚拟现实技术概述,目录,2,示例教学,北京邮电大学,产 生 背 景,虚拟现实概述,北京邮电大学,计算机科学发展的一个重要推动力 如何让计算机更容易被人使用,操作人员可以以更为自然的方式使用计算机 将结果以更易被操作人员接受的方式尽快地表现出来 计算机能够更准确地理解人的意图,北京邮电大学,从60年代末起在计算机技术的支持下已对各种计算提出“可视”的要求,在计算数据的基础上要解释数据、理解数据，把计算得到的数字信息转换为直

2、观的、用视频或声频信息表示的、随时间和空间变化的物理现象或模拟的物理现象 先进的科学计算将能洞察到传统科学计算所不可能看见的结果（To see the unseen），可视化是把某些不可见对象或抽象事物转化为可见的、可感知的结果 “ The purpose of computing is insight, not number ” -Richard Hamming,北京邮电大学,人机和谐、定性定量结合是创造性研究的源泉，要求在观察计算所得的数据的基础上，能感受计算所得的形象结果和全局观念 研究人员甚至还希望能沉浸在计算所得、计算所创建的三维空间中，能交互地控制、驾驭和修改所“看见和感受到”的计

3、算结果,自90年代初起在高性能计算的支持下要求实现沉浸式的可视计算,北京邮电大学,解决复杂问题，必须跨领域合作集体攻关 网络技术已基本成熟，基于网络计算可实现资源共享 基于统一的开放体系框架结构、应用程序接口和面向对象的中间件，已能实现“优势互补”、“即插即用”的协同式的可视化计算,自90年代中旬以来在网络计算技术的支持下要求实现协同式的可视化计算,北京邮电大学,总之：沉浸式、协同式的可视化计算促进高性能计算机的发展, 高性能计算机为沉浸式、协同式的可视化计算提供基础,关键技术 高性能计算机和高性能网络技术 大量的、快速的、分布的、基于网络的数值计算 开放体系结构、中间件、人机接口和经验模型的

4、建立 把数据映射成可视化的、具有某种物理属性的对象（虚物实化） 把实物转化为可融入虚拟环境的虚拟对象（实物虚化） 美国各个国家计算中心和有关部门都提出迎接21世纪技术发展的相应规划，如：DOE 2000和NSF的PACI等,北京邮电大学,传统计算机的处理空间 串行的 单维的 封闭的 预定程序,人思考问题的认知空间 并行的 多维的 开放的 归纳演绎,前30年计算机技术的发展减小人的认知空间和计算机的处理空间的差异,努力建立和谐人机环境 M大规模并行 M多媒体 O开放系统 O面向对象 N网络计算 逐步减小人和 机器间的隔阂,北京邮电大学,和谐的人机环境,MMOON,A,K,v,后20年计算机技术的

5、发展从MMOON到AKV有望实现和谐的人机环境,在继续发展MMOON的基础上，突破以下关键技术，逐步构建和谐的人机环境 Archive Storage and Processing - 海量信息存储与处理 Knowledge Processing - 知识处理 Visualized Computing & Virtual Reality - 可视化计算与虚拟现实,北京邮电大学,虚拟现实的发展里程碑,1965年，Sutherland在篇名为终极的显示的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究探索历程。,第一阶段

6、产生,随后的1966年，美国MIT的林肯实验室正式开始了头盔式显示器的研制工作。在这第一个HMD的样机完成不久，研制者又把能模拟力量和触觉的力反馈装置加入到这个系统中。1970年，出现了第一个功能较齐全的HMD系统。基于从60年代以来所取得的一系列成就，美国的Jaron Lanier 在80年代初正式提出了“Virtual Reality”一词。,北京邮电大学,第二阶段发展,80年代为虚拟现实的发展与集成阶段。出现了若干个典型的、有代表性的应用系统，如：美国NASA的View系统，它是第一个进入实际应用的虚拟现实系统，给出了VR系统普遍采用的基本硬件体系结构，装备了数据手套、头部跟踪器，提供了

7、语音、手势等交互手段；1986年美国空军基地设计的虚拟工作台系统（SuperCockpit），把视觉、听觉、触觉等感觉系统集成起来，为飞行员提供头部、眼睛、语言及手部控制输入等多种交互控制方式，用于全面开发飞行员的感知、认知及心理活动等各方面的能力；VPL公司开发了用于生成虚拟现实的PB2软件和DataGlove数据手套，为虚拟现实提供了开发工具；,虚拟现实技术的发展(续),VIEW 在虚拟现实技术发展史上的地位举足轻重。当1985年VIEW系统的雏形在美国NASA Ames 研究中心完成时，该系统以低廉的造价、让参与者有“真实体验”的效果引起有关专家的注目。该系统的雏形是在Michael M

8、cGreevy领导下完成的。VIEW系统有以下特点： 保持了低造价的优势 装备了数据手套、头部跟踪器等硬件设备 提供了语音、手势等交互式手段。,北京邮电大学,第三阶段全面应用,第三阶段90年代至今为虚拟现实的全面发展阶段。随着传感器技术、机器视觉技术、图形图像技术的发展，世界范围内致力于人机和谐环境研究的专家、学者及工程技术人员，在虚拟现实基础理论研究、关键技术攻关以及应用系统推广方面做了大量工作，兴起了虚拟现实的研究热潮，并且广泛应用于训练、医疗、娱乐、教育、产品设计等诸多领域中。,北京邮电大学,虚拟现实的概念,15,虚拟现实效果展示,北京邮电大学,概述,虚拟现实 (virtual real

9、ity) 虚拟现实 (virtual reality) 简称 VR， 是一种可以创建和体验虚拟世界的计算机系统。虚拟世界是全体虚拟环境或给定仿真对象的全体，虚拟环境是由计算机生成的，通过视、听及触觉等作用于用户，使之产生身临其境感觉的交互式视景仿真。 虚拟现实技术是结合了计算机图形学、计算机仿真技术、人机接口技术、多媒体技术以及传感技术多种技术发展而成的一门新技术。,16,北京邮电大学,虚拟现实的概念,虚拟现实是一种基于可计算信息的沉浸式人机交互 环境。 虚拟现实是利用计算机构造一个视景真实、动作真 实、声音真实、感觉真实的虚拟环境的技术。,北京邮电大学,虚拟现实就是采用以计算机技术为核心的现

10、代高技术生成逼真的视、听、触觉一体化的一定范围的虚拟环境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得亲临等同真实环境的感受和体验。,虚拟现实是一个高端的人机接口，包括通过视觉、听觉、触觉和味觉等多种感觉通道的实时模拟和实时交互,北京邮电大学,虚拟现实（Virtual Reality VR）是一种可以创建和体验虚拟环境（Virtual Environment VE）的计算机系统，利用它可以使人以更为自然和谐的方式使用计算机。,北京邮电大学,虚拟现实系统的技术特征（3I图）,沉浸 （Immersion） VR系统的核心，表示用户投入到由计算机生成的虚拟场景

11、中的能力，用户在虚拟场景中有身临其境之感。 交互性 （Interaction）用户与虚拟场景中各种对象相互作用的能力，它是人机和谐的关键性因素。交互性包含对象的可操作程度及用户从环境中得到反馈的自然程度，以及虚拟场景中对象依据物理学定律运动的程度等。VR 是自主参考系，即以用户的视点变化进行虚拟交换互。 构想 （Imagination） VR不仅仅是一个用户与终端的接口，而且可使用户沉浸于此环境中获取新的知识，提高感性和理性认识，从而产生新的构思。因此 ，VR是启发人的创造性思维的活动。,20,概述,北京邮电大学,虚拟现实 系统,分布式 虚拟现实,增强现实性虚拟现实,桌面式 虚拟现实,沉浸式

12、虚拟现实,概述,21,北京邮电大学,桌面虚拟现实系统,桌面虚拟现实（PCVR）系统，基本上是一套基于普通PC平台的小型桌面虚拟现实系统。 桌面虚拟现实的参与者是不完全沉浸的，他要求参与者使用标准的显示器和立体显示设备，数据手套和六个自由度的三维空间鼠标器，戴上立体眼镜坐在监视器前，在一些专业软件的帮助下，可以通过计算机屏幕观察虚拟境界。,虚拟现实系统的分类,22,概述,北京邮电大学,23,沉浸式虚拟现实系统,沉浸式虚拟现实系统是一种高级的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个

13、新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。,虚拟现实系统的分类,概述,多用户虚拟现实系统,一次允许多个用户参与。 典型的系统有：mWorld, CAVE，DIVE等 主要应用：虚拟研讨环境(聊天室), 虚拟社区 主要问题：保证多个用户对虚拟环境有一致的感受,王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.,北京邮电大学,增强式虚拟现实系统,增强式虚拟现实系统是把真实环境和虚拟环境组合在一起的一种系统，它既允许用户看到真实世界，同时也可以看到叠加在真实世界的虚拟对象，这种系统既可减

14、少对构成复杂真实环境的计算，又可对实际物体进行操作，真正达到亦真亦幻的境界。,虚拟现实系统的分类,概述,25,Augmented Reality,应用领域：维修，医学检查，培训等 主要问题：虚实一致性,王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.,R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385,北京邮电大学,分布式虚拟现实系统,分布式虚拟现实系统是利用远程网络，将异地的不同用户联结起来，多

15、个用户通过网络同时参加一个虚拟空间，共同体验虚拟经历，对同一虚拟世界进行观察和操作，达到协同工作的目的，从而将虚拟现实的应用提升到了一个更高的境界。,概述,虚拟现实系统的分类,27,分布式虚拟现实系统,分布于不同地理位置的多台计算机通过网络互联 主要应用：军事仿真，多用户虚拟环境 典型系统：SIMNET ，NPSNET，STOW， DVENET 主要问题：系统的一致性(由数据分布与网络延迟引起),王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.,(4) 遥存在(Tele-Presence),真实世界与操作人员相隔两地 主要应用：远程手术，远程探测等,王兆其虚拟环境

16、中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.,虚拟现实系统的构成,http:/www.reflex.lth.se/reflex/whatisVR/,北京邮电大学,虚拟现实系统的构成无论哪种 VR系统，其系统构成都可以划分为以下 6个功能模块：,概述,31,北京邮电大学,概述,虚拟现实系统的构成,32,北京邮电大学,概述,虚拟现实系统的硬件 在虚拟现实系统中，为了使人与计算机能够融洽的交互，让人沉浸到计算机所创造的虚拟环境中去，必须配备相应的硬件设备。常用的交互设备包括： 跟踪系统 跟踪系统的任务是要实时检测出虚拟现实系统中人的头、身体和手的位置与指向，以便把这些数据反馈给控

17、制系统，生成随视线变化的图象。 实现方式：电磁跟踪 声学跟踪 光学跟踪,33,北京邮电大学,触觉（力觉）系统 在虚拟现实系统中，产生“沉浸”效果的关键因素是用户能用手或身体的其他能动部分去操作虚拟物体，并在操作同时能够感觉到虚拟物体的反作用力。力学反馈手套是最常用的触觉系统，它使用 2只手套，在第一只手套的下部安装20个压敏元件，当戴上手套时，用户感觉到压敏元件随着手的用力产生的阻力 ,压敏元件输出经模数转换后 ,传送给主机处理。第二只手套有20个空气室，由20个空气泵来控制膨胀和收缩，从而对用户施加力感。,概述,34,北京邮电大学,音频系统 听觉系统由语音与音响合成设备、识别设备和声源定位设

18、备所构成，通过听觉通道提供的辅助信息可以加强用户对环境的感知。为了能产生逼真的环境音，人们已开始尝试使用 多声道系统，采用空间声音合成方法，通过由不同方向到达左、右耳道的声音测试得到响应。,概述,图象生成和显示系统 在 VR环境中，图象生成和显示系统的工作主要包括 3个步骤 : 计算生成真实感的图形 ,其图形具有颜色、光照、立体感和运动感。 计算生成或直接从图象库中取得已经压缩且有真实感的背景图象。 经过扫描变换将图形和背景图象统一安排在同一坐标系中。,35,北京邮电大学,1） 产品设计与人机功效(飞机，空间站等),虚拟现实技术的应用,最为成功的例子就是“哈勃望远镜的修复和维护”。经过这个虚拟

19、系统的训练，宇航员于1993年12月，成功地完成了从航天飞机上取出备件更换哈勃太空望远镜上损坏的MRI这一复杂而又费时的任务。,空间技术,VR,北京邮电大学,虚拟原型的设计和验证 虚拟装配 虚拟人机工程学 机器人领域,北京邮电大学,典型应用,工程的设计和规划 波音公司完全使用虚拟现实技术设计波音 777 新型客机获得成功 多伦多市（ Toronto ）的城市规划与管理 城市规划 大型工程漫游 名胜古迹虚拟旅游 数字化酒店展示系统,北京邮电大学,奥迪效果图和线框图,北京邮电大学,2） 科学计算可视化,北京邮电大学,用于核弹B-61-x 的虚拟组装系统,3） 虚拟组装,北京邮电大学,北京邮电大学,

20、北京邮电大学,4） 仿真训练,中国海警某型主力艇虚拟仿真,虚拟现实&视景仿真技术在军事上的应用,Virtual Reality systems to train aircraft pilots and tank commanders,北京邮电大学,5） 协同工作环境的仿真,北京邮电大学,6） 娱乐,游戏半条命2,北京邮电大学,Second life,北京邮电大学,中国人的Second Life,条条大路通北京 -北京实力空间网络科技有限公司 HiPiHi世界-海皮士公司 由我世界-优万网络科技（北京）有限公司,北京邮电大学,教育、艺术和娱乐,教育 虚拟校园，虚拟实验和教学，远程教育和特殊教育，

21、技能培训，建筑设计与城市规划 娱乐 1990,battle Tech center 1991, W-Industries Ltd 浙大虚拟乒乓球 宁波新文三维：室内高尔夫运动模拟器，虚拟主持人等 腾讯的3D QQ show.,北京邮电大学,艺术 文化遗产保护：北大故宫，浙大和德国合作敦煌数字化 虚拟博物馆和虚拟旅游：故宫，卢浮宫 虚拟音乐：东京Waseda大学开发的musical virtual space. 虚拟演播室：1991NHK的Nano space 虚拟演员 电影：侏罗纪公园，泰坦尼克，星球大战，动捕,北京邮电大学,中视典数字科技有限公司，总部注册于深圳高新技术园区，成立于2002年

22、，北京分公司成立于2005年1月。是从事虚拟现实与仿真、多媒体技术、三维动画研究与开发的专业机构，是国际领先的虚拟现实技术（virtual reality Technology）整体解决方案供应商和相关服务提供商。,北京邮电大学,北京邮电大学,北京水晶石数字科技有限公司 水晶石公司完成了北京2008年奥运会开幕式始终10余场次的数字影像内容，包括开幕式145.5米地幕、492米鸟巢顶部碗边环幕的全部数字影像内容；水晶石公司的视觉创意服务还广泛应用于上海世博会申办、组织筹备、规划设计、汇报宣传、宣传推广、展馆建设、数字内容制作、网络平台开发等环节，2010年期间，水晶石共成功完成100余个世博相

23、关项目，包括中国馆“动态版清明上河图”及“网上世博会”等明星项目。 ,北京邮电大学,北京邮电大学,北京万方视景科技有限公司（） 北京阳光中图数字技术有限公司 以计算机三维图形技术为核心，业务范围涵盖图形仿真、地学工程三维仿真、地理三维可视化城市信息统计应用、地理资源三维建模与资源管理、虚拟现实、三维动画及多媒体信息产业等应用领域,北京邮电大学,以清华大学工业系仿真实验室雄厚的技术开发实力为基础，自成立之日起就以开发和制作适合中国虚拟仿真市场的仿真系统解决方案和适于推广的可视化软件平台为主要方向，立志创造中国虚拟仿真软硬件的旗帜名牌。公司现已独立研发了包括数据手套，虚拟环境的力反馈等系统，并成功

24、实现了中国第一套动作捕捉系统填补了国内空白，成绩丰硕，已成为用户中国仿真界中首选的理想合作企业。,北京优联威迅科技发展有限责任公司 ,北京邮电大学,伟景行科技集团（Gvitech Technologies）是业界领先的三维可视化和专业显示技术开发及服务机构，由伟景行数字城市科技有限公司（GDC）、伟景行数字科技有限公司（GDT）以及清华规划院数字城市研究所（DCRC）等三大机构组成。分别为数字城市可视化、虚拟仿真模拟、和专业大屏幕显示，并且在各自领域中成为行业的领导者！ ,北京邮电大学,北京黎明视景公司是一家国际领先的虚拟现实（virtual reality 简称VR）和三维可视化技术整体解决

25、方案供应商，专门致力于基于PC平台的虚拟现实（VR）和视景仿真（Simulation）技术研究、计算机图形软硬件开发研制、视景仿真和虚拟现实系统集成及虚拟现实产品销售。 ,主要问题与研究方向,北京邮电大学,存在的主要问题,虚物实化 如何根据虚拟环境生成人可直接感受到的真实信号（声、光、电）。是一个显示（输出）问题。 实物虚化 如何将真实世界中的物（特别是人）与事件（特别是人的动作）传入虚拟环境中。是一个感知的问题。 网络技术 如何让多个用户（特别是不在同一地理位置的多个用户）参与到同一个虚拟环境中。,北京邮电大学,主要研究方向之一： 感知技术的研究,研究如何感知真实世界中人和物的存在及相关事件

26、的发生： 电磁感知：三维定位跟踪技术。 数据手套与数据衣感知技术。 视觉感知：基于计算机视觉原理感知技术。 听觉感知：基于声音定位原理的感知技术。 触觉与力觉感知：触觉与力觉感知技术。 多种感知信息的融合技术。,北京邮电大学,主要研究方向之二： 合成显示技术的研究,研究虚拟环境的合成显示，包括图像、声音、触觉和力觉的输出。 立体显示技术 声音合成技术 触觉与力觉合成显示技术,北京邮电大学,主要研究方向之三： 建模技术的研究,研究虚拟环境的表示技术 虚拟环境的几何空间表示技术 逼真环境建模技术(纹理技术，LOD技术) 基于物理特性的建模技术（仿真）,北京邮电大学,主要研究方向之四： 分布式虚拟现

27、实技术的研究,研究多用户共享虚拟现实实现技术。 1) 网络技术（带宽，延迟问题） 2) 数据共享技术(一致性处理）,北京邮电大学,主要研究方向之五： 支撑软件与开发工具的研究,支持开发满足虚拟环境建模要求的新一代造型工具； 开发同时支持现有和新的模型的软件工具； 支持在虚拟环境内建模的软件工具的开发； 虚拟环境语言模型的研究； 限时计算与绘制的软件工具的开发； 多用户虚拟环境的支撑软件的研制 ,北京邮电大学,主要研究方向之六： 其他相关问题的研究,运动病 虚拟环境中的运动病可导致参与者出现恶心和呕吐，严重时还会出现头痛、头晕、眼胀、昏睡和疲劳等症状，因此，必须加强对运动病的研究。 人的因素 确

28、定有效使用三维输入输出的方法； 在用户界面中有效地集成声音和语音； 虚拟环境的认知研究。,北京邮电大学,网上虚拟圆明园 ,71,参考网站,北京邮电大学,虚拟南京明孝陵,72,参考网站,北京邮电大学,86VR虚拟无忌,86VR,Text in here,Text in here,Text in here,Click to add Text Click to add Text Click to add Text Click to add Text,Click to add Text Click to add Text Click to add Text Click to add Text,Clic

29、k to add Text Click to add Text Click to add Text Click to add Text,Click to edit title style,73,北京邮电大学,虚拟现实技术在教学中的作用 1弥补教学条件的不足。在教学中，往往会因为实验设备、实验场地、教学经费等方面的原因，而使一些应该开设的教学实验无法进行。利用虚拟现实系统，可以弥补这些方面的不足，学生足不出户便可以做各种各样的实验，获得与真实实验一样的体会，从而丰富感性认识，加深对教学内容的理解。 2避免真实实验或操作所带来的各种危险。以往对于危险的或对人体健康有危害的实验，一般采用电视录像的方

30、式来取代实验，学生无法直接参与实验，获得感性认识。利用虚拟现实技术进行虚拟实验则可以免除这种顾虑。学生在虚拟实验环境中，可以放心地去做各种危险的或危害人体的实验。EXP.化学实验/外科手术/飞机驾驶教学 3彻底打破空间、时间的限制。利用虚拟现实技术，可以彻底打破空间的限制。大到宇宙天体，小至原子粒子，学生都可以进入这些物体的内部进行观察。EXP.虚拟发电厂。虚拟技术还可以突破时间的限制，一些需要几十年甚至上百年才能观察的变化过程，通过虚拟现实技术，可以在很短的时间内呈现给学生观察。EXP.孟德尔遗传定律 4可以虚拟人物形象。虚拟现实系统可以虚拟历史人物、伟人、名人等各种人物形象，创设一个人性化的学习环境，使学生能够在自然、亲切的气氛中进行学习。,VR在教育中的应用,74,北京邮电大学,虚拟现实技术在远程教学中的应用,VR在教育中的应用,虚拟现实技术能够为学生提供生动、逼真的学习环境，学生能够成为虚拟环境的一名参与者，在虚拟环境中扮演一个角色，这对调动学生的学习积极性，突破教学的重点、难点，培养学生的技能都将起到积极的作用。虚拟现实技术在教学中的应用主要有以下四个方面。 1知识学习。知识学习是指远教学生利用虚拟现实系统学习各种知识。它的应用有两个方面：一是再现