虚拟现实技术及其应用

1、北京邮电大学虚拟现实系统典型硬件装置虚拟现实系统典型硬件装置 虚拟现实的图形学基础虚拟现实的图形学基础 真实感图形的实时绘制技术真实感图形的实时绘制技术 碰撞检测与三维真实感声音碰撞检测与三维真实感声音 主要内容主要内容 虚拟现实技术概述虚拟现实技术概述 2示例教学示例教学 北京邮电大学 产产 生生 背背 景景北京邮电大学北京邮电大学 在计算数据的基础上要解释数据、理解数据，把计算得在计算数据的基础上要解释数据、理解数据，把计算得到的数字信息转换为直观的、用视频或声频信息表示的、到的数字信息转换为直观的、用视频或声频信息表示的、随时间和空间变化的物理现象或模拟的物理现象随时间和空间变化的物理现

2、象或模拟的物理现象 先进的科学计算将能洞察到传统科学计算所不可能看见先进的科学计算将能洞察到传统科学计算所不可能看见的结果（的结果（To see the unseen），可视化是把某些不可见），可视化是把某些不可见对象或抽象事物转化为可见的、可感知的结果对象或抽象事物转化为可见的、可感知的结果 “ The purpose of computing is insight, not number ” -Richard Hamming北京邮电大学 人机和谐、定性定量结合是创造性研究的源泉，要人机和谐、定性定量结合是创造性研究的源泉，要求在观察计算所得的数据的基础上，能感受计算所求在观察计算所得的数据

3、的基础上，能感受计算所得的形象结果和全局观念得的形象结果和全局观念 研究人员甚至还希望能沉浸在计算所得、计算所创研究人员甚至还希望能沉浸在计算所得、计算所创建的三维空间中，能交互地控制、驾驭和修改所建的三维空间中，能交互地控制、驾驭和修改所“看见和感受到看见和感受到”的计算结果的计算结果北京邮电大学 解决复杂问题，必须跨领域合作集体攻关解决复杂问题，必须跨领域合作集体攻关 网络技术已基本成熟，基于网络计算可实现资源共享网络技术已基本成熟，基于网络计算可实现资源共享 基于统一的开放体系框架结构、应用程序接口和面向对基于统一的开放体系框架结构、应用程序接口和面向对象的中间件，已能实现象的中间件，已

4、能实现“优势互补优势互补”、“即插即用即插即用”的的协同式的可视化计算协同式的可视化计算北京邮电大学北京邮电大学 传统计算机传统计算机的处理空间的处理空间 串行的串行的 单维的单维的 封闭的封闭的 预定程序预定程序 努力建立和努力建立和谐人机环境谐人机环境 M大规模并行大规模并行 M多媒体多媒体 O开放系统开放系统 O面向对象面向对象 N网络计算网络计算 逐步减小人和逐步减小人和 机器间的隔阂机器间的隔阂北京邮电大学 在继续发展在继续发展MMOON的基的基础上，突破以下关键技术，础上，突破以下关键技术，逐步构建和谐的人机环境逐步构建和谐的人机环境 Archive Storage and Pro

5、cessing - 海量信息存储海量信息存储与处理与处理 Knowledge Processing - 知知识处理识处理 Visualized Computing & Virtual Reality - 可视化计可视化计算与虚拟现实算与虚拟现实北京邮电大学1965年，年，Sutherland在篇名为在篇名为终极的显示终极的显示的论文中首次提出的论文中首次提出了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实了包括具有交互图形显示、力反馈设备以及声音提示的虚拟现实系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究系统的基本思想，从此，人们正式开始了对虚拟现实系统的研究探索历程

6、。探索历程。第一阶段产生第一阶段产生随后的随后的1966年，美国年，美国MIT的林肯实验室正式开始了头盔式显示器的林肯实验室正式开始了头盔式显示器的研制工作。在这第一个的研制工作。在这第一个HMD的样机完成不久，研制者又把能的样机完成不久，研制者又把能模拟力量和触觉的力反馈装置加入到这个系统中。模拟力量和触觉的力反馈装置加入到这个系统中。1970年，出现年，出现了第一个功能较齐全的了第一个功能较齐全的HMD系统。基于从系统。基于从60年代以来所取得的年代以来所取得的一系列成就，美国的一系列成就，美国的Jaron Lanier 在在80年代初正式提出了年代初正式提出了“Virtual Reali

7、ty”一词。一词。北京邮电大学第二阶段发展第二阶段发展80年代为虚拟现实的发展与集成阶段。出现了若干个典型年代为虚拟现实的发展与集成阶段。出现了若干个典型的、有代表性的应用系统，如：美国的、有代表性的应用系统，如：美国NASA的的View系统，系统，它是第一个进入实际应用的虚拟现实系统，给出了它是第一个进入实际应用的虚拟现实系统，给出了VR系统系统普遍采用的基本硬件体系结构，装备了数据手套、头部跟普遍采用的基本硬件体系结构，装备了数据手套、头部跟踪器，提供了语音、手势等交互手段；踪器，提供了语音、手势等交互手段；1986年美国空军基年美国空军基地设计的虚拟工作台系统（地设计的虚拟工作台系统（S

8、uperCockpit），把视觉、听），把视觉、听觉、触觉等感觉系统集成起来，为飞行员提供头部、眼睛觉、触觉等感觉系统集成起来，为飞行员提供头部、眼睛、语言及手部控制输入等多种交互控制方式，用于全面开、语言及手部控制输入等多种交互控制方式，用于全面开发飞行员的感知、认知及心理活动等各方面的能力；发飞行员的感知、认知及心理活动等各方面的能力；VPL公司开发了用于生成虚拟现实的公司开发了用于生成虚拟现实的PB2软件和软件和DataGlove数据数据手套，为虚拟现实提供了开发工具；手套，为虚拟现实提供了开发工具； 北京邮电大学第三阶段全面应用第三阶段全面应用第三阶段第三阶段90年代至今为虚拟现实的全

9、面发展阶年代至今为虚拟现实的全面发展阶段。随着传感器技术、机器视觉技术、图形图段。随着传感器技术、机器视觉技术、图形图像技术的发展，世界范围内致力于人机和谐环像技术的发展，世界范围内致力于人机和谐环境研究的专家、学者及工程技术人员，在虚拟境研究的专家、学者及工程技术人员，在虚拟现实基础理论研究、关键技术攻关以及应用系现实基础理论研究、关键技术攻关以及应用系统推广方面做了大量工作，兴起了虚拟现实的统推广方面做了大量工作，兴起了虚拟现实的研究热潮，并且广泛应用于训练、医疗、娱乐研究热潮，并且广泛应用于训练、医疗、娱乐、教育、产品设计等诸多领域中。、教育、产品设计等诸多领域中。北京邮电大学虚拟现实的

10、概念15虚拟现实效果展示北京邮电大学16北京邮电大学 虚拟现实的概念虚拟现实的概念 虚拟现实是一种基于可计算信息的沉浸式人机交互 环境。 虚拟现实是利用计算机构造一个视景真实、动作真 实、声音真实、感觉真实的虚拟环境的技术。北京邮电大学虚拟现实就是采用以计算机技术为核心的现代虚拟现实就是采用以计算机技术为核心的现代高技术生成逼真的高技术生成逼真的视、听、触觉一体化的一定视、听、触觉一体化的一定范围的虚拟环境范围的虚拟环境，用户可以借助必要的装备以，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得亲临等同真实环境的感、相

11、互影响，从而获得亲临等同真实环境的感受和体验。受和体验。 虚拟现实是一个高端的人机接口，包括通过视觉、听觉、触觉和味觉等多种感觉通道的实时模拟和实时交互北京邮电大学虚拟现实（Virtual Reality VR）是一种可以创建和体验虚拟环境（Virtual Environment VE）的计算机系统，利用它可以使人以更为自然和谐的方式使用计算机。北京邮电大学Immersion（沉浸）（沉浸）Imagination（构想）Interaction（交互性）沉浸沉浸 （Immersion） VR系统的核心，表示用系统的核心，表示用户投入到由计算机生成的虚拟场景中的能力户投入到由计算机生成的虚拟场景中

12、的能力，用户在虚拟场景中有身临其境之感。，用户在虚拟场景中有身临其境之感。交互性交互性 （Interaction）用户与虚拟场景中各用户与虚拟场景中各种对象相互作用的能力，它是人机和谐的关种对象相互作用的能力，它是人机和谐的关键性因素。交互性包含对象的可操作程度及键性因素。交互性包含对象的可操作程度及用户从环境中得到反馈的自然程度，以及虚用户从环境中得到反馈的自然程度，以及虚拟场景中对象依据物理学定律运动的程度等拟场景中对象依据物理学定律运动的程度等。VR 是自主参考系，即以用户的视点变化进是自主参考系，即以用户的视点变化进行虚拟交换互。行虚拟交换互。构想构想 （Imagination） VR

13、不仅仅是一个用户不仅仅是一个用户与终端的接口，而且可使用户沉浸于此环境与终端的接口，而且可使用户沉浸于此环境中获取新的知识，提高感性和理性认识，从中获取新的知识，提高感性和理性认识，从而产生新的构思。因此而产生新的构思。因此 ，VR是启发人的创造是启发人的创造性思维的活动。性思维的活动。20北京邮电大学 21北京邮电大学 22北京邮电大学23沉浸式虚拟现实系统是一种高级的虚拟现实系统，它提供沉浸式虚拟现实系统是一种高级的虚拟现实系统，它提供一个完全沉浸的体验，使用户有一种置身于虚拟境界之中一个完全沉浸的体验，使用户有一种置身于虚拟境界之中的感觉。它利用头盔式显示器或其它设备，把参与者的视的感觉

14、。它利用头盔式显示器或其它设备，把参与者的视觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的觉、听觉和其它感觉封闭起来，并提供一个新的、虚拟的感觉空间，并利用位置跟踪器、数据手套、其它手控输入感觉空间，并利用位置跟踪器、数据手套、其它手控输入设备、声音等使得参与者产生一种身临其境、全心投入和设备、声音等使得参与者产生一种身临其境、全心投入和沉浸其中的感觉。沉浸其中的感觉。 虚拟环境实物虚化人虚物实化实物虚化虚物实化人王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.北京邮电大学25反馈虚拟环境真实环境操作实物虚化人虚物实化实物虚化虚物实化王兆其虚拟环境中物体运动逼

15、真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 北京邮电大学 27 计算机 实物虚化 人 虚物实化 计算机 虚物实化 实物虚化 计算机网络 人 分布式虚拟环境 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. 计算机 实物虚化 人 虚物实化 计算机或机器人 虚物实化 实物虚化 计算机网络 虚拟环境 真实世界 王兆其虚拟环境中物体运动逼真性的

16、研究博士论文，北京航空航天大学，1999.6.http:/www.reflex.lth.se/reflex/whatisVR/北京邮电大学用户用户虚拟世界现实世界31北京邮电大学检测用户的操作命令，并通过传检测用户的操作命令，并通过传感器模块作用于虚拟环境。感器模块作用于虚拟环境。检测检测模块模块接受来自传感器模块的信息，接受来自传感器模块的信息，为用户提供实时反馈。为用户提供实时反馈。反馈反馈模块模块一方面接受来自用户的操作命令，将其一方面接受来自用户的操作命令，将其作用于虚拟环境，另一方面将操作后产作用于虚拟环境，另一方面将操作后产生的结果以相应的反馈形式提供给用户生的结果以相应的反馈形式

17、提供给用户传感器传感器模块模块对传感器进行控制，使其对用户、对传感器进行控制，使其对用户、虚拟环境和现实世界产生作用。虚拟环境和现实世界产生作用。控制控制模块模块现实世界各组成部分的三维表示，现实世界各组成部分的三维表示，并由此构成对应的虚拟环境。并由此构成对应的虚拟环境。3 D模型库模型库获取现实世界各组成部分的三维获取现实世界各组成部分的三维数据，并建立它们的三维模型。数据，并建立它们的三维模型。建模建模模块模块虚拟现实系统的构成虚拟现实系统的构成32北京邮电大学虚拟现实系统的硬件虚拟现实系统的硬件 33北京邮电大学34北京邮电大学 听觉系统由语音与音响合成设备、识别设备和声源定位设备所构

18、成，听觉系统由语音与音响合成设备、识别设备和声源定位设备所构成，通过听觉通道提供的辅助信息可以加强用户对环境的感知。为了能产生逼通过听觉通道提供的辅助信息可以加强用户对环境的感知。为了能产生逼真的环境音，人们已开始尝试使用真的环境音，人们已开始尝试使用 多声道系统，采用空间声音合成方法，多声道系统，采用空间声音合成方法，通过由不同方向到达左、右耳道的声音测试得到响应。通过由不同方向到达左、右耳道的声音测试得到响应。在在 VR环境中，图象生成和显示系统的工作主环境中，图象生成和显示系统的工作主要包括要包括 3个步骤个步骤 : 计算生成真实感的图形计算生成真实感的图形 ,其图形具有颜色、光其图形具

19、有颜色、光照、立体感和运动感。照、立体感和运动感。 计算生成或直接从图象库中取得已经压缩且计算生成或直接从图象库中取得已经压缩且有真实感的背景图象。有真实感的背景图象。 经过扫描变换将图形和背景图象统一安排在经过扫描变换将图形和背景图象统一安排在同一坐标系中。同一坐标系中。35北京邮电大学1） 产品设计与人机功效产品设计与人机功效(飞机，空间站等飞机，空间站等)最为成功的例子就是“哈勃望远镜的修复和维护”。经过这个虚拟系统的训练，宇航员于1993年12月，成功地完成了从航天飞机上取出备件更换哈勃太空望远镜上损坏的MRI这一复杂而又费时的任务。 空间技术北京邮电大学北京邮电大学北京邮电大学北京邮电大学2） 科学计算可视化科学计算可视化 北京邮电大学3） 虚拟组装虚拟组装 北京邮电大学北京邮电大学北京邮电大学4） 仿真训练仿真训练 中国海警某型主力艇虚拟仿真中国海警某型主力艇虚拟仿真虚拟现实虚拟现实&视景仿真技术在军视景仿真技术在军事上的应用事上的应用北京邮电大学5） 协同工作环境的仿真协同工作环境的仿真 北京邮电大学6） 娱乐娱乐 游戏半条命2北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大学北京邮电大