虚拟现实技术应用 - 教育在线

虚拟现实技术应用,王恒 电控学院自动化学科部,本课程讲授内容：虚拟现实基本知识及应用领域 3Windows 程序运行原理 13. C+基础 44. 3D图形开发包Open inventor Open inventor基本知识 1 Open inventor与视窗系统 1 基本概念与定义 2 形状节点与视图变化 4 颜色与光照 4 纹理映射 4 曲线与曲面 4 存取三维场景及其场景遍历 4,19亿,第67届金球奖颁奖典礼上，阿凡达荣获了最具分量的最佳影片和最佳导演两项大奖,卡梅隆 ,潘多拉,那维族 制作时间,十年 ; 3D技术 ,身临其境2154年 沙尘、虚拟现实环境、森林陡山、外星生物，都是3D,多种虚拟现实（Virtual Reality)技术,感官震撼与心灵愉悦。 3D技术, 人眼角度不同-影像不完全相同-大脑合成-立体视觉- 3D电影-两台摄像机分别录制-眼镜-立体画面虚拟摄像机，预览由演员的表演和虚拟现实场景结合起来的画面。具备140个数字摄像机组成的“协同工作摄像机”:虚拟现实相关工作,采用了IMAX公司的IMAX（ Image Maxium，图像最大化）技术。该系统拥有最大的银幕、最清晰的图像、最高的精密度、功率最强的放映设备以及最高级的6声道多喇叭音响系统IMAX电影的矩形银幕可高达七八层楼，球形银幕的直径可长达30米。画格越大，内容就越多，图像越清晰,3D是人类最直接的沟通语言和沟通方式，它正在改变着我们的生活形态 赵恒（全球3D技术领导者-法国达索系统大中华区总经理 ）4D新娱乐概念，与3D电影主人公互动 ： 2007年首映的虚拟重建胡夫金字塔 ：参与 试映亚瑟和他的迷你王国2吕克贝松 ：交谈,泰坦尼克号，借助头盔式显示器和可远程操作的机械手打捞遗留在沉船上物品的场景；好莱坞大片侏罗纪公园中，几千万年前已经灭绝的恐龙在屏幕上活灵活现地肆虐；勇敢者游戏中，大象冲上街头踏破小汽车等，都是在电脑上运用虚拟现实技术做出的效果。虚拟角色游戏和虚拟社区，沉浸于其真实感、临场感的体验中。共同感受：虚拟和现实之间已经没有明显的界限,第一章 虚拟现实技术概述,一 虚拟现实技术概念,传统的信息处理环境：“人适应计算机”而当今的目标或理念：“计算机适应人” ，（通过视觉、听觉、触觉、嗅觉，以及形体、手势或口令，参与到信息处理的环境中去，从而取得身临其境的体验）这种信息处理系统，建立在多维（互动）的信息空间中。,一 虚拟现实技术概念,虚拟现实(Virtual Reality)是一种可以创建和体验虚拟世界的计算机系统。它充分利用计算机 硬件与软件资源的集成技术，提供了一种实时的、三维的虚拟环境(Virtual Environment)，使用者完全可以进入虚拟环境中，观看计算机产生的虚拟世界，听到逼真的声音，在虚拟环境中交互操作，有真实感，可以讲话，并且能够嗅到气味。,一 虚拟现实技术概念,综合利用计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中通过语言、手势等自然的方式与之进行实时交互（适人化的多维信息空间）感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制,虚拟现实技术的基本特征：3I 沉浸(Immersion)： 进入虚拟环境后，相信自己正处于所感受到的环境中。 交互(Interaction)： 用自然的方式对虚拟环境中的物体进行操作。如搬动虚拟环境中的一个虚拟盒子，甚至还可以在搬动盒子时感受到盒子的重量。 构想(Imagination)：由逼真性与实时交互性使用户产生更丰富的联想，它是获取沉浸感的一个必要条件。,一 虚拟现实技术概念,一句话概括虚拟现实： Real in effect, not real in fact,一 虚拟现实技术概念,虚拟现实与可视化计算区别？ 所谓“可视化计算”,就是将科学计算的中间数据或结果数据,转换为人们容易理解的图形图像形式。采用丰富的色彩、动画技术、三维立体显示及仿真等手段,形象地显示各种地形特征和植被特征模型,也可以模拟某些还未发生的物理过程(如天气预报)、自然现象及产品外形(如新型飞机)。 vr具有从外到内或从内到外观察数据空间的特征，而可视化计算只允许用户从计算机的监视器从外到内观察数据空间、缺乏临场感和触摸感。,二、虚拟现实的发展简史,1965年，Sutherland在终极的显示中首次提出虚拟现实系统的基本思想。1966年，MIT的林肯实验室开始头盔式显示器研制。70年代出现第一个功能较齐全的HMD系统。80年代初正式提出了“Virtual Reality”一词80年代，美国宇航局（NASA）及国防部组织了一系列有关虚拟现实技术的研究。如，1984年，NASA Ames研究中心虚拟行星探测实验室将火星探测器发回的数据输入计算机，为地面研究人员构造了火星表面的三维虚拟环境。90年代，计算机软硬件的发展为虚拟现实系统的发展打下了的基础。1993年11月，宇航员利用虚拟现实系统成功地完成了从飞机的运输舱内取出望远镜面板的工作。再如，用虚拟现实技术设计波音777获得成功。如今，虚拟现实广泛应用于各个领域,三 虚拟现实支撑技术,虚拟现实 现实世界计算机中的虚拟世界,实物虚化，将现实世界的多种信息通过建模和其他方法生成相应的虚拟世界。小镇漫游 虚物实化，通过各种计算和仿真技术使计算机生成的虚拟世界中的事物所产生的各种刺激以尽可能自然的方式反馈给用户。,三 虚拟现实支撑技术,1. 实物虚化： 实物虚化是将现实世界的多维信息映射到计算机的数字空间生成相应的虚拟世界，为高性能的计算处理提供必要的信息数据。 实物虚化主要包括基本模型构建、空间跟踪、声音定位、视觉跟踪和视点感应等关键技术,三 虚拟现实支撑技术,（1）基本模型构建技术VR的基础，将真实世界的对象物体在相应的三维虚拟世界中重构，保存部分物理属性。如，质量、动量、材料等物理特性、运动和动力学规律。,三 虚拟现实支撑技术,（2）空间跟踪技术虚拟环境的空间跟踪主要是通过头盔显 示器、数据手套、数据衣等交互设备上的空间传感器，确定用户的头、手、躯体或其他操作物在三维虚拟环境中的位置和方向。,跟踪系统一般由发射器、接收器和电子部件组成，分为电磁、机械、光学、超声等几类,三 虚拟现实支撑技术,头盔显示器HMD Head Mounted Display ：将用户从现实世界中分离出来，并代替虚拟环境的双目视区,三 虚拟现实支撑技术,数据手套：可测量出手的位置和形状从而实现 环境中的虚拟手及其对虚拟物体的操纵。cyber glove通过手指上的弯曲、扭曲传感器和手掌上的弯度、弧度传感器，确定手及关节的位置和方向。,三 虚拟现实支撑技术,位置跟踪器,三 虚拟现实支撑技术,（3）声音跟踪技术进行虚拟环境的声音跟踪，是实物虚化的重要组成部分。（语音识别）声音跟踪一般包括若干个发射器、接受器和控制单元。它可以与头盔显示器相连，也可以与数据衣、数据手套等其他设备相连。,三 虚拟现实支撑技术,（4）视觉跟踪与视点感应技术计算被跟踪对象的位置和方向。采用多种定位方法（眼罩定位、头盔显示和基于眼肌的感应技术）确定用户在某一时刻的视线。 例如将视点检测和感应技术集成到头盔显示系统中，飞行员仅靠“注视”就可操纵虚拟开关或进行飞行控制。,三 虚拟现实支撑技术,2. 虚物实化：使用户从虚拟环境中获取同真实环境中一样或相似的视觉、听觉、力觉和触觉等感官认知的技术。,三 虚拟现实支撑技术,三 虚拟现实支撑技术,（1）视觉感知产生真实感很强的视觉感知。crt显示器、大屏幕投影、多方位电子墙、立体眼镜、头盔显示器（hmd）等,三 虚拟现实支撑技术,立体眼镜、显示器,三 虚拟现实支撑技术,（2）听觉感知立体声音箱耳机，增强环境逼真度。,三 虚拟现实支撑技术,（3）力觉和触觉感知产生“沉浸”感的关键因素之一。例如，当你用手扳动虚拟驾驶系统的汽车档位杆时，你的手能感觉到档位杆的震动和松紧。,力反馈手套、力反馈操纵杆对手指产生运动阻尼从而使用户感受到作用力的方向和大小。触觉反馈主要是基于气压感、振动触感、电子触感和神经肌肉模拟等方法来实现的。气压式和振动触感式较为安全。,三 虚拟现实支撑技术,力反馈操纵杆,三 虚拟现实支撑技术,（4）临场参与感,直接与环境交互，非抽象界面（鼠标、键盘）需要身临其境的显示器,三 虚拟现实支撑技术,acave 计算机辅助虚拟现实环境（cave），产生临场感的立方体空间，cave的各个墙是后投影的屏幕，立体投影仪，在cave中可以容纳若干人。,三 虚拟现实支撑技术,b全方位监视器和头盔显示器 类似于用潜望镜观察相似，当你准备返回现实世界做其他事情时，只要把显示器推开就行。,三 虚拟现实支撑技术,VirtuSphere提供真实沉浸虚拟现实环境，人可以通过走动来实现在虚拟空间内的移动 。用户可以带上头盔显示器观察虚拟环境，球上的传感器感知速度和方向并提供给计算机。,三 虚拟现实支撑技术,3. 高性能计算处理技术 （1）服务于实物虚化和虚物实化的数据转换和数据预处理； （2）实时、逼真图形图像生成与显示技术； （3）多种声音的合成与声音空间化技术； （4）多维信息数据的融合、数据转换、数据压缩、数据标准化以及数据库的生成； （5）模式识别。如命令识别、语音识别，以及手势和人的面部表情信息的检测、合成和识别； （6）高级计算模型的研究。如专家系统、自组织神经网、遗传算法等； （7）分布式与并行计算，以及高速、大规模的远程网络技术。,三 虚拟现实支撑技术,4. 分布式虚拟现实可供多用户同时异地参与的分布式虚拟环境，处于不同地理位置的用户如同进入到一个真实世界，不受物理时空的限制 通过姿势、声音或文字等“在一起”进行交流、学习、研讨、训练、娱乐，甚至协同完成同一件比较复杂的产品设计或进行同一艰难任务的演练。,三 虚拟现实支撑技术,目前，分布式虚拟现实的研究基于两类网络平台。一是在Internet上，可追溯到早期基于文本的多参与者游戏，基于VRML标准的远程虚拟购物等。 另一类则是在高速专用网上，如美国军方的国防仿真互联网。 最早的分布式虚拟战场环境则是1983年美国陆军制定的虚拟环境研究计划，这一计划将分散在不同地点的地面坦克、车辆仿真器通过计算机网络联合在一起，进行各种复杂任务的训练和作战演练。,四 虚拟现实系统一般构成,vr系统种类1“可穿戴的”vr系统 通过头盔显示器、数据手套、数据衣服等直接从传感器得到vr环境中输入输出数 据，可以获得临场感。,四 虚拟现实系统一般构成,可穿戴式,四 虚拟现实系统一般构成,2桌面vr系统 利用立体眼镜、3d控制器使监视器作为交互的窗口，这种系统的价格相对来说比较便宜，组成比较灵活，还可以通过虚拟现实造型语言（vrml）连网。可用于科学数据及金融数据可视化场合。,四 虚拟现实系统一般构成,桌面式,四 虚拟现实系统一般构成,3投影vr系统 可以观察大范围利用投影生成的虚拟环境，如cave等。 这种大范围的虚拟环境可以多人参与，促进协同工作，如驾驶航天飞机。在培训、建筑设计评价、艺术教育中使用。,四 虚拟现实系统一般构成,四 虚拟现实系统一般构成,四 虚拟现实系统一般构成,常用人机接口设备,五、应用领域,军事及航空 虚拟战场环境,虚拟现实训练医学 医学院的学生以后也许不会再为缺少学习的机会而苦恼，他们可以进行多次模拟手术以提高自己的水平。即使是主治大夫，在治疗无把握的危重病人之前，也可以先进行虚拟治疗，以减少患者的痛苦和提高治疗成功率。医生远程做手术娱乐培训 汽车驾驶模拟训练，大型飞机驾驶模拟建筑与汽车业 设计师，通过虚拟现实技术观察他们设计的效果，如外观、动力性、使用方便性。 用户，可通过虚拟现实技术在设计完成后“进入”大厦漫游，以便得知大厦各房间的规划、装饰材料的选择等是否满意。,五、应用领域,军事和航天 与常规的训练方式相比较，虚拟现实训练具有环境逼真，“身临其境”感强、场景多变，训练针对性强和安全经济，可控制性强等特点。,五、应用领域,美国海军开发的“虚拟舰艇作战指挥中心” 能逼真地模拟与真的舰艇作战指挥中心几乎完全相似的环境，生动的视觉、听觉和触觉效果，使受训军官沉浸于“真实的”战场之中。 美国军队曾经使用过许多作战模拟系统来培训军事人员，并取得了显著的效果。 仅需5个月左右就能培训出既具备战术专家素质，又能直接观察与分析战场态势，并能指挥与控制所属部队进行作战的军官。,五、应用领域,航天训练的要求使NASA成为开发虚拟现实仿真器的先驱。1NASA虚拟现实训练 在1993年12月进行的第一个哈伯太空望远镜任务期间，更换称为“标准更换仪器”的望远镜上有缺陷的仪器板，训练和仿真采用了VR系统。,五、应用领域,2欧洲空间局的训练欧洲空间局EVA的任务是Hermes空间飞船和Columbus Free Flier，需要零重力训练。欧洲空间技术中心和TNO实验室开发了单用户虚拟现实训练器样机,五、应用领域,医学（1）各个器官和系统的解剖关系。漫游人体并看到自然状态的解剖，以及各器官和系统互相关系（2）涉及精确运动控制和手眼协调的操作技巧的开发。手术训练器在获取所需技巧上很有用。（3）使用遥操作的远程医疗。远程医疗（咨询或远程处治）使专家可在远地工作。,五、应用领域,教育与娱乐 游览海底、遨游太空、观摩历史城堡，甚至深入原子内部观察电子的运动轨迹。分布式虚拟图书馆。 宇宙 古罗马角斗场 3D网络游戏,五、应用领域,高难度和危险环境下的训练服务于医疗手术训练的vr系统，用ct或mri（磁共振成像）数据在计算机中重构人体或某一器官的几何模型，并赋予一定的物理特征（例如密度、韧度、组织比例等），并通过机械手或数据手套等高精度的交互工具在计算机中模拟手术过程，以达到训练、研究的目的。美国的nasa和esa(欧洲空间局)曾成功地将vr技术应用于航天运载器的空间活动、空间站的自由操作和对哈勃空间的维修,五、应用领域,商业应用 在设计新商店时，虚拟现实可用于建设前的建筑物可视化。在投资很关键时，虚拟现实可帮助理解股票，契约的大量数据。 宝马车展示,五、应用领域,产品设计与性能评价波音777飞机的设计是虚拟原型机的应用典型实例，它由300万个零件组成，所有的设计在一个由数百台工作站组成的虚拟环境中进行。 叉车展示 印刷机工作 我国北京航空航天大学虚拟现实与可视化新技术研究室，也完成了恒昌花园及其房内装修、虚拟北航等漫游系统的开发，目前正在为国家科技馆建造一个珠穆朗玛峰及其周边环境的漫游系统。,五、应用领域,建筑 ：室内设计 新办公空间的内部设计是麻烦的“尝试与失败”的过程。显示未来办公空间的真正3-D表示，中间设计次数和总课题经费可能大大减少。 办公桌 房间