虚拟现实技术_1st

1、汪日伟 天津理工大学 计算机与通信学院第一讲 虚拟现实概述第二讲 虚拟现实显示技术 计算机三维图形技术 立体图形显示技术 声音、力觉显示第三讲 虚拟现实跟踪技术 位置跟踪器 数据手套 人体运动跟踪第四讲 人体动画技术1. 为什么要研究虚拟现实技术2. 虚拟现实系统的构成与特点3. 主要问题与研究方向 计算科学已发展成为与理论和实践并列的第三种科学研究方法，为解决一些传统方法无法解决的问题提供了新途径、新方法。 人机交互方式 计算机表达信息的形式更真实 见CG_Wrl_5_011.wrl中数据1） 产品设计与人机功效产品设计与人机功效(飞机，空间站等飞机，空间站等) 虚拟原型的设计和验证 虚拟装

2、配 虚拟人机工程学 机器人领域 工程的设计和规划 波音公司完全使用虚拟现实技术设计波音 777 新型客机获得成功 多伦多市（ Toronto ）的城市规划与管理 城市规划 大型工程漫游 名胜古迹虚拟旅游 数字化酒店展示系统 2） 科学计算可视化科学计算可视化3） 虚拟组装虚拟组装4） 仿真训练仿真训练5） 协同工作环境的仿真协同工作环境的仿真6） 娱乐娱乐游戏半条命2 教育虚拟校园，虚拟实验和教学，远程教育和特殊教育，技能培训，建筑设计与城市规划 娱乐 1990,battle Tech center 1991, W-Industries Ltd 浙大虚拟乒乓球 宁波新文三维：室内高尔夫运动模拟

3、器，虚拟主持人等 腾讯的3D QQ show. 艺术 文化遗产保护：北大故宫，浙大和德国合作敦煌数字化 虚拟博物馆和虚拟旅游：故宫，卢浮宫 虚拟音乐：东京Waseda大学开发的musical virtual space. 虚拟演播室：1991NHK的Nano space 虚拟演员 电影：侏罗纪公园，泰坦尼克，星球大战，动捕 中视典数字科技有限公司中视典数字科技有限公司，总部注册于深圳高新技术园区，成立于2002年，北京分公司成立于2005年1月。是从事虚拟现实与仿真、多媒体技术、三维动画研究与开发的专业机构，是国际领先的虚拟现实技术（virtual reality Technology）整体解

4、决方案供应商和相关服务提供商。 以清华大学工业系仿真实验室雄厚的技术开发实力为基础，自成立之日起就以开发和制作适合中国虚拟仿真市场的仿真系统解决方案和适于推广的可视化软件平台为主要方向，立志创造中国虚拟仿真软硬件的旗帜名牌。公司现已独立研发了包括数据手套，虚拟环境的力反馈等系统，并成功实现了中国第一套动作捕捉系统填补了国内空白，成绩丰硕，已成为用户中国仿真界中首选的理想合作企业。 计算科学的应用与存在的问题计算科学的应用与存在的问题(续续)1. 计算科学已发展成为与理论和实践并列的第三种科计算科学已发展成为与理论和实践并列的第三种科学研究方法，为解决一些传统方法无法解决的问题学研究方法，为解决

5、一些传统方法无法解决的问题提供了新途径、新方法。提供了新途径、新方法。 传统人机交互方法： 人与计算机间的交互通过键盘、鼠标、显示屏等工具实现。 虚拟现实方法： 将计算科学处理对象统一看作一个计算机生成空间（虚拟空间或虚拟环境），并将操作它的人看作是这个空间的一个组成部分(man-in-the-loop)。 人与计算机空间的对象之间的交互是通过各种先进的感知技术与显示技术（即虚拟现实技术）完成。 人可以感受到虚拟环境中的对象，虚拟环境也可以感受到人对它的各种操作（类似于人与真实世界的交互方式）。 1956年, 美国的Morton Heileg开发了一个被称为 Sensorama(传感景院）的摩

6、托车仿真器，具有以下功能： 三维视频及立体声效果， 振动风吹的感觉， 城市街道的气味， 用户可以坐在仿真器的座位上经历一种开摩托车漫游美国纽约曼哈顿的感觉。固定的超声波扩大器超声波接收器头盔主计算机控制器接接收收器器发发送送器器液液晶晶显显示示屏屏光光学学装装置置立立体体声声耳耳机机立立体体声声产产生生器器位位置置和和方方向向跟跟踪踪器器左左眼眼影影象象产产生生器器右右眼眼影影象象产产生生器器 1965年，美国的年，美国的 Ivan Sutherland 发表了一篇名为发表了一篇名为“The Ultimate Display”（终极的显示）的文章。的文章。 1968年，年，他在哈佛大学组织开发

7、出第一个计算机图形驱动的头盔显示器（Helmet-Mounted Display，即 HMD），并开），并开发发了与了与HMD相配的相配的头部位置跟踪系统。 这些探索过程中，人们开始形成与虚拟环境相关的以下一些概念： 人工现实（Artificial Reality） 虚拟现实（灵境）（Virtual Reality） 虚拟环境（Virtual Environment） 电脑空间（Cyberspace） 等 这些可以理解为对虚拟现实技术的不同称呼，其中以 Virtual Reality一词影响最广。 VIDEOPLACE系统 VIDEOPLACE是由M.W.Krueger基于视频的方法设计的一个

8、虚拟环境。他 认为，与计算机相比，人类的进化要缓慢得多；因此，人机接口研究应该将重点放在相对不变的人类特性上。计算机应该适应人，而不是让人去适应计算机。在这种思想指导下，当其他早期研究者考虑穿着或戴着设备时，Krueger 将目标瞄准无障碍的环境式人工现实。 VIEW 在虚拟现实技术发展史上的地位举足轻重。当1985年VIEW系统的雏形在美国NASA Ames 研究中心完成时，该系统以低廉的造价、让参与者有“真实体验”的效果引起有关专家的注目。该系统的雏形是在Michael McGreevy领导下完成的。VIEW系统有以下特点： 保持了低造价的优势 装备了数据手套、头部跟踪器等硬件设备 提供了

9、语音、手势等交互式手段。虚拟现实虚拟现实 = virtual + reality 虚拟现实 (virtual reality，简称 VR ) 或称虚拟环境 (virtual environment)，是一种逼真的视、听、触觉一体化的计算机生成环境，用户可以借助必要的装备以自然的方式与虚拟环境中的物体进行交互作用、相互影响，从而获得亲临等同真实环境的感受和体验。 虚拟现实的主要目的是实现自然人机交互，即实现一种逼真的视、听、触觉一体化的计算机生成环境。 虚拟现实的主要实现方法是借助必要的装备，实现人与虚拟环境之间的信息转换，最终实现人与环境之间的自然交互与作用。J.J.Gibson总结的总结的感

10、知系统系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相关感觉走动通过身体运动进入其它环境从一个位置走到另一个位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达 语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统行为系统 行为 感知 参与者 行为系统 感知系统 外界环境 虚拟环境实物虚化人虚物实化王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6.

11、 应用领域：维修，医学检查，培训等 主要问题：虚实一致性反馈虚拟环境真实环境操作实物虚化人虚物实化实物虚化虚物实化王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 一次允许多个用户参与。 典型的系统有：mWorld, CAVE，DIVE等 主要应用：虚拟研讨环境(聊天室), 虚拟社区 主要问题：保证多个用户对虚拟环境有一致的感受 虚拟环境实物虚化

12、人虚物实化实物虚化虚物实化人王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. 分布于不同地理位置的多台计算机通过网络互联 主要应用：军事仿真，多用户虚拟环境 典型系统：SIMNET ，NPSNET，STOW， DVENET 主要问题：系统的一致性(由数据分布与网络延迟引起) 计算机 实物虚化 人 虚物实化 计算机 虚物实化 实物虚化 计算机网络 人 分布式虚拟环境 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. 真实世界与操作人员相隔两地 主要应用：远程手术，远程探测等 计算机 实物虚化 人 虚物实化 计算机或机器人 虚物实化 实物

13、虚化 计算机网络 虚拟环境 真实世界 王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6.ImmersionImaginationInteractionI3 沉浸感(immersion): 参与者全身心地沉浸于计算机所生成的三维虚拟环境，并产生身临其境的感觉。 交互性(interaction): 参与者可以利用各种感官功能及人类自然技能虚拟环境进行交互考察与操作。 构想性(imagination): 参与者借助VR系统给出的逼真视听触觉信号而产生的对虚拟空间的想象 虚物实化 如何根据虚拟环境生成人可直接感受到的真实信号（声、光、电）。是一个显示（输出）问题。 实物虚化

14、 如何将真实世界中的物（特别是人）与事件（特别是人的动作）传入虚拟环境中。是一个感知的问题。 网络技术 如何让多个用户（特别是不在同一地理位置的多个用户）参与到同一个虚拟环境中。研究如何感知真实世界中人和物的存在及相关事件的发生：电磁感知：三维定位跟踪技术。数据手套与数据衣感知技术。视觉感知：基于计算机视觉原理感知技术。听觉感知：基于声音定位原理的感知技术。触觉与力觉感知：触觉与力觉感知技术。 多种感知信息的融合技术。 研究虚拟环境的合成显示，包括图像、声音、触觉和力觉的输出。 立体显示技术 声音合成技术 触觉与力觉合成显示技术 研究虚拟环境的表示技术 虚拟环境的几何空间表示技术 逼真环境建模技术(纹理技术，LOD技术) 基于物理特性的建模技术（仿真） 研究多用户共享虚拟现实实现技术。 1) 网络技术（带宽，延迟问题） 2) 数据共享技术(一致性处理） 支持开