人机交互技术第一章虚拟现实的现状和发展VR61课件

1、人机交互技术第一章虚拟现实的现状和发展VR612022/8/9人机交互技术第一章虚拟现实的现状和发展VR61基于智能体的虚拟现实化多通道因特网界面1、因特网2、多通道3、虚拟现实化4、基于智能体人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望1.以WIMP(窗口、图符、菜单、鼠标)为代表的图形用户界面还将继续使用，尤其是在办公室中广泛应用。人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望2.最普遍的将是以因特网为中心的多种多样人机界面。我们不仅拥有现在以浏览器、搜索引擎为代表的桌面网络用户界面，而且还将有一批适应不同带宽（从高速视频点播,到低速移动电话）、不

2、同尺寸（从手表掌上电脑，到墙壁大小）的多种多样界面。因特网将进入我们的家庭和生活，界面也将嵌入在各种电器以至汽车导航中，普通百姓可通过语音、手写等易用、方便的界面，实现网上购物等日常用途。人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望3.多通道、多媒体的自然、高效、智能化用户界面将快速发展和应用。 以虚拟现实为代表的计算机系统的拟人化和以掌上电脑为代表的计算机的微型化和随身化，是当前计算机的两个重要的应用趋势。目前以鼠标和键盘为代表的图形用户界面技术是影响它们发展的瓶颈。利用人的多种感觉通道和动作通道（如语音、手写、表情、姿势、视线、笔等输入），以并行、非精确方式与计算机系

3、统进行交互，可以提高人机交互的自然性和高效性。人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望3.多通道、多媒体的自然、高效、智能化用户界面将快速发展和应用。 以三维、沉浸感的逼真输出为标志的虚拟现实技术是多媒体、多通道界面的重要应用目标。目前，语音和手写输入在实用化方面已有很大进展。预计，随着模式识别、全息图象、自然语言理解和新的传感技术的发展，人机界面技术将进一步朝着计算机主动感受、理解人的意图方向发展。新的多通道、多媒体人机界面是重要发展趋势。人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望4.无障碍的人机界面将进一步受到重视。如果强迫人类去适应计算机

4、，坐在桌旁操作鼠标和键盘，肯定会限制计算机的应用。如果用白光全息技术代替立体显示器或立体眼镜，用摄像跟踪技术及自然语言理解技术来代替“手套”或“键盘”，那么人们会有更充分的活动自由，可以在现实环境中享受虚拟的乐趣！人机交互技术第一章虚拟现实的现状和发展VR61下一代人机界面的展望传统界面依然会有生机。因特网无处不在。各式各样的全新界面被嵌入到我们生活的各种设备中。以用户为中心、新的自然人机界面正将我们带离桌面，去探索更广阔的物理的、生活的、和数字的世界！新世纪将更加美好！人机交互技术第一章虚拟现实的现状和发展VR611。什么是虚拟现实？关于术语Virtual Reality（VR）(J.Lan

5、ier,1989) 译为: 虚拟现实、灵境、幻真. 其他： Virtual Environment Artificial Reality (M.W.Krueger,1970s) Cyberspace (W.Gibson,1984)人机交互技术第一章虚拟现实的现状和发展VR611。什么是虚拟现实？ 是一种可以创建和体验虚拟世界的计算机系统。而虚拟世界是全体虚拟环境或给定仿真对象的全体。虚拟环境是由计算机生成的，通过视、听、触觉等作用于用户，使之产生身临其境感觉的交互式视景仿真。 用计算机技术来生成一个逼真的三维视觉、听觉、触觉或嗅觉等感觉世界，让用户可以从自己的视点出发，利用自然的技能和某些设备

6、对这一生成的虚拟世界客体进行浏览和交互考察。人机交互技术第一章虚拟现实的现状和发展VR611。什么是虚拟现实？1.逼真的感觉 视觉，听觉，触觉，嗅觉 等2.自然的交互 运动，姿势，语言，身体跟踪 等3.个人的视点 用户的眼、耳、身 所感到的感觉信息4.迅速的响应 感觉信息根据视点变化和用户输入及时更新人机交互技术第一章虚拟现实的现状和发展VR611。什么是虚拟现实？一项综合技术涉及计算机图形学、人机接口技术、图像处理与模式识别、多传感器技术、语音处理与音响技术、网络技术、并行处理技术、高性能计算机系统、人工智能技术. 核心：2M(MPP,MultiMedia),2O(Open System,O

7、bject-oriented)需要计算机专家、人类工程学(Ergonomics) 专家、 心理学专家等共同开发研究。人机交互技术第一章虚拟现实的现状和发展VR61虚拟现实应有的特征（3I)沉浸感（Immersion）:能给人们以真实世界的感觉，让人感觉全方位地沉浸在这个虚幻的世界中。交互性（Interaction）:虚拟现实与通常CAD系统所产生的模型是不一样的，它不是一个静态的世界，而是可以对使用者的输入作出反应。虚拟现实环境可以通过控制与监视装置影响或被使用者影响。想象 （Imagination）: 它的应用能解决在工程、医学、军事等方面的一些问题,这些应用是与设计者并行操作,为发挥它们的

8、创造性而设计的,这极大地依赖于人类的想象力。人机交互技术第一章虚拟现实的现状和发展VR61分布式虚拟环境（Distributed Virtual Environment) 利用计算机构造的一个真实世界的模拟，地理上分布的用户可以通过网络共享该环境，并与周围的环境以及在相互之间进行交互。共享虚拟环境涉及到虚拟现实、分布对象、网络、人机交互、智能代理等领域。其他同义词包括: Networked VE(VR),Shared VE(VR),Multi-User VE, etc. 其实质是一种人机交互界面 人机交互技术第一章虚拟现实的现状和发展VR61分布式虚拟环境的应用军事训练 SIMNET&DIS

9、教育与培训 pedagogical agent Steve; JackMOO网络会议与远程协作 Sony公司基于DIVE的一个系统娱乐和虚拟社区 Cybertown (使用Blaxxun）电子商务 VR commerce of IBM 人机交互技术第一章虚拟现实的现状和发展VR61分布式虚拟环境发展的原动力因特网技术的广泛使用: Internet已经成为娱乐、商业等的重要媒体硬件基础：网络带宽的提高（宽带网的逐渐普及），个人计算机图形处理能力的增强软件基础： 虚拟现实技术和网络技术的结合日益复杂的数据使得原来的界面不能满足需要，人们希望更加直观的表达信息，使用更加自然的方式进行人机交互以及通过

10、网络实现人与人之间实时、形象的交流人机交互技术第一章虚拟现实的现状和发展VR61著名分布式虚拟环境项目介绍DIVE http:/www.sics.se/dive/由瑞典Institute of Computer Science开发运行在 SG IRIX, PCNT4, PCLinux/Mesa, Sun Solaris,HP HPUX上核心代码使用C语言写成提供API和TCL Script接口1991年第一版本SIMNET&DIS美国DARPA(Defense Advanced Research Projects Agency )1983年开始的一项研究，交付官方使用于1990年，用于模拟组队

11、作战环境特点：对象-事件模型，自治模拟节点，预测算法DIS网络软件架构的核心是协议数据单元（PDU） 没有中央服务器 ,可扩展性好人机交互技术第一章虚拟现实的现状和发展VR61基于Web和VRML的分布式虚拟环境 Blaxxun Interactive Inc / 1995年成立，总部在德国慕尼黑Virtual Worlds Platform 5.1 多人服务器Blaxxun contact VRML客户端程序blaxxun3D Java解释VRML Vnet /jeffs/vnet/ VRML+Java DeepMatrix VRML+Java人机交互技术第一章虚拟现实的现状和发展VR612

12、。历史回顾虚拟现实和其他技术一样，也是在前人大量工作的基础上发展起来的。1。立体电影，立体声技术2。飞行模拟器 最早实际使用的仿真技术；3。“星际旅行”“宇宙飞船”的演示4。机械手、机器人 危险场合进行各类“遥控操作”；5。游戏 驾驶汽车、潜艇航行人机交互技术第一章虚拟现实的现状和发展VR612。历史回顾重 要 事 件HMD Head-Mounted Display 1968年Sutherland 三维头盔显示器 ；Videoplace 1985年Krueger正式发表无障碍的人工现实；VIEW项目 Virtual Environment Workstation美国宇航局Ames研究中心的虚拟

13、环境工作站；Data Glove VPL公司采用定位装置Polhemus的数据手套；人机交互技术第一章虚拟现实的现状和发展VR61VPL公司采用三维定位装置Polhemus的数据手套示意图人机交互技术第一章虚拟现实的现状和发展VR61三维定位装置Polhemus原理人机交互技术第一章虚拟现实的现状和发展VR61重 要 事 件BOOMBinocular Omni-Oriented Monitor 美国宇航局Fakespace Lab的双筒全方位监视器；CAVEAudio-Visual Experience Automatic Virtual Environment 1992年Cruz-Neira

14、的墙式显示屏自动声象虚拟环境；VRML Virtual Reality Modeling Language 因特网上 1.0及2.0版本的虚拟现实建模语言人机交互技术第一章虚拟现实的现状和发展VR61CAVE 墙式显示屏自动声象虚拟环境Audio-Visual Experience Automatic Virtual Environment人机交互技术第一章虚拟现实的现状和发展VR613。应用应用和需求是技术发展的推动力1）军事美国国防部和军方认为：虚拟现实将在武器系统性能评价、武器操纵训练及指挥大规模军事演习三方面发挥重大作用。 他们制定了战争综合演示厅计划、防务仿真交互网络计划、综合战役桥

15、计划、及虚拟座舱、卫星塑造者等应用环境，并在核武器试验及许多局部战争中进行了应用，不仅节省了大量的军事费用，更重要的是提高了现代化作战指挥方面能力。人机交互技术第一章虚拟现实的现状和发展VR613。应用2）航天航空美国宇航局是虚拟现实最早研究的单位和应用者。宇宙飞船及各类航空器是需耗费巨资的现代化工具，而进入宇宙有大量未知、危险的因素，因而模拟各种航空器可能遇到的环境，不仅可节省大量费用，而且是十分必要的。虚拟风洞就是一例。人机交互技术第一章虚拟现实的现状和发展VR613。应用3）计算机辅助设计 虚拟样机、虚拟建筑物 工业产品均需要反复构思和设计，但用户往往仍不满意。可否在设计早期就给用户一个

16、逼真的产品样机？ 美国波音公司Butler设计了一个称为VS-X的虚拟飞机，它可使设计人员有身临其境观察飞机外形、内部结构及布局的效果；建筑设计师可在盖楼前通过虚拟建筑物，让用户自己来观察外形和内部房间部位，也便于设计师修改设计。人机交互技术第一章虚拟现实的现状和发展VR613。应用4）外科手术和人体器官的模拟外科医生的培训是一项投资大、时间长的工作，这是因为不能随便让实习医生在病人身上动手术。可是不亲自动手，又如何学会手术呢？虚拟手术台已能部分模仿外科医生的现场。同样，提供模拟的人体器官，可让学生逼真地观察器官内部的构造和病灶，具有极高的实验价值。人机交互技术第一章虚拟现实的现状和发展VR6

17、13。应用5）科学研究和计算的可视化各种分子结构模型、大坝应力计算的结果、地震石油勘探数据处理等，均十分需要三维（甚至多维）图形可视化的显示和交互浏览，虚拟现实技术为科学研究探索微观形态等提供了形象直观的工具。人机交互技术第一章虚拟现实的现状和发展VR613。应用6）远程控制虚拟现实可采用遥控手段，通过机械手、机器人对危险或有毒环境进行操作。人机交互技术第一章虚拟现实的现状和发展VR613。应用7）教育、游戏与其他这是向人们、尤其是青少年提供生动的课堂和娱乐手段的好机遇，它具有三维声象效果、能进行交互操作的功能，因而已为商家们看好，纷纷开发低档虚拟现实产品。如虚拟博物馆，网上景点浏览。人机交互

18、技术第一章虚拟现实的现状和发展VR61虚拟房间人机交互技术第一章虚拟现实的现状和发展VR61积木世界人机交互技术第一章虚拟现实的现状和发展VR61虚拟现实的适用特点1。需要高成本制造的设备，如航天器，军用设备。2。对人有危险的环境，如核试验、飞行训练。3。目前尚未出现的环境，如建筑物、天体物理人机交互技术第一章虚拟现实的现状和发展VR614。关键技术(系统框图)1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器人机交互技术第一章虚拟现实的现状和发展VR614。关键技术1.大规模数据的场景建模技术；2.动态实时的立体视觉、听觉等生成技术;3.三维定位、方向跟踪、触

19、觉反馈等传感技术和设备；4.符合人类认知心理的三维自然交互技术;5.三维交互软件及系统集成技术人机交互技术第一章虚拟现实的现状和发展VR614。关键技术影响（沉浸感）立体 视觉因素宽视野（）立体显示彩色高分辨率头部跟踪人机交互技术第一章虚拟现实的现状和发展VR614。关键技术视觉设备红蓝滤色眼镜液晶开关的体视眼镜三维头盔显示器（HMD）双筒全方位监视器（BOOM）墙式显示屏自动声象虚拟环境（CAVE） 类型： 透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影人机交互技术第一章虚拟现实的现状和发展VR614。关键技术双眼立体视图的生成三维场景上任一点P(x,y,z)，对于左右眼视点L、R，

20、在投影平面z=0上的成象点Pl(xl,yl)、Pr(xr,yr)计算如下：xl = (x*k - z*d/2)/(k+z) xr = (x*k + z*d/2)/(k+z)yl = yr = y*k/(k+z) 可推导得：xl = (x + d/2)/(1 + z/k) - d/2xr = (x - d/2)/(1 + z/k) + d/2可用硬件实现人机交互技术第一章虚拟现实的现状和发展VR614。关键技术听觉： 3D & Stereo声源定位：强度（高频）和时差（低频）问题：声音从头里发出，随强度差而偏左或偏右原因：与耳朵形状有关解决：Convolvotron($15,000) 耳内录音

21、+ 计算人机交互技术第一章虚拟现实的现状和发展VR614。关键技术触觉（Haptic)Haptic: 机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量、形状、大小）机械臂，空气囊，记忆金属，小马达，小探针。Sandpaper (Minsky,1990) 将小马达连到游戏杆；搅动人机交互技术第一章虚拟现实的现状和发展VR61三维操纵棍,力反馈原理图人机交互技术第一章虚拟现实的现状和发展VR614。关键技术适当的（简单的）触觉和/或听觉提示与反馈能极大地改善人机交互质量两个基本的性能指标:帧 频 10fps ， 响应时间 0.1s人机交互技术第一章虚拟现实的现状和发展VR6

22、14。关键技术身体跟踪： 位置的跟踪（位置+方向）及角度的度量（指关节、光纤）；眼动跟踪位置跟踪技术：正交电磁场 Polhemus trackers超声波信号 Logitec. Mattel Power Glove机械连接 Fake Space Labs视频信号处理 Myron KruegerLED视频传感UNC at Chapel Hill惯性跟踪（加速度）Spaceball人机交互技术第一章虚拟现实的现状和发展VR61DHM手势传感装置原理图人机交互技术第一章虚拟现实的现状和发展VR61PowerGlove示意图人机交互技术第一章虚拟现实的现状和发展VR61三维鼠标器示意图人机交互技术第一

23、章虚拟现实的现状和发展VR614。关键技术市场上已有的产品：（硬件）液晶开关的体视眼镜SEGA LCD Glasses, StereoGraphics CrystalEyes, Toshiba 3D Scope LCD Glasses三维头盔显示器（HMD）LEEP Systems Cyberface 2/3Polhemus Laboratories Looking GlassRPI HMSI(Head - Mounted Sensory Interface)Virtual Reality Group HMDVirtual Research Flight Helmet人机交互技术第一章虚拟现实

24、的现状和发展VR614。关键技术市场上已有的产品：（硬件）控制和接口设备:VPL Data Glove（数据手套）Mattel Power GloveGlobal 3D controller (三维定位器）Logitech 3D Mouse and Head Tracker（三维鼠标、头部跟踪器）Polhemus Isotrak/FastrakISCAN Head - Mounted Eye Imaging System （视线跟踪器）SENSible Technologies PHANToM（触觉反馈设备）人机交互技术第一章虚拟现实的现状和发展VR61头盔系统人机交互技术第一章虚拟现实的现状

25、和发展VR61跟踪系统人机交互技术第一章虚拟现实的现状和发展VR61三维触觉系统交战技能训练者人机交互技术第一章虚拟现实的现状和发展VR614。关键技术市场上已有的产品：（系统）SGI公司虚拟现实中心 (Reality Center)CAVE仿真工作室 (Reality Studio)Onyx2 (8 CPU)仿真工作站 (Reality Station)Onyx2桌上型 仿真工作站(Reality Desktop)Octane 320 NT 工作站SGI IRIS Performer 仿真开发环境SGI OpenGL Optimizer (Open Inventor) 仿真开发环境 (中、低

26、档）SGI Fahrenheit (沸点）三维图形接口库( for Windows NT)MultiGen , Paradigm/ Vega 三维应用建模软件人机交互技术第一章虚拟现实的现状和发展VR614。关键技术市场上已有的产品：（软件）MultiGen , Paradigm/ Vega 三维应用建模软件Dimension Superscape Virtual RealitiesSense 8 WorldToolKit (WTK)Virtus WalkThroughVREAMDivision PROVISION 100VRXStrayLight PhotoVRThe Vivid Group -MandalaW Industries Virtuality人机交互技术第一章虚拟现实的现状和发展VR61原型人机交互技术第一章虚拟现实的现状和发展VR615。最新进展与分类最新进展1）使用基于图像的绘制技术（或与图形