第六章 虚拟现实技术与教育.ppt

第六章虚拟现实技术与教育 教师 方云端计算机科学与教育技术系 以上是美国 年出品的科幻片 钟尼记忆术 中的一个片断 影片虽然描述的是在未来年代发生的事情 但这个片断中所展示出的技术在今天正在高速发展 它就是我们常常听到的 虚拟现实 技术 虚拟现实在英文中叫做 VirtualReality 其缩写为VR VR这一名词是虚拟现实实验室研究的创始人贾朗 拉尼尔 JaronLanier 于80年代发明的 它向我们展现了一个崭新的领域 贾朗 拉尼尔解释到 技术是建立在计算机基础之上的高级模拟技术 它能虚构出一个空间环境 在这个空间中每个事物的变化与活动规律与现实中完全一样 进入其中的人还可以对这个空间加以影响和控制 反过来这个空间的事物也会对进入其中的人产生影响 不过这只能说是对 技术的一个极为笼统的概括 下面就让我们进行 具体学习 学习目标 虚拟现实技术虚拟现实概述常用人机接口设备虚拟现实系统的发展趋势桌面虚拟现实系统什么是桌面虚拟现实系统桌面虚拟现实系统特性 基本配置桌面虚拟现实系统的渲染引擎技术虚拟现实技术在教育中的应用虚拟实验室基于WEB的虚拟实验室虚拟现实在教育中的应用案例 第一节虚拟现实技术 一 虚拟现实概述 一 什么是虚拟现实技术虚拟现实 VirtualReality 简称VR 又称临境技术 是指用立体眼镜和传感手套等一系列传感辅助设施来实现的一种三维现实 人们通过这些设施以自然的方式 如头的转动 手的运动等 向计算机送入各种动作信息 并且通过视觉 听觉以及触觉设施使人们得到三维的视觉 听觉及触觉等感觉世界 随着人们动作的改变 这些感觉也随之改变 事实上 虚拟现实技术不仅仅是指那些戴着头盔和手套的技术 而且还应该包括一切与之相关的自然模拟 逼真体验的技术与方法 它要创建一个酷似客观环境又超越客观时空 能沉浸其中又能驾驭其上的和谐人机交互环境 也就是有多维信息所构成的可操纵的空间 虚拟现实 一词中的 现实 泛指在物理意义上或在功能意义上存在于世界的事物或环境 它是实际上能实现的 也可以是实际上难以实现的或根本无法实现的 虚拟 是指这个特定的环境是由计算机模拟现场生成的 因此 虚拟现实 是指用计算机生成的一种特殊环境 人可以通过使用各种特殊装置将自己 投射 到这个环境中去操作 控制和感受环境 实现特殊的目的 视频材料观摩 二 虚拟现实技术的发展概述1 1965年 在Sutherland 终极的显示 论文中首次提到包括交互图形显示 力反馈设计及声音提示的虚拟现实系统的基本思想 2 1970年 出现了第一个功能较齐全的HMD 头盔显示器 系统 基于从60年代以来所取得的一系列成就 美国的贾朗 拉尼尔 JaronLanier 正式提出 VirtualReality 3 80年代 美国宇航局 NASA 及美国国防部组织了一系列关于虚拟现实技术的研究 并取得了瞩目的成就 4 进入90年代 迅速发展的计算机硬件技术与不断改进的计算机软件系统相匹配 使得基于大型数据集合的声音和图象的实时动画制作成为了可能 三 虚拟现实系统的一般构成 见教科书105页 1 虚拟世界2 虚拟现实软件3 计算机4 输入设备5 输出设备6 与虚拟世界的交互过程 虚拟世界 VR软件 输入设备 输出设备 四 虚拟现实的应用领域 见教科书107 108 1 军事及航空领域2 建筑与汽车业 体验 3 医学界4 培训领域5 娱乐 五 VR系统的技术组成及主要特征1 技术的组成 所包括的技术种类很多 这其中又有多个分支 对于不同类型的原体还要涉及与之相关的学科 对此在国外也未能严格细致地加以划分与确定 但公认的基础技术主要有以下 个方面 人机接口技术 人机接口技术就是人与计算机相互影响与控制的技术 它是实现 的关键 我们常用的键盘 鼠标 显示器其实就是一种人机接口设备 当然这是很原始的设备 年代发明的数据手套 年代出现的内置立体显示装置的数据头盔和语音识别 手写输入板都是高一级的人机接口设备 在技术上 三维数据的交互传输是必不可少的 这会让计算机更准确地知道你在干什么 从而做出正确的反应 而你也会因此感到在此基础上虚拟出来的环境更为真切 同时人机接口技术与人机工程学的关系越来越密切 使人机接口设备与人形成一体 将电脑与人合二为一 你将会忘记计算机的存在 模拟仿真技术 这是影响 效果好坏的重要因素 我们要模拟一个人的动作时 肯定会分析这个人做这个动作的特点 然后按这个特点去模仿 模拟仿真技术直接影响计算机在模拟方面的能力 在计算机模拟领域里 仿真数字模型是关键的技术 模型建得越好 越细致 将意味着对原体的模拟越真实 真实存在技术 在国外 人们称之为Immersion 沉浸 为了通俗一点 暂将其命名为真实存在 这是VR对人产生影响的关键之处 它包括声音 图像和对人体其它感官的刺激 因为这些是人类对所处环境的最真实的认识和感受 很明显 它包括了尖端的多媒体数据处理技术 这些数据处理的质量与快慢和计算机的水平是息息相关的 因此真实存在技术的发展是与计算机的发展紧密相连 它的最重要的目标就是真实的体验和方便自然的人机交互 能够达到或者部分达到这样目标的系统就称为虚拟现实系统 比如 例如飞行仰角过大而造成螺旋 那么模拟器将会控制模拟驾驶舱剧烈地翻动 旋转 并通过特制的飞行背心来产生失重的感觉 由此可看出它集图像 声音 触觉等多种信息媒体来实现交互影响与控制 这是最早的 技术 1 多感知性 multi sensory 多感知性就是指除了一般计算机技术所具有的视觉感知之外 还有听觉感知 力觉感知 触觉感知 运动感知 甚至包括嗅觉感知 味觉感知等 理想的虚拟现实技术应该具有一切普通人所具有的感知功能 这是区别其他技术的一个重要特征 2 主要特征 2 存在感性 presence 又称为临场感 immersion 它是用户感到作为主角存在与模拟环境中的真实程度 理想的模拟环境应达到使用户难以分辨真假的程度 3 交互性交互性 interaction 是指用户对模拟环境内的物体的可操作程度和从环境得到反馈的自然程度 包括实时性 例如 用户可以用手抓取模拟环境中的物体 这时手有握有东西的感觉 并可以感觉物体的重量 其实这时手里并没有实物 4 自主性是指虚拟环境中物体依据物理定律动作的程度 例如 当受到力的推动时 物体会向力的方向移动 或翻倒 或从桌面落到地面等 二 人机接口设备 交互性是虚拟现实系统的首要特性 为了允许人机交互 必须使用特殊的人机接口与外设 既要允许用户信息输入到计算机 也要使计算机能反馈信息给用户 视觉 听觉 触觉等 一 理想的视觉显示与日常经历中的场景对比 在质量 修改率和范围方面应该是无法区分的 必须认真评价各种显示特性的重要性 这包括视觉特性 视场 分辨率 亮度 对比和彩色 人类工程学 安全 可靠和价格 视觉显示的基本要求是提供立体视觉 立体视觉的原理 当我们看现实世界或者是3D电影时 一项称之为双眼差异 binoculardisparity 的因素可以极大的影响我们的视觉 先闭上右眼仅用左眼看一个物体 伸出你的一根指头放在你的眼睛和物体之间 并且保持指头和物体在一条直线 然后再闭上左眼仅用右眼看 我们会发现手指头和这个物体并不在一条直线上 而且我们会发现看到的物体会有所不同 这说明 我们的双眼是通过两个不同的位置来观察世界的 双眼的一般距离是2 5英寸 我们的大脑通过把双眼得来的这两幅略有差异的图像进行处理 就可以在场景中相应的位置生成正确的三维图像 如图示 图中表示两眼光轴平行的情况 相当于两眼注视远处 内瞳距 IPD 是两眼瞳孔之间的距离 两眼空间位置的不同 是产生立体视觉的原因 F是距离人眼较近的物体B上的一个固定点 左右的两眼的视图说明 F点在视图中的位置不同 这种不同就是立体视差 人眼也可以利用这种视差 判断物体的远近 产生深度感 这就是人类的立体视觉 由此获得环境的三维信息 VR应用有两类主要的视觉显示光学系统 头盔显示和非头盔显示 立体液晶显示器 抛物线投影仪 立体投影 以数据头盔为例 在数据头盔中集成了以下几种设备 1 高清晰显示器 其形状就象一个大夜视仪 安装在头盔的前部 按面部曲线紧贴着眼睛以消除眼睛的视线空隙而增加真实感 由于采用先进的聚焦技术 从而确保了用户在如此近的距离上能有效地收看到清晰的图像 同时先进的图像广角技术将最大限度地模仿人类眼睛的超宽视野效果 2 眼部跟踪器 位于眼睛的四周 通过观察眼肌微小的动作来分析眼睛正在注视的方向 并产生一个相应的数字信号作为反馈信息发送给反馈信息处理设备 之后 处理器经过处理 从真实存在处理设备中送来此时眼睛应该看到的图像 3 三维立体声耳机 为了使虚拟环境更为真实就必须采用三维立体声耳机 在这种耳机中每侧各有若干个与人耳的距离 角度都不相同的小型高保真扬声器 通过控制这些扬声器中音频信号的电平 音量 和相位 延时 来虚拟出一个逼真的三维音响空间 4 头部方位跟踪器 确定头部的位置对于 很重要 这将直接影响 处理器从数据库中调取什么数据 比如将眼睛 也就是头部 移向一个物体时应该看到这个物体逐渐变大 那么如何让 处理器知道你正移向该物体呢 这就是头部方位跟踪器的作用 5 高保真话筒 这是用来传送用户语言信息的装置 用智能语音识别器 包含于反馈信息处理设备 加以处理而得出相应的处理指令 交处理器处理 例如你说了声 请将图像放大 经过语音识别后就会向处理器发送将图像放大的命令 当然还可用于与 中虚拟出来的人物对话 6 模拟触觉器 举个例子 假如你在 中头撞在墙上 为了模拟得更为逼真 有必要给头部类似的刺激 以产生撞在墙上的感觉 从而大大增加了 的真实感 从这个例子中就很容易知道模拟触觉器的作用了 二 数据手套 为了有更大的基于手姿的交互 必须要求1 O工具能处理手在一定空间的自由运动 也希望通过感觉单个手指的运动 得到更多的自由度 人的手指动作有 弯曲 伸直 也有侧向 外展 内收 此外 拇指动作有 前位 复位 前位使拇指与手掌相对 传感手套是为满足上述要求而设计的虚拟现实工具 商业化的产品有VPL公司的DataGlove Vertex的CyberGlove Mattel的PowerGlove 和ExosDextrousHand 至今应用最多的传感手套是VPL公司的数据手套DataGlove 它也是第一个推向市场的 传感手套使用光纤 光纤安装在轻便且有弹性的Lycra 合成弹力纤维 手套上 它还使用Isotrack3 D位置传感器 1 DataGlove 数据手套 光纤传感器的优点是轻便和紧凑 用户戴上手套感到很舒适 为了适应不同用户手的大小 数据手套DataGlove有三种尺寸 小号 中号和大号 手指的每个被测的关节上都有一个光纤维环 纤维经过塑料附件安装 使之在手指弯曲时作小的移动 在标准的布局中 每个手指背面只安装两个传感器 以便测量主要关节的弯曲运动 2 CyberGlove CyberGlove是另一种手套 它使用线性传感器 1992年底 VPL倒闭 CyberGlove已经取代了DataGlove CyberGlove把很薄的应变电测量片放在弹性的尼龙合成材料上 手掌区 和某些模型的指尖 不覆盖这种材料 以便透气 并允许通常的活动 如打字和写字等 这样一来 手套就很轻并容易戴 3 PowerGlove 为了保持低价格 手套设计使用了很多廉价的技术 手腕位置传感器是超声传感器 超声扬声器放在PC监视器上 而超声麦克风放在手腕上 很便宜的产品 它的价格只有约50美元 并在1989年大量销售 用于基于手套的电子游戏 4 DextrousHandMaster 灵巧手设备 专门设计的夹紧弹簧和手指支撑保证在手的全部运动范围内设备的紧密配合 设备是用可调的Velcro 维可牢尼龙搭扣 带子安装在用户手上 附加的支撑和可调的杆使之适应不同用户手的大小 这些复杂的机械设计造成了高成本 至今最昂贵的传感手套 1990年Exos公司推出的DextrousHandMaster是戴在用户手背上的金属外骨架结构 每个手指有4个传感器 五个手指就有20个传感器 结构的设计很仔细 使手组织柔软性的影响最少 在数据靴中 还装有测距仪 用来测量用户移动时的步长 与三维角度计配合就可以得出用户移动的速度和方向等即时数据 通过信息反馈设备反馈给处理器以提供相应的各种资料 而让用户可以自由自在的在 中漫游 数据背心与上述装备的功能差不多 它主要用来跟踪用户身体的动作和姿态来产生相应的需求信号供 处理器处理 三 虚拟现实的类型 根据用户参与VR的不同形式以及沉浸的程度不同 我们可以把各种类型的虚拟现实系统划分四类 1 桌面虚拟现实桌面虚拟现实利用个人计算机进行仿真 将计算机的屏幕作为用户观察虚拟境界的一个窗口 通过各种输入设备实现与虚拟现实世界的交互 桌面级的虚拟现实特点是参与者缺少完全的沉浸 因为它仍然会受到周围现实环境的干扰 桌面虚拟现实最大特点是缺乏真实的现实体验 但是成本也相对较低 因而 应用比较广泛 常见桌面虚拟现实技术有 2 沉浸型虚拟现实 高级虚拟现实系统提供完全沉浸的体验 使用户有一种置身于虚拟境界之中的感觉 它利用头盔式显示器或其它设备 把参与者的视觉 听觉和其它感觉封闭起来 并提供一个新的 虚拟的感觉空间 并利用位置跟踪器 数据手套 其它手控输入设备 声音等使得参与者产生一种身临其境 全心投入和沉浸其中的感觉 特点 高度的实时性高度的沉浸感支持多种1 O交互设备并行 3 增强现实型虚拟现实增强现实型虚拟现实不仅是利用虚拟现实技术来模拟现实世界 仿真现实世界 而且要利用它来增强参与者对真实环境的感受 也就是增强现实中无法感知或不方便的感受 例如 战机飞行员的平视显示器 它可以将仪表读数和武器瞄准数据投射到安装在飞行员面前的穿透式屏幕上 它可以使飞行员不必低头读座舱中仪表的数据 从而可集中精力盯着敌人的飞机或导航偏差 如果多个用户通过计算机网络连接在一起 同时参加一个虚拟空间 共同体验虚拟经历 那虚拟现实则提升到了一个更高的境界 这就是分布式虚拟现实系统 4 分布式虚拟现实 DVR 在分布式虚拟现实系统中 多个用户可通过网络对同一虚拟世界进行观察和操作 以达到协同工作的目的 目前最典型的分布式虚拟现实系统是SIMNET SIMNET由坦克仿真器通过网络连接而成 用于部队的联合训练 通过世界上最大的投入式仿真网络设备SIMNET 美国和欧洲的军事人员正在搞战争演习和仿真的恐怖分子袭击 为防范真的出现这些情况作准备 四 虚拟现实系统的发展趋势 见教科书114页 一 分布式虚拟现实系统 二 协同式虚拟现实系统 三 虚实结合与增强现实 分布式虚拟现实系统 1 分布式虚拟现实系统的产生与发展 1 开始于80年代初 如1983年美国国防部 DOD 制定了SIMENT的研究计划 1985年SGI公司开发成功了网络VR游戏DogFlight 2 到了90年代 一些著名大学和研究所的研究人员也开展了对分布式虚拟现实系统的研究工作 并陆续推出了多个实验性DVR系统或开发环境 典型的例子有美国NPS开发的NPSNET 1990 美国斯坦福大学的PARADISE Inverse系统 1992 瑞典计算