多媒体系统及其教育应用 第七章 虚拟现实及其教育应用.ppt

第七章虚拟现实及其应用 主讲 丁继unru ding 信息科学与技术学院教育技术教研室 2 本章要点 本章要点虚拟现实的定义和特征虚拟现实系统的构成与分类虚拟现实实现的关键技术与设备虚拟现实建模语言VRML虚拟现实的教育应用 3 7 1虚拟现实的定义和特征 7 1 1虚拟现实的定义虚拟现实 VirtualReality 技术是20世纪80年代末90年代初崛起的一种实用技术 它是由计算机硬件 软件以及各种传感器构成的三维信息的人工环境 虚拟环境 可以真实的模拟现实世界可以实现的 甚至是不可实现的 物理上的 功能上的事物和环境 用户投入到这种环境中 立即有 亲临其境 的感觉 并可亲自操作 实践 与虚拟的环境交互作用 4 这里所谓虚拟环境就是用计算机生成的具有表面色彩的立体图形 它可以是某一特定现实世界的真实体现 也可以是纯粹构想的世界 传感设备包括立体头盔 立体眼镜等在用户身上的装置和设置于现实环境中的传感装置 自然交互是指用日常使用的方式对环境内的物体进行操作 如用手拿东西 行走等 并得到实时立体反馈 5 7 1 2虚拟现实的特征 图7 1 虚拟感应头盔 遥控手柄 数据手套 6 多感知性 Multi Sensory 所谓多感知就是除了一般计算机技术所具有的视觉感知之外 还有听觉感知 力觉感知 触觉感知 运动感知 甚至应该包括味觉感知 嗅觉感知等 理想的虚拟现实技术应该具有一切人所具有的感知功能 由于相关技术 特别是传感技术的限制日前虚拟现实技术所具有的感知功能仅限于视觉 听觉 力觉 触觉 运动等几种 而且无论从感知范围还是从感知的精确程度都还无法与人相比拟 7 2 沉浸感 presence 又称为临场感 Immersion 它是指用户感到作为主角存在于模拟环境中的真实程度 理想的模拟环境应该达到使用户难以分辨真假的程度 例如 可视场景应随着视点的变化而变化 甚至比真的还 真 如实现比现实更逼真的照明和音响效果等 8 3 交互性 Interaction 交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度 包括实时性 例如 用户可以用手去直接抓取模拟环境中的物体 这时手有握着东西的感觉 并可以感觉物体和重量 其实这时手里并没有实物 视觉中被抓的物体也立刻随着手的移动而移动 9 虚拟现实的特征 4 自主性 Autonomy 自主性是指虚拟环境中物体反映现实规律的程度 例如 当受到力的推动时 物体会向力的方向移动或翻倒 或从桌面落到地面等 10 7 1 3虚拟现实的用途 11 7 2虚拟现实系统的构成与分类 虚拟现实系统的构成虚拟现实技术的实现 主要分三大块 建模技术 显示技术 三维场景中的交互技术 具体来说虚拟现实系统主要由以下五个模块构成 图7 2虚拟现实系统的构成 12 7 2 1虚拟现实系统的构成 检测模块 检测用户的操作命令 并通过传感器模块作用于虚拟环境 反馈模块 接受来自传感器模块信息 为用户提供实时反馈 传感器模块 一方面接受来自用户的操作命令 并将其作用于虚拟环境 另一方面将操作后产生的结果以各种反馈的形式提供给用户 控制模块 对传感器进行控制 使其对用户 虚拟环境和现实世界产生作用 建模模块 获取现实世界组成部分的三维表示 并由此构成对应的虚拟环境 13 7 2 2虚拟现实系统的分类 虚拟现实系统按其功能高低大体可分为四类 1 桌面虚拟现实系统 也称窗口中的VR 它可以通过桌上型机实现 所以成本较低 功能也最简单 主要用于CAD 计算机辅助设计 CAM 计算机辅助制造 建筑设计 桌面游戏等领域 2 沉浸虚拟现实系统 如各种用途的体验器 使人有身临其境的感觉 各种培训 演示以及高级游戏等用途均可用这种系统 14 3 分布式虚拟现实系统 它在因特网环境下 充分利用分布于各地的资源 协同开发各种虚拟现实的利用 它通常是浸沉虚拟现实系统的发展 也就是把分布于不同地方的沉浸虚拟现实系统 通过因特网连接起来 共同实现某种用途 15 分布式虚拟现实系统 DVR 即是一个较为典型的实例 所谓DVR是指一个支持多人实时通过网络进行交互的软件系统 每个用户在一个虚拟现实环境中 通过计算机与其它用户进行交互 并共享信息 把分布式虚拟现实系统用于建造人体模型 电脑太空旅游 化合物分子结构显示等领域 由于数据更加逼真 大大提高了人们的想象力 激发了受教育者的学习兴趣 学习效果十分显著 同时 随着计算机技术 心理学 教育学等多种学科的相互结合 促进和发展 系统因此能够提供更加协调的人机对话方式 16 4 增强现实又称混合现实系统 它是把真实环境和虚拟环境结合起来的一种系统 既可减少构成复杂真实环境的开销 因为部分真实环境由虚拟环境取代 又可对实际物体进行操作 因为部分系统即系真实环境 真正达到了亦真亦幻的境界 是今后发展的方向 17 7 3虚拟现实实现的关键技术与设备 7 3 1实时立体视觉与广角立体显示相比较而言 利用计算机模型产生图形图像并不是太难的事情 如果有足够准确的模型 又有足够的时间 我们就可以生成不同光照条件下各种物体的精确图像 但是这里的关键是实时 例如在飞行模拟系统中 图像的刷新相当重要 同时对图像质量的要求也很高 再加上非常复杂的虚拟环境 问题就变得相当困难 18 人看周围的世界时 由于两只眼睛的位置不同 得到的图像略有不同 这些图像在脑子里融合起来 就形成了一个关于周围世界的整体景象 这个景象中包括了距离远近的信息 当然 距离信息也可以通过其他方法获得 19 在VR系统中 双目立体视觉起了很大作用 用户的两只眼睛看到的不同图像是分别产生的 显示在不同的显示器上 有的系统采用单个显示器 但用户带上特殊的眼镜后 一只眼睛只能看到奇数帧图像 另一只眼睛只能看到偶数帧图像 奇 偶帧之间的不同也就是视差就产生了立体感 20 图7 3FlyVR实景虚拟现实平台图7 4环形或球幕投影系统 21 7 3 2头部及体位追踪 用户 头 眼 的跟踪 在人造环境中 每个物体相对于系统的坐标系都有一个位置与姿态 而用户也是如此 用户看到的景象是由用户的位置和头 眼 的方向来确定的 跟踪头部运动的虚拟现实头套 在传统的计算机图形技术中 视场的改变是通过鼠标或键盘来实现的 用户的视觉系统和运动感知系统是分离的 而利用头部跟踪来改变图像的视角 用户的视觉系统和运动感知系统之间就可以联系起来 感觉更逼真 另一个优点是 用户不仅可以通过双目立体视觉去认识环境 而且可以通过头部的运动去观察环境 22 在用户与计算机的交互中 键盘和鼠标是目前最常用的工具 但对于三维空间来说 它们都不太适合 在三维空间中因为有六个自由度 我们很难找出比较直观的办法把鼠标的平面运动映射成三维空间的任意运动 现在 已经有一些设备可以提供六个自由度 如3Space数字化仪和SpaceBall空间球等 另外一些性能比较优异的设备是数据手套和数据衣 23 7 3 3立体声与虚拟立体声的产生 人能够很好地判定声源的方向 在水平方向上 我们靠声音的相位差及强度的差别来确定声音的方向 因为声音到达两只耳朵的时间或距离有所不同 常见的立体声效果就是靠左右耳听到在不同位置录制的不同声音来实现的 所以会有一种方向感 现实生活里 当头部转动时 听到的声音的方向就会改变 但目前在VR系统中 声音的方向与用户头部的运动无关 24 1 在虚拟环境中的声音生成和显示系统为达到一定的仿真逼真度 应该达到以下一些目标 1 声音的生成和显示系统应能够在可听范围内体现较高的频率分辨度 声音的生成和显示系统应能反映目标实体的方位 距离等信息及音调变化 2 能表达多个静止或运动的声源 支持多个听点和听点切换 3 与其他通道的良好融合 匹配和同步 25 2 扬声器生成虚幻声像原理图7 5扬声器生成虚幻声像如图7 5所示的一对扬声器 分别输出相干的声音信号 通过控制信号的增益 相位可以让听者产生听觉上的虚幻声像 人耳可以自然地根据不同位置的扬声器发出的声音来识别虚拟环境中动态目标的方位 26 7 3 4触觉与力觉的技术 从物理学仿真角度看 包括接触觉 TactileorTouchSensing 和力觉 ForceSens ing 的触觉感知 HapticSensing 在基于虚拟现实操作系统中是不可或缺的重要感觉 当前 虚拟环境中大多数数据信急是采用视觉传感器以及非接触型传感器 如超声测距传感器等 采集的 27 然而 实际工作中很多操作任务的信急要求具备敏捷的控制和接触感觉 在虚拟环境中 由于缺乏触觉感知反馈 HapticFeedback 手段 而使许许多多的信号源很难反馈和显示给异地的用户 从而难以实现更加全而的人一机交互作用 显而易见 没有基于几虚拟现实的触觉感知反馈作用 就很难满足各种工程实际应用的要求 在一个VR系统中 用户可以看到一个虚拟的杯子 你可以设法去抓住它 但是你的手没有真正接触杯子的感觉 并有可能穿过虚拟杯子的 表面 而这在现实生活中是不可能的 解决这一问题的常用装置是在手套内层安装一些可以振动的触点来模拟触觉 28 7 3 5虚拟现实中使用的输出 输入技术 语音 自然语言 手势 视线跟踪及头部跟踪等各种形式的输入技术正在研究中 沉浸式的头盔显示器已经开始使用 新的立体显示设备也正在研制 在VR系统中 语音的输入输出也很重要 这就要求虚拟环境能听懂人的语言 并能与人实时交互 而让计算机识别人的语音是相当困难的 因为语音信号和自然语言信号有其 多边性 和复杂性 例如 连续语音中词与词之间没有明显的停顿 同一词 同一字的发音受前后词 字的影响 不仅不同人说同一词会有所不同 就是同一人发音也会受到心理 生理和环境的影响而有所不同 29 使用人的自然语言作为计算机输入目前有两个问题 首先是效率问题 为便于计算机理解 输入的语音可能会相当罗嗦 其次是正确性问题 计算机理解语音的方法是对比匹配 而没有人的智能 30 7 4虚拟现实建模语言VRML 7 4 1VRML概述VRML VirtualRealityModelingLanguage 即虚拟现实建模语言 是一种用于建立真实世界的场景模型或人们虚构的三维世界的场景建模语言 也就是说 它是用来描述三维物体及其行为的 可以构建虚拟境界 VirturalWorld VRML的基本目标是建立因特网上的交互式三维多媒体 基本特征包括分布式 三维 交互性 多媒体集成 境界逼真性等 是目前Internet上基于WWW的三维互动网站制作的主流语言 VRML虽然还很不成熟 但已经表现出其百折不挠的强大生命力 它必将成为WWW服务的新一代标准 31 7 4 2VRML的基本内容 1 VRML文档VRML文档是用VRML语言组织起来的一个扩展名为 wrl的文本文件或扩展名为 wrz的二进制文件 压缩格式 它可以通过WWW浏览器向用户展示虚拟现实情景 它通常由四个部分组成 文件头 节点 域值 注释 32 例如 下面是一个显示无顶面的杯状体的VRML文档 VRMLV2 0utf8Shape appearanceAppearance materialMaterial 使用默认材质和颜色 geometryCylinder radius3height6sideTRUEtopFALSEbottomTRUE 33 与上述文档相应的屏幕显示情况如图7 6所示 图7 6用VRML描述的一个虚拟圆柱体 34 2 VRML文档的编辑由于VRML文档是一个普通的文本文件即纯文本文件 因此它对编辑工具没有特殊的要求 事实上 MircrosoftWord 写字板等 都可以用来编辑VRML文档 为了方便进行VRML文档的编辑 可以通常具有 所见即所得 功能的可视化VRML文档编辑软件 例如InternetSpaceBuilder Canoma等 它们会自动将所编辑成的结果保存为VRML格式的文本文件 35 3 VRML文档的演示VRML文档可以在因特网上传输 并通过WWW浏览器进行演示 例如 在常用的浏览器IE或NetscapeNavigator中都可以演示VRML文档 其中IE5 0或NetscapeNavigator4 0以上版本浏览器中都已经预装了VRML插件 如果在安装浏览器时未选择预装 也可以单独下载和安装VRML浏览插件 例如CosmoPlayer 在图7 4中 IE浏览器的下半部就是CosmoPlayer的控制面板 我们可以从网站 36 7 4 3VRML的发展 VRML的前身是SGI公司OpenInventer系统使用的一种文档格式 后经MarkPesce TonyParisi和GavinBell等人的改进和努力 最终发展成第二代WWW的标准语言 到目前为止 VRML标准的发展已经历了三代 1 VRML1 01994年10月公布 VRML1 0只定义了36种节点类型 涉及的对象也只有静态对象 而没有声音 动画等动态对象 实际上 由于VRML1 0近似HTML的 3D版本 因此 当时称VRML为虚拟现实标记语言 VirsualRealityMarkupLanguage 现在 VRML1 0已基本被淘汰 VRML1 0的标志 文档的第一行是 VRMLV1 0ascii 37 2 VRML2 01996年8月公布 VRML2 0名义上是VRML1 0的修订版 但两者从内容到文档结构上都很不相同 在VRML2 0中 节点类型扩展为54种 支持的对象包括动态和静态两类 这时的VRML语言 已经完全脱离HTML的影响 被正式命名为 虚拟现实建模语言 VirsualRealityModelingLanguage 38 7 5虚拟现实的教育应用 7 5 1虚拟现实的教育意义主要表现在以下两个方面 1 扩大经验建构主义的学习理论告诉我们 人们的知识是在一定的环境中建构的 学习环境在知识的建构中占有重要的位置 虚拟现实技术为学习环境的设置 为人们获取知识提供了条件 虚拟现实在人们的学习中具有重要的意义 在虚拟现实的环境中 人们通过与虚拟的环境相互作用 获取信息 取得经验 在此基础上 可实现发现学习 问题解决学习 为了培养学生的实践能力 分析问题 解决问题的能力 应让学生在虚拟现实的环境中近行体验学习 去发现问题 解决实际的问题 实现能力的培养 39 2 提高训练效率利用虚拟现实可进行许多复杂的训练 飞行模拟训练 中央控制室训练等各种训练系统是这种应用的具体实例 利用虚拟现实进行训练 不仅可极大地降低训练成本 提高训练效率 还可以保障训练的安全 甚至许多在一般情况下难以出现的情况 也可以在虚拟现实系统中进行设置 予可训练 在理 工科教学中 实验占有重要的位置 学生能够在实验的具体操作过程中 培养实验能力 为此 不少学校开辟有开放实验室 让学生自由地进入实验室 进行有关的实验操作和训练 但在教学实际条件下 某些实验或需要的实验场地过大 或实验设备过于昂贵 或实验的费用过高 或实验的危险性过大 它给学生正常地完成实验 掌握实验的操作带来了许多因难 此时 可利用虚拟实验室来培养学生的实验能力 使学生具有一定的实验技能 40 7 5 2虚拟现实的教育应用 虚拟现实可广泛地用于教育的各个方面 它主要应用于 1 教学训练它包括各种专业实验室的实验操作 实验技能训练以及实验事故的识别 应急处置的训练 2 设计与研究它包括用于设计与研究的各种实验 如风洞实验 思考实验以及系统设计与设计结果的比较和研究 41 3 过程的评价利用虚拟现实系统可对各种操作过程进行评价和研讨果进行研讨 由此实现有效的决策 4 能力与技能的评价利用虚拟现实系统可对面临诸如地震 洪水等有关灾害应采取怎样的防治和救助的方法及所得到的效果进行评价 该种方法可对预期的结果进行评价 42 5 特定的教育应用它包括各种用于具体学科内存教学的教学设施 例如 行星仪 风洞实验实验室等各种虚拟实验设施 6 娱乐主要是基于虚拟现实的答种教学游戏 以上是虚拟现实衣教育应用中的若干个分支 随着虚拟现实技术的不断完善 其应用面还将得到不断地扩展 篮球运动中虚拟现实技术的应用代篮球运动快速发展中不仅需要大量 直接 生动形象的教学素材 而且篮球技术不断的提高 使普通教师和教练员有时在教学和训练中很难完成示范动作 有些战术内容因复杂多变使教练员一时也很难用言语和动作路线来表达清楚 同时在教学和训练过程中 运动员有时需要有大量的观察 模仿 反馈 修正等除了本体感觉外的感觉信号特别是视听感觉 43 7 5 3存在的问题 虚拟现实是近十几年发展起来的一种新兴技术 虚拟现实在教育中的应用虽然具有十分乐观的前景 但日前仍然存在一定的问题 这些问题主要是 1 虚拟现实的各种系统 设施还需不断完善目前 虚拟现实的各种系统 设施还处于研制阶段 其功能 稳定性 操作性还有待完善 提高 许多虚拟现实系统及其接口多针对成年人的特点设计 若将它用于学校 特别是中 小学 还应根据学校的特点及学生的特点进行设计 44 2 经济问题虚拟现实系统中的硬件设备及软件价格较为昂贵 一般学校难以接受 此外 设备的安全性 稳定性也是 项重要的问题 由于虚拟现实系统目前多处于研发阶段 许多效术不甚成熟 有待研究和完善 系统的使用受到一定的限制 从日前的实际情况舌 虚拟现实多用于那些实际操作 技能训练较多的课程 如理工科的有关课程和艺术类的有关课程 学生可以通过虚拟现实的情景进行模拟体验 达到一定的学习效果 45 7 6虚拟现实系统的用举例 7 6 1全景环视技术及其应用全景环视技术也称360 全景环视技术 或称基于图像处理的Panorama 全景摄影 技术 就是把相机环绕360 拍摄的一组照片拼接成一个全景图像 用一个专用的播放软件在Web浏览器上显示 观看者可以通过鼠标控制环视的方向 好像在一个窗口前浏览一个现实的场景 全景环视摄影的应用领域主要涉及远程教学 商品广告 旅游与娱乐业 新闻业 建筑业等 例如 图7 7是故宫博物院 46 图7 7全景环视作品 故宫博物院 47 目前有不少工具软件可以制作全景环视图像 例如PixMaker 就是一个常用的软件 用PixMaker制作全景虚拟作品包括Snap 抓取 Stitch 拼接 和Publish 发表 3个步骤 图7 8显示了用PixMaker制作全景虚拟现实作品的过程 48 图7 8全景环视制作工具实例 49 7 6 2VRML技术及其应用 VRML TheVirtualRealityModelingLanguage 虚拟现实建模语言 是一种虚拟现实建模语言 也是在Internet上建立3D多媒体和共享虚拟世界的一个开放标准 VRML常用于描述三维物体及三维场景 它能够在WWW上构建动态的 具有丰富的传感效应的虚拟环境 在描述三维物体及由它们构成的场景时 VRML能使物体在三维空间中运动 动画 还能够在场景中播放声音和电影 并使观察者能与场景进行交互 从而加强观察者在虚拟场景中的感受 50 VRML文档及其显示VRML文档通常是用VRML语言组织起来的一个扩展名为 wrl的文本文件 它通过Web浏览器向用户展示虚拟现实情景 为了方便进行VRML文档的编辑 一般采用可视化的VRML文档编辑软件 例如InternetSpaceBuilder Canoma等 编辑过的VRML文档可以在Internet上传输并由Web览器进行显示 在Web浏览器中显示VRML文档时需要预装一个简单的VRML插件 51 VRML应用实例 网上虚拟美术馆EireNET 爱尔兰美术馆 是一个采用VRML技术建立的网上虚拟美术馆 网址http www dmc dit ie guests eirenet eirenet eirenet thic2ra htm 它是因特网上一个著名的虚拟站点 52 图7 9网上虚拟美术馆 53 7 6 3遥控机器人 主从式遥控机器人是指在人的操纵下 能在人难以接近 无法进入或对人体有害的环境 完成比较复杂操作的一种远距离操作系统 受现有技术水平限制 目前能使用的遥控机器人在上述的大部分环境中 都是通过人工参与 借助于人的智能和经验来完成复杂环境下的作业 临场感技术是将机器人与环境交互作用信息 视觉 力觉 触觉等 实时反馈到本地操作者处 使操作者产生身临其境的感受 从而实现对机械手臂的控制 它是遥控机器人完成接触性任务的保证 54 7 6 4虚拟实验室 虚拟实验室可以说是教育领域应用信息技术的一种创新 允许人们访问和使用自己没有的设备资源 使得处于不同地理位置的学习者可以同时对一个实验项目进行实验工作 可以接触最新的仪器 1 例如 卡耐基 梅隆大学的虚拟实验室CMU CarnegieMeilonUniversity 的虚拟实验室为传统的实验室平台与未来的实验之间提供了一种独特的链接 基本结构如图7 10所示 55 图7 10CMU的虚拟实验室 56 2 虚拟实验室的发展方向 1 协作式虚拟实验室与同伴合作是实验过程中一个至关重要的环节 因为科学实验常常是种协作性的活动 一切科学均取决于思想理念 最终为人们所共有的以及人们对思想理念的论辩 57 2 自适应虚拟实验室在日常语言中 自适应 是指生物变更自己的习性以适应新的环境的一种特征 直观地说 自适应实验 即指能修正自己的特征以响应规则原理的变化 并根据学习者的学习过程生成一个反馈回路 为学习者提供一个自适应的获取知识和技能的实验学习环境 58 7 6 5虚拟演播室 虚拟演播室是一种全新的电视节目制作工具 虚拟演播室技术包括色键技术 计算机虚拟场景设计和蓝背景技术 灯光技术和摄像机跟踪技术等 虚拟演播室技术是在传统色键抠像技术的基础上 充分利用了计算机三维图形技术和视频合成技术 根据摄像机的位置与参数 使三维虚拟场景的透视关系与前景保持一致 经过色键合成后 使得