虚拟现实技术的体系结构和关键技术

1、虚拟现实技术及应用Virtual Reality 2.1 虚拟现实技术的体系结构q体系结构输入处理器渲染处理器用户模拟处理器虚拟世界数据库q模拟处理器 VR的核心程序处理: 控制交互、对象动作和决定虚拟世界的状态。q渲染处理感觉传输到用户视觉听觉触觉（触摸/力）实时图像生成SGI 图形工作站q虚拟世界数据库设计的主体部分隶属虚拟世界的对象信息描述动作的脚本用户信息灯光效果程序控制硬件设备支持OOD技术q虚拟现实建模语言(VRML) Virtual Reality Modeling LanguageVRML 是在因特网上建立虚拟现实的开放标准qA VRML cylinder#VRML V2.0

2、utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl2.2 虚拟现实的多感知系统体系和技术系 统活 动 形 式感 受 单 元器 官 模 拟器 官 行 为剌 激 物外 部 信 息方 向感姿 势 及 方向 调 整机 械 及 重 力感 受 器前 庭 器 官身 体 平 衡重 力 及 加 速 度重 力 或 加 速度 方 向听 觉听机 械 感 受 器耳 蜗 器 官声 音 定 位空 气 振 动振 动 方 向 及性 质触 觉触 摸机

3、 械 、 热 量及 动 觉 感 受器皮 肤 、 关节 、 肌 肉及 腱各 种 探 查活 动组 织 变 形 、 关节 配 合 及 肌 肉纤 维 紧 张物 体 表 面 粘性 及 冷 热 等各 种 状 态味 觉尝化 学 及 机 械感 受 器嘴品 尝物 体 化 学 性 质营 养 及 生 化价 值嗅 觉嗅化 学 感 受 器鼻以 鼻 吸 气气 体 化 学 性 质气 味 性 质视 觉看光 学 感 受 器眼 睛凝 视 、 扫描 等 活 动光大 小 、 形状 、 纹 理 及运 动 等J.J.Gibson总结的感知系统人类的感知系统系 统目 的应 用相 关 系 统调 整 姿 势适 应 重 力 及 加 速 度维 持

4、 身 体 平 衡前 庭 器 官定 向通 过 部 分 身 体 运 动 获 得外 部 剌 激考 察 或 感 觉 各 种 信 息所 有 相 关 感 觉走 动通 过 身 体 运 动 进 入 其 它环 境从 一 个 位 置 走 到 另 一 个位 置定 向 及 调 整 姿 势饮 食通 过 部 分 身 体 运 动 获 取或 给 予吸 收 或 排 除品 尝 、 吸 收 及 其 它 身 体 功 能行 动有 利 于 个 人 的 行 为操 作 、 自 我 保 护 等走 动 及 相 关 行 为表 达用 于 表 达 、 表 明 或 识 别姿 势 、 面 部 或 语 言 表 达语 言 表 达 、 聆 听 及 面 部 表

5、情语 义用 信 号 通 知 或 表 达语 言 表 达基 于 信 号 的 相 关 系 统行为系统人类的行为系统 行 为 感 知 参 与 者 行 为 系 统 感 知 系 统 外 界 环 境 人与环境的关系虚拟现实系统http:/www.reflex.lth.se/reflex/whatisVR/1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统技术框图一个示例：virtual cockpithttp:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htmVirtual

6、Reality systems to train aircraft pilots and tank commandershttp:/ 视觉生成基本原理：光线跟踪的方法 假设从视点V通过屏幕象素 e向场景投射光线交场景中的景物于P1, P2, ,Pm , 那么离视点 最近的P1 就是画面在象素点 e 处的可见点，象素 e 的光亮度应由 P1 点向 P1V方向辐射的光亮度决定。如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象。e光线跟踪技术(ray tracing)I = Ic + ts Is + tt It其中：I ： 可见点 P 处的光亮度。Ic： 局部光照亮度ts Is：环境镜

7、面反射光亮度tt It： 规则透射光亮度每一点的光亮度求法视觉生成的基本内容在图形设备上生成逼真视景必须完成四个基本任务：1. 用数学方法建立所需要三维场景的几何描述2. 将三维几何描述转换为二维视图这可通过对场景的透视变换来完成。3. 确定场景中的所有可见面这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去。4. 计算场景中可见面的光强与颜色严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景。1.2 视景的几何建模与表示方法 要实现虚拟现实，首先要尽可能详细地

8、表示虚拟现实的场景几何信息。 例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。 实现虚拟现实视景的表示方法有： 多边形(三角形)网格表示方法 结构立体几何表示方法 体数据表示方法(volume-based method)多边形(三角形)表示方法 这种方法又称为表面或边界表示方法，即物体的立体几何信息是通过它们的边界面或包围面来表示的。而物体的边界面或包围面（即物体的表面）可以用多边形表示。结构立体几何表示方法 这种方法又称为体积表示方法。这种表示方法中，物体被表示为一个三维体积基元的集合及它们之们的布尔运算：并、交及差。UVolume-based methods 表示

9、单元为体素(voxel) 每个体素表示了所在位置的颜色、密度等相关信息。其他建模与表示技术(VR相关) 细节层次(Levels of Detail: LOD)技术 纹理映射(texture map)技术Courtesy Stanford 3D Scanning Repository69,451 polys2,502 polys251 polys76 polysLevel of Detail:Traditional LOD In A NutshellFrom: David Luebke (University of Virginia)/gfx/C

10、ourses/2004/RealTime/lecture06.LOD1.pptqDistant objects use coarser LODs:Level of Detail:Traditional LOD In A NutshellFrom: David Luebke (University of Virginia)/gfx/Courses/2004/RealTime/lecture06.LOD1.ppt纹理映射技术(texture mapping) 在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，只需要建立

11、简单的几何模型，然后在几何模型的面上贴上对应的逼真图片就可以了。这种方法称为纹理映射方法。 这不仅增加了场景的逼真度，而且减少了表示场景的多边形数目。映射纹理前的场景映射纹理后的场景纹理映射技术(示例)1.3 立体显示技术单 目视 域双 目 重叠 视 域单 目视 域基本原理：基本原理：人的视觉系统可以通过四种线索得到深度知觉人的视觉系统可以通过四种线索得到深度知觉:n 侧视网膜图象差侧视网膜图象差(lateral retinal image disparity);n 运动视差运动视差(motion parallax);n 图象大小差异图象大小差异(differential image size

12、);n 纹理梯度纹理梯度(texture gradient)。目前的立体显示技术基本上是基于双目视差原理实现的。目前的立体显示技术基本上是基于双目视差原理实现的。影响（沉浸感）立体 视觉因素 宽视野（） 立体显示 彩色 高分辨率 头部跟踪主要视觉设备：红蓝滤色眼镜液晶开关的立体视眼镜三维头盔显示器（HMDHMD）双筒全方位监视器（BOOMBOOM）墙式显示屏自动声象虚拟环境（CAVECAVE）q头盔式显示器（Head Mounted Display ，HMD)头头 盔盔RGB-NTSCRBG-NTSC计计 算算 机机 系系 统统扫扫 描描 转转 换换 器器左左 眼眼 计计 算算右右 眼眼 计计

13、 算算双双 路路 VR 系系 统统 图图 形形 硬硬件件图图 形形 硬硬件件HMD 实物与原理图头盔显示器 Head Mounted Display, HMD眼睛显示器镜窥视孔合成器外部世界头盔实现方法1校 正 透 镜阴 极 射 线 管连 接 的 光 导 纤 维 束校 正 透 镜合 成 器带有光导纤维的HMD的原理HMD 的实现方法q美国icuiti公司q分辨率：VGA（640 X 480）q价格69800日圆（约合人民币5235元）q距离眼睛1 cm，画面相当于2 米外42 英寸屏幕q厚度2 cm，重量70 gq支持连接DVD播放器、桌面电脑等q电源使用3节AA电池，可以连续播放5小时左右。

14、 Video Eyewear 眼镜式显示器BOOM Binocular Omni-Orientation Monitorhttp:/ qBinocular Omni Orientation Monitor (BOOM)CAVE Cave Automatic Virtual Environment/pape/CAVE/http:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld076.htmCyberSphere Fully Immersive Spherical Projec

15、tion System Illustration of the Spherical Projection System the Fully Immersive Spherical Projection System http:/www.vr-systems.ndtilda.co.uk/sphere1.htmImmersaDesk /pape/CAVE/idesk/paper//technology/idesk/Infinity Wall /pape/CAVE/idesk/pape

16、r/http:/www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm2、声音生成技术听觉 3D &Stereo声源定位：强度（高频）和时差（低频）问题：声音从头里发出，随强度差而偏左或偏右原因：与耳朵形状有关解决：Convolvotron($15,000) 耳内录音 + 计算3 触觉与力觉生成技术3.1 触觉与力觉反馈设备 There are two main types of haptic devices: devices that allow users to feel textures of 2-dementional object

17、s with a pen or mouse-type interface glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual objects q触觉（Haptic)Haptic: 机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量、形状、大小）机械臂，空气囊，记忆金属，小马达，小探针第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。Teletact

18、II与TeletactI使用相似，只是空气室由20增加到30个。在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉。手掌空气室侧空气室远程触觉空气室ARRC力学反馈手套笔式力量感知器PHANTOM Omni Haptic Device http:/ SensAble Technologies 力反馈手套RMRM像一付手套似的戴在用户的手上。主要结构包括一个小平台，上面架着四个特制的汽缸。每个汽缸轴的顶端都和相应的指尖相连接，轴和指尖的连接通过“Y”形的连接物。一个简单的细皮手套被作为传感器/反馈系统的支持结构。CyberGrasphttp:/ Immers

19、ion Corporation q数据手套qDHM手势传感装置原理图4、身体位置跟踪q身体跟踪位置的跟踪（位置+方向）及角度的度量（指关节、光纤）眼动跟踪q位置跟踪技术：正交电磁场 Polhemus trackers超声波信号 Logitec. Mattel Power Glove机械连接 Fake Space Labs视频信号处理 Myron KruegerLED视频传感UNC at Chapel Hill惯性跟踪（加速度）SpaceballqPowerGlove示意图q三维鼠标器示意图基于运动跟踪的方法 一种人体运动记录回放的方法 关键：数据的转换基于运动跟踪的方法基于运动跟踪的方法记录点

20、的坐标转换成旋转角驱动虚拟角色运动重定向基于运动跟踪的方法虚拟现实系统http:/www.reflex.lth.se/reflex/whatisVR/一个示例：virtual cockpithttp:/www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htmVirtual Reality systems to train aircraft pilots and tank commandershttp:/ 几种典型的虚拟现实系统及其应用系 统活 动 形 式感 受 单 元器 官 模 拟器 官 行 为剌 激 物外 部

21、 信 息方 向感姿 势 及 方向 调 整机 械 及 重 力感 受 器前 庭 器 官身 体 平 衡重 力 及 加 速 度重 力 或 加 速度 方 向听 觉听机 械 感 受 器耳 蜗 器 官声 音 定 位空 气 振 动振 动 方 向 及性 质触 觉触 摸机 械 、 热 量及 动 觉 感 受器皮 肤 、 关节 、 肌 肉及 腱各 种 探 查活 动组 织 变 形 、 关节 配 合 及 肌 肉纤 维 紧 张物 体 表 面 粘性 及 冷 热 等各 种 状 态味 觉尝化 学 及 机 械感 受 器嘴品 尝物 体 化 学 性 质营 养 及 生 化价 值嗅 觉嗅化 学 感 受 器鼻以 鼻 吸 气气 体 化 学 性

22、 质气 味 性 质视 觉看光 学 感 受 器眼 睛凝 视 、 扫描 等 活 动光大 小 、 形状 、 纹 理 及运 动 等J.J.Gibson总结的感知系统人类的感知系统系 统目 的应 用相 关 系 统调 整 姿 势适 应 重 力 及 加 速 度维 持 身 体 平 衡前 庭 器 官定 向通 过 部 分 身 体 运 动 获 得外 部 剌 激考 察 或 感 觉 各 种 信 息所 有 相 关 感 觉走 动通 过 身 体 运 动 进 入 其 它环 境从 一 个 位 置 走 到 另 一 个位 置定 向 及 调 整 姿 势饮 食通 过 部 分 身 体 运 动 获 取或 给 予吸 收 或 排 除品 尝 、

23、吸 收 及 其 它 身 体 功 能行 动有 利 于 个 人 的 行 为操 作 、 自 我 保 护 等走 动 及 相 关 行 为表 达用 于 表 达 、 表 明 或 识 别姿 势 、 面 部 或 语 言 表 达语 言 表 达 、 聆 听 及 面 部 表 情语 义用 信 号 通 知 或 表 达语 言 表 达基 于 信 号 的 相 关 系 统行为系统人类的行为系统 行 为 感 知 参 与 者 行 为 系 统 感 知 系 统 外 界 环 境 人与环境的关系虚拟现实的概念模型虚拟环境实物虚化人虚物实化王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6. (1) Augm

24、ented Reality 应用领域：维修，医学检查，培训等 主要问题：虚实一致性反 馈虚拟环境真实环境操 作实物虚化人虚物实化实物虚化虚物实化王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 (2) 多用户虚拟现实系统 一次允许多个用户参与。 典型的系统有：mWorld, CAVE，DIVE等 主要应用：虚拟研讨环境(聊天室), 虚拟社区 主要问题：