2虚拟现实技术的体系结构和关键技术78

1、郝泳涛 博士 同济大学CAD研究中心 副教授2007年 上海 q体系结构体系结构输入处理器渲染处理器用户模拟处理器虚拟世界数据库q模拟处理器模拟处理器 VR的核心程序的核心程序处理处理: 控制交互、对象动作和决定虚拟世界的控制交互、对象动作和决定虚拟世界的状态。状态。q渲染处理渲染处理感觉传输到用户感觉传输到用户视觉视觉听觉听觉触觉（触摸触觉（触摸/力）力）实时图像生成实时图像生成SGI 图形工作站图形工作站q虚拟世界数据库虚拟世界数据库设计的主体部分设计的主体部分隶属虚拟世界的对象信息隶属虚拟世界的对象信息描述动作的脚本描述动作的脚本用户信息用户信息灯光效果灯光效果程序控制程序控制硬件设备支

2、持硬件设备支持OOD技术技术q虚拟现实建模语言虚拟现实建模语言(VRML) Virtual Reality Modeling LanguageVRML 是在因特网上建立虚拟现实的开是在因特网上建立虚拟现实的开放标准放标准qA VRML cylinder#VRML V2.0 utf8 # A Cylinder Shape appearance Appearance material Material geometry Cylinder height 2.0 radius 1.5 Cylinder.wrl系统活动形式感受单元器官模拟 器官行为剌激物外部信息方向感姿势及方向调整机械及重力感受器前庭器

3、官 身体平衡重力及加速度 重力或加速度方向听觉听机械感受器耳蜗器官 声音定位空气振动振动方向及性质触觉触摸机械、热量及动觉感受器皮肤、关节、肌肉及腱各种探查活动组织变形、关节配合及肌肉纤维紧张物体表面粘性及冷热等各种状态味觉尝化学及机械感受器嘴品尝物体化学性质 营养及生化价值嗅觉嗅化学感受器鼻以鼻吸气气体化学性质 气味性质视觉看光学感受器眼睛凝视、扫描等活动光大小、形状、纹理及运动等J.J.Gibson总结的总结的感知系统系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相关感觉走动通过身体运动进入其它环境从一个位置走到另一个

4、位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达 语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统行为系统 行为 感知 参与者 行为系统 感知系统 外界环境 1992年Bryson主计算机数据手套（传感器）（信号源）BOOM双筒全方位监视器多感知系统技术框图多感知系统技术框图q假设从视点假设从视点V通过屏幕象素通过屏幕象素 e向场景投射光线交场景中向场景投射光线交场景中的景物于的景物于P1, P2, ,Pm , 那么离视点那么离视点 最近的最近的

5、P1 就是画就是画面在象素点面在象素点 e 处的可见点，象素处的可见点，象素 e 的光亮度应由的光亮度应由 P1 点点向向 P1V方向辐射的光亮度决定。如此求出视域内每方向辐射的光亮度决定。如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象。一个象素的光亮度，则可生成一幅完整的真实感图象。e光线跟踪技术(ray tracing)I = Ic + ts Is + tt It其中：I ： 可见点 P 处的光亮度。Ic： 局部光照亮度ts Is：环境镜面反射光亮度tt It： 规则透射光亮度在图形设备上生成逼真视景必须完成四个基本任务：在图形设备上生成逼真视景必须完成四个基本任务：1.用

6、数学方法建立所需要三维场景的几何描述用数学方法建立所需要三维场景的几何描述2.将三维几何描述转换为二维视图将三维几何描述转换为二维视图 这可通过对场景的透视变换来完成。这可通过对场景的透视变换来完成。3.确定场景中的所有可见面确定场景中的所有可见面 这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去。的不可见面消去。4.计算场景中可见面的光强与颜色计算场景中可见面的光强与颜色 严格地说，就是根据基于光学物理的光照模型计算可见面投严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合

7、适图射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景。最终生成视景。q要实现虚拟现实，首先要尽可能详细地表示虚拟现实的场景几何信息。例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等。草树木、五官躯体、车船路桥等。q实现虚拟现实视景的表示方法有：实现虚拟现实视景的表示方法有：多边形多边形(三角形三角形)网格表示方法网格表示方法结构立体几何表示方法结构立体几何表示方法体数据表示方法体数据表示方法(volume-b

8、ased method)q这种方法又称为表面或边界表示方法，即物体这种方法又称为表面或边界表示方法，即物体的立体几何信息是通过它们的边界面或包围面的立体几何信息是通过它们的边界面或包围面来表示的。而物体的边界面或包围面（即物体来表示的。而物体的边界面或包围面（即物体的表面）可以用多边形表示。的表面）可以用多边形表示。q这种方法又称为体积表示方法。这种表示方法这种方法又称为体积表示方法。这种表示方法中，物体被表示为一个三维体积基元的集合及中，物体被表示为一个三维体积基元的集合及它们之们的布尔运算：并、交及差。它们之们的布尔运算：并、交及差。Uq表示单元为体素表示单元为体素(voxel)q每个体素

9、表示了所在位置的颜色、密度每个体素表示了所在位置的颜色、密度等相关信息。等相关信息。q细节层次细节层次(Levels of Detail: LOD)技术技术q纹理映射纹理映射(texture map)技术技术Courtesy Stanford 3D Scanning Repository69,451 polys2,502 polys251 polys76 polysqDistant objects use coarser LODs:q在视景表示时，对于有些细节，不需要建立相在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，应的多边形表示，为了达到很好的视觉效果，只

10、需要建立简单的几何模型，然后在几何模型只需要建立简单的几何模型，然后在几何模型的面上贴上对应的逼真图片就可以了。这种方的面上贴上对应的逼真图片就可以了。这种方法称为纹理映射方法。法称为纹理映射方法。q这不仅增加了场景的逼真度，而且减少了表示这不仅增加了场景的逼真度，而且减少了表示场景的多边形数目。场景的多边形数目。映射纹理前的场景映射纹理后的场景单目视域双目重叠视域单目视域基本原理：基本原理：人的视觉系统可以通过四种线索得到深度知觉人的视觉系统可以通过四种线索得到深度知觉:n 侧视网膜图象差侧视网膜图象差(lateral retinal image disparity);n 运动视差运动视差(

11、motion parallax);n 图象大小差异图象大小差异(differential image size);n 纹理梯度纹理梯度(texture gradient)。目前的立体显示技术基本上是基于双目视差原理实现的。目前的立体显示技术基本上是基于双目视差原理实现的。影响（沉浸感）立体影响（沉浸感）立体 视觉因素视觉因素 宽视野（）宽视野（） 立体显示立体显示 彩色彩色 高分辨率高分辨率 头部跟踪头部跟踪主要视觉设备：主要视觉设备：红蓝滤色眼镜红蓝滤色眼镜液晶开关的立体视眼镜液晶开关的立体视眼镜三维头盔显示器（三维头盔显示器（HMDHMD）双筒全方位监视器（双筒全方位监视器（BOOMBOO

12、M）墙式显示屏自动声象虚拟环境（墙式显示屏自动声象虚拟环境（CAVECAVE）q头 盔 式 显 示 器 （头 盔 式 显 示 器 （ H e a d M o u n t e d Display ，HMD)头头盔盔RGB-NTSCRBG-NTSC计计算算机机系系统统扫扫描描转转换换器器左左眼眼计计算算右右眼眼计计算算双双路路VR系系统统 图图形形硬硬件件图图形形硬硬件件HMD 实物与原理图qHead Mounted Display, HMD眼睛显示器镜窥视孔合成器外部世界头盔实现方法1校正透镜阴极射线管连接的光导纤维束校正透镜合成器带有光导纤维的HMD的原理q美国美国icuiti公司公司q分辨率

13、：分辨率：VGA（640 X 480）q价格价格69800日圆（约合人民币日圆（约合人民币5235元）元）q距离眼睛距离眼睛1 cm，画面相当于，画面相当于2 米外米外42 英寸英寸屏幕屏幕q厚度厚度2 cm，重量，重量70 gq支持连接支持连接DVD播放器、桌面电脑等播放器、桌面电脑等q电源使用电源使用3节节AA电池，可以连续播放电池，可以连续播放5小时小时左右。左右。 Video Eyewear 眼镜式显示器qBinocular Omni-Orientation MonitorBOOMFS2 qBinocular Omni Orientation Monitor (BOOM)qCave A

14、utomatic Virtual EnvironmentqFully Immersive Spherical Projection System Illustration of the Spherical Projection System the Fully Immersive Spherical Projection System /technology/idesk/听觉听觉 3D &Stereo声源定位：强度（高频）和时差声源定位：强度（高频）和时差（低频）（低频）问题：声音从头里发出，随强度差问题：声音从头里发出，随强度差而偏左或偏右而偏左或偏右

15、原因：与耳朵形状有关原因：与耳朵形状有关解决：解决：Convolvotron($15,000) 耳内录音耳内录音 + 计算计算qThere are two main types of haptic devices:devices that allow users to feel textures of 2-dementional objects with a pen or mouse-type interface glove or pen-type devices that allow the user to touch and manipulate 3-dementional virtual

16、 objects q触觉（触觉（Haptic)Haptic: 机械感受器（压力与纹理）机械感受器（压力与纹理）与本体感受器与本体感受器(proprioceptor)（重（重量、形状、大小）量、形状、大小）机械臂，空气囊，记忆金属，小马机械臂，空气囊，记忆金属，小马达，小探针达，小探针第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。很大的手掌空气室允许用户使劲握物体，然后接收刺激。TeletactII与TeletactI使用相似，只是空气室由20增加到30个。在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉。

17、手掌空气室侧空气室远程触觉空气室By SensAble Technologies RM像一付手套似的戴在用户的手上。主要结构包括一个小平台，上面架着四个特制的汽缸。每个汽缸轴的顶端都和相应的指尖相连接，轴和指尖的连接通过“Y”形的连接物。一个简单的细皮手套被作为传感器/反馈系统的支持结构。By Immersion Corporation q数据手套数据手套qDHM手势传感装置原理图手势传感装置原理图q身体跟踪身体跟踪位置的跟踪（位置位置的跟踪（位置+方向）方向）及角及角度的度量（指关节、光纤）度的度量（指关节、光纤）眼动跟踪眼动跟踪q位置跟踪技术：位置跟踪技术：正交电磁场正交电磁场 Polhe

18、mus trackers超声波信号超声波信号 Logitec. Mattel Power Glove机械连接机械连接 Fake Space Labs视频信号处理视频信号处理 Myron KruegerLED视频传感视频传感UNC at Chapel Hill惯性跟踪（加速度）惯性跟踪（加速度）SpaceballqPowerGlove示意图示意图q三维鼠标器示意图三维鼠标器示意图q一种人体运动记录回放的方法一种人体运动记录回放的方法q关键：数据的转换关键：数据的转换记录点记录点的坐标的坐标转换成转换成旋转角旋转角驱动虚驱动虚拟角色拟角色运动重运动重定向定向系统活动形式感受单元器官模拟 器官行为剌

19、激物外部信息方向感姿势及方向调整机械及重力感受器前庭器官 身体平衡重力及加速度 重力或加速度方向听觉听机械感受器耳蜗器官 声音定位空气振动振动方向及性质触觉触摸机械、热量及动觉感受器皮肤、关节、肌肉及腱各种探查活动组织变形、关节配合及肌肉纤维紧张物体表面粘性及冷热等各种状态味觉尝化学及机械感受器嘴品尝物体化学性质 营养及生化价值嗅觉嗅化学感受器鼻以鼻吸气气体化学性质 气味性质视觉看光学感受器眼睛凝视、扫描等活动光大小、形状、纹理及运动等J.J.Gibson总结的总结的感知系统系统目的应用相关系统调整姿势适应重力及加速度维持身体平衡前庭器官定向通过部分身体运动获得外部剌激考察或感觉各种信息所有相

20、关感觉走动通过身体运动进入其它环境从一个位置走到另一个位置定向及调整姿势饮食通过部分身体运动获取或给予吸收或排除品尝、吸收及其它身体功能行动有利于个人的行为操作、自我保护等走动及相关行为表达用于表达、表明或识别姿势、面部或语言表达 语言表达、聆听及面部表情语义用信号通知或表达语言表达基于信号的相关系统行为系统 行为 感知 参与者 行为系统 感知系统 外界环境 虚拟环境实物虚化人虚物实化王兆其，虚拟环境中物体运动逼真性的研究，博士学位论文，北京航空航天大学，1999.6. q应用领域：维修，医学检查，培训等应用领域：维修，医学检查，培训等q主要问题：虚实一致性主要问题：虚实一致性反馈虚拟环境真实环境操作实物虚化人虚物实化实物虚化虚物实化王兆其虚拟环境中物体运动逼真性的研究博士论文，北京航空航天大学，1999.6. R. T. Azuma,A Survey of Augmented Reality,