虚拟现实的关键技术

虚拟现实技术基础与应用机械工业出版社1虚拟现实的关键技术5/9/2024第2章虚拟现实的关键技术2.1 立体高清显示技术2.2 三维建模技术2.3 三维虚拟声音技术2.4 人机交互技术2.5 虚拟现实引擎2虚拟现实的关键技术5/9/20242.1 立体高清显示技术

立体高清显示技术是虚拟现实的关键技术之一，它使用户在虚拟世界里具有更强的沉浸感，立体高清显示技术的引入可以使各种模拟器的仿真更加逼真。

立体高清显示可以把图像的纵深、层次、位置全部展现，参与者可以更直观、更自然地了解图像的现实分布状况，从而更全面地了解图像或显示内容的信息。3虚拟现实的关键技术5/9/20242.1.1立体视觉的形成原理立体视觉是人眼在观察事物时所具有的立体感。人眼对获取的镜像有相当的深度感知能力（DepthPerception），而这些感知能力又源自人眼可以提取出景象中的深度要素（DepthCue）。4虚拟现实的关键技术5/9/20242.1.1立体视觉的形成原理当人们的双眼同时注视某物体时，双眼视线交叉于某个物体对象上，称为注视点，从注视点反射回到视网膜上的光点是对应的，但由于人的两只眼睛相距4~6cm，观察物体时，两只眼睛从不同的位置和角度注视物体，所得的画面有一点细微的差异，如图2-1所示，正是这种视差，再传入大脑视觉中枢合成一个物体完整的图像时，不但看清了该物体对象，而且能分辨出该物体对象与周围物体间的距离、深度、凸凹等，这样所获取的图像就是一种具有立体感的图像，这种视觉也就是人的双眼立体视觉。5虚拟现实的关键技术5/9/20242.1.1立体视觉的形成原理6虚拟现实的关键技术5/9/20242.1.1立体视觉的形成原理要使一幅画面产生立体感，至少要满足3个方面的条件：画面有透视效果；

画面有正确的明暗虚实变化；具有双眼的空间定位效果从以下的三点理解：只有以上3点只有同时满足才能产生比较完美的立体效果；普通显示器可以实现前两点却无法实现第3点；立体高清显示技术就是能够再现空间定位感的显示技术。7虚拟现实的关键技术5/9/20242.1.2立体高清显示技术时间立体视觉的基础：两只眼睛的视差实现立体显示效果：

对同一场景分别产生相应于左右眼的不同图像，让它们之间具有一定的视差；借助相关技术，使左右双眼只能看到与之相应的图像。立体显示技术从时间特点上分为：同时显示（frameparallel）技术；分时显示（framesequential）技术两类。立体显示技术从设备特点上可以分为：立体眼镜；立体头盔；裸眼立体。8虚拟现实的关键技术5/9/20242.1.2立体高清显示技术各种立体显示技术：彩色眼镜法：属于被动立体眼镜，主要用于同时显示技术中。基本原理:将左右眼图像用红绿两种补色在同一屏幕上同时显示出来，用户佩戴相应的补色眼镜（一个镜片为红色，另一个镜片为绿色），进行观察，这样每个滤色镜片吸收来自相反图像的光线，从而使双眼只看到同色的图像。

缺点：造成用户色觉不平衡，产生视觉疲劳。9虚拟现实的关键技术5/9/20242.1.2立体高清显示技术偏振光眼镜法属于被动立体眼镜，主要用于同时显示技术中。基本原理：将左右眼图像用偏振方向垂直的光线在同一屏幕上同时显示出来，佩戴相应的偏振光眼镜（两个镜片的偏振方向垂直）进行观察，每个镜片阻挡相反图像的光波，从而使双眼只能看到相应的图像。10虚拟现实的关键技术5/9/20242.1.2立体高清显示技术液晶光阀眼镜法液晶光阀眼镜法属于主动立体眼镜，主要用于分时显示技术中。基本原理：显示屏分时显示左右眼的视差图，并通过同步信号发射器及同步信号接收器控制观看者所佩戴的液晶光阀眼镜。当显示屏显示左（右）眼视差图像时，左（右）眼镜片透光而右（左）眼镜片不透光，这样双眼只能看到相应的图像。主要特点是：要求显示器的帧频为普通显示器的两倍，一般需要达到120Hz。11虚拟现实的关键技术5/9/20242.1.2立体高清显示技术立体头盔显示法基本原理:在观看者双眼前各放置一个显示屏，观看者的左右眼只能看到相应显示屏上的视差图像。主要借助于各种专用设备（如头盔显示器、数据手套等）产生，从而使用户以自然方式如手势、体势、语言等技能，如同在真实世界中一样操作虚拟环境中的对象。缺点：存在单用户性、显示屏分辨率低、头盔沉重、容易给眼睛带来不适感等12虚拟现实的关键技术5/9/20242.1.2立体高清显示技术裸眼立体显示法不需要用户配搭任何装置，直接观看显示设备就可感受到立体效果。3类：光栅式自由立体显示、体显示、全息投影显示。1）光栅式自由立体显示主要是由平板显示屏和光栅组合而成光栅类型包括狭缝光栅和柱透镜光栅两类原理：左右眼视差图图像按一定规律排列并显示在平板显示屏上，然后利用光栅的分光作用将左右眼视差图像的光线向不同方向传播。当观看者位于合适的观看区域时，其左右眼分别观看到相应的视差图像，从而获得立体视觉效果。13虚拟现实的关键技术5/9/20242.1.2立体高清显示技术2）体显示基本原理：通过特殊显示设备将三维物体的各个侧面图像同时显示出来。14虚拟现实的关键技术5/9/20242.1.2立体高清显示技术3）全息投影显示全息投影技术是利用光的干涉和衍射原理记录并再现真实物体三维图像的技术。基本原理：首先是利用干涉原理记录物体光波信息，即拍摄过程。然后是利用衍射原理再现物体光波信息，即成像过程。全息投影技术再现的三维图像立体感强，具有真实的视觉效应。15虚拟现实的关键技术5/9/20242.2三维建模技术建模是对显示对象或环境的逼真仿真。虚拟对象或环境的建模是虚拟现实系统建立的基础，也是虚拟现实技术中的关键技术之一。建模是对现实对象或环境的虚拟，对象建模主要研究对象的形状和外观的仿真。环境建模主要涉及物理建模、行为建模、声音建模等。评价虚拟建模的技术指标包括以下内容：

精确度操纵效率易用性实时显示16虚拟现实的关键技术5/9/20242.2.1几何建模采用几何建模方法对物体对象虚拟主要是物体几何信息的表示和处理，描述虚拟对象的几何模型（如多边形、三角形、定点以及它们的外表（纹理、表面反射系数、颜色）等）。物体的形状由构成物体的各个多边形、三角形及定点来确定。物体的外观则是由表面纹理、材质、颜色、光照系数等决定的。17虚拟现实的关键技术5/9/20242.2.1几何建模形状建模形状建模通常采用的方法如下：人工几何建模方法：①对于对象的形状建模。②利用建模软件进行建模，自动几何建模方法外观建模用纹理映射技术处理对象的外表：增加了细节层次以及景物的真实感提供了更好的三维空间线索，减少了视镜多边形的数目，因而提高了帧刷新率，增强了复杂场景的实时动态显示效果。光照反射光由三个分量表示，分别是环境反射光、漫反射光、镜面反射光。18虚拟现实的关键技术5/9/20242.2.1几何建模光照示意图，图中白色小球是一个点光源，光线在立方体和球体两个对象上发生反射，产生明暗效果。19虚拟现实的关键技术5/9/20242.2.2物理建模物理建模是虚拟现实中较高层次的建模，它需要物理学和计算机图形学的配合，涉及力学反馈问题，重要的是重量建模、表面变形和软硬度的物理属性的体现。分形技术和粒子系统就是典型的物理建模方法。分形技术分形理论认为，分形曲线、曲面具有精细结构，表现为处处连续，但往往是处处不可导，其局部与整体存在惊人的自相似性。因此，分形技术是指可以描述具有自相似特征的数据集。分形技术的优点是通过简单的操作就可以完成复杂的不规则物体的建模，缺点是计算量太大。20虚拟现实的关键技术5/9/20242.2.2物理建模粒子系统粒子系统是一种典型的物理建模系统。粒子系统，就是将人们看到的物体运动和自然现象，用一系列运动的粒子来描述，再将这些粒子运动的轨迹映射到显示屏上，在显示屏上看到的就是物体运动和自然现象的模拟效果了。利用粒子系统生成画面的基本步骤如下：①产生新的粒子；②赋予每一新粒子一定的属性；③删去那些已经超过生存期的粒子；④根据粒子的动态属性对粒子进行移动和变幻；⑤显示由有生命的粒子组成的图像。在虚拟现实中，粒子系统常用于描述火焰、水流、雨雪、旋风、喷泉、战场硝烟、飞机尾焰、爆炸烟雾等现象。21虚拟现实的关键技术5/9/20242.2.3运动建模要表现虚拟对象在虚拟世界中的动态特性，而有关对象位置变化、旋转、碰撞、手抓握、表面变形等方面的属性就属于运动建模问题。对象位置：通常涉及对象的移动、伸缩和旋转。碰撞检测：对用户和虚拟对象的移动加以限制碰撞检测技术也是VR系统中不可缺少的关键技术之一碰撞检测技术不仅要能检测是否有碰撞的发生、碰撞发生的位置，还要计算出碰撞发生后的反应。目前较成熟的碰撞检测算法有层次包围盒法和空间分解法等。层次包围盒法空间分解法22虚拟现实的关键技术5/9/20241.5 虚拟现实技术的应用领域1.5.4 商业领域VR技术被逐步应用于网上销售、客户服务、电传会议及虚拟购物中心等商业领域。它可以使客户在购买前先看到产品的外貌与内在，甚至在虚拟世界中使用它，因此对产品的推广和销售都很有帮助。23虚拟现实的关键技术5/9/20242.3三维虚拟声音技术

虚拟环境中的三维虚拟声音与人们熟悉的立体声音有所不同三维虚拟声音则是来自围绕听者双耳的一个球形中的任何地方，即声音出现在头的上方、后方或者前方。24虚拟现实的关键技术5/9/20242.3.1三维虚拟声音的特征三维虚拟声音具有全向三维定位和三维实时跟踪两大特性。全向三维定位（3Dsteering），是指在虚拟环境中对声源位置的实时跟踪。例如，当虚拟物体发生位移时，声源位置也应发生变化，这样用户才会觉得声源的相对位置没有发生变化。只有当声源变化和视觉变化同步时，用户才能产生正确的听觉和视觉的叠加效果。三维实时跟踪（3DReal-TimeLocalization），是指在三维虚拟环境中实时跟踪虚拟声源的位置变化或虚拟影像变化的能力。25虚拟现实的关键技术5/9/20242.3.2头部相关传递函数头部相关传递函数可视为声音在人体周围位置包含人体特征的函数。当获得的头部相关传递函数能够准确描述某个人的听觉定位过程时，利用它就能够模拟、再现真实的声音场景。由于每个人头、耳的大小和形状各不相同，头部相关传递函数也会因人而异。但目前已有研究开始寻找对各种类型都通用且能提供良好效果的头部相关传递函数。26虚拟现实的关键技术5/9/20242.3.3语音识别与合成技术在虚拟现实系统中，语音应用技术主要是指基于语音进行处理的技术，主要包括语音识别技术和语音合成技术，它是信息处理领域的一项前沿技术。语音识别技术语音识别技术是指计算机系统能够根据输入的语音识别出其代表的具体意义，进而完成相应的功能。一个完整的语音识别系统可大致分为以下三个部分。1）语音特征提取。2）声学模型与模式匹配（识别算法）。3）语言模型与语言处理。一般来说，语音识别的方法有三种：1）基于声道模型和语音知识的方法；2）模式匹配的方法；3）利用人工神经网络的方法。27虚拟现实的关键技术5/9/20242.3.3语音识别与合成技术

语音合成技术语音合成技术是将计算机自己产生的或外部输入的文字信息按语音处理规则转换成语音信号输出，使计算就流利地读出文字信息，使人们通过“听”就可以明白信息的内容。一个典型的语音合成系统可以分为文本分析、韵律建模和语音合成三大模块。常用的语音合成方法分分类：按照合成方法分类，分为参数合成法、基音同步叠加法和基于数据库语音合成法。按照技术方式分类，分为波形编辑合成、参数分析合成以及规则合成。28虚拟现实的关键技术5/9/20242.4人机交互技术人机自然交互技术是指在计算机系统提供的虚拟环境中，人应该可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互的技术。在虚拟实领域中较为常用的交互技术主要有：手势识别、面部表情识别、眼动跟踪语音识别等29虚拟现实的关键技术5/9/20242.4.1手势识别技术主要分为基于数据手套的识别和基于视觉（图像）的手势识别系统两种基于数据手套的手势识别系统，是利用数据手套和空间位置跟踪定位设备来捕捉手势的空间运动轨迹和时序信息。基于视觉的手势识别是通过摄像机连续拍摄手部的运动图像，然后采用图像处理技术提取出图像中的手部轮廓，进而分析出手势形态。30虚拟现实的关键技术5/9/20242.4.1手势识别技术在手势规范的基础上，手势识别技术一般采用模板匹配方法将用户手势与模板库中的手势指令进行匹配，通过测量两者的相似度来识别手势指令。31虚拟现实的关键技术5/9/20242.4.2面部表情识别技术面部表情识别在人与人交流过程中传递信息时发挥重要的作用。目前，计算机面部表情识别技术通常包括人脸图像的检测与定位、表情特征提取、模板匹配、表情识别等步骤，32虚拟现实的关键技术5/9/20242.4.2面部表情识别技术在表情识别过程中系统从根节点开始，逐级将待测表情和二叉树中的节点进行匹配，知道叶子节点，从而判断出目标表情33虚拟现实的关键技术5/9/20242.4.3眼动跟踪技术在虚拟世界中，生成视觉的感知主要依赖于对人头部的跟踪。34虚拟现实的关键技术5/9/20242.4.3眼动跟踪技术35虚拟现实的关键技术5/9/20242.4.3眼动跟踪技术常见的视觉追踪方法有眼电图、虹膜-巩膜边缘、角膜反射、瞳孔-角膜反射、接触镜等。常见的几种视觉追踪方法的比较如表2-1所示。视觉追踪方法技术特点眼电图（EOG）高带宽，精度低，对人干扰打虹膜-巩膜边缘高带宽，垂直精度低，对人干扰大角膜反射高带宽，误差大瞳孔-角膜反射低带宽，精度高，对人无干扰，误差小jiao'mo'fa接触镜高带宽，精度最高，对人干扰大，不舒适36虚拟现实的关键技术5/9/20242.4.3眼动跟踪技术目前眼动跟踪技术主要存在以下问题。数据提取问题数据解释问题精度和自由度问题米达斯接触（MidasTouch）问题。算法问题37虚拟现实的关键技术5/9/20242.4.4其他感觉器官的反馈技术虚拟现实系统的反馈形式主要集中在视觉和听觉方面，对其他感觉器官的反馈技术还不够成熟。力反馈与力反馈设备