第3讲-VRP相机的创建及特效制作

1、虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院引引虚拟现实系统的构成虚拟现实系统的构成1虚拟现实系统构成虚拟现实系统构成虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院3 3VRPVRP场景碰撞场景碰撞21【 主要内容主要内容】2 2VRPVRP各类相机的创建各类相机的创建1 1虚拟现实的相关技术虚拟现实的相关技术4 4场景特效制作场景特效制作虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (1)(1)3虚拟环境虚拟环境虚拟对象虚拟对象图像图像建模建模图像与几图像与几何相结合何相结合的建

2、模的建模几何几何建模建模视觉视觉设计设计物理物理仿真仿真声音声音建模建模行为行为建模建模运动运动建模建模虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (2)(2)4虚拟现实系统的关键技术包括： 建模技术 实时绘制技术 虚拟声音技术 人机自然交互技术 物理仿真技术 三维全景技术虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (3)(3) 传统意义上的传统意义上的虚拟场景虚拟场景基本上都是基于几何基本上都是基于几何的，就是用数学意义上的的，就是用数学意义上的曲线曲线

3、、曲面曲面等数学等数学模型预先定义好虚拟场景的几何轮廓，再采模型预先定义好虚拟场景的几何轮廓，再采取取纹理映射纹理映射、光照光照等数学模型加以渲染。等数学模型加以渲染。 几何建模几何建模主要处理具有几何网络特性的几何主要处理具有几何网络特性的几何模型的模型的拓扑信息拓扑信息和和几何信息几何信息。51.1 1.1 建模技术建模技术几何建模几何建模虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (4)(4)61.1 1.1 建模技术建模技术几何建模几何建模虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚

4、拟现实的相关技术虚拟现实的相关技术 (5)(5)71.1 1.1 建模技术建模技术几何建模技术指标几何建模技术指标 评价一个虚拟环境建模技术水平的三个评价一个虚拟环境建模技术水平的三个常用指标是：常用指标是：交互式显示能力交互式显示能力、交互式操交互式操纵能力纵能力和和易于构造的能力易于构造的能力多边形方法制作多边形方法制作的轮胎实体模型的轮胎实体模型虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (6)(6)81.1 1.1 建模技术建模技术几何建模方法几何建模方法 层次层次建模方法建模方法采用树形采用树形结构表示物体的各组成

5、部分结构表示物体的各组成部分 属主属主建模方法建模方法同一种对同一种对象拥有同一个属主。象拥有同一个属主。车轮车轮虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (7)(7)91.1 1.1 建模技术建模技术行为建模技术行为建模技术 行为建模行为建模用于处理物体的用于处理物体的运动运动和和行为行为的描述的描述 行为建模行为建模通常分为通常分为运动学运动学和和动力学仿真动力学仿真两种建两种建模方法模方法虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(8)(8)101

6、.1 1.1 建模技术建模技术 行为建模技术行为建模技术 运动学法：通过运动学法：通过几几何变换何变换如如平移平移和和旋转旋转等来描述运动等来描述运动虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(9)(9)111.1 1.1 建模技术建模技术 动力学仿真动力学仿真 动力学仿真动力学仿真：运用：运用物理定律物理定律而非几何变换而非几何变换来描述物体的运动，通过物体的来描述物体的运动，通过物体的质量质量和和惯性惯性、力和力矩力和力矩以及其他以及其他物理作用计算出来物理作用计算出来。更适。更适于物体间交互作用较多的虚拟环境建模于物体

7、间交互作用较多的虚拟环境建模虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(10)(10)121.1 1.1 建模技术建模技术 虚拟现实建模软件虚拟现实建模软件 3ds Max3ds Max：集：集三维建模三维建模、材质制作材质制作、灯光设定灯光设定、摄像机使用摄像机使用、动画设置动画设置及及渲染输出渲染输出于一身，提供了于一身，提供了三维动画三维动画及及静态效果图静态效果图全面完整的解决方案。全面完整的解决方案。 Maya Maya： 在在电影电影、大型游戏大型游戏、数字出版数字出版、广播电广播电视节目制作视节目制作等方面更胜

8、一筹。等方面更胜一筹。 Creator Creator交互式三维建模软件：不仅能够创建交互式三维建模软件：不仅能够创建三维地形和模型三维地形和模型，而且可以高效、最优化地生成实，而且可以高效、最优化地生成实时时三维数据库。三维数据库。虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(11)(11)131.2 1.2 视觉实时动态绘制技术视觉实时动态绘制技术 实时动态绘制技术是指利用计算机为用户提供一个能从任意视点及方向实时观察三维场景的手段，所期望的是图像帧速高而等待时间短 等待时间等待时间是实时动态绘制技术的另一个关键指标虚拟现

9、实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(12)(12)141.2 1.2 视觉实时动态绘制技术视觉实时动态绘制技术 - -基于图形的实时动态绘制技术基于图形的实时动态绘制技术 场景分块场景分块 可见消隐可见消隐 细节选择细节选择虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术(13)(13)151.2 1.2 视觉实时动态绘制技术视觉实时动态绘制技术 - -基于图像的实时动态绘制技术基于图像的实时动态绘制技术用用图像合成图像合成代替几何建模来创建复杂场景，代替几何

10、建模来创建复杂场景，不但真实感强，而且整个过程都可以在二维不但真实感强，而且整个过程都可以在二维空间中进行，其绘制时间不取决于场景的复空间中进行，其绘制时间不取决于场景的复杂度，而只与现实杂度，而只与现实分辨率分辨率有关。有关。虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (14)(14)161.3 1.3 三维虚拟声音技术三维虚拟声音技术 三维虚拟声音三维虚拟声音与人们熟悉的与人们熟悉的立体声音立体声音有所不同。有所不同。所谓的所谓的立体声立体声虽然有虽然有左右声道左右声道之分，但就整体之分，但就整体效果而言，立体声来自听者

11、面前的某个平面，效果而言，立体声来自听者面前的某个平面，而而三维虚拟声音三维虚拟声音则是来自则是来自围绕听者双耳的一个围绕听者双耳的一个球形中的任何地方球形中的任何地方，即声音出现在头的上方、，即声音出现在头的上方、后方或前方后方或前方虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (15)(15)171.3 1.3 三维虚拟声音技术三维虚拟声音技术特征特征 三维虚拟声音特征三维虚拟声音特征 全向三维定位特性 三维实时跟踪特征虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的

12、相关技术 (16)(16)181.3 1.3 三维虚拟声音技术三维虚拟声音技术头部相关传递函数头部相关传递函数首先通过测量外界声音与鼓膜上声音的频谱差异，获得了声音在耳部附近发生的频谱成形，随后利用这些数据对声波与人耳的交互方式进行编码，得出相关的一组传递函数，并确定出两耳的信号传播延迟特点，以此对声源进行定位。在VR系统中，当无回声的信号由这组传递函数处理后，再通过与声源缠绕在一起的滤波器驱动一组耳机，就可以在传统的耳机上形成有真实感的三维声音了虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (17)(17)191.3 1.3

13、 三维虚拟声音技术三维虚拟声音技术语音合成技术语音合成技术语音合成技术是从语音参数出发，先通过A/D转换将语音数字化，经过数字处理和运算，然后再通过D/A转换而输出语音的。将语音合成与语音识别技术结合起来，还可以使用户与计算机所创建的虚拟环境进行简单的语音交流，这在VR环境中具有突出的应用价值。虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (18)(18)201.4 1.4 人机自然交互技术人机自然交互技术手势识别技术手势识别技术将虚拟世界中常用的指令定义出了将虚拟世界中常用的指令定义出了一系列的手一系列的手势集合势集合，利用

14、这些，利用这些手势手势，参与者可以执行诸如，参与者可以执行诸如导航、拾取物体、释放物体等操作导航、拾取物体、释放物体等操作虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (19)(19)211.4 1.4 人机自然交互技术人机自然交互技术面部表情识别技术面部表情识别技术基于基于Kinect开发的开发的FaceShift虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (20)(20)221.4 1.4 人机自然交互技术人机自然交互技术面部表情识别技术面部表情识别技术

15、面部表情识别的面部表情识别的3 3个步骤个步骤面部表面部表情情跟踪跟踪面部表面部表情情编码编码面部表面部表情情识别识别从外界摄取从外界摄取表情信息表情信息对所有引起面部动作的脸的“动作单元”的枚举编制而成根据分析人的眉、眼、口等面部器官在不同表情时产生的变化，对表情的识别采用了二叉树分类器方案虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (21)(21)1.4 1.4 人机自然交互技术人机自然交互技术眼动跟踪技术眼动跟踪技术视线追踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄像机，通过摄入从人的眼角膜和瞳孔反射的红

16、外线连续地记录视线变化，从而记录和分析视线追踪过程。23虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (22)(22)1.5 1.5 物理仿真技术物理仿真技术24物理仿真技术包含的内容物理仿真技术包含的内容设计数设计数学模型学模型创建物创建物理属性理属性实现碰实现碰撞检测撞检测通过计算机程序语言实现上述仿真算法，由此表达出模型质量、密度等物理属性和力的概念描述虚拟对象描述虚拟对象行行为为和和运动运动的的方程方程式。式。建立建立视觉属视觉属性性、物理属性物理属性、物理规则物理规则碰撞检测算法有层次包围盒层次包围盒法法和和空间分解

17、空间分解法法等虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (23)(23)1.5 1.5 物理仿真技术物理仿真技术- -碰撞检测算法碰撞检测算法25层次包围盒法层次包围盒法 利用体积略大而形状简单的包围盒把复杂的几何对象包裹起来，在进行碰撞检测时，首先进行包围盒之间的相交测试，若包围盒不相交，则排除碰撞可能性；若相交，则接着进行几何对象之间精确的碰撞检测。空间分解法空间分解法 将虚拟空间分解为体积相等的小单元格，所有对象都被分配在一个或多个单元格之中，系统只对占据同一单元格或相邻单元格的对象进行相交测试虚拟现实软件应用虚拟现

18、实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (24)(24)1.6 1.6 三维全景技术三维全景技术26三维全景技术是一种基于图像绘制技术生成真实感图形的VR实现技术。数字航空航天博物馆的全景图数字航空航天博物馆的全景图虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (25)(25)1.6 1.6 三维全景技术三维全景技术27拍摄获取图像序列。序列样本折叠变换投影至观察表面如柱面、球面、等，并将图像局部对准。软件进行图像拼接融合生成可供浏览和交互的三维全景图。虚拟现实软件应用虚拟现

19、实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (26)(26)1.6 1.6 三维全景技术三维全景技术图像拍摄技术图像拍摄技术28原始资料获取方式：其一是使用特殊摄像设备拍摄，如全景照相机、附带鱼眼镜头和全景镜头相机等；其二是使用普通照相机拍摄。拍摄方法水平移动：其一是定点拍摄，即将相机固定在三脚架上并围绕相机光心旋转向不同方向拍摄；其二是多视点拍摄，相机可在不同位置拍摄。虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (27)(27)1.6 1.6 三维全景技术三维全景技术图像拼接

20、技术图像拼接技术29若图像序列取自同一视点不同视角，若图像序列取自同一视点不同视角，重叠画面无重叠画面无缩放缩放，则图像拼接时只需确定，则图像拼接时只需确定重叠区域重叠区域，将相临，将相临图像中对应的图像中对应的像素点对准像素点对准，再进行，再进行平滑拼接平滑拼接即可。即可。若图像序列取自不同视点，若图像序列取自不同视点，重叠画面有缩放重叠画面有缩放，则，则图像拼接时需确定图像拼接时需确定重叠区域重叠区域和和缩放比例，缩放比例，可以可以交交互给出互给出或或自动求出每两幅图像之间的对应点自动求出每两幅图像之间的对应点，再，再用图像插值或视图变换的方法求出该物体对应于用图像插值或视图变换的方法求出

21、该物体对应于其他观察点的图像其他观察点的图像虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院1 1 虚拟现实的相关技术虚拟现实的相关技术 (28)(28)1.6 1.6 三维全景技术三维全景技术图像融合技术图像融合技术30图像融合技术图像融合技术解决的主要问题是解决的主要问题是如何使拼接的两如何使拼接的两幅图像不出现明显的拼接缝幅图像不出现明显的拼接缝，并在亮度、色度、，并在亮度、色度、对比度上没有明显的差别。对比度上没有明显的差别。通常，重叠区域的边界上，两幅图像灰度上的细通常，重叠区域的边界上，两幅图像灰度上的细微差别一般都会导致很明显的拼缝，一般可在两微差别一般都会导致很明显的拼缝，一般可在两幅图像的重叠区域采用幅图像的重叠区域采用渐入渐出的方法渐入渐出的方法，将两帧，将两帧图像的图像的像素值按一定的比例合成到新图像素值按一定的比例合成到新图，由前一，由前一幅图像慢慢过渡到下一幅图像幅图像慢慢过渡到下一幅图像虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院2 VRP2 VRP各类相机的创建各类相机的创建(1)(1)31创建相机的步骤：创建相机的步骤：选择相机类型选择相机类型命名相机命名相机设置属性设置属性虚拟现实软件应用虚拟现实软件应用信息科学与技术学院信息科学与技术学院2 VRP2 VRP各类相机的创