第5章-三维全景技术.ppt

第5章三维全景技术,了解三维全景技术的基本概念、特点、应用、分类和常用设备熟悉全景图生成技术，包括全景图像采集、图像预处理、像素坐标及相机焦距的估计、全景图投影模型了解全景图制作方法，包括拍摄照片、用Photoshop拼接静态全景图、用UleadCOOL360制作动态全景图,本章要点,内容导航,5.1三维全景技术概述数字信息和多媒体技术的迅猛发展，使人们进入了丰富多彩的图形世界。近年来，随着IT技术的迅速发展，人们意识到由于人类传统的认知环境是多维化的信息空间，而目前以计算机为主体处理问题的单维模式与人的自然认知习惯有很大区别。虚拟现实（VirtualReality，VR）技术应时而生，并同时代表了包括信息技术、传感技术、人工智能、计算机仿真等学科技术的最新发展。随着近年来硬件技术、计算机视觉、计算机图形学方面的告诉发展，特别是三维全景技术的出现和日益成熟，为虚拟现实的广泛应用打开了新的领域，而且三维全景将虚拟现实和网络传播有机结合，使其更具传递性和应用性。,5.1.1三维全景技术的特点三维全景技术与传统的虚拟现实技术相比，其优势主要体现在以下几个方面：1.实感强图像采用相机采集，不会受到场景对象复杂程度的限制，接近场景真实情况，这是传统几何图形建模方法所不可比拟的。2.交互性较好，能表达更多的场景信息以真实场景图像为基础，其构成环境是对现实世界的直接表现。3.制作复杂度低制作速度快，生成时间与场景复杂度无关，成本低，较为方便，不需要专用高档的硬件设备，在家里的计算机上就可以进行操作绘制。4.可传播性强三维全景技术表现以栅格图片为内容构成，文件小，具有多种发布形式，能够适合各种需要和各种形式的展示应用。,5.1.2全景技术的应用目前，三维全景技术的应用非常广泛，其与网络技术相结合产生了大量应用。街景服务就是三维全景技术的一个实现例子，国内外比较著名的有谷歌的Streetview、微软的Streetside、城市吧、我秀中国、SOSO街景等。,5.1.3全景技术的分类1.基于矢量建模的三维全景技术基于矢量建模的三维全景技术是基于图形学的方法，简称为建模法（GeometryBasedRendering，GBR）。是指利用空间矢量数据（如遥感影像、CAD数据等）对场景建模，利用场景实景照片、纹理图片以及多媒体数据辅助模型贴图丰富场景细节，最终还原现实生成虚拟三维场景，然后通过渲染的方式得到拟真质量的全景图。,5.1.3全景技术的分类2.基于实景图像绘制的三维全景技术基于实景图像绘制的三维全景技术是通过对人工采集到的序列场景图像加工合成，来达到仿真的效果，即基于图像学的方法（ImageBasedRendering，IBR）。（1）基于计算机视觉的方法以计算机视觉中的多视图几何理论为基础，首先通过几幅采集图像获得物体的三维信息，然后用视图插值、视图合成、视图变形（Morphing）等方法从已知的图像中还原中间视图。,5.1.3全景技术的分类2.基于实景图像绘制的三维全景技术（2）基于分层表示的方法该法把视频中的3D场景分解成独立的、放射运动模型描述的不同层次，再将每一层中的2D图像流和2D变换流组合到现实屏幕上。它可以把场景中的前景和背景区分开，分别赋予不同的绘制质量；还能对场景加以不同压缩编码，有更好的压缩效果。该法已成为H264国际标准中场景结构的基本思想。,5.1.3全景技术的分类2.基于实景图像绘制的三维全景技术（3）基于全光函数的方法从空间中任意一点能看到的全部光线用全光函数表示，它描述了某一场景中所有可能的环境映射。它从一些离散的有向样本中重构连续全光函数，再从新的视点位置重新取样该函数，达到绘制新视图的目的。（4）基于全景图的方法该方法首先把采集到的同一场景的若干幅图像进行配准、对齐、平滑拼接，直至同一场景的所有图像都被拼接到全景图中，组成一幅完整的无缝全景图。通常用于生成全景图像(PanoramicImage)、增大图像分辨率、稳定图像、压缩图像及视频扩展等。,5.1.4全景技术常用设备制作三维漫游全景通常需要的硬件是：单反相机、鱼眼、云台、三脚架。软件可以选用造景师9.0或漫游大师5.0等软件。在制作三维全景的方法是利用拼合软件将鱼眼镜头拍摄的超广角照片拼合成一张360度的全景图，最后将360度场景发布到网上供浏览的方式。,5.2全景图生成技术以IBR方法为例，全景图的生成步骤如下：先利用数码相机+鱼眼镜头采集场景序列图片，然后把多幅全景图投影到合适的空间模型，再把拼接处理过的全景图组合成虚拟的全景空间。5.2.1全景图像采集全景图像的拍摄要求360无死角的视角角度，在图像的采集过程中要求有以下几点：（1）拍摄角度要恰当，相机应大致位于一个场景的中心位置。（2）拍摄水平角度图像时，要尽可能的避免平转数码相机时镜头的偏斜和俯仰，尽量保持相机水平旋转。（3）相机要尽可能的绕光心旋转。偏离光心引入的误差会导致插值图像时的重影和定位困难。（4）拍摄时光圈和焦距要固定不变。不同的光圈会使拍摄的不同方向的照片亮度、对比度和色彩差异较大。（5）同一场景的序列图像必须有重叠部分，一般重叠区域约为30%-50%之间，这样拼接图像的时候才有足够的匹配点。（6）同一场景的采集时间要尽快，间隔不要太久，以免风云变色，带来外界环境变化，影响拼接效果。（7）在拍摄时，场景中尽量不要出现移动的物体。,5.2全景图生成技术,5.2.2图像预处理图像的预处理已有很多方法，大致分为两种：一种是全局处理，它主要针对图像的整体或大面积区域进行校正以得到平滑图像；另一种平滑技术是对含噪声图像使用局部算子，对某一像素进行平滑处理，算法效率明显高于全局处理，可以实现实时处理。但是由于图像中的一个像素点与本像素和领域点的灰度都有关，因此需要将一点和周围几点的灰度平均来达到平滑的作用，虽然滤掉了噪声，但是使图像有一定程度的模糊。,5.3全景图制作实例制作全景图的目的：克服摄像器材的物理性能限制，将景物四周的一切事物摄入摄像头，360度向观众全方位的展现景物。5.3.1拍摄照片步骤1：准备好相机，选择好景点，然后在景点的中心位置确定一个中心点，再将相机放置在中心点处。步骤2：在开始拍摄前，最好关闭相机的自动曝光功能，所以尽量使用手动曝光模式，这样可以保证每张照片的曝光参数相同，拍摄出来的图片色调会比较统一，便于使用软件进行无缝拼接。,5.3全景图制作实例5.3.1拍摄照片步骤3：在拍摄的过程中，第一张照片拍摄完成后，用一只手扶住三角架，确保其稳定，另一只手轻轻转动云台，转动一定的角度，继续拍摄，直至转完一周。拍摄每张照片的左右要留出一定的重叠部分，便于后面使用软件进行自动拼接。一般情况下，空出的重叠部分约占照片的20%-30%。照片的上下部分也要多空出一些，这样便于后面拼接完成后进行裁减。,5.3全景图制作实例5.3.2用Photoshop拼接静态全景图在拍摄完成后，将单张图片保存成pic1、pic2、pic3然后借助PhotoshopCS的“图片拼接”（Photomerge）功能，将拍摄的单张图片拼接成一副完整的全景图。步骤1：启动PhotoshopCS中文版，选择【文件】|【自动】|Photomerge”出现对话框，选择“打开”后面的“文件”选项，然后单击“浏览”按钮打开照片的保存文件夹，按住Ctrl键选择要添加的图片，选择下方的“尝试自动排列源图像”选项，最后单击“好”按钮。,5.3全景图制作实例5.3.2用Photoshop拼接静态全景图步骤2：此时Photoshop会自动打开所有的图像，然后关闭，再弹出Photomerge对话框，如果单张照片拍摄得比较好（也就是相邻两幅图像的重叠部分比较明显），在这里基本上就能自动拼出来，单击“好”按钮然后保存全景图即可。步骤3：如果没有选择“尝试自动排列源图像”选项，则会打开Photomerge对话框，在上方的“源图片区”显示着添加的单张图片，下方是“拼图区”，可将图片从“源图片区”拖到“拼图区”排列。拖动右侧“导航器”下的“滑块”可以调节“拼图区”的显示比例。,5.3全景图制作实例5.3.2用Photoshop拼接静态全景图步骤4：在“拼图区”排列图片时，当两幅图片重叠时，Photomerge会自动将图片之间的重叠部分设为透明，这样可以方便我们观察图像的重叠效果是否真实合理。如果选择了“对齐图像”选项，可以在检测到共同之处时自动将重叠图像固定到位。步骤5：如果要旋转某张图片以适合与其它图片的合成，可以使用旋转工具。选择左侧工具箱中第一个“选择图像”工具，选中要旋转的图像。然后单击左侧工具箱中第二个“旋转”工具，在图片的边缘附近单击，就可以让图片围绕中心做圆形旋转。设置完成后单击“确定”按钮完成图像拼接，最后选择菜单“文件存储为”命令保存全景图片。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤1：启动UleadCool360，.单击“新建项目”打开“新的项目向导”对话框；在“项目类型”中选择“360全景画”；在“项目名称”中输入文件名，再单击“位置”下的“浏览”按钮选择保存文件夹，还可以在“描述”中输入关于全景图的一些说明文字。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤2：单击“下一步”按钮出现的对话框，按住Ctrl键分别选择用来制作全景图的照片，然后单击“添加”按钮添加，单击“全部添加”按钮可以添加文件夹中的全部图片；单击“获取”按钮，可以直接从外部数码设备（如：摄像头、数码相机等）中获取图像。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤3：图片加入后出现预览窗口，下方的按钮可以删除、旋转、缩小或放大图片。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤4：单击“下一步”按钮，选择用于拍摄照片图像的相机镜头。如果相机镜头不在列表中，可选择程序提供的缺省镜头，也可自定义镜头参数，这里选择“普通镜头”。“关闭变形功能”是禁止弯曲，选择后浏览时全景图无弯曲感，“关闭混合功能”是禁止融合，这样相邻两张相片拼成全景图可见其重叠部分。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤5：单击“完成”切换到“调整”窗口，在这里可以调整图片的各种属性。例如：对于拼好的图片中某一幅不满意，可单击该图片，在选项面板中调节参数即可。参数有旋转图像、调整透视效果、调整色调、调整饱和度、调整亮度、调整对比度等；还可通过鼠标拖拉来调整各幅图像间的重叠程度。若对调整效果不满意，可单击“撤销”和“重复”两个功能进行取消和重复操作，单击“重置”按钮，恢复调入图像的初始状态。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图步骤6：调整满意后，单击“查看器”按钮打开自带的浏览器观看动态的全景图，观看时可用鼠标控制全景图运动的方向、速度和大小比例等。步骤7：单击“完成”按钮，可以选择多种方式输出动态全景图。,5.3全景图制作实例5.3.3用UleadCOOL360制作动态全景图单击“保存”按钮，保存当前全景图；单击“电子邮件”按钮，将当前全景图转换为EXE文件，并作为电子邮件附件发送；单击“网页”按钮，以Web页面的形式保存当前全景图，且可在浏览器中观看；单击“屏幕保护”按钮，设置全景图为默认的屏幕保护程序；单击“打印”按钮，以平面图形式打印该全景图；单击“复制”按钮，将该全景图复制到剪贴板上以便其他程序调用；单击“导出”按钮，生成一个可执行文件，执行它就可浏览全景图的内容。这里选择“导出”按钮，文件名称设置为“COOL360全景图”，输出文件夹设置为“D:全景图”，单击“确定”按钮，则在D