项目3 全景图合成

项目3全景图合成01项目介绍三维全景技术是一种运用数码相机对现有场景进行多角度环视拍摄后，利用计算机进行后期缝合，并加载播放程序完成三维全景图制作的一种三维虚拟展示技术。三维全景图也可以称为全景图、全景环视图，三维全景图由数码相机多角度拍摄数张照片，然后利用专业三维平台建立数字模型，最终使用全景合成软件制作完成。人们可以在计算机或移动设备上使用浏览器或播放软件观看三维全景图，并可以通过鼠标或触屏操作控制观察角度，可以任意调整方位，使人仿佛置身于真实环境之中，产生全新的体验。全景图不是凭空生成的，要制作一个全景图，我们需要有原始的图像素材，原始图像素材的来源通常有两种：第一种是在现实的场景中全景拍摄得到的图片（照片）；第二种则是通过建模渲染得到的虚拟图像。本项目着重介绍第一种，即通过单反数码相机拍摄真实场景从而获取图像素材，然后通过专业的软件制成全景图。02项目任务任务一图片拼接原理1．基于区域特征拼接算法基于区域的配准方法是从待拼接图片的灰度值出发，对待拼接图片中一块区域或参考图片中的相同尺寸大小的区域使用最小二乘法或者其他数学方法计算出灰度值的差异，对此差异进行比较后，判断待拼接图片重叠区域的相似程度，由此得出待拼接图片重叠区域的范围和位置，从而实现图片拼接。也可以通过FFT变换将图片由时域变换到频域，然后进行配准。对位移量比较大的图片，可以先校正图片的旋转角度，然后建立两幅图片之间的映射关系。该拼接算法根据像素信息提取图片特征，然后以图片特征作为标准来搜索和匹配图片重叠部分的相应特征区域。这种拼接算法具有比较好的稳定性，分为两个操作步骤：先提取图片特征，再对图片特征进行匹配。该拼接算法一般要求相邻的两张图片之间有25%或以上的重叠。首先从两张图片中提取具有明显灰度值变化的点、线和区域，再将两张图片的图片特征集中，利用匹配算法尽可能将具有对应关系的图片特征位置对齐，最后将对齐的图片进行融合。光流（OpticalFlow）的概念是詹姆斯·J.吉布森（JamesJ.Gibson）于20世纪40年代首次提出来的，它是空间中运动的物体在成像平面上的像素运动的瞬间速度。光流场算法是利用图像序列中像素在时间域上的变化及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。但是基于光流场特征拼接算法需要在相邻两张图片通过相机镜头的位置关系基本对齐，并且图片信息已经分层的情况下才能实现，即原始的图片还是要通过基于区域特征拼接算法先建立匹配关系。2．基于光流场特征拼接算法光流场是由于场景中前景目标本身的运动、相机的移动，或者两者共同运动产生的。当人的眼睛观察运动的物体时，物体的景象在视网膜上形成一系列连续变化的图像，这一系列连续变化的图像不断“流过”视网膜，好像一种光的“流”，故称为“光流”。光流能表现图像的变化，由于它包含了目标的运动信息，因此可被观察者用来确定目标的运动情况。在目标运动的时候，相机记录并匹配每个像素点后，就可以通过局部移动像素点来插值形成中间视图。这样就可以“填补空白”，有助于减少拼接伪影，并生成具有清晰对象边界的深度图，从而在拼接时生成无错位的全景图。任务二全景图合成软件APG是一款功能超强的全景图合成软件。它致力于创造全景图、虚拟旅游和千兆像素图片，主要用途是帮助用户在短时间内将多张图片缝合为一张360°视角的全景图。APG软件支持400多种输入格式，包含几乎所有相机都使用的RAW格式。APG软件支持7种输出格式，从8位、16位到32位生成JPEG、PNG、TIFF、PSD/PSB等格式，以创建完整的HDR全景图。最任务三全景图缝合技术全景图的拼接算法均基于两张图片的相关性，将相关性作为拼接的参考元素才可能成功拼接，所以我们拍摄的相邻两张图片之间必须有足够的能够提供给计算机识别和计算位置关系的重叠画面，这是拼接全景图的必要条件。一般来说，拍摄的相邻两张图片至少要求有25%的重叠才能支持有效拼接，在这25%的重叠中要确保有足够多的有特征的画面。如果相邻的重叠画面都为相同的纯色（如无云的天空、纯白色的墙壁等），就很难计算出相邻重叠画面的位置关系，导致无法成功拼接。我们可以通过制造或抓取一些同时出现在两个画面中的特征，或者记录更大面积的重叠画面来保证图片拼接的成功。03项目小结项目小结本项