光场重建中相关性估计研究

本科毕业设计题目 光场重建中相关性估计研究学生姓名： 闫肃 专 业： 电子信息工程 指导教师： 岳贤军 完成日期： 2015 年 5 月 29 日 诚 信 承 诺 书本人承诺：所呈交的毕业设计是本人在导师指导下进行的研究成果。除了文中特别加以标注和致谢的地方外，其中不包含其他人已发表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何贡献均已在文中作了明确的说明并表示了谢意。签 名： 日 期： 2015 年 6 月本论文使用授权说明本人完全了解南通大学有关保留、使用学位论文的规定，即：学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容。（保密的论文在解密后应遵守此规定）学生签名： 指导教师签名： 日期： 2015 年 6 月南通大学毕业设计2摘 要本文首先阐述了光场重建技术的选题的研究现状和展望，简要介绍了研究中所遇到的难题；接着介绍了光场重建具体操作的原理和方法 ；通过合理布置阵列相机，获取目标场景的三维数据，而获取的的光场数据越多，目标场景的数据误差越小，重建后的图像越精确，如此会得到庞大的数据，成本也高。基于此种技术难题，本文通过特定的方式获取光场图像，根据光场数据量巨大的特点，建立简化的相关性估计模型，以提高处理速度，根据估计结果，建立 Bayesian 压缩感知的光场先验模型，结合光场渲染技术，不但能重建出原始视点的光场图像，还能渲染出新的视点。然后运用图像压缩感知算法，达到减少数据量，提高运算速度的目的。关键词：光场获取，光场成像，压缩感知，图像配准南通大学毕业设计3ABSTRACTAre described in this paper research situation and Prospect of the light field reconstruction technology topics, problems encountered in the research are briefly introduced; and then introduced the principle and method of the specific operation of the light field reconstruction; through the rational arrangement of array camera, access to the 3D data of the object in the scene, and obtain the light field data more, scene data error is small, the reconstructed image is more accurate, so will get huge data, the cost is high. Based on this technical problem. In this paper, the specific light field image acquisition, according to the light field with huge amount of data, the characteristics, a simplified correlation estimation model, to improve the processing speed, according to the estimation results, a Bayesian compressive sensing light field prior model, combined with the light field rendering technology, not only can reconstruct the original view of the light field images, but also render a new point of view. Then, the image compression algorithm is used to achieve the purpose of reducing the amount of data and improving the speed of operation.Key words: Light field acquisition，light field image compressive sensing, the correlations across images南通大学毕业设计4目 录摘 要 .2目 录 .4第一章 绪 论 .51.1 引言 .61.2 光场成像技术的研究现状 .61.4 本课题研究的和主要工作目的及意义 .7第二章 光场图像 .82.1 光场的定义 .82.2 光场的获取方式 .92.3 光场图像的压缩处理的必要性 .102.4 小结 .10第三章 光的相关性技术及常见配准算法 .113.1 光的相关性技术 .113.1.1. Lumigraphs 的相关性算法基础 .113.1.2. Lumigraphs 的自适应合成算法 .113.1.3.通过相关性绘制的交互式的流明图 .123.1.4.结论和未来的工作 .123.2 运用相关性估计的必要性 .133.3 常见图像配准算法及不足 .143.3.1 基于轮廓的方法 .143.3.2 基于边缘特征的配准方法 .143.3.3 基于区域特征结构的配准方法 .143.3.4 基于特征点的配准方法 .143.48 matlab 实现 .153.5 小结 .16第四章 基于图像相关性的压缩感知 .174.1 Bayesian 理论简介 .174.2 压缩感知理论简介 .174.3 新视点算法 .18南通大学毕业设计54.3.1 算法简介 .184.3.2 图像优化压缩 .194.3.3 算法 .204.3.4 结果分析 .204.4 小结 .20第五章 结束语 .21参考文献 .22致 谢 .23南通大学毕业设计6第一章 绪 论1.1 引言光场是对四维光辐射场的空间位置和方向信息的参数化表示，获取数据后输入计算机进行成像。传统的成像方式在拍摄高速移动或多目标大间距的物体时，易出现失焦、跑焦等现象。对于高速移动的物体来说，清晰的获取一瞬间的图像是很困难的，多大数获取的图像都是模糊的，曝光时间太短会导致拍摄图像太暗，增大孔径则造成景深太小，背景模糊。而对多目标物的场景来说，焦点往往对准在中心物体上，其他目标由于景深过小往往看不清细节。调小光圈的方法需要在光线充足的情况下可以使用，但是如果拍摄光线不足，便会出现曝光不足。光场成像通过记录光辐射在传播过程中的四维位置和方向的信息，相对于只记录二维的传统成像方式多出 2 个自由度，自然而然在图像重建过程中，能够获得更加丰富的图像信息。此外，还能通过数字重聚焦技术解决特殊场合图像的失焦、背景目标过多等问题；通过合成孔径技术实现“透视” 监视；在与显微技术融合后，还能得到多视角大景深显微图像，以及重建后的三维立体图。1.2 光场成像技术的研究现状和传统的直接拍摄获取数据不同，光场成像需要数字处理算法的转换才能得到所需的光场图像。因此，光场成像的过程包括光场数据采集以及相应的光场数据处理。从结构上来分，光场的采集主要包括多桕机组合和单相机改造两种。前者采用多个相机组成阵列：各个相机分布在目标场景的各个方向，分别对光场的各个方向进行采样；相机中的探测器像元经过镜头投影到外部相应的位置进行采样。单相机光场采集方式是运用单个相机中的光学调制元件改变其成像结构，从而将相机内部的四维光场重新分布到一个二维的探测器平面上。1.3 光场成像技术展望传统相机的成像获取方式简单，从而限制了图片的重塑性;而光场成像没有此局限性，它记录的是包含位置和方向信息的四维数据的参数化表示。也就是说，不用拍摄者实时拍摄，也能对场景的视角、远近景，甚至是光线本身进行操作，以获得最优的图像。用机器拍摄的图像并不能完全反映人的主观意向，如果采用光场成像，便可以由人凭借对图像的喜好来调整图像，最终得到的图像才能更灵活化、多元化。而且，随着计算机运行速度不断提升和重构算法的不断改进，运用计算机进行数据处理的光场成像技术的未南通大学毕业设计7来也必将一片光明。可以预见的应用范围很广: 一般摄影爱好者可以通过数字重聚焦技术来提高聚焦能力，摆脱失焦、跑焦困扰，从而灵活的处理图片; 在高速运动场景、多主体距离较大场景以及光线不足的室内拍摄，它有不可匹敌的优势; 合成孔径技术可以应用于“透视”监控安全及监控; 光场数据合成视角像可以应用在多媒体动画及电视广告领域来实现虚拟 3D 显示; 通过对光场数据的反演，还能数字化地校正光学系统像差，降低透镜制作精度，大大降低光学系统设计和加工难度。目前获取光场的方法开始朝着 2 个极端方向发展 : （1）大尺度的大规模相机阵列；（2）小尺度的光场显微镜。这就意味着能在更多的领域中运用光场成像技术，从大的航空拍摄，到小的微生物观测，细到目前光学成像的所有领域。传统成像一直在用二维的方法记录者三维的世界，如果能改变此项矛盾，那么，我们就可以还原一个更为真实，生动的世界，这就是光场成像试图去实现的目标。然而，光场数据多出的二维信息是以牺牲一定的空间分辨率为代价的，二者之间存在一个折衷。现有的光场相机普遍存在图像空间分辨率不高的问题，如果提高图像空间分辨率的时，兼顾轴向的分辨率，变回会对光电探测器件要求更高。这是当前光场成像技术的一个难题。如何在解决二者最优化分布的矛盾，是今后研究的一个重点。此外，由于光场图像所含的信息量巨大，所以数据量也很大，所以对存储设备和处理器的容量和速度要求也很高。因此，光场成像在技术实现、软硬件处理能力、商业化成本及使用便捷性等方面还有很多亟待解决的问题。1.4 本课题研究的和主要工作目的及意义光场图像常被用于重构三维场景，越多的光场图像能更好的还原出真实的三维场景，然而这样就会需要更多的信息量，从而数据量过大，图片获取成本也更高。由于光场图像是由相机阵列从不同视角对同一场景拍摄得到，所以光场图像之间有较强的相关性。传统的图像压缩感知的原理是直接对目标图像进行感知和重构的，将传统模式直接运用于光场图像，就会只考虑了图像内的相关性，而忽略了光场图像之间的相关性。同时利用图像内的相关性和光场图像之间的相关性，再对光场图像进行进行重新排列组合，最后再利用压缩感知对图像进行感知和重建。会极大的节约数据存储和处理量，为光场重建走进小型终端做好坚定的一步。南通大学毕业设计8第二章 光场图像2.1 光场的定义光场 3，1 是光岀射或者入射一个有界的三维空间的四维表示。通常一个光场由两个平行平面的二维坐标进行参数化表示。至少有六个这样的双平面（称为板）来表示完整光分布所需的区域。所有光线通过一个平面同一点在第二个平面上形成了透视图像（参见图 1）。这就是为什么两平面通常分为视平面，或称（S；T）平面，和图像平面，或称（U；V）平面。如图一描述，光沿着任意射线穿过两平面可以被 4x4 区域最近的四线性插值重建。此方法假定被光束（如表面反射光）表述的三维点位于图像平面，一般情况下，这是不正确的。这在光场重建时导致严重的模糊和重像。为了避免这些，光场必须非常密集采样，例如必须获取和存储大量的图像。Lumigraph 1 是一个光场表示，使用一些额外的几何信息，通常以一个近似三角形网格的形式。和“纯”光场方法相反，Lumigraph 重建算法可以考虑点在场景的实际位置。通过相交近似场景在几何上深度相关的光线，用这些样品，进行实际场景的重建。图 1：光场的二平面参数化草图。沿射线的辐射可以用两个平面最近的 4x 4 再现，光束集通过一个视点（ ； ）在0ST（U；V）平面形成映射图像。南通大学毕业设计9Lumigraph 法存在两种问题。首先，它并不是总容易从真实世界获得一个近似三角形网格的场景。其次，它很难确定几何信息的质量和分辨率。一方面，太少的三角形来进行场景的重建，将在光场渲染产生类似的景象。另一方面，太多的三角结构极度减慢重建算法的速度。我们试图克服这些限制，使用逐像素深度信息，而不是近似三角形网格。基于这种表示方法，我们提出了大量的相关性基础技术为了获得、精炼和渲染 Lumigraphs 逐像素深度信息，这将是在本文的其余部分简要勾勒出。2.2 光场的获取方式目前获取光场的手段主要分为以下 3 种:1) 微透镜阵列。这是最常用和简单的光场获取方式。在普通成像系统的一次像面处插入一个微透镜阵列，各个微透镜元记录的光线对应相同位置不同视角的场景图像，来构成一个四维光场。Adelson 的全光场相机， Ng 的手持光场相机，Levoy 的光场显微镜( LFM)，Fife 的光场“芯片”以及 Georgiev 的 Plenoptic Camera 2. 0 等，都是采用微透镜阵列来获取四维光场数据，从而实现不同的功能。Adobe 公司采用透镜和棱镜阵列获取光场数据的光场相机，相比传统的微透镜阵列方式，有更强的可移植性。它是将透镜和棱镜集成为一个光学元件，外接在普通相机上即可实现，具有较高的图像分辨率; 但是由于镜头外接，会引入新的像差。2) 相机阵列。它是指在空间排布一定相机来同时抓取一系列视角略有差别的图像，从而重构出光场数据的方法。例如，斯坦福大学采用不同空间排布的 128 相机阵列，能够获得包括空间分辨率、动态范围、景深、