基于深度学习的光场图像深度估计ppt课件

1、基于深度学习的光场图像深度估计 报告人：尹忠实2021年6月13日;研讨背景和意义1主要内容光场成像原理2 深度估计相关特征3 深度学习相关任务4 实验结果及未来任务5;研讨背景和意义近年来，随着光电技术及器件的开展新型成像设备不断涌现，其中光场成像以其独特成像过程及优势备受研讨者关注。传统成像方式记录了光辐射在成像平面的二维位置信息，而光场成像记录了光辐射在传播过程中的四维位置和方向信息。由于光场成像较传统成像多出2个自在度，因此在图像重建过程中，可以获得更加丰富的图像信息。光场成像可以实现数字重聚焦、合成孔径、获取大景深图像，以及重建三维立体图。;研讨背景和意义由于光场图像包含丰富的图像信

2、息，这为处理许多图像处置的传统问题提供了新的途径。单幅图像深度估计是病态问题，而光场图像由于其特殊的成像方式，可以实现一次成像获取同一场景在不同视角下的多视角图像，且相邻视角之间基线极短，这使得场景深度更容易准确估计。目前，许多基于光场图像估计场景深度的方法被提出。;研讨背景和意义1主要内容光场成像原理2 深度估计相关特征3 深度学习相关任务4 实验结果及未来任务5;光场成像原理 光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，光场数据的获取为计算成像提供了很多新的开展方向。 光场可以看作是同时捕获场景的多视角图像，从而提供视差及场景深度信息。;光场成像原理光场成像过程;光场成像

3、的特点1. 拍摄方便，拍摄条件约束少2. 对场景多视角的稠密采样3. 允许将视差空间作为延续空间处置4. 在没有聚焦的情况下，可以运用基于外极平面分析的算法5. 可以实现数字重聚焦、合成孔径、获取大景深图像，以及重建三维立体图。光场成像原理;研讨背景和意义1主要内容光场成像原理2 深度估计相关特征3 深度学习相关任务4 实验结果及未来任务5;1EPI直线斜率线索alpha=0.5alpha=1alpha=1.5 这里取280,578坐标处在不同聚焦参数alpha下的EPI图像，当该点为聚焦点时，EPI图像斜率为零。EPI中直线斜率与场景深度成反比，且当某像素点聚焦时，其EPI斜率为0。深度估计

4、相关特征;alpha=0.5alpha=1alpha=1.52聚焦线索用于反映图像中部分区域的明晰度，当某像素位于正确深度下时其部分最明晰。深度估计相关特征;3匹配线索alpha=0.5alpha=1alpha=1.5用于反映在不同视角下同一像素点的匹配程度。当某像素位于正确深度下，其在不同视角下的像素值最接近。深度估计相关特征;研讨背景和意义1主要内容光场成像原理2 深度估计相关特征3 深度学习相关任务4 实验结果及未来任务5;深度学习相关任务深度估计Convolutional Networks for Shape from Light Field.CVPR.2021U-shaped Net

5、works for Shape from Light Field.BMVC.2021Deep Depth From Focus.CVPR.2021视角合成Learning-Based View Synthesis for Light Field Cameras.CVPR.2021;研讨目的运用CNN网络估计给定光场数据的深度信息。主要奉献提出了一种新的方法估计光场域下，图像中每个场景点匹配的2D超平面方向。提供了合成LF数据集，该数据集提供高精度深度标签，并且其场景可以随机生成。Convolutional Networks for Shape from Light Field.CVPR.202

6、1;运用20个不同的三维物体，经过前景、背景位置及远近的调整，生成了25张LF图像，运用20张作为训练，5张作为测试，图像大小640 x480 x11x11;网络构造为4层卷积层和一个全衔接层，详细参数如以下图：名称L1L2L3L4L5类型ConvConvConvConvFC卷积核7x77x75x55x5补0pad3pad0pad2pad0特征数64641281281;U-shaped Networks for Shape from Light Field.BMVC.2021主要奉献采用全卷积网络及U型网络构造对上一任务进展改良，可以用于恣意尺度的EPI图像的输入，抑制了图像块带来的局限性，且

7、可以快速估计整个4D视差场。全卷积网络编码网络在EPI空间尺度上进展紧缩提取特征，解码网络经过跨层衔接的方式估计EPI上每个像素的斜率。;网络构造及详细参数如以下图：编码网络解码网络除了下采样卷积及上采样卷积层，卷积核为3x3，其它卷积层卷积核采用3x5，每个卷积层经过补0坚持特征图大小不变。在编码网络特征图个数每隔2层翻倍，分别为16,32,64，解码网络与之相反。网络输出与输入维度一样。;合成图像上测试结果;真实图像上测试结果;研讨背景和意义1主要内容光场成像原理2 深度估计相关特征3 深度学习相关任务4 实验结果及未来任务5;四层卷积，卷积核3x3，特征图64;全衔接层128个神经元;输入为EPI(9x13)的RGB图像，程度与垂直各一支路，输出为该像素的视差分类0-14.双支路网络构造;训练数据分布测试数据分布;迭代50万次，batch size256，训练数据约55万;ground truth训练集测试结果一切测试结果都是原图1/4大小。;ground truth训练集测试结果;ground truth测试集测试结果;3.回归实验;实验结果及未来任务由于训练集数据分布不均匀