【《光场深度估计和超分辨率重建相关理论基础综述》6600字】

光场深度估计和超分辨率重建相关理论基础综述目录TOC\o"1-3"\h\u27347光场深度估计和超分辨率重建相关理论基础综述 [25]等人利用多种线索预测深度信息的方法。此方法利用4D光场图像的散焦线索，通过计算像素在不同聚焦深度的“模糊度”从而获得其对应的初始深度预测图；然后利用4D光场图像的相关性线索，通过求解角度域方差并对比取最小值得到另一幅初始深度预测图；最后再将两幅初始深度预测图和置信度图采用马尔科夫融合方法进行融合优化，以得到最终的深度图。此方法得出的深度图虽然简单有效，但是精度不高，因此如何处理散焦模糊带来的影响在深度估计的研究工作中至关重要。1.1.4深度估计评估指标为了更好地衡量不同方法对光场图像深度估计的效果，本节从错误率和准确率两个方面介绍了几种常用的评估指标，通过比较预测深度和真值深度之间的差异来评价不同方法的好坏。具体介绍如下所示。（1）误差均方根误差（RootMeanSquareError，MSE）是指先求每个像素点的预测深度值与其真实深度值之间差异的平方和的平均值，然后再求算术平方根。其公式定义如下：（1.6）绝对相对误差（AverageAbsoluteRelativeError，AbsRel）是指先求每个像素点的预测深度值与其真实深度值之间差异，然后对差异与真值之间的相对值求和再求平均。其公式定义如下：（1.7）平方相对误差（SquareRelativeError，SqRel）是指先求每个像素点的预测深度值与其真实深度值之间差异的平方，然后对差异的平方与真值之间的相对值求和再求平均。其公式定义如下：（1.8）其中，D表示估计的深度图，为D中像素i的深度值，G表示真实深度图，为G中像素i的深度值。RMSE，AbsRel和SquRel的值越小，代表预测的深度值与真实深度值越接近。（2）准确率为了表示预测深度图的准确性，我们引入了准确率指标。其公式定义如下：（1.9）其中，表示能够接受预测深度图存在的深度差异程度，此公式将预测深度和真实深度相对估计误差小于阈值的所有像素点均视作估计成功的点。门限取值通常设为1.25，和。此指标的取值越高，表明深度估计正确的点所占比例越大，预测深度图质量越高。因此，本文采用以上指标对深度估计的结果进行评估。1.3光场超分辨重建相关理论1.3.1超分辨率重建基本理论超分辨率重建问题是指在已知低分辨率图像的情况下恢复出其对应高分辨率图像的过程。此任务通常假设输入的低分辨率图像是采用某种退化模型处理其对应的高分辨率图像得到的。若定义了退化模型，也就实现了超分辨率重建的逆向过程建模。退化模型可以通过数学关系建模低分辨率图像和其对应高分辨率图像之间的联系。常见的退化模型如下所示：（1.10）其中，为低分辨率图像，为对应的高分辨率图像，H为退化矩阵，s为下采样的尺度，n为加性噪声。超分辨率重建就是在已知的情况下，求解的过程。此实现过程如图1.10所示。图1.10超分辨率重建问题的构成Fig.1.10Thecompositionofsuper-resolutionreconstruction但是，超分辨重建过程是一个典型的病态问题。从数学角度说，因为该任务的输入维度空间远远小于解空间，所以必然存在一个对应多个问题。而且，噪声不仅会使重建图像中出现较大的随机信号，还会破坏高分辨率图像与其对应低分辨率图像之间的一致性。从现实角度说，不同的高分辨率图像经过多种退化模型可以得到同一幅低分辨率图像。因此，在已知低分辨率图像的情况下，获得其对应的高分辨率图像必须引入相关的先验信息来弥补退化过程中丢失的信息，从而对解空间进行约束，以实现高分辨率图像的重建。1.3.2光场超分辨率重建基本理论由于光场图像不仅包含光线的空间信息，还包括光线的方向信息，因此光场的超分辨率重建可以从空间和角度两个方面实现。（1）空间超分辨率重建光场空间超分辨率重建与二维图像超分辨问题的构建基本一致，不同点在于，其中的和都是更高维度的图片集合，而不再是单张图片。最简单的方法是直接利用单幅图像的超分辨率重建方法对所有视角图像逐一进行空间超分。但是此方法将每一视角都视作一张单独的图像进行重建，必然没有充分利用光场中丰富的结构信息。由于光场的视角之间也存在着亚像素位移，因此利用视角间的亚像素位移成为了光场图像超分辨率重建的基础。（2）角度超分辨率重建角度超分辨率重建是指利用光场图像不同的视角来合成新视角图像的过程。新视角图像与参考视角图像之间的关系如下所示：（1.11）其中，为参考视角，为合成的新视角。具体的，通过视角转换函数，可以将参考视角成像平面上的点转换为目标视角成像平面上的点。以场景点P为例，若其在平面上的坐标点为x，则其在平面上的坐标点为。由前文的分析可知，光场相机内部的两个平面是平行的，如图1.11所示。因此便退化成简单的线性函数，其定义如下所示：（1.12）其中，为x对应的视差。因此，已知参考视角根据约束便可求出合成视角。图1.11光场视角转换示意图Fig.1.11Theimageofviewconversion1.3.3超分辨率重建评估指标超分辨率重建的目的是为了获得高分辨图像，重建图像质量的好坏是评估重建算法性能的重要指标。目前，超分辨重建任务中常用的客观评价主要有两种：峰值信噪比PSNR和结构相似性SSIM。（1）峰值信噪比峰值信噪比主要用来比较图像对应像素之间的差异。其公式定义如下：（1.13）（1.14）其中，表示重建的高分辨率图像y在位置i处的像素值，表示真实的高分辨率图像在位置i处的像素值，n表示图像中像素点的个数。由公式（1.13）和（1.14）可知，峰值信噪比主要是对两幅图像之间均方误差的倒数执行取对数操作。PSNR的取值越大，则表示重建图像中包含的噪声越小，图像恢复的越好。但是，此评价方式忽略了图像中相邻像素之间的关系，因此并不符合人类的视觉感知。（2）结构相似性相比峰值信噪比，结构相似性更符合人类的视觉感知。此评估标准综合考虑亮度、对比度和结构因素以评估图像之间的结构相似度。其公式定义如下：（1.15）（1.16）（1.17）（1