CN116977168B 融合空间和角度特征的光场图像超分辨率重建方法 （重庆理工大学）

BlockNetforAccurateandDetection.ComputerVision–ECCV2018.2018,404–419.ComputerVisionandPatternRec融合空间和角度特征的光场图像超分辨率本发明具体涉及融合空间和角度特征的光像中各个子孔径图像的2D空间特征和2D角度特分辨率重建图像和用作样本的高分辨率的光场2S201：将用作样本的高分辨率的光场图像转换为低分辨率的光场图像后作为模型输步骤S202中，将低分辨率的光场图像作为空间特征提第一ResBlock模块和第二ResBlock模块第一ResRFB模块和第二ResRFB模块用于通过空洞卷积扩第一ResRFB模块和第二ResRFB模块均包括第一1×1卷积层、在RFB的基础上增加了残差结构形成ResRFB模块，其是具有不同尺寸卷积核的卷积层S203：在2D空间特征的基础上提取各个子孔径图像步骤S203中，将各个子孔径图像的2D空间特征作为堆角度特征提取模块包括用于在不同子孔径图像的2D空间特征对之间提取新的视点特通过多个并行分支搜寻光场子孔径图像不同视角间的角度约束；并行S206：根据超分辨率重建图像和用作样本的高分辨32.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在3.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在于：第一ResBlock模块和第二ResBlock模块均包括依次函数层和3x3卷积层。4.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在G5.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在合增强模块对全局特征进行融合增强后生成特征融合增强模块包括依次首尾连接的若干个空间角度6.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在重建模块首先对通道数为C的4D光场特征图进行1x1卷积，将其通道数扩展至a2xC；然后进行像素重组生成分辨率为a倍的高分辨率特征图；最后通过卷积层对高分辨率特征7.如权利要求1所述的融合空间和角度特征的光场图像超分辨率重建方法，其特征在4[0003]现有的光场图像超分辨率重建方法主要分为基于传统的超分辨率方法和基于深超分辨率重建方法隐式地构建了从低分辨率图像(LowResolution，LR)到高分辨率图像考虑到光场子孔径图像阵列的角度特征信息，从而导致光场图像超分辨率重建的结果欠5子孔径图像的2D空间特征和2D角度特征[0016]S206：根据超分辨率重建图像和用作样本的高分辨率的连接三条支路输出特征的连接层、以及输入端与连接层的输出端连接的第二1×1卷积层；连接层和第二1×1卷积层之间设置有Relu[0028]角度特征提取模块包括用于在不同子孔径图像的2D空间特征对之间提取新的视6[0036]重建模块首先对通道数为C的4D光场特征图进行1×1卷积，将其通道数扩展至a2(即子孔径图像)之间的空间特征信息和角度特征信息真实地重建出光场图像中的纹理细7施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅表示本发明的选定实施8子孔径图像的2D空间特征和2D角度特征[0068]S206：根据超分辨率重建图像和用作样本的高分辨率的法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨(即子孔径图像)之间的空间特征信息和角度特征信息真实地重建出光场图像中的纹理细9且能同时超分辨率所有子孔径图像阵列。值(Bicubic)下采样)得到对应的低分着关键作用，为了充分提取光场图像的空间信息，本发明设计了基于ResRFB(ResidualC2_1)；c和Fi是原始的子孔径图像[0087]如图3(b)所示，第一ResBlock模块和第二ResBlock模块均包括依次首尾连接的3[0088]如图3(a)所示，第一ResRFB模块和第二ResRFB模块均包括第一1×1卷积层(为了及由5×5卷积层和膨胀率为5的空洞卷积层不同尺寸卷积核的卷积层和空洞池化层构成的多分支结构，并采用空洞卷积扩大感受野，提取模块(FusionA)提取各个子孔径图像的2D角度特征，并连接各个子孔径图像的2D角度两者加以融合以达到最终提高超分辨率的目的。FusionA模块是对2D角度特征的提取，FusionB模块是对2D角度特征和2D空间特征的最终融合[0093]如图4所示，角度特征提取模块包括用于在不同子孔径图像的2D空间特征对之间[0098]本发明的角度特征提取模块通过多个并行分支搜寻光场子孔径图像不同视角间[0099]具体实施过程中，将各个子孔径图像的全局特征作为特经由特征融合增强模块对全局特征进行融合增[0101]如图5所示，特征融合增强模块包括依次首尾连接的若干个空间角度卷积层[0102]本实施例中，空间角度卷积层是一种现有成熟网络结构，可参考“YeungHenry细节信息而不会增加参数量，能够生成可用于光场图像超分辨率重建的4D光场结构特征，低计算复杂度。本发明充分利用光场图像中空间纹理信息和几何角度信息之间的相关性，建图像的精度。本发明重建模块的任务是根据融合增强后的4D光场特征F来重建高分辨率[0106]本实施例中，重建模块采用的基于子像素卷积的上采样方法是一种现有成熟方imageandvideosuper_resolutionusinganefficientsub_pixelconvolutional[0107]重建模块首先对通道数为C的4D光场特征图进行1×1卷积，将其通道数扩展至a2[0112]本发明中模型的损失函数使用L1范数来定义，L1损失函数的最大优点是稳健性验数据均根据各现有论文作者提供的代码和模型训练得到。在所述测试数据集上×2的超但是ResLF仅使用部分视图来超解析不同的图像，没有充分利用光场子孔径图像阵列的空[0124]为了进一步验证本发明方法的计算效率，表3展示了各种方法使用的Params参数参数量大约比EDSR少了7倍，也明显低于ResLF的方法，计算量大约比EDSR少了20倍，和