CN110599401A 遥感图像超分辨率重建方法、处理装置及可读存储介质 （中国科学院电子学研究所）

号及可读存储介质，该方法包括对图像进行预处出与输入的低分辨率遥感图像相对应的超分辨经网络中残差模块的批归一化对生成对抗网络导致模型难以训练的难题，在节省内存消耗(约2子步骤S22：搭建用于优化所述生成网络架构的判别网络架构，得到生成对抗网络模2.根据权利要求1所述的方法，其特征在于优选的，每个所述残差模块包含2个卷积核大小为M×M的卷积层优选的，所述图像训练集包括分别含有高分辨率图像和优选的，所述图像测试集包括测试用高分辨率图像和对应低分辨率所述生成网络损失函数为感知损失函数，所述感知损失3HR和ISR分别表示原始高分辨率图像和超分辨率像的数量。48.一种实现如权利要求1-7任一项所述的遥感图像超分辨率重建方法的处理装置，其据生成网络损失函数和判别网络损失函数，对生成网络架构和判别网络架构进行交替训令用于能够使读取所述可读存储介质的设备执行如权利要求1-7任一项所述的遥感图像超5深度学习的方法。基于学习的超分辨率复原算法主要包括训练样本库的建立和组织(特征6SRCNN的基础上，极深网络的图像超分辨率复原方法(VeryDeepnetworksforSuper建层完成图像重建。深度递归残差网络(DeepRecursiveResidualNetworkforSuperResolution，DRRN)在此基础上提出了一种非常深入的卷积神经网络模型，将全局残差模对抗网络的自然图像超分辨率重建(Photo-RealisticSingleImageSuper-Resolution恢复的任务中，在大倍率重建的时候仍能恢复出相比于其他方法更加令人满意的视觉效[0009]2、目前基于深度学习方法的超分辨率重建网络大多使用批归一化(Batch7[0029]1、针对目前基于深度学习方法的超分辨率重建网络使用批归一化带来的增加网[0030]2、针对现有的基于卷积神经网络的超分辨率重建方法无法解决遥感图像的大倍率重建的难题，我们引入基于图像内容的感知损失函数和生成对抗网络模型取代传统的[0031]3、在本发明迁移学习的方法中，首先用高质量的自然图像训练集，即自然图像DIV2K数据集预训练生成对抗网络模型，再用少量遥感图像训练集中的遥感图像对预训练8[0032]图1是本发明实施例的生成对抗网络模型设计图，其中1(a)是生成网络架构结构[0038]图7是遥感测试图像4倍超分辨率重建视觉效果对比图，其中7(a)是高分辨率原生成对抗网络模型取代传统的MSE损失函数，来解决大倍率重建下纹理细节模糊扭曲的难尽管在大倍率重建(4倍)的前提下本发明所提出方法的主客观指9[0048]将1000张DIV2K高分辨率自然图像裁剪得到高分辨率自然图像块，再对这些高分[0050]在UC-MERCED遥感图像数据集中飞机类别的100张图像中随机选取80张进行裁剪得到遥感图像高分辨率图像块，再对这些遥感图像高分辨率图像块进行4倍双三次降采样[0052]对UC-MERCED遥感图像数据集中飞机类别的剩余20张飞机图像进行裁剪得到测试用遥感图像高分辨率图像块，再对其进行4倍双三次降采样的操作得到其对应的测试用低[0055]生成对抗网络模型(GAN)用于超分辨率重建的原理并不复杂，生成网络架构利用[0059]在本发明的实施例中，每个残差模块包含2个卷积核大小为M×M的卷积层和2个特征图，本发明去除了残差模块中原有的2个批归一化对生成网络架构进行优化以得到更降采样(Down-Sampling)，就是在向量通过网络的过程中经过一些滤波器(Filters)的处[0071]残差模块的结构如图3所示，可以看到普通直连的卷积神经网络和残差模块的最y=F(x,{)+x.;[0077]y=F(x,{w})+ws,x.;[0081]然而在残差模块中我们引入了跨层连接的机制，xl+1层和其前面一层xl的关系纯粹是一个线性叠加的关系。进一步推导xl+2及其后面层的输出会发现展开后是这样一个表[0088]其中，xlable表示的是在当前样本和标签给定情况下某一层xL所对应的理想向量[0090]即任意一层的输出xL所产生的残差可以传递回其前络架构的输入，通过训练两层亚像素卷积层来学习一个最优的上采样的过程加快训练速中的一个r×r大小的子块，从而大小为r2×H×W的特征图像被重新排列成1×rH×rW大小[0102]这是因为，传统的超分辨率重建所使用的损失函数为均方误差(Mean-Square[0105]单独采用传统MSE损失函数作为生成网络架构的损失函数，以图像的像素差异来平滑的纹理，因此在本发明实施例中使用基于图像内容的感知损失函数(Perceptual[0114]其中，表示的是判别网络架构将生成网络架构生成的图像判定为表示判别网络架构将生成网络架构生成的图像判定为假的概率；B表示图像的数量。[0119]子步骤S31为，利用迁移学习的方法，根据生成网络损失函数和判别网络损失函[0120]本发明的目标任务是使用深度学习算法训练针对光学遥感图像的超分辨率重建[0122]在这里，本发明首先使用高分辨率的自然图像DIV2K数据集(DIV2K数据集是一种[0123]具体来说，生成对抗网络模型的生成网络架构利用低分辨率[0127]在用高分辨率DIV2K自然图像训练集对生成对抗网络模型进行初步的预训练之[0130](2)预训练好的生成对抗网络模型是在自然图像大数据集上进行的，无形中扩充[0133]为了验证本发明所设计的基于生成对抗网络模型的遥感图像超分辨率重建方法的能力，我们选取UC-MERCED数据集中的20张遥感图像进行预处理作为遥感图像测试集对以上训练后的生成对抗网络模型进行性能的测试，将其测试结果(主观重建视觉效果和SSIM、PSNR客观量化指标)分别与原始高分辨率图像、基于双三次插值的重建方法(Bicubic)、基于卷积网络的重建方法(SRCNN)和基于生成对抗网络的重建方法(SRGAN)几[0136]本发明的最终目的是，设计基于生成对抗网络模型的遥感图像超分辨率重建方执行指令用于使能够读取可读存储介质的设备执行上述遥[0148]利用低分辨率遥感图像测试集中的图像1(飞机图像1)进行4倍超分辨率重建，采[0150]利用低分辨率遥感图像测试集中的图像2(飞机图像2)进行4倍超分辨率重建，采[0154]利用与实施例1相同的图像1进行4倍超分辨率重建，采用ANR(邻域回归)重建方[0160]利用与实施例1相同的图像1进行4倍超分辨率重建，采用SRGAN(普通生成对抗网25.0627.03[0170]1、实施例1与对比例1-5对比，得到PSN