CN110136063A 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 （南京信息工程大学）

一种基于条件生成对抗网络的单幅图像超本发明公开了一种基于条件生成对抗网络的判别器网络中加入判别条件，即原始真实图要重建的单张低分辨率图像输入至预先训练好2建的单张低分辨率图像输入至预先训练好的条件生成对抗网络模型中，进行超分辨率重将高低分辨率训练集输入到条件生成对抗网络模型中2.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，对每张高分辨率训练图像和低分辨率图像进行随机剪裁得到高分辨率训练图像块和3.根据权利要求2所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，4.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，实图像y的条件下，判断当输入图像为生成器网络模型G生成的超分辨率图像G(x)时的真5.根据权利要求4所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，所述浅层特征学习模块将输入的低分辨率图像进行卷积特征提所述深度残差学习模块用于特征学习，提取高频信息所述全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征3所述的亚像素上采样模块，由一个卷积操作和亚像素所述的重建模块是由一个卷积操作来实现，把高维的特征图重建到含有三个通道的6.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，7.根据权利要求5所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，8.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，所述损失函数包括生成器网络的损失函数；生成器网络的VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特征表9.根据权利要求1所述的一种基于条件生成对抗网络的单幅图像超分辨率重建方法，采用随机初始化的方法训练条件生成对抗网络模型，从训练好的模型参数中随机选择一个批次的45[0002]单幅图像的超分辨率(SISR)旨在从一个单一的低分辨率图像(LR)恢复高分辨率[0003]目前超分辨率重建的方法主要分为两类：(1)将超分看成是图像处理中的不适定补补丁子空间的策略。稀疏编码的方法使用基于稀疏信号表示的字典学习LR和HR之间的Kim等人首先介绍了残差网络，用于训练更深层次的网络架构(VDSR)，并取得了卓越的性[0004]Ledig等把生成对抗网络(GenerativeAdversarialNetwork,GAN)应用于超分辨率重建。提出了基于生成对抗网络的超分辨率(Super-ResolutionUsingaGenerative建方法，将需要重建的单张低分辨率图像输入至预先训练好的条件生成对抗网络模型中，6[0011]对每张高分辨率训练图像和低分辨率图像进行随机剪裁得到高分辨率训练图像在原始真实图像y的条件下，判断当输入图像为原始真实图像y时的真伪，D(y,G(x)[0021]所述全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的7[0032]VGG损失定义为生成器网络模型G生成的超分辨率图像G(x)和原始真实图像y的特[0044]2、本发明在生成对抗网络中加入深度残差学习模块，对传统的残差块进行改8进——去掉所有的批归一化层(图2中的BN)。因为批归一化层在很大程度上重置了网络的[0045]3、本发明采用预训练初始化的方法可以有效的提高网络的收敛速度和模型的性[0056]如图1所示，本实施例的一种基于条件生成对抗网络的单幅图像超分辨率学习方练图像随机裁剪一个88x88大小的高分辨率图像块，对应的低分辨率图像在同样的位置裁[0059]本实施例的随机裁剪是在图像上随机裁剪不重合的图像块，一张图像可以裁剪1[0061]本实施例的条件生成对抗网络(CGAN)模型包括生成器网络模型G和判别器网络模9区分原始真实图像和超分辨率图像。生成器网络模型G的目的是使得生成的超分辨率图像在原始真实图像y的条件下，判断当输入图像为原始真实图像y时的真伪，D(y,G(x)[0065]判别器网络模型D的目标是尽可能正确地识别出真实的图像，络模型D就组成了一个最大最小游戏。在训练过程中双方都不断优化自己，直到达到平器网络模型D来最大化区分真实图像y和由生成器网络模型G生成的图像的概率。判别器网定判别器网络模型D，更新生成器网络模型G的参数，生成器网络模型G的目的是让D(y,G器将无法区分G(x)和y。实际上，公式1可能无法为生成器网络模型G提供足够的梯度来学[0072]全局特征学习层是把浅层特征层提取的特征图与深度残差学习模块所得的特征型G生成的超分辨率图像G(x)和原始真实图像y[0091]把步骤1中的训练集输入到条件生成对抗网络模型中，并使用预先训练好的模型[0098]条件生成对抗网络模型中的生成器网络模型G结构如图2所示。生成器网络模型G的输入是低分辨率图像LR，紧接着用256个卷积核大小为9x9的滤波器对其进行特征提取。[0099]条件生成对抗网络模型中的判别器网络模型D结构如图3所示。K表示卷积核的大[0100]步骤四：将数据放入到条件生成对抗网络模型中进行训练。大的图像块大小是随机初始化的方法要更容易收敛且速度较快。图5为深度残差模块中加入的不同残差块数