SR in DL深度学习的超分重建方法综述

SRinDL综述sina：@CD_555问题描述

距离设备模糊降采样任务描述

LR=>HR基于重建配准对齐+求解LR-》HR参数基于学习获得高频信息低频信息的映射关系浅层学习样本（特征）库构建+学习（搜索）+重建深度学习基于深度学习的方法state-of-art讲过啦加深、残差学习、训练trick、改进deconv、前馈系列SRCNN

（2015cvpr）香港中文大学Dong等率先将卷积神经网络引入到SR问题中方法的主要思想:以深度学习与传统稀疏编码之间的关系作为依据,将网络分为图像块提取、非线性映射、图像重建三个阶段;三个阶段统一到一个深度卷积神经网络框架中（端到端学习）重建结果比SCSR(Sparsecodingbasedsuperresolution)方法的结果有较大提高.细节：几天trainingdataset：ImageNet输入：HR-LR(HRdownsample)VDSR——verydeep

（2016）在SRCNN的基础上，VDSR借鉴VGG网络结构，设计了含有20个权值层的深度网络提高lr，用clipping解决随之而来的梯度爆炸细节：input：sub-imageswithoutoverlap；batchsize=64；multiscale{x2x3x4}conv_pad=sameloss=msehighlr=0.1，每20epochx0.1；共80epoch；geadientclipto[−θ/lr,θ/lr]4htrainingonTitanZdataset：291张图（BSD200张+别的91张）+数据增广FSRCNN——fastSRCNN

（2016.8）在SRCNN的基础上，FSRCNN采用瓶颈结构，加速训练，比teststateSRCNN快41倍针对不同scaleingfactor{x2x3x4}，只重训练“deconv”细节：loss：MSEdataset：91快速+自备100张bmp图微调+数据增广lr：conv1e-3、deconv1e-4；微调时减半ESPCN——EfficientSub-Pixel

（2016.9）主要思想：关注如何放大的过程1.上采样+卷积：其实上采样的kernel（bicubic）不是学来的，所以并没有额外有用信息而且先上采样的话，卷积计算量更大了

2.deconv：被证明1只是2的特殊形式（比起3计算了很多03.sub-pixel：比1快r^2比2快log_2(r^2)ps：资料显示1比2的效果要好，因为2在多数情况下会有棋盘效应（http://distill.pub/2016/deconv-checkerboard/）3比2更有效率（/Tetrachrome/subpixel）前馈系列结果

反馈系列DRCN——Deeply-Recursive

（2016cvpr）VDSR有20层深层网络,缺乏层间信息反馈及上下文信息关联,Kim等提出了深度递归卷积网络的SR方法(DRCN).网络结构:嵌入网络（图->feat）,推理网络（干活）,重建（恢复大小）网络三部分.其中推理网络含多个递归层。若展开来看（20层）,相同的滤波器递归地应用,没有增加新的权值参数.在连接方式上,所有递归层共享一个重建层,可通过跳跃连接来构建递归层与重建层的联系.细节：loss：L1：单层MSE;L2:D层加权MSE为了缓和循环时的梯度积累（消失/爆炸），采用加权循环层的形式先把L1占比调高，之后慢慢降低，对循环层来说更好收敛dataset:91图lr：0.01，每5epoch后valerr不下降则再x0.1，<1e-6时停止训练6daysonTitanXGPU

如果不共享重建层：a=>b如果共享conv参数：a=>cFD——fastdeconv步骤：初始上采样、快速反卷积（含梯度先验计算）：首先,采用双三次插值初始化低分辨率图像到合适的分辨率由快速反卷积估计恢复到高分辨率图像为了把高频当做先验，且同时加速卷积，先进行快速傅里叶变换,在傅里叶变换域进行卷积更加有效;最后,经傅里叶逆变换得到重建图像重建图像主观质量较好,且算法速度进一步提升.ps：感觉这里说的反卷积是指“解卷积”DEGREE——Deepedgeguidedrecurrentresidual将图像信号分解到不同的频带分别重建再进行组合的方式可保留图像重要的细节信息.主要思想:LR的边缘作为先验信息,为特征映射学习提供指导为避免忽略不同频带间的固有性质(高频边缘和纹理细节信息),通过递归残差网络将图像信号分解为边缘、纹理等多个成分,各部分独立重建;最后,不同频带信息组合得到最终的重建图像.网络结构:

LR边缘提取层;递归残差网络;HR边缘预测层;残差子带融合层.训练策略:loss:边缘损失+重建损失+总损失.均衡了边缘重建与最终重建图像间的损失,进一步利用了图像的边缘信息.华丽系列SRGAN主要思想：deep+residual+skipconnectionsub-pixelGANperceptualloss（来自styletransfer）细节：dataset：ImageNetinput：固定scalefactor=4的HR-LRpair；batchsize：16randomcrop96x96lr：1e-4for1e5iter，然后剩下1e5iter用1e-5GAN难训练，所以是先训练没有D的G版本，作为SRGAN的G初始化值再深的结构就很难搞了（高频artifact现象）SRGAN

SRGAN

LapSR主要思想：非L2loss：解决过于平滑的问题层级训练：粗到细；一次前馈多个尺度训练高频残差：边缘恢复的质量更好ps：也可以像SRGAN那样轻易扩展成对抗结构哦细节：端到端训练，所以是multi-lossbatchsize：ramdon64patch128x128dataset：291images+增广（scalerotateflip）lr：1e-5=每50epoch=>x0.5Reference基于深度学习的图像超分辨率复原研究进展【SRGAN】Photo-RealisticSingleImageSuper-ResolutionUsingaGenerativeAdversarial【LapSRN】DeepLaplacianPyramidNetworksforFastandAccurateSuper-Resolution【SRCNN】ImageSuper-ResolutionUsingDeepConvolutionalNetworks【DRCN】Deeply-RecursiveConvolutionalNetworkforImageSuper-Resolution【VDSR】AccurateImageSuper-ResolutionUsingVeryDeepConvolutionalNetwork【FSRCNN】AcceleratingtheSuper-Resolut