计算机视觉应用开发课件：SRGAN

SRGAN基于生成对抗网络的图像超分辨率（SRGAN）01任务SRGAN网络结构02任务学习目标了解SRGAN的由来掌握SRGAN的网络结构1基于生成对抗网络的图像超分辨率（SRGAN）1基于生成对抗网络的图像超分辨率（SRGAN）之前超分的研究虽然主要聚焦于“恢复细粒度的纹理细节”这个问题上，但将问题一直固定在最大化峰值信噪比(PeakSignal-to-NoiseRatio,PSNR)上，等价于最小化与GT图像的均方重建误差(meansquaredreconstructionerror,MSE)。而这也就导致：高频细节(high-frequencydetails)的丢失，整体图像过于平滑/模糊；与人的视觉感知不一致，超分图像的精确性与人的期望不匹配（人可能更关注前景，而对背景清晰度要求不高）。1基于生成对抗网络的图像超分辨率（SRGAN）从而提出几个改进：（1）新的backbone：SRResNet；（2）GAN-basednetwork及新的损失函数：（3）adversarialloss：提升真实感(photo-realisticnaturalimages)；（4）contentloss：获取HRimage和生成图像的感知相似性(perceptualsimilarity)，而不只是像素级相似性(pixelsimilarity)；或者说特征空间的相似性而不是像素空间的相似性。（5）使用主观评估手段：MOS，更加强调人的感知。1基于生成对抗网络的图像超分辨率（SRGAN）SRGAN(Super-ResolutionGenerativeAdversarialNetwork)即超分辨率GAN，是ChristianLedig等人于16年9月提出的一种对抗神经网络。利用卷积神经网络可以实现单影像的超分辨率，但是正如SRCNN所展示的效果，其瓶颈仍在于如何恢复图像的细微纹理信息。对于GAN而言，将一组随机噪声输入到生成器中，生成的图像质量往往较差。因此，作者提出了SRGAN，并定义一个loss函数以驱动模型，SRGAN最终可以生成一幅原始影像扩大4倍的高分辨率影像。SRGAN算法指出，尽管其他方法超分重建方法中的PSNR值会比较高，但是重建出来的图像并不能够很好的符合人眼主观感受，丢失了细节纹理信息。2SRGAN网络结构2SRGAN网络结构该模型是由两个网络组成的深层次神经网络结构，将一个网络与另一个网络相互对立。一个神经网络称为生成器，生成新的数据实例；另一个神经网络称为鉴别器，评估它们的真实性，即鉴别器判断所审查的每个数据实例是否属于实际训练数据集。基于生成对抗网络的图像超分辨率（SRGAN）将生成对抗网络（GAN）应用到图像超分辨率领域。生成器模型根据输入的低分辨率图像生成其对应的高分辨率图像，而鉴别器用于判断图像属于生成的高分辨率图还是真实的高分辨率图像。两者相互迭代训练，直到鉴别器无法分辨出输入的图像是生成的图像还是真实的图像，则认为两者达到了纳什均衡。最后生成器模型能够生成出以假乱真的高分辨率图像。2PSNR的作用图为SRGAN中生成器和鉴别器的网络结构图：生成器结构为：16层深度残差+1层初始的深度残差+2次2倍反卷积+1个卷积产生生成结果。判别器结构为：8层卷积+reshape,全连接。2PSNR的作用VGG-19结构：在VGG-19的第四层，返回获取到的特征结果，进行MSE对比。注意：VGG-19是使用已经训练好的模型，这里只是拿来提取特征使用，对于生成器，根据三个运算结果数据，进行随机梯度的优化调整：（1）判定器生成数据的鉴定结果；（2）VGG-19的特征比较情况；（3）生成图形与理想图形的MSE差距。2PSNR的作用其中SRGAN的每个模块的关系图如图所示：为了防止重建图像过度平滑，SRGAN重新定义了损失函数，并将其命名为感知损失(Perceptualloss)。感知损失有两部分构成：感知损失=内容损失+对抗损失。2PSNR的作用对抗损失就是重建出来的图片被判别器正确判断的损失，这部分内容跟一般的GAN定义相同。SRGAN的一大创新点就是提出了内容损失，SRGAN希望让整个网络在学习的过程中更加关注重建图片和原始图片的语义特征差异，而不是逐个像素之间的颜色亮度差异。以往在计算超分重建图像和原始高清图像差异的时候是直接在像素图像上进行比较的，用的MSE准则。SRGAN算法提出者认为这种方式只会过度的让模型去学习这些像素差异，而忽略了重建图像的固有特征。已经有很多模型专门提出来提取图像固有特征然后进行分类等任务。只需要把这些模型中的特征提取模块截取出来，然后去计算重建图像和原始图像的特征，这些特征就是语义特征了，然后再在特征层上进行两幅图像的MSE计算。在众多模型中，SRGAN选用了VGG19模型，其截取的模型命名为truncated_vgg19。所谓模型截断，也就是只提取原始模型的一部分，然后作为一个新的单独的模型进行使用。2PSNR的作用重新整理下内容损失计算方式：（1）通过SRGAN模型重建出高清图像HR；（2）通过truncated_vgg19模型对原始高清图像H和重建出的高清图像HR分别进行计算，得到两幅图像对应的特征图H_fea和HR_fea;（3）计算H_fea和HR_fea的MSE值；从上述计算方式上看出，原来的计算方式是直接计算H和HR的MSE值，而改用新的内容损失后只需要利用truncated_vgg19模型对图像多作一次推理得到特征图，再在特征图上进行计算。2PSNR的作用2PSNR的作用生成网络的损失函数为：包含：

：重构损失，生成图像与GT图像的逐像素点MSE损失；

：感知损失(perceptualloss)，由对抗损失和内容损失组成。

：内容损失(contentloss)，VGG网络中第

i

层第