【《基于生成对抗网络的图像融合分析案例》6000字】

基于生成对抗网络的图像融合分析案例目录TOC\o"1-3"\h\u19092基于生成对抗网络的图像融合分析案例 177421.1图像生成框架介绍 1194731.1.1Pix2pix 1275381.1.2Pix2pixHD 4265771.1.3DDcGAN 686361.2图像融合质量评价标准与数据集介绍 10274451.2.1图像融合质量评价标准 10244591.2.2数据集 111.1图像生成框架介绍Pix2pixPix2pix是由PhillipIsola等人于2017年在《Image-to-ImageTranslationwithConditionalAdversarialNetworks》中提出的一种通用图像转换框架，由于其可以在不改变网络结构和目标函数的基础上完成不同的图像转化任务而被广泛使用。Pix2pix框架主体上基于cGAN,由一个生成器和一个判别器组成，生成器的输入是待转化图片，与以往框架有所不同的是，判别器的输入是一对图片，为真实图片和待转化图片/生成的假图片和待转化图片，如下图所示，这样导致pix2pix在训练时需要成对的图片数据，这样的输入安排便能实现特定图片向特定风格转化，便于控制输出。图4-1Pix2pix网络结构在设计该网络时，作者的初衷是提供一个能解决大多数图像转化问题的通用框架，即该框架应该能在不改变网络结构及损失函数的情况下经过不同数据集的训练后，有效完成不同的图像转化任务，如灰度图转化为RGB图、轮廓图转化为实景图、白天照转化为黑夜照等。虽然pix2pix是一个图像转化框架，但由于其进行图像转化时同时参考了真实图片和待转化图片，所以可以用于进行图像融合工作，本文的部分工作便是尝试利用该框架进行SAR图像与光学图像的融合，并对实验结果进行了分析。下面简单介绍一下pix2pix网络的结构：(1)目标函数Pix2pix的目标函数由两部分组成，一部分为cGAN网络优化目标，一部分为L1损失，如下式：其中ℒcGAN生成器G尝试最小化这个函数，判别器D尝试最大化这个函数，并将结果反馈给生成器，从而实现博弈。采用cGAN的目标函数主要是为了构建图像的高频目标，使图像的结构更加清晰，细节更佳丰富，而引入L1损失函数是为了构建生成图片的低频部分，让生成图像和真实图像更加接近，由于L1损失本质上是生成图像与真实图像像素之间的距离，因此减小L1损失使得生成图像在轮廓上更加接近于真实图像。作者分别对使用L1、cGAN、L1+cGAN目标函数时网络图片生成质量进行了对比，结果发现使用两者相结合的目标函数可能效果更佳。(2)网络结构Pix2pix的生成器和判别器都使用了卷积层-批量正则化层-ReLu激活层（convolution-BatchNorm-ReLu）结构的卷积单元。其中，生成器采用的是带有跳线的类似“U-Net”的网络，而判别器采用的是马尔可夫判别器（PatchGAN）。传统的生成器采用的是编码-解码（encoder-decoder）网络，这种网络工作时分为编码与解码两个阶段，编码器不断对图片进行下采样，减少图片分辨率，直到瓶颈层，之后解码器进行反向工作，将图片解码为原分辨率图片。编码-解码（encoder-decoder）网络如下图：图4-2编码-解码网络对于一般的生成任务，编码-解码网络或许能很好的满足要求，但对于许多图像生成任务，在网络前端很多图片低层信息流经网络后可能会有很大的损失，为解决这个问题，pix2pix的生成器模仿“U-Net”网络增加了许多跳线连接，如下图所示：图4-3“U-Net”网络如图所示，跳线直接将编码器与解码器中具有同样规模的层连接起来，直接在它们间传递信息，这样便可以很好的保留不同分辨率下的细节信息。此外，为了提高训练效率，pix2pix的判别器选择采用马尔可夫判别器（PatchGAN）。前面提到，目标函数中的L1损失函数用来使生成的图像与真实图像更接近，即重构图像的低频部分，而cGAN的目标函数是为了对图像的细节进行建模，即捕捉图像的高频信息。对于高频图像，图像不同位置的每个小块图像特征差别很大，可以认为是相对独立的，因此不用直接对整幅图像进行真假判别，只需对每一个块（patch）进行判别，再取平均值即可。实验证明，取适当大小的块（patch）可以达到和直接对整幅图片进行判断一样的图像生成质量，甚至更优，同时网络的收敛速度也会变快。Pix2pix的出现证明了条件生成对抗网络可以胜任高质量图像生成任务，该框架也被众多用户在不同的图像转化任务中使用，大多效果可佳。本文将其用在SAR图像与可见光图像融合任务之中，并对结果进行了分析。Pix2pixHD上文提到的pix2pix在很多图像生成任务中表现优异，已取得广泛应用，但实践证明，该框架在处理高分辨率图像生成任务时效果欠佳，生成的图片缺乏细节和真实纹理，这也是许多图像生成网络的通病。为解决此问题，NVIDIA于2018年在《High-ResolutionImageSynthesisandSemanticManipulationwithConditionalGANs》中提出了pix2pixHD模型，该模型是pix2pix的改进版本，但在处理高分辨率图像生成任务时效果比原有模型好很多，并且支持交互式语义操作，具有突破性创新。由于训练的不稳定性，条件生成对抗网络很难生成高分辨图像，pix2pixHD通过使用新的目标函数以及由粗到精的生成器和多尺度判别器，使得训练趋于稳定，并能够胜任高分辨率图像生成任务。其中，生成器被拆解为G1和G2两个网络，G1为全局生成网络，G2为局部增强网络。生成器结构如下图所示：图4-5Pix2pixHD生成器结构全局生成网络G1与局部增强网络G2分别都由三部分组成：卷积前端、残差块、转置卷积末端。该网络中全局生成网络的输入与输出分辨率均为1024×512，训练时首先训练全局生成网络G1，然后再与局部增强网络G2进行联合训练，局部增强网络的输出分辨率是前一个网络的四倍，分别在长与宽方向扩展为原来的两倍，因此可以生成分辨率高达2048×1024的图像，网络也具有很高的灵活性，若要生成分辨率为4096×2048的图像，只需再加一组局部增强网络G3。这样的设计参考了计算机视觉领域中“多分辨率流水线”的思想，往期工作表明这样的做法十分有效。由于pix2pixHD的目的是生成高质量高分辨率图像，因此对判别器的设计有很高要求，该网络采用了金字塔式的多尺度判别器，默认数量为3，即D1、D2、D3。网络先将真实图像和合成图像按2和4的因子进行降采样，以创建一个3比例图像金字塔，三个判别器分别对三种不同分辨率的图像进行判别，由于三个判别器都具有相同的结构，因此在低分辨率图像上进行判断的判别器拥有最大的感受野，可以激励对图像整体轮廓的构建，而在高分辨率上进行判断的判别器更能促进对细节的把握。因此若要生成更佳精细的图像，只需在更高分辨率上添加判别器，这样使得网络的灵活性大大增加。之前所介绍的pix2pix的判别器没有采用多尺度判别器，实验结果表明，pix2pix在生成高分辨率图像时容易产生许多相同的模式，而pix2pixHD没有这类问题。采用多尺度判别器结构后，网络的对抗目标就变成了一个多任务学习问题：其中，ℒGAN式中(s,x)代表输入网络成对的图像。除了ℒGANG,Dk，为了解决GAN网络训练不稳定的缺点，pix2pixHD又引入了一个新的特征匹配损失ℒFMG,Dk，将鉴别器Dk式中，T代表总层数，Ni其中λ用来控制两项的权重，与pix2pix使用L1损失来构建图像的低频分量相比，使用特征匹配损失在高分辨率图像生成任务中效果更佳。除了对目标函数、生成器以及判别器结构进行改良之外，pix2pixHD还创新性地引入实例图（instantmap），在处理语义标签图转化为实景的任务时，语义标签图能够提供对象的位置信息，但无法区分位置连续的同类对象，实例图能够提供对象边界信息，使得生成的高分辨率实景图轮廓更加逼真。虽然在本文所关注的任务：SAR图像与可见光图像融合中并没有用到实例图，但这一特征在某种程度上造就了pix2pixHD的强大。为了实现对图像内容的对象级控制并增加输出图像的多元化，即允许通过一种输入图像输出不同的结果，pix2pixHD额外训练了一个编码器网络E，如下图所示：图4-6Pix2pixHD编码器编码器网络E是一个经典的编码器-解码器网络，通过训练后他能够提取出图像中的低维特征，对每种类别的实例进行编码，例如红砖的纹理、树的枝桠等，基于实例的特征提取方式能使生成图像的实例特征更佳清晰，也能给用户提供良好的交互体验。由于pix2pixHD卓越的高分辨率图像生成能力，本文尝试将其用于SAR图像与可见光图像融合的任务中，并对结果进行了分析。DDcGAN双判别器条件生成对抗网络（DDcGAN,Dual-DiscriminatorConditionalGenerativeAdversarialNetwork）是于2020年被提出用于图像融合的条件生成对抗网络，提出者构造这个网络的最初目的是为了进行红外图像与可见光图像融合工作，后在实验中发现对于其他图像融合问题，该网络也能发挥出卓越的性能。以往的图像融合网络，工作原理往往是使一类图像向另一类图像靠近，例如SAR图像与光学图像融合，融合网络所做的工作便是尽量赋予SAR图像光学特征，同时减少原有的SAR特征，这样也能达到融合的目的，这样融合的结果便是生成图像具有更多的光学特征。DDcGAN的原理与上述图像融合网络有所不同，网络含有一个生成器与两个判别器，两个判别器分别判断生成的图像是否是真实的两个类别的待融合图像。网络结构如下图：图4-7DDcGAN网络框架与pix2pix系列模型不同的是，DDcGAN的判别器输入不是成对的图像，而是生成图像或真实图像。实验中发现，如果输入成对的图像，判别器的任务就简化为判断两幅图像是否相同，这样对判别器的要求就会降低许多，判别器和生成器难以构成敌对关系，生成图像的质量就会下降。因此，单独输入生成图像或真实图像，判别器与生成器之间的博弈关系便能被更好的建立。(1)目标函数网络的对抗目标如下：G=其中，v代表输入可见光图像，i代表输入红外图像，推广的网络中，v,i便代表输入的一对待融合图像。ψ代表降采样操作，作者假设输入的两幅图像不是同一分辨率，其中，红外图像长宽分别是可见光图像1/4，因此生成图像输入红外判别器Di前需进行4由于生成对抗网络训练的不稳定性，除对抗损失外，生成器还额外增加了一项内容损失ℒcon，内容损失能够使得生成的图像与真实图像更加接近，从而稳定训练，联合后的生成器损失ℒ其中ℒG内容损失函数ℒcon此外，DDcGAN中的两个判别器起分辨生成图像与真实图像的作用，对抗性损失能够鼓励生成数据匹配真实分布，其定义如下：在进行SAR与可见光图像融合时，另使用内容函数为ℒcon根据SAR图像特点，采用L1范式，能够使生成的图像轮廓更佳清晰，减少模糊。(2)网络结构在DDcGAN的原始网络中，生成器包含两个反卷积层（deconvolutionlayers）、一个编码网络和一个协同解码网络，如下图所示：图4-8DDcGAN网络结构网络的前端是两个反卷积层，其中，处理红外图像的反卷积层用于学习低分辨率到高分辨率的映射，通过训练后能自动学习映射参数，相比于通过插值提高图像分辨率能更多地保留图像细节信息，该反卷积层的输出为高分辨率特征图。另外，处理可见光图像的反卷积层用于生成同分辨率特征图，当待融合图像分辨率相同时，两个反卷积层结构无差异。编码器由5个卷积层组成，为了避免梯度消失并有效传递特征，网络采用了DenseNet结构，在每层之间都建立了联系，同时每层采用批正则化与ReLU激活函数，以避免梯度爆炸、消失或稀释。一般的生成对抗网络只有一个生成器与一个判别器进行博弈，而DDcGAN存在一个生成器与两个判别器，因此判别器对生成器的指导存在冲突，因此保证两个判别器强度的平衡十分关键，DDcGAN通过特殊的训练策略实现了这种平衡，同时两者共享相同的架构，结构如下图：图4-9DDcGAN判别器虽然DDcGAN是为红外与可见光图像融合而设计的网络框架，但由于其通用性也可用在其他图像融合任务中，当融合图像中含有多光谱图像时，需先对其进行RGB-IHS变换，再用其I通道与灰度图像进行融合，最后进行反变换即可。本文尝试将其用于SAR图像与可见光图像融合任务中，并对结果进行了对比分析。1.2图像融合质量评价标准与数据集介绍图像融合质量评价标准对融合图像质量的评价标准一直是一个值得探讨的问题，大致上可以分为两种，一种是主观评价，一种是客观评价。主观评价指的是人眼通过目视进行效果分析，往往十分有效，能够站在人眼的角度反映出图像质量的好坏，符合人类平时的视觉习惯，但由于人眼对图像的感知不是统一的，因此主观评价是一种十分复杂、不确定的评价方式，进行系统且准确的主观评价十分困难。客观评价指的是利用图像的统计参数进行评判，下面将对一些客观评价标准进行介绍。(1)结构相似性（SSIM）SSIM公式基于待比较样本x和y的三个对比衡量参数：亮度l、对比度c与结构s，公式如下：lcs其中，μx、μy代表x与y的均值，σx2、σy2代表x与y的方差，σxy代表x和y的协方差。为了避免除零，引入c1、c2、c3三个常数，一般取c3则SSIM可由以上三者构成：SSIM特别，当α，β，γ设为1，且c3SSIMSSIM常用来衡量两幅图像之间的相似度，取值范围为[-1,