【《基于生成对抗网络的遥感图像融合模型分析》2200字】

基于生成对抗网络的遥感图像融合模型分析（一）生成对抗网络生成对抗网络（GenerativeAdversarialNetwork，GAN），顾名思义需要“对抗”和竞争，即让两个网络互相竞争，达到学习的目的。该方法由IanJ.Goodfellow等人于2014年提出REF_Ref103787464\n\h[21]。在图像处理方面效果显著，各种研究也逐渐深入。生成对抗网络模型包含两部分，首先是生成器模型G，其次是判别器模型D。其根本目标是为了训练生成器，使生成器能够产生令人满意的结果。这一过程需要模型G和模型D共同作用。其中，模型G的目标是要生成结果，这种结果虽与真实样本存在差别或不同，但应尽可能相似；而模型D的目标则是要区分出给定的结果是真实的样本还是由模型G生成结果。很明显，这两个模型的目标完全相反，一个是为了“造假”，另一个是为了“存真”，两个模型的不断对抗和竞争会使二者的能力不断提高。最终的结果是：模型D辨别真伪的能力很强，但是却无法分辨给定样本是不是由模型G产生的。说明此时模型G的能力已经达到炉火纯青，产生的结果也会令人满意。其基本原理图如图3.8所示。图3.8生成对抗网络基本原理REF_Ref103787243\n\h[14]在图3.8中，黑色点的部分表示真实的数据正态分布，绿色线的部分就是生成器G不断学习从而不断接近真实情况的过程，而蓝色的虚线部分是判别器D不断降低其损失函数，达到最优的过程。生成对抗网络可以生成较好的图像，所以在计算机视觉方面有比较好的优势。生成对抗网络模型的优化目标为：(8)其中判别器模型D需要使上述式子最大化，而生成器模型G需要最小化。其中，表示真实的数据，服从的分布为pdata，z表示用来生成图像的数据，G(z)表示的是生成的图像REF_Ref103787490\n\h[39]。与下面等价：(9)其中D(x)ϵ(0,1)表示概率，pg(x)表示的使样本服从的分布情况。在保持G不变时，判别器模型D的最优解为：DG∗x=(10)（二）Pan-GAN——基于生成对抗网络模型的遥感图像融合模型REF_Ref103788195\n\h[22]1.网络模型结构生成对抗网络模型经过不断改进，有了许多衍生模型。例如深层卷积生成对抗网络(DeepConvolutionalGenerativeAdversarialNetworks，DCGAN)REF_Ref103787509\n\h[23]，DCGAN模型比一般的生成对抗网络模型更稳定，得益于一套稳定训练网络结构的规则。Wasserstein生成对抗网络(WGAN)REF_Ref103787518\n\h[24]通过修改GANs的目标函数来放松GANs的训练要求，这使得模型比原始GANs收敛速度慢。最小二乘对抗网络(LeastSquareGAN，LSGAN)REF_Ref103787532\n\h[25]使用最小二乘损失函数,LSGAN比常规GAN有两个优势。其一是其图像质量会更好，其二是比较稳定。此模型即采用LSGAN作为基本模型。Pan-GAN网络结构包括生成器、光谱判别器和空间判别器。它们的架构都是基于CNN设计的，如图3.9所示。生成器采用上文提到的泛锐化神经网络模型PNN，PNN的体系结构更简单，易于训练。尺寸分别为9×9、5×5和5×5。使用填充将步幅设置为1，每个层中提取的特征贴图的数量分别设置为64、32和4。各层的激活函数基本上都是ReLU，最后一层使用双曲正切函数(tanh)作为激活函数。此外，添加了一些跳过连接REF_Ref103787332\n\h[18]。这些跳过连接可以将更多细节转移到后面的层，以充分利用有效信息。判别器使用完全卷积神经网络，每个判别器由六层组成。前五层的尺寸为3×3，最后一层的尺寸为4×4。前五层的步幅设置为2，最后一层设置为1。不同层中提取的特征图数量分别设置为16、32、64、128、256和1。图3.9Pan-GAN模型结构所有多光谱图像都有4个光谱带。首先进行上采样将多光谱图像的尺寸放大，之后与全色图像一起在通道上进行叠加。接着将结果作为生成器模型G的输入，由G输出融合图像Pan-GAN。然而，仅由损失函数引导而不使用两个判别器的生成结果往往会出现严重的光谱失真或缺乏空间信息，这无法在光谱和空间信息之间取得平衡。所以，为了解决该问题，对原有的融合任务进行分割，分成两个子任务，分别是保持空间信息和光谱信息，使用两个判别器来分别完成，其中第一个判别器D1称为光谱判别器，其目的是强制生成图像的光谱信息与多光谱图像的光谱信息一致。第二判别器D2被称为空间判别器，其目的是强制生成的图像的空间信息与全色图像的空间信息一致。2.处理流程模型框架使用原始源图像作为训练数据，在不受地面真值监督的情况下获得融合图像。将图像融合问题描述为一个多任务问题，并利用对抗性策略解决该问题。第一步进行插值，对生成器生成的多光谱图像进行，第二步将第一步的结果和生成的图像都加入到判别器D1中，从而使生成的融合图像的光谱分布与原始多光谱图像的光谱分布一致。接着对生成器生成的融合图像沿通道维度进行平均池化，以获得单个通道中的图像。然后将该单通道图像和全色图像输入到D2中，使生成的图像Pan-GAN的空间分布与原始全色图像的空间分布一致。在训练过程中，一旦这两个判别器不能区分它们的输入，我们就可以得到理想的融合图像。生成器损失函数分为两部分，用如下公式表示：(11)其中，LG表示总的损失，Lspectral表示光谱信息损失，即多光谱源图像与融合后结果图像之间光谱信息的损失。Lspatial表示空间信息损失，即全色图像与融合后结果图像之间空间信息的损失。虽然模型采用两个判别器，分别判断空间和光谱信息。但是两者的损失可统一为下述式子：(12)I(n)表示要进行拟合的目标图像，a和b分别为目标图像和结果图像的标签。采用最小二乘函数作为损失函数。3.模型训练训练步数设置为100000。动量μ设置为5，学习速率α设置为0.002。初始化学习率设置为0.0001，衰减率设置为0.99，衰减步长设置为10