【《基于样式的生成对抗网络模型综述》1600字】

基于样式的生成对抗网络模型综述在深度学习中，图像生成模型通过学习所给图像训练集的隐含内部特征来生成全新的仿真图像。目前，图像生成模型主要分为四类：基于自回归的模型，变分自编码器，生成对抗网络以及流模型。其中，以生成对抗为核心思想的GAN以其能在较短训练之后就可以生成以假乱真的样本的显著优势迅速脱颖而出，并衍生出了很多基于GAN的变体，比如StyleGAN、PGGAN、BigGAN等等。如今，GAN已经一跃成为近些年最火热的图像生成模型。GAN主要由生成器网络和判别器网络两个神经网络组成，其中生成器和判别器以类似零和博弈的思想相互对抗。起先，生成器生成虚假或伪造的数据，判别器可以将其鉴定为假，然而随着训练的持续推进，生成器逐渐掌握了真实数据的分布并开始生成会被判别器判定为真的“假”数据。这种情况会一直持续到判别器无法将其分类为不真实的并且生成器输出的所有数据看起来都像真实数据。因此GAN的主要结构为：生成器的输出连接到判别器的输入，并根据判别器的输出计算损失，并通过反向传播，为后续迭代训练更新生成器的权重。StyleGAN是目前最先进的高分辨率图像生成方法，其脱胎于GAN继承了生成对抗的思想，StyleGAN的主要工作，是对将有效的信息的隐码表示直接灌给输入层的传统生成器的重新设计，如图2.7所示。图STYLEREF1\s2.SEQ图\*ARABIC\s17传统生成器结构与StyleGAN生成器结构REF_Ref21225\r\h[20]下面，对StyleGAN生成器的主要结构进行分别介绍。（1）非线性映射层不同于直接将隐码灌给输入层，基于样式的生成器首先将隐码通过一个8层的全连接层进行非线性映射f:Z→W，其中z和ω具有相同的维数512×1,非线性映射层将输入向量编码为中间向量，中间向量之后传给生成网络(18层)得到18个控制向量（每两层一个style对应两个控制变量），这样操作能够使控制向量中的不同元素拥有控制生成图像中不同特征的能力。非线性映射层的意义在于当后续得到的18个控制向量之间出现特征纠缠的问题时，非线性映射层可以为输入向量的特征解缠提供一条学习的通路。（2）自适应实例归一化AdaIN层AdaIN模块执行的是仿射变换功能，本质是一个全连接层，在非线性映射层创建的编码信息传输到合成网络之前，首先通过一个可学习的仿射变换为： AdaIN(xi,y)=其中，xi表示输入图像特征图，y为由ys和yb组成的样式控制向量，ys和yb分别为缩放因子和偏移因子，ys,i与y中的缩放和偏移因子会与完成标准化操作之后的卷积层输出做一个加权求和，就完成了一次ω影响xi的过程。这样做的目的是实现style控制。它让ω(即变换后的ys,i与yb,i)影响图像的全局信息，而能够保留生成图像主要特征的关键信息由上采样层和卷积层来掌控，因此另外，上面提到生成器由18层网络组成，对应处理分辨率4×4到1024×1024,即两层一个阶段共9个生成阶段组成，其中每个阶段都会受两个控制向量y=(ys（3）常量输入StyleGAN生成图像的特征是由ω和AdaIN控制的，生成器的初始输入可以被忽略，并用常量值替代。这样做的好处是首先可以降低由于初始输入取值不当而生成一些异常照片的概率（这一现象在GAN中非常普遍），另一个好处是它有助于减少特征纠缠，对于网络在只使用ω不依赖于纠缠输入向量的情况下更容易学习。（4）高斯噪音图像中往往存在一些随机的区域，比如头发的纹理，人脸的雀斑等细枝末节，为了生成的图像更加逼真，需要将这些细微的特征加入图像。向输入向量中添加随机噪声是比较常用的方法，为了控制噪声仅影响图片样式的微小变化而不影响其它主要特征，StyleGAN采用类似于AdaIN机制的方式添加噪声。StyleGAN在进行AdaIN操作前对每个通道添加一个缩放过比例的噪声，并稍稍改变其操作的分辨率级别特征的视觉表达方式。加入噪声这一步骤后，生成图像往往更加逼真，多样性也得到了提高。在生成器结构中，高斯噪音通过一个