生成式视觉模型原理与实践 课件chapt4 生成对抗网络2

生成式视觉模型

原理与实践9:16:40下午1第4章生成对抗网络

（2）进阶模型9:16:40下午2原始GAN的问题梯度消失问题模式坍缩问题网络结构简单需要大量样本……9:16:40下午3生成低质量样本需要大幅改进！主要内容损失函数网络架构正则化条件输入方式9:16:40下午4隐变量解耦数据增强二次采样大模型技术1.损失函数Wasserstein损失WGAN、WGAN-GP等Hinge损失GeometricGAN、SNGAN、SAGAN、BigGAN、ReACGAN、ADCGAN等9:16:40下午5预备知识：Wasserstein距离Wasserstein距离（WassersteinDistance），也被称为推土机距离（EarthMover’sDistance,EMD），是一种用于度量两个概率分布之间差异的方法。9:16:40下午6预备知识：Wasserstein距离9:16:40下午

7预备知识：Wasserstein距离Wasserstein距离通过衡量将一个分布转化为另一个分布所需的最小总成本来计算两个概率分布之间的距离。直观上，Wasserstein距离可以被理解为“移动土堆”的最小成本，所以也被称为推土机距离。9:16:40下午8预备知识：Wasserstein距离

9:16:40下午9

预备知识：Wasserstein距离

9:16:40下午10

预备知识：Wasserstein距离

9:16:40下午11

预备知识：Wasserstein距离即使在两个分布的支撑集没有重叠或重叠非常少的情况下，Wasserstein距离仍然能反映两个分布的远近。相比之下，像Kullback-Leibler散度（KL散度）或Jensen-Shannon散度（JS散度）在两个分布不重叠时可能失效。9:16:40下午12预备知识：Lipschitz连续函数Lipschitz连续函数是数学中的一个重要概念，用于描述函数在定义域内任意两点之间的变化率都有一个全局的上限。如果一个函数满足Lipschitz条件，那么它的函数图像在任何地方都不会陡峭到无限的程度，从而为函数的行为提供了强有力的局部约束。9:16:40下午13预备知识：Lipschitz连续函数

9:16:40下午14预备知识：Lipschitz连续函数

9:16:40下午15预备知识：Lipschitz连续函数

9:16:40下午16复习：原始GAN最小化JS散度

9:16:40下午17Jensen-Shannondivergence（JS散度）梯度消失和模式坍缩均与最小化JS散度有关Wasserstein损失Arjovsky等人（2017）提出了WassersteinGAN（WGAN）WGAN用Wasserstein距离替代JS散度显著提升了GAN的稳定性和生成质量9:16:40下午18Wasserstein损失

9:16:40下午19Wasserstein损失9:16:40下午20

Wasserstein损失

9:16:40下午21

Wasserstein损失

9:16:40下午22评价网络（CriticNetwork）Wasserstein损失

9:16:40下午23Wasserstein损失

9:16:40下午24为什么？WassersteinGAN（WGAN）评价网络（CriticNetwork）给真图打高分，给假图打低分生成网络（GenerativeNetwork）生成让评价网络打分尽可能高的样本最终损失函数9:16:40下午25WGAN-GPWGAN的权重剪切法存在两个关键缺陷它将评价网络的权重限制在一个固定范围内，这可能导致权重集中在剪切阈值的两端，从而限制了评价网络的表达能力权重剪切方法并不能完全保证判别器满足Lipschitz连续性条件，反而可能引发训练过程中的不稳定性9:16:40下午26WGAN-GPGulrajani等人提出了WGAN-GP模型，该模型通过引入梯度惩罚项（GradientPenalty,GP）替代了WGAN的权重剪切方法，实现了对评价网络梯度行为更加灵活的控制[GULRAJANIetal.,2017]9:16:40下午27WGAN-GP

9:16:40下午28Hinge损失Hinge损失（HingeLoss），也称铰链损失，最初是在支持向量机中引入的，用于处理分类问题，特别是二分类问题9:16:40下午29Hinge损失

9:16:40下午30Hinge损失Hinge损失的基本思想是在正确分类的同时，最大化不同类别之间的间隔（Margin）使得分类器更加关注难以分类的样本，即那些靠近决策边界的样本，从而提高模型的泛化能力9:16:40下午31Hinge损失在GAN模型中，判别器实质上也可以被视为一个二分类器。因此，在训练判别器的过程中，我们可以考虑采用Hinge损失来替代原始GAN模型中所使用的交叉熵损失9:16:40下午32Hinge损失基于Hinge损失，Lim等人定义了如下的评价网络（判别器）损失函数[Lim&Ye,2017]：生成器的损失函数9:16:40下午33Hinge损失

9:16:40下午34Hinge损失9:16:40下午35

2.网络架构深度卷积架构：DCGAN谱归一化：SNGAN自注意力机制：SAGAN提升模型规模：BigGANViT结构：ViTGAN9:16:40下午36深度卷积架构：DCGAN原始GAN和cGAN模型所采用的网络架构均设计为仅包含三层全连接层的全连接网络，无法处理复杂的高维图像数据。DCGAN（2015）利用卷积神经网络来构建GAN的生成器和判别器，并为网络架构设计提供了指导性意见，对GAN模型的发展具有重要意义。9:16:40下午37[1]Arjovsky,Martin,SoumithChintala,andLéonBottou."Wassersteingenerativeadversarialnetworks."ICML’17.深度卷积架构：DCGAN主要贡献：利用卷积来进行上/下采样步长卷积（下采样）、转置卷积（上采样）批量归一化激活函数ReLU、LeakyReLU避免使用全连接层9:16:40下午38深度卷积架构：DCGAN9:16:40下午39生成器判别器谱归一化：SNGANMiyato等人利用谱归一化(SpectralNormalization)来归一化判别器每个权重矩阵的谱范数(SpectralNorm)，从而防止权重在训练中有较大波动进而提出SpectralNormalizationGAN（SNGAN）防止模式坍缩，提高GAN的收敛性9:16:40下午40[1]Miyato,Takeru,etal."SpectralNormalizationforGenerativeAdversarialNetworks."ICLR’18.谱归一化：SNGAN

9:16:40下午41

方法一：SVD分解9:16:40下午42

方法二：通过特征值计算9:16:40下午43通过特征方程求解例题1：最大奇异值计算9:16:40下午44例题2：谱归一化后的Lipschitz连续性9:16:40下午45L2诱导范数（即谱范数）

方法一和二属于精确计算，但只适用于小矩阵方法三：幂迭代法（Poweriteration,近似方法）9:16:40下午46SNGAN的ResNet网络架构9:16:40下午47SNGAN的ResNet网络架构9:16:40下午48自注意力机制：SAGAN传统GAN模型主要依赖卷积操作来建模图像区域间的依赖关系，然而，卷积操作的感受野有限，难以有效捕捉图像中的远距离依赖关系，尤其在生成精细细节时显得力不从心。Zhang等人于2019年提出了Self-AttentionGenerativeAdversarialNetwork（SAGAN）。9:16:40下午49[1]Zhang,Han,etal."Self-attentiongenerativeadversarialnetworks."ICML’19.自注意力机制：SAGAN引入自注意力机制，适合长距离关系建模对生成器和判别器均应用了谱归一化技术在2018-2019年左右达到新能最佳启发了重要的条件生成式模型BigGAN9:16:40下午50SAGAN的网络架构9:16:40下午51提升模型规模：BigGANBrock等人于2019年提出了BigGAN模型，该模型旨在通过提升模型规模、优化训练方式、改进采样方式等手段，突破GAN在生成复杂高分辨率图像时面临的瓶颈问题，从而极大推动了基于类别的生成模型性能的提升。9:16:40下午52BigGAN的改进

9:16:40下午53BigGAN的网络结构9:16:40下午54BigGAN的网络结构9:16:40下午55ViT结构：ViTGAN用VisionTransformer(ViT)完全替代卷积神经网络(CNN)来作为生成器和判别器的架构与基于CNN的最新GAN模型表现相当9:16:40下午56[1]Lee,Kwonjoon,etal."ViTGAN:TrainingGANswithVisionTransformers."ICLR2022.3.正则化正则化（Regularization）在GAN中扮演着至关重要的角色。它主要通过引入额外的约束或惩罚项来限制模型的复杂度或保持某些良好特性，从而帮助稳定GAN的训练过程、防止过拟合，并提升生成图像的质量和多样性。9:16:40下午573.正则化权重衰减一致性正则化梯度正则化……9:16:40下午58权重衰减

9:16:40下午59权重衰减的作用防止过拟合提高模型稳定性平衡生成器和判别器的性能9:16:40下午60已集成进优化器9:16:40下午61一致性正则化一致性正则化（ConsistencyRegularization,CR）是机器学习领域中常用的一种技术。核心思想是通过引入一致性约束来增强模型的泛化能力和稳定性。这种正则化策略鼓励模型在面对轻微扰动的输入时，能够产生一致或相似的输出。有助于降低模型对输入噪声的敏感性，并促使模型学习到更加平滑的决策边界。9:16:40下午62一致性正则化Odena等人于2020年提出了一致性正则化生成对抗网络（ConsistencyRegularizedGAN,CR-GAN）。在训练判别器时，CR-GAN的损失函数增加了一个一致性正则化项，即9:16:40下午63

梯度正则化

9:16:40下午64回忆：K-Lipschitz连续是如何定义的？4.条件输入方式特征图拼接辅助分类器条件批归一化标签投影一维连续条件9:16:40下午65复习：原始cGAN

9:16:40下午66如何将条件输入到神经网络中呢？常见方法9:16:40下午67生成器判别器特征图拼接通过在隐藏层进行条件拼接来实现条件生成功能简单、易于实现，既适用于生成器也适用于判别器9:16:40下午68生成器判别器辅助分类器：ACGAN在判别器网络的末尾中增加一个辅助分类网络，并引入一个辅助分类任务9:16:40下午69辅助分类器：ACGANACGAN的总损失函数为对抗损失和辅助分类损失的线性组合：9:16:40下午70对抗损失辅助分类损失条件批归一化是传统批归一化（BatchNormalization,BN）的变体，它在批归一化公式中引入了条件信息，以增强模型在特定条件下的生成能力。这种方法已被证明在生成对抗网络中具有显著效果，并且已被多种著名的GAN模型，如SNGAN、SAGAN、BigGAN等采用。9:16:40下午71复习：传统批归一化

9:16:40下午72复习：常见归一化方法9:16:40下午73批归一化层归一化实例归一化群归一化复习：常见归一化方法9:16:40下午74条件批归一化将条件信息融入到缩放和偏移参数中，使得这些参数不再是全局固定的，而是根据输入的条件动态变化:9:16:40下午75条件批归一化一般将生成器网络的某些批归一化层替换为条件批归一化层9:16:40下午76标签投影在现代cGAN模型中，一种常用的向判别器网络输入条件的方法被称为标签投影（LabelProjection）。这一方法已经被多种著名的cGAN模型所采用，包括SNGAN、SAGAN、BigGAN等。9:16:40下午77标签投影9:16:40下午78一维连续条件传统cGAN不能以连续的标量，又称回归标签（例如年龄或角度）为条件进行生成式建模9:16:40下午79为什么？原因损失函数无法适用于回归标签缺乏合适的标签输入方式（为什么？）9:16:40下午80回顾9:16:40下午81生成器判别器传统方法无法编码回归标签回归标签是连续的，可能有无数种取值，回归标签可能有缺失值（未在训练集中观测到的取值）9:16:40下午82连续条件生成对抗网络（CcGAN）

9:16:40下午83连续条件生成对抗网络（CcGAN）9:16:40下午84工程应用工程逆向设计针对高光谱图像的数据扩增可控点云生成SAR图像可控生成预测地质层系中的二氧化碳传播解决高度异质材料属性的稳态问题……极大促进了不同学科的交叉！高光谱图像的数据扩增预测CO2传播点云可控生成机翼翼型逆向设计SAR图像可控生成未必只适用于图像数据！5.隐变量解耦InfoGANStyleGAN9:16:40下午855.隐变量解耦9:16:40下午86隐变量解耦（Disentanglement）在GAN模型中指的是将隐空间（即噪声空间）中的变量分解为相互独立或相关性较小的部分，每部分变量控制生成图像的不同属性或特征。通过解耦，可以更容易地操纵生成图像，实现更精细的控制和生成多样性。InfoGAN信息最大化生成对抗网络（InfoGAN）是对原始GAN模型的一个重要扩展。其核心创新之处在于引入了一个潜在信息变量，并通过最大化这些信息与生成数据之间的互信息，使得生成器能够生成具有特定属性的数据样本9:16:40下午87是cGAN吗？StyleGANStyleGAN是由TeroKarras等人于2019年提出的一种GAN模型的变体。StyleGAN的主要创新之处在于其生成器的架构设计，特别是在生成过程中引入了风格（Style）控制机制，这使得它能够对生成图像的各个层次细节进行独立的控制9:16:40下午88StyleGAN9:16:40下午89StyleGAN

9:16:40下午90StyleGAN合成网络（SynthesisNetwork）：将风格代码转换为最终的图像在合成过程中，每个样式块通过自适应实例归一化（AdaIN）将样式信息注入到对应的卷积层中，从而实现对图像样式的精细控制9:16:40下午91StyleGAN能够无监督的自主解耦(Disentanglement)生成图像中的高阶属性（例如人物的表情、脸部朝向等），从而使用者可以控制图像的生成9:16:40下午926.数据增强DiffAugment负样本扩增9:16:40下午93复习：传统数据增强数据增强（DataAugmentation，DA）是一种提高深度学习模型性能的技术，特别是在图像处理任务中。通过对训练数据进行随机变换，可以生成更多样化的训练样本，从而减轻过拟合，增强模型的泛化能力。常见变换：几何变换、颜色变换、噪声、变形、剪切、混合等。9:16:40下午94DiffAugment可微分数据扩增（DifferentiableAugmentation，DiffAugment）是一种旨在GAN训练稳定性的方法，尤其适用于数据集规模较小的情况。其核心创新点在于，将数据增强操作设计为一个可微分的模块，直接整合到GAN的训练流程之中。9:16:40下午95DiffAugment

9:16:40下午96负样本扩增（NDA）传统数据增强（Data

Augmentation,

DA）利用旋转、翻转、剪切等操作来扩充训练集本质：告诉模型应该生成什么样本负样本扩增（NegativeDA,NDA）生成低质量样本来扩充训练集本质：告诉模型不应该生成什么样本9:16:40下午97负样本扩增（NDA）传统NDADual-NDA9: