生成式视觉模型原理与实践 课件chapt4 生成对抗网络1

生成式视觉模型

原理与实践9:16:31下午1第4章生成对抗网络

（1）基础模型9:16:31下午2主要内容原始GAN模型条件GAN模型9:16:31下午33.代码示例1.原始GAN模型生成对抗网络（GenerativeAdversarialNetwork,GAN），由Ian

Goodfellow等人于2014年最先提出，在本课程中被称作原始GAN模型

[GOODFELLOWetal.,2014]。9:16:31下午41.原始GAN模型YannLeCun（杨立昆）称生成式对抗网络为“机器学习这二十年来最酷的想法”。9:16:31下午59:16:31下午6生成对抗网络大家族网络条件损失正则化小样本1.原始GAN模型模型结构损失函数如何理解生成器理论最优判别器9:16:31下午7为什么GAN是生成模型？梯度消失问题模式坍缩问题符号约定9:16:31下午8符号含义符号含义真实图像所服从概率分布的密度函数，一般简称为真实分布或数据分布虚假图像所服从概率分布的密度函数，一般简称模型分布或生成数据分布噪声，一般为高斯噪声噪声分布的密度函数模型结构：生成器与判别器

9:16:31下午9模型结构：生成器与判别器生成器：判别器：9:16:31下午10网络结构：全连接网络9:16:31下午11网络结构：卷积网络9:16:31下午12生成器判别器对抗式训练

9:16:31下午13理论训练目标：判别器

9:16:31下午14其中理论训练目标：判别器9:16:31下午15交叉熵损失对抗损失（AdversarialLoss）等价如何推导？理论训练目标：判别器

9:16:31下午16理论训练目标：判别器示例：推导第一项作业：完整推导9:16:31下午17理论训练目标：生成器与判别器的训练目标相反，生成器的目的是生成足以让判别器无法区分的假图，即让判别器“错误地”为这张假图赋予一个较高的概率。9:16:31下午18形式1形式2梯度性质更好，更易优化理论损失函数判别器生成器9:16:31下午19理论损失函数博弈论角度：“最小化最大化游戏”9:16:31下午20经验损失函数9:16:31下午21问题：理论损失中的期望无法计算！经验损失函数

9:16:31下午229:16:31下午23训练算法如何理解生成器？

9:16:31下午24“多对一”的映射理论最优判别器

9:16:31下午25为什么GAN是生成模型？对抗损失（AdversarialLoss）9:16:31下午26

复习：什么是生成式建模？9:16:31下午27

复习：密度估计的方法9:16:31下午28

复习：KL散度和JS散度9:16:31下午29KL散度JS散度为什么GAN是生成模型？最优判别器生成器的目标函数9:16:31下午30带入为什么GAN是生成模型？9:16:31下午31为什么GAN是生成模型？9:16:31下午32为什么GAN是生成模型？9:16:31下午33哪来的？为什么GAN是生成模型？9:16:31下午34

为什么GAN是生成模型？9:16:31下午35为什么GAN是生成模型？9:16:31下午36为什么GAN是生成模型？9:16:31下午37为什么GAN是生成模型？

9:16:31下午38Jensen-Shannondivergence（JS散度）

一个简单的例子9:16:31下午39MNIST:70,00028x28gray-scaleimagesfrom10classes(i.e.,10digits).100examplerealimagesfromMNIST网络结构9:16:31下午40GAN模型的两大著名问题梯度消失问题模式坍缩问题9:16:31下午41梯度消失问题：含义GAN模型的梯度消失问题是指在GAN的训练过程中，梯度在反向传播到生成器时逐渐变得非常小，甚至接近于零，导致生成器的参数更新非常缓慢或几乎不更新，进而使得生成器无法有效地学习到如何生成高质量的样本。9:16:31下午42梯度消失问题：原因

9:16:31下午43梯度消失问题：原因9:16:31下午44梯度消失问题：启示不能一次性地将判别器训练至其最优状态（梯度消失）也不能让判别器过于弱小（性能停滞）要渐进式的提升生成器和判别器的能力需要在梯度消失和性能停滞之间找到一个微妙的平衡点，这是一项极具挑战性的任务9:16:31下午45模式坍缩问题：含义在GAN的训练过程中，生成器倾向于只生成有限种或单一模式的样本，而忽略数据集中的其他模式，导致生成的样本缺乏多样性和覆盖性。9:16:31下午46模式坍缩问题：例子当训练一个GAN来生成手写数字图像（即MNIST数据集）时，如果发生模式坍缩，即便训练集中包含了0-9所有数字，生成器可能也只会生成数字“4”。尽管生成的“4”可能非常逼真，但整个生成过程失去了多样性。9:16:31下午47模式坍缩问题：例子9:16:31下午48模式坍缩问题：原因那么，为什么会出现模式坍缩呢？这与GAN的损失函数有关。9:16:31下午49模式坍缩问题：原因9:16:31下午50最优判别器生成器的目标函数再次带入9:16:31下午519:16:31下午529:16:31下午539:16:31下午549:16:31下午559:16:31下午56与G无关模式坍缩问题：原因由于JS散度有界，即项对优化影响更显著但是，KL散度项会导致模式坍缩问题！9:16:31下午57模式坍缩问题：原因【KL散度】：若，则，那么KL散度会非常大；若，则无论取值如何，都有

。那么，KL散度接近0。9:16:31下午58模式坍缩问题：原因

9:16:31下午59模式坍缩问题：原因这种特性可能导致GAN模型仅覆盖真实分布的某个模式（Mode），而忽视了其他模式。在生成图像时，这表现为生成器倾向于生成一些更“安全”的样本，而避免生成一些“有挑战性”的样本，这就是所谓的模式坍缩问题。9:16:31下午60模式坍缩问题：原因9:16:31下午612.条件GAN模型9:16:31下午62GANcGAN2.条件GAN模型重要的生成式建模范式模型结构损失函数模型分析9:16:31下午63重要的生成式建模范式需要控制生成图像的某些特定性质，如类别标签、风格、属性等对以下条件分布进行估计9:16:31下午64模型结构9:16:31下午65条件生成对抗网络（ConditionalGenerativeAdversarialNetwork,cGAN）由Mirza等人在2014年首次提出，并在此基础上发展出了许多变体模型。模型结构

9:16:31下午66损失函数原始cGAN的损失函数9:16:31下午67原始GAN的损失函数模型分析

9:16:31下午68模型分析

9:16:31下午69模型分析

9:16:31下午703.代码示例：数据集

9:16:31下午719:16:31下午723.代码示例：DCGAN9:16:31下午733.代码示例：DCGAN9:16:31下午74定义生成器的类9:16:31下午75定义判别器的类9:16:31下午76实例化9:16:31下午77定义训练函数9:16:31下午789:16:31下午79运行训练训练损失9:16:31下午809:16:31下午81评价指标的计算与比较为了评估DCGAN的生成图像质量，我们采用了FID分数作为衡量标准。具体计算FID分数时，我们首先在Fashion

MNIST数据集上预训练了一个ResNet34模型，并基于该模型最后一个平均池化层输出的特征图来进行计算。在评价生成模型时，我们利用DCGAN的采样函数生成了1万张虚假图片，并以FashionMNIST数据集中的1万张测试图片作为基准，计算了这些生成图片的FID分数。同样地，我们也使用了VAE模型生成了1万张虚假图片，并计算了其FID分数。9:16:31下午82复习：FréchetInceptionDi