深度学习实践教程（第二版）-课件 第8章生成式对抗网络

深度学习第8章生成式对抗网络8.1原始生成式对抗网络8.2条件生成对抗网络8.3最小二乘生成对抗网络课上练习28章生成式对抗网络38章生成式对抗网络48章生成式对抗网络58章生成式对抗网络6第8章生成式对抗网络8.1原始生成式对抗网络生成式对抗网络常用于生成以假乱真的图片。生成对抗网络模型框架中（至少）两个模块：生成模块和判别模块，它们的互相博弈学习产生相当好的输出。生成对抗网络除了生成以假乱真的图片外，还被用于生成影片、三维物体模型等。7第8章生成式对抗网络8.1原始生成式对抗网络“GAN的动物园”：条件生成式对抗网络（conditionGenerativeAdversarialNetworks，CGAN）、最小二乘生成式对抗网（LeastSquaresGenerativeAdversarialNetworks，LSGAN）、边界均衡生成式对抗网（BoundaryEquilibriumGenerativeAdversarialNetworks，BEGAN），渐进增大生成式对抗网络（progressivegrowingGenerativeAdversarialNetworks，PG-GAN）、Wasserstein对抗网络(WGAN)、循环生成式对抗网络（CycleGAN）等等。8第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理GAN的目的是通过一定的方法模拟出一种数据的概率分布生成器，使得这种概率分布与某种观测数据的概率统计分布一致或尽可能接近，这个逼近真实的终点是达到纳什均衡。

纳什均衡的例子9第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理10图8.1GAN络工作简单示意图

第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理GAN的优化目标函数：这个式子表示的是D想办法增加V的值，G想办法减小V的值，两者在相互的对抗。怎样达到这个优化目标函数平衡点呢？下面是训练的过程：11第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理GAN的优化目标函数：1.首先固定G训练D：（1）训练D的目的是希望这个式子的值越大越好。真实数据希望被D分成1，生成数据希望被分成0。第一项，如果有一个真实数据被分错，那么log(D(x))<<0，期望会变成负无穷大。第二项，如果被分错成1的话，第二项也会是负无穷大。很多被分错的话，就会出现很多负无穷，那样可以优化的空间还有很多。可以修正参数，使V的数值增大。12第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理GAN的优化目标函数：（2）训练G，它是希望V的值越小越好，让D分不开真假数据。因为目标函数的第一项不包含G，是常数，所以可以直接忽略不受影响。对于G来说它希望D在划分它的时候能够越大越好，它希望被D划分成1(真实数据)。13第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理第二个式子和第一个式子等价。在训练的时候，第二个式子训练效果比较好常用第二个式子的形式。证明V是可以收敛到最佳解的。（1）globaloptimum存在（2）globaloptimum训练过程收敛全局优化首先固定G优化D，D的最佳情况为：14第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理1.证明D*G(x)是最优解由于V是连续的所以可以写成积分的形式来表示期望：15第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理通过假设x=G(z)可逆进行了变量替换，整理式子后得到：然后对V(G,D)进行最大化：对D进行优化令V取最大取极值，对V进行求导并令导数等于0。求解出来可得D的最佳解D*G(x)结果一样。16第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理2．假设我们已经知道D*G(x)是最佳解了，这种情况下G想要得到最佳解的情况是：G产生出来的分布要和真实分布一致，即：在这个条件下，D*G(x)=1/2。接下来看G的最优解是什么，因为D这时已经找到最优解，所以只需要调整G，使得：17第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理对于D的最优解我们已经知道了，D*G(x)，可以直接把它带进来并去掉前面的Max然后对log里面的式子分子分母都同除以2，分母不动，两个分子在log里面除以2相当于在log外面-log(4)可以直接提出来，又发现可以把KL散度（Kullback–Leiblerdivergence，用来比较两个概率分布的接近程度。）代入来求解C的最小值。18第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理结果可以整理成两个KL散度-log(4)19第8章生成式对抗网络8.1原始生成式对抗网络8.1.1GAN原理KL散度是大于等于零的，所以C的最小值是-log（4）当且仅当即所以证明了当G产生的数据和真实数据是一样的时候，C取得最小值也就是最佳解。20第8章生成式对抗网络8.1原始生成式对抗网络8.1.2GAN实现代码第一步：导入各种需要的包。第二步：建立生成模型。第三步：建立判别模型第四步：导入需要的数据集。第五步：接下来定义GAN类，以便以后生成对象。21第8章生成式对抗网络8.2条件生成对抗网络在基本的生成对抗网络模型中，生成器是通过输入一串满足某个分布的随机数来实现的。而在条件生成对抗网络(CGAN)中，不仅要输入随机数，还需要将之与标签类别做拼接，再将其输入生成器生成所需要的数据。对判别器，也需要将真实数据或生成数据与对应的标签类别做拼接，再输入判别器的神经网络进行识别和判断。对于CGAN来说，训练目标是：22第8章生成式对抗网络8.2条件生成对抗网络23条件生成对抗网络模型示意图第8章生成式对抗网络8.3最小二乘生成对抗网络最小二乘生成对抗网络（LeastSquaresGAN）是针对标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数中交叉熵损失函数换成最小二乘损失函数，而且这一个改变同时解决了两个缺陷。LSGANs的损失函数-最小二乘损失函数：24课堂练习（1）GAN中的两个网络：

网络和

网络。答案：生成、判别课堂练习（2）Fashion-MNIST数据集的训练集有

张图片，测试集有

张图片，灰度图片大小为

。答案：60000、10000、28pixx28pix课堂练习（3）填出图中（1）（2）（3）。答案：判别网络

生成网络真实图片课堂练习（4）最小二乘生成对抗网络（LeastSquaresGAN）是针对标准GAN生成的图片质量不高以及

这两个缺陷进行改进。答案：训练过程不稳定课堂练习（5）在条件生成对抗网络(CGAN)中，不仅要输入随机数，还需要将之与

做拼接，再将其输入生成器生成所需要的数据。答案：标签类别课堂练习（1）Fashion-MNIST数据集的测试集是（），测试集标签为（），训练集是（），训练集标签是（）。A.train-images-idx3-ubyte.gzB.train-labels-idx1-ubyte.gz

C.t10k-images-idx3-