【《GAN网络工作机理概述》2700字】

GAN网络工作机理概述1.1GAN网络工作机理生成对抗网络由生成器（G）和判别器（D）两个部分组成，其网络结构如图2-1所示。生成器G一般由参数化的神经网络实现，输入一个服从某一分布（一般是高斯分布）的随机向量z，经处理后输出一个图像，生成的结果可以看作采样于另一分布的一个样本。生成对抗网络的训练过程等效一个极小极大博弈问题[4]，就是将生成模型所输出的结果与通过索引从数据集中获取的真实图片一同输入判别模型D，让D判别输入的数据来自哪个样本，提升D的判别正确率，然后优化生成模型G，使D的判别准确率最小，通过反复交替训练，同时提升生成器的生成效果与判别器的判别精度，最终达成纳什均衡状态[5]，此时D无法判断其输入来自生成的样本还是真实的图片，当达成这一结果时，就可以认为G掌握了真实数据的分布规律。图2-1GAN网络结构示意图在初始的生成对抗模型中，生成网络是一个5层的简单前馈神经网络，其中包含输出层，输入层和3个隐藏层，如表2-1所示层序号层名称配置1输入层input_shape=(batch_size,100),output_shape=(batch_size,100)2全连接层neturons=500,input_shape(batch_size,100)output_shape=(batch_size,500)3全连接层neturons=500,input_shape(batch_size,500)output_shape=(batch_size,500)4全连接层neturons=500,input_shape(batch_size,500)output_shape=(batch_size,500)5输出层input_shape=(batch_size,784)output_shape=(batch_size,28,28)表2-1生成网络层次结构该前馈神经网络通过正向传播处理信息的过程为：（1）输入层从正态分布中采样一个100维的向量，直接传递给第一个隐藏层。（2）3个隐藏层均为全连接层，具有的单元数为500，500，784，第一个隐藏层将一个张量由100变为500。(3)第2个隐藏层基于上一层的输出结果将张量变换为(batch_size,500)。(4)第3个隐藏层将张量转为（batch_size,784）。(5)最后的输出层将张量的形状从(batch_size,784)变换为（batch_size,28,28）,此时神经网络中会产生一批图像。判别网络由一个五层的前馈型神经网络构成，如表2-2所示。包括一个输入层，一个输出层和三个全连接层，功能是判断输入属于哪个类别。层序号层名称配置1输入层input:(None,28,28)output:(None,784)2全连接层input:(None,784)output:(None,500)3全连接层input:(None,500)output:(None,500)4全连接层input:(None,500)output:(None,1)5输出层Output:0/1表2-2判别网路层次结构判别网络在训练过程中利用正向传播来处理数据的过程为：(1)读取一个大小为28*28的张量，并将其输入下一层。(2)输出层接收形状为（batch_size，28，28）的输出张量，直接传递给第一个隐藏层（扁平化层）。(3)扁平化层将该张量维数转化为784，然后将其传递给第一个隐藏全连接层。经过前两个隐藏层的处理，张量转化为了500维。(4)最后一层是全连接层构成的输出层，只有一个神经元，使用sigmod激活函数。它是一个二分函数，判别结果为假时输出为0，判别结果为真时输出结果为1。GAN训练的具体过程为：(1)初始化判别网络的参数和生成器G的参数。(2)从真实样本中随机取出m个样本[,,……],从噪声数据分布中采样m个样本[,,….]并通过生成网络生成样本[,,….,。(3)使生成网络各参数保持不变，在维持此环境的情况下开始对判别网络进行判别训练，使其尽可能分辨正确样本和生成的图片，加强分辨成功率。(4)循环k次更新判别器后，使用较小学习率来更新一次生成器的参数。然后使判别网络各参数保持不变，尽可能地减少两种样本间的差距（相当于降低判别网络网络的准确率）。(5)多次更新迭代以后，最终理想状况是判别器无法分辨样本来自哪个来源。之所以要训练k次判别器，再训练生成器，是因为在拥有一个好的判别器的情况下，对真实样本与生成样本的判别率较高，在更新生成器时也更加准确，具体原理如图2-2[6]图2-2对抗训练过程示意图图中较粗虚线表示真实样本分布情况，较细虚线表示判别器判别概率的分布情况，实线表示生成样本分布情况，Z到x表示通过生成器之后原分布的映射情况。生成对抗网络的目的是使用生成样本分布（实线）去拟合真实样本分布（较粗曲线），从而生成接近真实样本的生成结果。在初始状态时，如(a)所示，生成器生成结果的分布和真实分布区别较大，但判别器判别出正确结果的概率并不稳定，因此先训练判别器，使判别出正确结果的概率趋于稳定。经过多次训练，判别器达到(b)状态，此时判别样本区分效果良好，然后对生成器进行训练，达到(c)状态，此时生成器分布较之前相比接近了真实样本分布。经过多次反复训练迭代后，理论上可以达到图2-2中（d）所示的理想状态，此状态下生成样本高度拟合真实样本分布，判别器难以区分样本来自真实还是生成样本（判别概率固定为0.5）。此时生成的样本能满足需求。1.2GAN网络相关数学概念1.1.1概率分布函数对于真实图片组成的训练数据集，定义一个概率分布函数，其中x是一个高维向量，以人脸生成为例，如图2-3，在高维空间中，仅有一部分点集能够正确表示人脸，所以将x定义为一个二维向量，图中被曲线围成的区域表示为。图2-3概率分布函数原理示意图如图2-3所示，曲线围成的区域中，随机取样的点可以生成较清晰的人脸，因此称这两个点具有高概率(highprobability),曲线围成的区域外的点则具有低概率(lowprobability)。为了逼近真实数据的概率分布，我们给生成模型也定义一个概率分布函数，此函数通过参数变量定义，在实际计算中，通过对参数的调整，从而使生成模型的概率分布函数逼近真实模型的分布函数。但由于形式未知，因此逼近的唯一方式是从真实数据中采样大量数据作为样本，然后利用这些真实样本计算出生成模型的概率分布1.1.2极大似然估计极大似然估计是建立在极大似然原理上的一种统计方法，极大似然原理的直观想法是，如果一个随机实验的结果可以分别用A,B,C表示，若在一次试验中，结果A出现了，那么就假设当前的实验条件会增加A的出现可能性，也即出现的概率P(A)较大，事件A发生的概率与参数相关，A发生的概率记为P(A，)，则的估计应该使上述概率达到最大，这样的顾名思义就称为极大似然估计。所以我们根据之前在真实数据分布中取样的[,,……]共m个样本数据，计算它们在生成模型中的概率为：式(2-1)最大似然估计的目标是通过该式，寻找一个可以使L最大化的。这样做的实际含义是，在给出真实训练集的情况下，希望生成模型在这些数据上具备最大的概率，这样就能够说明生成模型能在给出的训练集上达到逼近真实数据的概率分布。1.1.3KL散度KL散度又称相对熵，用于判定两个概率分布间的相似度，它的作用是测量一个概率分布距离另一个概率分布偏离了多少。假设两个分布分别为p,q,计则算两个概率分布和之间的KL散度的公式为：式(2-2)当与处处相等时，KL散度为最小值0。1.1.4JS散度由于KL散度具有不对称性，因此不用于测量两个概率分布之间的距离，因此也不用作距离的度量。因此需要另一个变量用于表示距离。JS散度，也称信息半径（informationradius,IRaD）或者平均值总偏离（totaldivergencetotheaverage），是测量两个概率分布之间相似度的另一种方法。它基于KL散度，但具有对称性，可用于测量两个概率分布之间的距离。对JS散度开平方即可得到JS距离。计算两个概率分布p和q之间JS散度的公式为：式(2-3)其中，是p和q的中点测度，是KL散度。1.1.4GAN网络的目标函数判别网络：对于判别网络，假设其输入数