【GAN网络工作机理概述1600字】

GAN网络工作机理概述生成对抗网络由生成器（G）和判别器（D）两个部分组成，其网络结构如图2-1所示。生成器G一般由参数化的神经网络实现，输入一个服从某一分布（一般是高斯分布）的随机向量z，经处理后输出一个图像，生成的结果可以看作采样于另一分布的一个样本。生成对抗网络的训练过程等效一个极小极大博弈问题[4]，就是将生成模型所输出的结果与通过索引从数据集中获取的真实图片一同输入判别模型D，让D判别输入的数据来自哪个样本，提升D的判别正确率，然后优化生成模型G，使D的判别准确率最小，通过反复交替训练，同时提升生成器的生成效果与判别器的判别精度，最终达成纳什均衡状态[5]，此时D无法判断其输入来自生成的样本还是真实的图片，当达成这一结果时，就可以认为G掌握了真实数据的分布规律。图2-1GAN网络结构示意图在初始的生成对抗模型中，生成网络是一个5层的简单前馈神经网络，其中包含输出层，输入层和3个隐藏层，如表2-1所示层序号层名称配置1输入层input_shape=(batch_size,100),output_shape=(batch_size,100)2全连接层neturons=500,input_shape(batch_size,100)output_shape=(batch_size,500)3全连接层neturons=500,input_shape(batch_size,500)output_shape=(batch_size,500)4全连接层neturons=500,input_shape(batch_size,500)output_shape=(batch_size,500)5输出层input_shape=(batch_size,784)output_shape=(batch_size,28,28)表2-1生成网络层次结构该前馈神经网络通过正向传播处理信息的过程为：（1）输入层从正态分布中采样一个100维的向量，直接传递给第一个隐藏层。（2）3个隐藏层均为全连接层，具有的单元数为500，500，784，第一个隐藏层将一个张量由100变为500。(3)第2个隐藏层基于上一层的输出结果将张量变换为(batch_size,500)。(4)第3个隐藏层将张量转为（batch_size,784）。(5)最后的输出层将张量的形状从(batch_size,784)变换为（batch_size,28,28）,此时神经网络中会产生一批图像。判别网络由一个五层的前馈型神经网络构成，如表2-2所示。包括一个输入层，一个输出层和三个全连接层，功能是判断输入属于哪个类别。层序号层名称配置1输入层input:(None,28,28)output:(None,784)2全连接层input:(None,784)output:(None,500)3全连接层input:(None,500)output:(None,500)4全连接层input:(None,500)output:(None,1)5输出层Output:0/1表2-2判别网路层次结构判别网络在训练过程中利用正向传播来处理数据的过程为：(1)读取一个大小为28*28的张量，并将其输入下一层。(2)输出层接收形状为（batch_size，28，28）的输出张量，直接传递给第一个隐藏层（扁平化层）。(3)扁平化层将该张量维数转化为784，然后将其传递给第一个隐藏全连接层。经过前两个隐藏层的处理，张量转化为了500维。(4)最后一层是全连接层构成的输出层，只有一个神经元，使用sigmod激活函数。它是一个二分函数，判别结果为假时输出为0，判别结果为真时输出结果为1。GAN训练的具体过程为：(1)初始化判别网络的参数和生成器G的参数。(2)从真实样本中随机取出m个样本[,,……],从噪声数据分布中采样m个样本[,,….]并通过生成网络生成样本[,,….,。(3)使生成网络各参数保持不变，在维持此环境的情况下开始对判别网络进行判别训练，使其尽可能分辨正确样本和生成的图片，加强分辨成功率。(4)循环k次更新判别器后，使用较小学习率来更新一次生成器的参数。然后使判别网络各参数保持不变，尽可能地减少两种样本间的差距（相当于降低判别网络网络的准确率）。(5)多次更新迭代以后，最终理想状况是判别器无法分辨样本来自哪个来源。之所以要训练k次判别器，再训练生成器，是因为在拥有一个好的判别器的情况下，对真实样本与生成样本的判别率较高，在更新生成器时也更加准确，具体原理如图2-2[6]图2-2对抗训练过程示意图图中较粗虚线表示真实样本分布情况，较细虚线表示判别器判别概率的分布情况，实线表示生成样本分布情况，Z到x表示通过生成器之后原分布的映射情况。生成对抗网络的目的是使用生成样本分布（实线）去拟合真实样本分布（较粗曲线），从而生成接近真实样本的生成结果。在初始状态时，如(a)所示，生成器生成结果的分布和真实分布区别较大，但判别器判别出正确结果的概率并不稳定，因此先训练判别器，使判别出正确结果的概率趋于稳定。经过多次训练，判别器达到(b)状态，此时判别样本区分效果良好，然后对生成器进行训练，达到(c)状态，此时生成器