人工智能基础与实践第12章《生成式人工智能》

教育部-华为智能基座课程章节目录03生成对抗网络GAN章节目录03生成对抗网络GAN背景介绍ComputerVisionNaturalLanguageProcessingComputationalSpeechRobotics背景介绍背景介绍DecisionboundaryDecisionboundary背景介绍章节目录03生成对抗网络GAN 传统自编码器AE(Auto-Encoder) 变分自编码器VAE(VariationalAuto-Encoder)将"确定性的点"替换为"概率性的区域"变分自编码器VAE架构输入数据x，输出的不是一个确定的潜在向量z，而是潜在空间中一个概率分布的参数，通常是高斯络，它接收从潜在空间采样得到的向量z作变分自编码器VAE-变分推断先验(Prior):潜在变量服从标准正态分布p(z)=N(0,I)VAE的重参数技巧-让梯度顺利回传•“重参数技巧”优雅地解决了这个问题：它将随机采样过程分离出来，通过z=变分自编码器VAE-损失函数EQ\*jc3\*hps48\o\al(\s\up0(x),^)+KLDivergence=DKL章节目录03生成对抗网络GAN 知识回顾：自编码器（Auto-Encoder）知识回顾：自编码器AE&变分自编码器VAE++XX知识回顾：变分自编码器VAE的缺陷生成对抗网络GAN生成器G：通过一个参数化概率生成模型(通常用深度神经网络进行参数化)进行概率分布判别器D：给定样本，判断(通常也是深度卷积神经网络)这个样本来自真实数生成对抗网络GAN—迭代训练真实图像:生成对抗网络GAN—判别器生成对抗网络GAN—生成器目的是让输出被归类为“真”GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成生成对抗网络GAN—损失函数L(G,D)=-Ex~PrlogD(x)-Ez~Pzlog(1-D(G(z)))这个Loss其实就是交叉熵。对于判别器D，它的任务是最小化L(G,D)=-Ex~PrlogD(x)-Ex~Pglog(1-D(G(z)))如果采用零和博弈，生成器G的目标是最小化L(G,D)，而实际操作发现零和博弈训练效果并不好，G的目标一般采用最小化-Ez~PzlogD(G(z))-Ez~Pzlog(1-D(G(z)))极大似然估计MaximumLikelihoodEstimation•给定一个数据分布：Pdata•我们想找到一组参数θ,使得生成极大似然估计MaximumLikelihoodEstimation≈argmEQ\*jc3\*hps40\o\al(\s\up1(a),θ)xEx~pdata[logPGx;θ]EQ\*jc3\*hps40\o\al(\s\up1(mi),θ)极大似然估计MaximumLikelihoodEstimationGZ=xxIGAN基本概念生成器G判别器D•评估PG(x)与Pdata(x)之间的“差异”IGAN基本概念G*=argminmaxVG,D GDV=Ex~PdatalogD+Ex~PGlog1一DD给定一个生成器G，maxVG,D评估PG和Pdata之间的差异D选择能使定义的PG与Pdata最为相似的生成器GVG1,DDDG1VG2,DDG2VG3,DDG3GAN算法总结••D•••D•••G只能找到下界maxVG,DDEQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)m,EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)i=GiEQ\*jc3\*hps40\o\al(\s\up3(~),V)d 为什么用推土机距离（WassersteinDistance）WPdata,PGPG5%d50PdataPdataPPdataPdataJsPG%,Pdata=log2JsPG5%,Pdata=log2JsPG1%%,Pdata=0WPG%,PdataWPG5%,PdataWPG1%%,Pdata=d0=d50=0 什么是推土机距离（WassersteinDistance）•将真实分布PData视为一堆土,将生成分布PC视为目标dataGdWPData,PC=dWGAN算法总结EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)m,EQ\*jc3\*hps40\o\al(\s\up2147483646(~),x)i=Gi••EQ\*jc3\*hps40\o\al(\s\up3(~),V)EQ\*jc3\*hps40\o\al(\s\up3(~),V)d权重裁剪DEQ\*jc3\*hps40\o\al(\s\up2147483647(~),x)DEQ\*jc3\*hps40\o\al(\s\up2147483645(~),EQ\*jc3\*hps40\o\al(\s\up2147483647(~),x)DEQ\*jc3\*hps40\o\al(\s\up2147483645(~),x)i•GWGAN算法CNN生成器:CNN生成器:改进型WGAN(WGAN-GP)Wpdata,pG≈EQ\*jc3\*hps40\o\al(\s\up2(ma),D)x{Ex~pdata一Ex~pGD一λEx~ppenaltymaXpGpdatappenalty（连接真实样本和生成样本的直线）上执行约束似乎就足够仅对pdata和pG之间的区域施加梯度约束，因为这些区域直接影响了pG如何向pdata移动。改进型WGAN、WGAN等模型效果的比较 条件生成对抗网络（cGAN）1:1:2:1:1:●● 条件生成对抗网络（cGAN）GDxx)Dxx)DD正样本:正样本:G@→YDYGy→|Gy→|Gx→YDDYDx属于领域XDx属于领域XGy→|Gy→|Gx→Y章节目录03生成对抗网络GAN理解扩散模型的两种视角•涉及：马尔科夫链、极大似然估计、变分推断等•Score-basedGenerativeModel(SGM)•涉及：朗之万动力学、分数匹配、随机微分方程、常微分方程等随机过程•状态空间(StateSpace)是x!所有可能取值构成的集合•x!表示随机变量/向量，x!表示具体的取值•边际分布、条件分布、联合分布随机过程上行走，以概率p前进一步，以概率1−p后退一步（假定其步长相随机过程）：马尔科夫性质•假设xtt>0是一个离散时间的随机过程，xt表示系统在t时刻的状态。记t为当前时刻，若对任意t>0和Pr(Xt+1=xt+1|Xt=xt,Xt-1=xt-1,...,X0=x0)=Pr(Xt+1=xt+1|Xt=xt),则称xtt>0具有马尔科夫性质。马尔科夫性质Pr(Xt+1=xt+1|Xt=xt,Xt-1=xt-1,...,X0=x0)=Pr(Xt+1=xt+1|Xt=xt)未来的状态只依赖于当前的状态，而与过去的状态无关马尔科夫性质•马尔科夫链（MarkovChain）是一类具有马尔科夫性质的随机过程，即未来的状态只依赖于当前的状态，而与过去的状态无关。•正向与逆向扩散过程•损失函数•训练与采样算法•去噪扩散概率模型•由JonathanHo等人于2020年提出•属于变分扩散模型的一种！I正向/逆向扩散过程N(xt;μt(xt-1),Σt(xt-1))声正向扩散过程•从x0~pdata(x0)到xT~N(0,I)的加噪过程逆向扩散过程•从xT~N(0,I)到x0~pdata(x0)的去噪过程pDDPM训练与采样算法模型类型FID分数(↓)IS分数(↑)采样速度（张/秒）(↑) 去噪扩散隐模型DDIM加速采样仍然值得研究此实验中，GAN的采样速度是DDIM的1295倍！条件扩散模型ConditionalDiffusionModel•分类器引导（ClassifierGuidance）•无分类