人工智能基础与实践 第12章 生成式人工智能

教育部教育部-华为智能基座课程授课教师：张聪授课教师：张聪章节目录03生成对抗网络GAN章节目录03生成对抗网络GAN背景介绍ComputerVisionNaturalLanguageProcessingComputationalSpeechRobotics背景介绍背景介绍Decisionboundary)Decisionboundary)背景介绍章节目录03生成对抗网络GAN传统自编码器AE(Auto-Encoder)x→z=fenc→=fdec(z)变分自编码器VAE(VariationalAuto-Encoder)将"确定性的点"替换为"概率性的区域"变分自编码器VAE架构输入数据x，输出的不是一个确定的潜在向量z，而是潜在空间中一个概率分布的参数，通常是高斯络，它接收从潜在空间采样得到的向量z作变分自编码器VAE–变分推断先验(Prior):潜在变量服从标准正态分布p(z)=N(0,I)生成(Generation):数据由解码器生成p(x|z)p(z|x)=p(x|z)p(z)/p(x)引入一个易于处理的近似分布q妒(z/x)（即编VAE的重参数技巧–让梯度顺利回传•VAE的目标是从编码器定义的分布q(z|x)中采样•“重参数技巧”优雅地解决了这个问题：它将随机采样过程分离出来，通过z=变分自编码器VAE–损失函数||x__||2=||x__dφ(z)||2=||x__dφ(μx+σxE)||2）：KLDivergence=DKL(Ν(μx,σx)||Ν(0,I))章节目录03生成对抗网络GAN知识回顾：自编码器（Auto-Encoder）知识回顾：自编码器AE&变分自编码器VAE知识回顾：变分自编码器VAE的缺陷生成对抗网络GAN生成器G生成器G：通过一个参数化概率生成模型(通常用深度神经网络进行参数化)进行概率分布判别器D：给定样本，判断(通常也是深度卷积样本来自真实数生成对抗网络GAN—迭代训练生成对抗网络GAN—判别器0000生成对抗网络GAN—生成器目的是让输出被归类为“真”目的是让输出被归类为“真”GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成GAN示例—二次元人物头像生成生成对抗网络GAN—损失函数L(G,D)=-Ex~PrlogD(x)-Ez~Pzlog(1-D(G(z)))这个Loss其实就是交叉熵。对于判别器D，它的任务是最小化L(G,D)=-Ex~PrlogD(x)-Ex~Pglog(1-D(G(z)))如果采用零和博弈，生成器G的目标是最小化L(G,D)，而实际操-Ez~PzlogD(G(z))-Ez~Pzlog(1-D(G(z)))极大似然估计MaximumLikelihoodEstimation•给定一个数据分布：Pdata•例如：PGx;θ是一个高斯混合模型,θ指的是高斯分布的均值和方差•我们想找到一组参数θ,使得生成分布PGx;θ尽可能接近真实分布Pdata从Pdata中采样得到m个样本x1,x2,…,xm我们可以计算样本在生成分布中出现的概率PGxi;θ找到一个最优参数θ*，使得L最大极大似然估计MaximumLikelihoodEstimationθ≈argmaxEx~pdata[logPGX;θ]θθ=argminKLPdata||PGX;θθ极大似然估计MaximumLikelihoodEstimationPGx;θPdataxxGAN基本概念生成器G•评估PG(x)与Pdata(x)之间的“差异”GAN基本概念 V=Ex~Pdatal0gD+Ex~PGl0g1__DD给定一个生成器G，maxVG,D评估PG和Pdata之间的差异D选择能使定义的PG与Pdata最为相似的生成器GDDDDG2DGAN算法总结DDGD从数据分布pdata中采样m个样本x1,x2,…,xm从先验分布pprior中采样m个噪声样本z1,z2,获得生成数据1,2,…,m,i=Gi•=Σ1l0gDi+Σ1__Di~从先验分布pprior中采样m个噪声样本z1,z2,•=Σ1l0Di+Σ为什么用推土机距离（WassersteinDistance）什么是推土机距离（WassersteinDistance）•将真实分布Pdata视为一堆土,将生成分布PC视为目标PdataPGdWPdata,PC=dWGAN算法总结•获得生成数据1,2,…,m,i=Gi•=Σ1liDDΣ1Dixi+DΣ1Dixi+i •从先验分布ppriorG•=Σ1l0DiΣ1l0g1DDGWGAN算法CNN生成器:改进型WGAN(WGAN-GP)（连接真实样本和生成样本的直线）上执行约束似乎就足够pdatappenalty仅对pdata和pG之间的区域施加梯度约束，因为这些区域直接影响了pG如何向pdata移动。改进型WGAN、WGAN等模型效果的比较条件生成对抗网络（cGAN）1:21:2:cc1:一只狗在跑神经网络图像1:条件生成对抗网络（cGAN）GG先验分布zDDccxxxxDD正样本:YYGGy→XGx→YGx→YGy→X属于领域XDxDY章节目录03生成对抗网络GAN理解扩散模型的两种视角•涉及：马尔科夫链、极大似然估计、变分推断等•Score-basedGenerativeModel(SGM)常微分方程等随机过程时间t可以是离散的•随机过程(StochasticProcess){xt,t∈T}是一组依赖时间t变化的随机变量/向量•状态空间(StateSpace)是xt所有可能取值构成的集合•xt表示随机变量/向量，xt表示具体的取值随机过程随机过程）：(xt,yt)为粒子在平面坐标上马尔科夫性质•假设xtt>0是一个离散时间的随机过程，xt表示系统在t时刻的状态。记t为当前时刻，若对任意t>0和x0,…,xt+1，都有Pr(Xt+1=xt+1|Xt=xt,Xt-1=xt-1,...,X0=x0)=Pr(Xt+1=xt+1|Xt=xt),则称xtt>0具有马尔科夫性质。马尔科夫性质未来的状态只依赖于当前的状态，而与过去的状态无关马尔科夫性质•马尔科夫链（MarkovChain）是一类具有马尔科夫性质的随机过程，即未来的状态只依赖于当前的状态，而与过去的状态无关。•正向与逆向扩散过程•损失函数•训练与采样算法•去噪扩散概率模型•由JonathanHo等人于2020年提出•属于变分扩散模型的一种！正向/逆向扩散过程声N(xt;μt(xt-1),Σt(xt-1))正向扩散过程•从x0~pdata(x0)到xT~N(0,I)的加噪过程qxtxt1=N(xt;μtxt1,Σt(xt1))逆向扩散过程•从xT~N(0,I)到x0~pdata(x0)的去噪过程pθxt1xt=N(xt1;μθxt,t,Σθ(xt,t))DDPM损失函数logpθx=log∫pθx0:Tdx1:T≥Eqxt=tx0+1__tε0•将时间t编码成一个嵌入向量DDPM训练与采样算法模型类型FID分数(↓)IS分数(↑)采样速度（张/秒）(↑) 去噪扩散隐模型DDIM加速采样仍然值得研究•在某个实验中，采样179800张64×64的RG此实验中，GAN的采样速度是DDIM的1295倍！条件扩散模型ConditionalDiffusionModel•分类器引导（ClassifierGuidance）•无分类器引导（Classifier-FreeGuidance）Dhariwal,Prafulla,andAlexanderNichol