深度学习及应用 课件 第十章 扩散模型网络

第十章：扩散模型网络扩散模型（DiffusionModels）的研究兴起于近年来深度学习和生成模型领域的快速发展。随着计算资源的进步和对高质量生成内容需求的增长，扩散模型因其生成结果的高逼真度和可控制性而受到广泛关注。在图像合成、视频生成、NLP等多个领域展现出巨大潜力，成为学术界和工业界的研究热点。此外，其独特的理论框架也为理解和探索数据分布的内在结构提供了新的视角。DiffusionModels不仅是生成模型领域的一个技术飞跃，也是促进多领域交叉融合与创新的关键技术之一。本章从DiffusionModels的思想出发，重点分析去噪扩散概率模型（DenoisingDiffusionProbabilisticModels,DDPM）和稳定扩散（StableDiffusion）模型的结构和工作原理，然后介绍其他变体和应用场景。引言第十章

扩散模型网络第十章

扩散模型网络10.1扩散模型的背景10.2去噪扩散概率模型10.3StableDiffusion模型10.4扩散模型的变体10.5扩散模型的应用10.1扩散模型的背景10.1.1扩散模型的思想10.1.2扩散模型的特点10.1.3扩散模型的原理10.1.1扩散模型的思想DiffusionModels是一种基于概率论的生成模型，最初源自物理学中的扩散过程理论，比如墨水在水中的扩散过程，如图10.1所示。确切地说，DiffusionModels的概念根植于统计热力学，尤其是玻尔兹曼机的能量函数和随机过程理论。DiffusionModels之所以叫作扩散是因为它结合了热力学里对分子系统进行建模的思想。10.1.1扩散模型的思想DiffusionModels中最重要的思想根基就是马尔可夫链，它的一个关键性质是平稳性。即如果一个概率随时间变化，那么在马尔可夫链的作用下，它会趋向于某种平稳分布，时间越长，分布越平稳。比如当你向一滴水中滴入一滴墨水时，无论你滴在什么位置，只要时间足够长，最终墨水都会均匀地分布在水溶液中，这也就是DiffusionModels的前向过程。而如果我们能够在扩散的过程得到墨水分子的位置、移动速度、方向等移动属性。那么也可以根据前向过程保存的移动属性从一杯被溶解了墨水的水中反推颜料的滴入位置，这就是DiffusionModels的反向过程。10.1.1扩散模型的思想随后，这一概念被创造性地应用于数据生成任务，特别是图像和声音的合成。它们通过模拟一个从数据分布到简单噪声分布的逐渐“扩散”过程，然后通过学习逆过程来从噪声中重构出高质量的数据样本。DiffusionModels的核心思想在于，它首先定义了一个由数据分布逐步转化为高斯噪声分布的过程（前向扩散），这一过程可以视为一系列逐渐添加噪声的步骤。随后，模型学习如何执行这一过程的逆操作，即从纯粹的噪声开始，通过一系列逆步骤逐步“去噪”，最终生成接近原始数据分布的样本（反向去噪）。这一逆过程通常涉及复杂的概率分布估计，且需确保生成的样本具有高保真度和多样性。10.1扩散模型的背景10.1.1扩散模型的思想10.1.2扩散模型的特点10.1.3扩散模型的原理10.1.2扩散模型的特点在深度学习领域，生成模型一直是研究的重点之一。在认识DiffusionModels之前，先看看一般的神经网络模型是怎么生成图像的。显然，为了生成丰富的图像，一个图像生成程序要根据随机数来生成图像。通常，这种随机数是一个满足标准正态分布的随机向量。这样，每次要生成新图像时，只需要从标准正态分布里随机生成一个向量并输入给程序就行了。在这个过程中，负责生成图像的是一个神经网络模型，神经网络需要从数据中学习。对于图像生成任务，神经网络的训练数据一般是一些同类型的图像，比如一个绘制人脸的神经网络会用人脸照片来训练。也就是说，神经网络会学习如何把一个向量映射成一张图像，并确保这个图像和训练集的图像是一类图像。10.1.2扩散模型的特点相比于其他任务，图像生成对神经网络来说更加困难。这是因为在其他任务中，训练集本身会给出一个标准答案，指导神经网络的输出向标准答案靠拢。比如对于图像分类任务，训练集会给出每一幅图像的类别；对于人脸验证任务，训练集会给出两张人脸照片是不是同一个人；对于目标检测任务，训练集会给出目标的具体位置。然而，图像生成任务是没有标准答案的。图像生成数据集里只有一些同类型图像，却没有指导神经网络如何画得更好的信息。为了解决这一问题，人们专门设计了一些用于生成图像的神经网络架构。这些架构中最为出名的是第5章的生成对抗网络（GAN）和第6章的变分自编码器（VAE）。GAN的想法是，既然不知道一幅图像好不好，就干脆再训练一个神经网络，用于辨别某图像是不是和训练集里的图像长得一样。GAN中，生成图像的神经网络叫作生成器，鉴定图像的神经网络叫作判别器，两个网络互相对抗，共同进步。10.1.2扩散模型的特点VAE则使用了逆向思维：学习向量生成图像很困难，那就再同时学习怎么用图像生成向量。这样，把某图像变成向量，再用该向量生成图像，就应该得到一幅和原图像一模一样的图像。每一个向量的绘画结果有了一个标准答案，可以用一般的优化方法来指导网络的训练了。VAE中，把图像变成向量的网络叫作编码器，把向量转换回图像的网络叫作解码器。其中，解码器就是负责生成图像的模型。一直以来，GAN的生成效果较好，但训练起来比VAE麻烦很多。有没有和GAN一样强大，训练起来又方便的生成网络架构呢？DiffusionModels正是满足这些要求的生成网络架构。DiffusionModels提供了一种全新的生成图像的方法，旨在解决现有模型在某些方面的局限，如生成样本的清晰度、多样性和可控性。GAN通过对抗训练来学习数据分布，而VAE则是利用编码-解码框架并最大化数据的似然性。相比之下，DiffusionModels的优势在于其理论上能够逼近任意复杂的数据分布，且生成的样本往往具有更高的质量和一致性，尤其是在图像生成方面。10.1.2扩散模型的特点前面已经提到，DiffusionModels灵感来自统计热力学：一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里，就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。从这个角度出发，DiffusionModels包括以下两个方面：1）不再训练一个可学习的编码器，而是把编码过程固定成不断添加噪声的过程；2）不再把图像变换成单一的向量，而是自始至终都对一个等大的图像做操作。解码器依然是一个可学习的神经网络，它的目的也同样是实现编码的逆操作。不过，既然现在编码过程变成了加噪，那么解码器就应该负责去噪。而对于神经网络来说，去噪任务学习起来会更加有效。因此，DiffusionModels既不会涉及GAN中复杂的对抗训练，又比VAE更强大一点。10.1扩散模型的背景10.1.1扩散模型的思想10.1.2扩散模型的特点10.1.3扩散模型的原理10.1.3扩散模型的原理具体来说，DiffusionModels由前向扩散过程和反向扩散过程这两部分组成，对应VAE中的编码和解码，如图10.2所示。DiffusionModels中的前向扩散过程是一种基于随机过程的核心技术，旨在将清晰的图像或数据通过一系列步骤转化为类似高斯噪声的状态。此过程从一个无噪声的原始数据点出发，逐步引入随机噪声，每一步都按特定概率分布增添噪声成分，导致原始信息逐渐模糊，直至几乎完全淹没在噪声中。该过程类似于统计热力学中的热扩散，其中扩散速度和模式可由扩散系数调节，此系数或固定或依据数据当前状态动态变化。图10.2

前反向扩散过程10.1.3扩散模型的原理前向扩散扮演多重角色：它不仅能够简化数据结构，利于存储与传输，还在生成模型训练中起到基石作用。通过学习前向地从纯净数据迈向噪声分布，模型能深刻理解并捕捉到数据的内在结构。此外，该过程可作为数据增强策略，为深度学习模型训练提供更加多样化的样本集，增强模型泛化能力。更重要的是，前向扩散形成的高噪声状态构成了后续反向扩散（即去噪还原过程）的起始点，二者形成的往返循环促使模型深入学习并精确重构真实数据特征，从而在图像生成和复杂数据处理任务中发挥关键作用。反向扩散过程是DiffusionModels中的另一翼，与前向扩散形成巧妙的对偶，其核心在于从纯粹的噪声数据中逆向提炼、再生出清晰、有意义的图像或数据结构。前向扩散如同将一幅精致画作逐渐沉浸在岁月的风尘中，直至仅余模糊的痕迹；而反向扩散，则是一位技艺精湛的修复师，从这混沌中抽丝剥茧，逐步还原画作原有的风采与细节。10.1.3扩散模型的原理反向扩散过程更依赖于深度学习技术，通过精心设计的神经网络架构来执行。这些网络被训练以识别并消除噪声，逐步解析出隐藏在随机性之下的真实信号。反向扩散的每一步都是基于前一步的输出调整，学习如何一步一步减少噪声，同时保留乃至增强有意义的结构和特征。这一序列决策过程构成了一个参数化的马尔可夫链，每一环扣紧前一环，引导着从混沌到秩序的转变。在实际应用中，反向扩散过程不仅能够生成逼真的图像，还能在诸如语音合成、视频生成、NLP等领域内创造连贯、高质量的内容。它通过模仿真实数据的潜在分布，使得模型能够在没有直接模板的情况下创新性地合成新样本，这对于内容创造、数据分析以及诸多科学研究都是一个巨大的进步。10.1.3扩散模型的原理简而言之，DiffusionModels类似于一种更具体的VAE。VAE的做法是使用两个网络，一个学习把图像编码成向量，另一个学习把向量解码回图像。而DiffusionModels的前向扩散过程将图像变为噪声，反向扩散过程从噪声导向清晰，它们的目标是让复原图像和原图像尽可能相似，如图10.3所示，显示了两者之间的异同点。图10.3

DiffusionModels和VAE的异同点第十章

扩散模型网络10.1扩散模型的背景10.2去噪扩散概率模型10.3StableDiffusion模型10.4扩散模型的变体10.5扩散模型的应用10.2去噪扩散概率模型10.2.1DDPM的前向扩散过程10.2.2DDPM的反向扩散过程10.2.3DDPM的训练过程10.2.4DDPM的网络架构10.2.1DDPM的前向扩散过程

10.2.1DDPM的前向扩散过程

10.2.1DDPM的前向扩散过程接下去对上式迭代：

对上式进一步迭代，得到10.2.1DDPM的前向扩散过程

10.2.1DDPM的前向扩散过程

图10.4前向扩散过程10.2.1DDPM的前向扩散过程前向扩散过程背后的数学理论说明，通过连续的噪声注入步骤，网络模型学习了如何从一个复杂的数据分布出发，通过一系列确定性的转换，最终达到一个简单的已知分布（高斯分布），这一过程为后续的反向扩散学习提供了基础。前向扩散步骤为反向扩散过程铺垫了道路，后者试图通过学习逆过程来复原数据，即从高斯噪声中逐渐“去噪”回原始数据分布。注意图10.4中，前向扩散过程理论上需要t个噪声预测模型，但在实际处理时，可以增加一个时间嵌入（类似于Transformer模型中的位置嵌入）来将时间步长编码到模型中，从而只需要训练一个共享的模型，在扩散过程中，共享模型通常使用Unet网络，这在下面章节中会详细介绍。10.2去噪扩散概率模型10.2.1DDPM的前向扩散过程10.2.2DDPM的反向扩散过程10.2.3DDPM的训练过程10.2.4DDPM的网络架构10.2.2DDPM的反向扩散过程在前向扩散过程中，人为设置了n步加噪声过程。而在反向过程中，希望能够倒过来取消每一步加噪声操作，让一幅纯噪声图像变回数据集里的图像。这样，利用这个去噪声过程，就可以把任意一个从标准正态分布里采样出来的噪声图像变成一幅和训练数据长得差不多的图像，从而起到图像生成的目的。简单地说，反向扩散过程的目标是从完全噪声的状态出发，逐渐恢复到清晰的数据分布。由于加噪声是固定的，理想情况下，去噪声过程就等于加噪声逆过程。然而，加噪声的逆过程不太可能从理论上求得，只能通过学习一个神经网络去拟合它。去噪声过程和加噪声逆过程的关系，就是神经网络的预测值和真值的关系。现在问题来了：去噪声过程的数学形式是怎么样的？怎么让神经网络来学习它呢？10.2.2DDPM的反向扩散过程

10.2.2DDPM的反向扩散过程这样，等式右边都是已知，我们可以将这些表达式代入式贝叶斯公式，得到给定时的去噪声分布，经过计算化简，待求均值和方差分别表示为

10.2.2DDPM的反向扩散过程

10.2.2DDPM的反向扩散过程

10.2去噪扩散概率模型10.2.1DDPM的前向扩散过程10.2.2DDPM的反向扩散过程10.2.3DDPM的训练过程10.2.4DDPM的网络架构10.2.3DDPM的训练过程理解了DDPM前向扩散过程和反向扩散过程的原理后，训练神经网络的算法和生成图像的算法就可以表达出来。根据图10.4所示的前向扩散过程，

DDPM的训练过程如算法1所示：

10.2.3DDPM的训练过程训练好了网络后，就可以执行图10.5所示的反向扩散过程，对任意一幅噪声图像去噪，来实现图像的生成，其过程如算法2所示：

10.2去噪扩散概率模型10.2.1DDPM的前向扩散过程10.2.2DDPM的反向扩散过程10.2.3DDPM的训练过程10.2.4DDPM的网络架构10.2.4DDPM的网络架构在DDPM的前向扩散过程和反向扩散过程中，均使用了Unet网络来训练DiffusionModels。这一小节将详细介绍Unet网络的构架和工作原理：Unet网络是一种经典的CNN架构，提出时专为生物医学图像分割任务设计。该模型于2015年由OlafRonneberger等人在论文“U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation”中首次提出，因其卓越的性能和简单的结构，迅速成为图像分割领域的重要模型。在具体分析Unet网络前，先来简单了解下图像分割的一些基本概念。图像分割是计算机视觉中的一个关键任务，它的目标是将图像分割成多个语义有意义的区域或对象。图像中的语义指的是图像中不同区域或像素的含义或类别，这些类别通常是在训练数据中定义的，例如人、车、狗、树等。图像分割与目标检测不同，目标检测是识别图像中的对象并为其绘制边界框。在图像分割中，目标是为图像中的每个像素分配一个语义类别，从而将图像分解成不同的对象或区域。10.2.4DDPM的网络架构图10.6所示给出了Unet网络的基本构架，可以看到它的主要特点是其U型结构，该结构由编码器和一个对称的解码器组成，接下去将分模块进行讨论。图10.6Unet网络的基本构架10.2.4DDPM的网络架构编码器模块也称为收缩路径，可以理解为特征提取网络。对于分割问题来说，首先需要理解图像的语义信息，编码器的核心就是逐层抽象去理解图像的语义信息。如图10.6左侧所示，在编码器中使用卷积层不断提取图像特征，用最大池化层不断缩小图像的尺寸，实质就是用越来越少的编码描述原信息，称之为信息抽象。在深度学习领域中这种操作是普适性的，站在信息科学的角度来看，信息抽象是为了得到对具体任务更加纯净的特征，即面向任务对信息不断地抽象，最后获得与任务相关的抽象度高的特征，可以理解为面向任务的特征提纯。10.2.4DDPM的网络架构再回到具体的图中，可以看到编码器中第一层使用了一次最大池化和两次卷积，每次卷积核数量都为32；第二层使用了一次最大池化和两次卷积，每次卷积核数量为64；第三层也使用了一次最大池化和两次卷积，每次卷积核数量为128；第四层仅使用了一次最大池化。注意无论图像本身的通道有多少，一个卷积核只能得到一个通道的特征，也就是一个卷积核仅对应一种图像特征的提取。编码器模块可以概括为，不断进行卷积与池化操作获得面向任务的高层信息。当图像经过了编码器的多次池化后，得到的每张特征图都是低分辨率的，这些低分辨率的特征图反映了像素级的语义信息，可以理解为每个像素打上了类别标签。10.2.4DDPM的网络架构

图10.7上采样操作示例10.2.4DDPM的网络架构由于反卷积只能扩大图像而不能还原图像，为了减少数据丢失，采取把左边下采样时的图像裁剪成相同大小后直接拼过来的方法增加特征层（图10.6中灰色箭头指向的透明部分），再进行卷积来提取特征，这称之为跳层连接。通过跳层连接，将底层的位置信息与深层的语义信息相融合。上述提到的Unet网络编码器和解码器两个核心模块中，都使用到了卷积操作。那么每一层的卷积核参数应该如何确定呢？实际上卷积核的参数就是整个网络的变量，像普通的卷积神经网络一样，经过“变量初始化→根据训练结果逐步调整→训练精度达到目标后停止调整→确定参数”来确定最终的卷积核参数。调整卷积核数值的过程，本质就是Unet网络的训练过程。第十章

扩散模型网络10.1扩散模型的背景10.2去噪扩散概率模型10.3StableDiffusion模型10.4扩散模型的变体10.5扩散模型的应用10.3StableDiffusion模型10.3.1模型的整体构架10.3.2模型的训练过程10.3StableDiffusion模型StableDiffusion是一种基于DiffusionModels的文本到图像生成模型，由StabilityAI和慕尼黑大学计算视觉与学习实验室等团队共同开发。它于2022年发布，能够根据文本描述生成高质量、逼真的图像，如图10.8所示。图10.8文本到图像的StableDiffusion模型10.3.1模型的整体构架StableDiffusion模型主要由变分自编码器（VAE），Unet网络以及文生图编码器三个核心组件构成，如图10.9所示。图10.9StableDiffusion模型构架10.3.1模型的整体构架在StableDiffusion模型中，VAE是基于Encoder-Decoder架构的生成模型，其具体结构和工作原理在第7章中已经进行了详细的介绍，在此不再重复。VAE编码器能将输入图像转换为低维潜在特征，并作为Unet网络的输入，而VAE解码器则能将低维潜在特征重建还原成像素级图像。总的来说，在StableDiffusion模型中，VAE模型主要起到了图像压缩和图像重建的作用。Unet网络是StableDiffusion模型的核心部分，能够预测噪声残差，并结合DDPM模型对输入的特征矩阵进行重构，逐步将其从随机高斯噪声转化成图像的潜在特征。具体来说，在前向扩散过程中，StableDiffusion模型使用Unet网络持续对VAE编码器输入的潜在特征添加高斯噪声直至变成随机噪声矩阵。而在反向扩散过程中，StableDiffusion模型则通过反复调用Unet网络，将预测出的噪声残差从原噪声矩阵中去除，逐步得到去噪后的图像潜在特征，再通过VAE解码器将潜在特征重建成像素级图像。10.3.1模型的整体构架文生图编码器在StableDiffusion模型中直接决定了语义信息的优良程度，从而影响到最后图像生成的质量和与文本的一致性。在文生图编码器中，最重要的是CLIP（ContrastiveLanguage-ImagePre-training）模型，是一个基于对比学习的多模态模型，主要包含文本编码器和图像编码器两个子模型，其中文本编码器用来提取文本的特征，可以使用NLP中常用的Transformer模型作为文本编码器；而图像编码器主要用来提取图像的特征，可以使用CNN模型作为图像编码器。与Unet网络的编码器和解码器一样，CLIP的文本编码器和图像编码器也能非常灵活的切换，图像与标签文本数据的预训练赋予了CLIP强大的分类能力。10.3StableDiffusion模型10.3.1模型的整体构架10.3.2模型的训练过程10.3.2模型的训练过程

图10.10StableDiffusion模型反向扩散过程10.3.2模型的训练过程在整个模型训练过程中，前向扩散过程将真实的潜在特征逐步添加噪声，模拟数据向噪声转化。注意，是在特征矩阵上添加噪声，而不是在图像上直接添加。反向扩散过程借助去噪模型来近似逆向过程，其中去噪模型的输入是当前带噪声图像结合当前所在步数，再加上文本的条件向量，输出是基于当前图像以及步数的预测噪声，之后用当前图像减去预测噪声得到下一步的图像。StableDiffusion模型在生成图像时，需要输入Prompt提示词，那么这些文本信息是如何影响图像的生成呢？答案是通过注意力机制。在Stablediffusion模型的训练中，先将提示词通过文生图编码器生成文本嵌入，并将文本嵌入以交叉注意力机制的形式与图像潜在特征结合，使得每次输入的图像信息与文本信息进行融合训练，如图10.9中Unet网络所示。注意，在常规的Unet网络中，经常使用CNN作为特征提取层，但在前面章节中已经提到，交叉注意力机制类似于卷积，可以代替网络中的卷积层。10.3.2模型的训练过程

10.3.2模型的训练过程

图10.11StableDiffusion模型中的交叉注意力机制第十章

扩散模型网络10.1扩散模型的背景10.2去噪扩散概率模型10.3StableDiffusion模型10.4扩散模型的变体10.5扩散模型的应用10.4扩散模型的变体10.4.1DALL-E模型10.4.2Imagen模型10.4.3Sora模型10.4.1DALL-E模型DALL-E系列是由OpenAI开发的一系列基于生成模型的图像生成系统，旨在根据文本描述生成高质量的图像。最初的DALL-E基于VAE架构，而后续的DALL-E2和DALL-E3则引入了DiffusionModels，显著提升了图像生成的质量和多样性。DALL-E系列的核心思想是通过将文本描述与图像生成过程紧密结合，生成符合文本描述的逼真图像。以下是基于DiffusionModels的DALL-E系列的详细介绍。DALL-E2是DALL-E系列的第二代模型，采用了DiffusionModels作为其核心生成技术。与第一代DALL-E相比，DALL-E2在图像质量、生成多样性和文本图像对齐能力方面取得了显著提升。DALL-E2的生成过程分为两个主要阶段：文本编码和图像生成。在文本编码阶段，DALL-E2使用StableDiffusion模型中提到的CLIP技术将文本描述编码为高维向量。它将文本和图像映射到同一语义空间，从而实现文本与图像的强对齐。文本编码的结果作为条件信息，指导DiffusionModels生成符合描述的图像。10.4.1DALL-E模型在图像生成阶段，DALL-E2使用DiffusionModels从噪声中逐步生成图像。DiffusionModels通过逐步去噪的方式，能够生成高质量、高分辨率的图像。在生成过程中，文本编码的条件信息被融入DiffusionModels的每一步，确保生成的图像与文本描述高度一致。图10.12给出了DALL-E2与Stablediffusion和Midjourney在生成图像上的性能比较。注意，MidJourney是一款备受瞩目的AI艺术生成工具，同样能够根据用户输入的文本提示Prompt生成高质量的图像。但其核心算法和训练数据属于商业机密，因此在本书中对其技术细节并不公开。10.4.1DALL-E模型图中，第一行输入的文本提示Prompt：“Cherryblossomnearalake,snowing”；第二行输入的文本提示Prompt：“Eerieforest,blackandwhite,night”；第三行输入的文本提示Prompt：“AloneastronautonMars,mysterious,colorful,hyperrealistic”；第四行输入的文本提示Prompt：“Pyramidshapedmountainaboveastilllake,coveredwithsnow”。图10.12DALL-E2（左）、StableDiffusion（中）、Midjourney（右）生成的图像10.4扩散模型的变体10.4.1DALL-E模型10.4.2Imagen模型10.4.3Sora模型10.4.2Imagen模型Imagen模型是Google提出的一个强大的图像生成大模型，旨在通过自然语言描述生成高质量的图像。Imagen模型不仅在技术层面展现了前所未有的能力，更在实用性和创新性上为未来的视觉内容创作提供了新的可能性。Imagen模型是一个结合DiffusionModels和Transformer架构的生成模型，通过对大量数据的学习，模型掌握了如何将文字信息转化为视觉图像。Google的研究团队通过改进和优化现有的扩散技术，使Imagen模型在生成图像的真实性和细节表现上达到了新的高度。以下是Imagen模型的几项关键技术：Imagen模型采用了Transformer架构。传统的CNN在处理图像时，通常依赖于局部的感受野，而Transformer模型通过自注意力机制能够捕捉全局信息。这种机制允许模型在生成图像时考虑到整个图像的上下文，从而生成更加连贯和细腻的视觉内容。此外，Transformer模型还具有较强的并行处理能力，使得训练和推理速度得以提升。10.4.2Imagen模型Imagen模型的第二个重要技术创新是使用Stablediffusion模型中的文本图像对齐（CLIP）技术。模型通过利用大量的文本图像配对数据进行训练，学习如何将自然语言描述与对应的视觉内容关联起来。这种对齐机制使得模型能够理解不同的描述词汇和语境，从而生成符合用户需求的图像。比如，当用户输入“在海边日落时的沙滩”，Imagen模型能够理解这一描述中的元素，并生成相应的图像，展现海滩、日落和沙滩的细节。Imagen模型的第三个重要技术是具有生成高分辨率图像的能力。传统的生成模型往往在生成高分辨率图像时会面临挑战，容易导致模糊或失真。而Imagen模型使用多阶段级联DiffusionModels，逐步提升图像的分辨率。在初始阶段，模型生成一个较低分辨率的图像，然后通过多个超分辨率DiffusionModels逐步提高其质量和细节。这一过程有效地缓解了高分辨率生成中的常见问题，最终生成的图像清晰且细腻，具有更高的视觉吸引力。10.4.2Imagen模型虽然Imagen模型的核心架构基于DiffusionModels和Transformer构架，但它也借鉴了GAN的思想，GAN通过对抗训练机制，使得生成的图像更加真实。Imagen模型训练过程中引入了对抗损失，促进生成图像与真实图像之间的相似性。这种结合使得Imagen模型在生成质量上更具优势，能够生成更具真实感的图像。Imagen模型还利用了多模态学习的理念，同时优化文本编码器和DiffusionModels。在训练过程中，模型不仅能理解文本语义，还能在去噪过程中精确控制图像风格和内容，使得模型能够在生成图像时，综合考虑文本的语义和视觉特征，从而实现更高层次的创意表达和内容生成。总之，Imagen的成功在于将DiffusionModels与Transformer架构、文本对齐机制、级联超分辨率生成等技术结合，克服了传统生成模型的局限性。这些技术的创新使得Imagen模型成为当前图像生成领域的一颗璀璨明珠，为未来的创作和应用开辟了新的可能性。10.4扩散模型的变体10.4.1DALL-E模型10.4.2Imagen模型10.4.3Sora模型10.4.3Sora模型Sora模型是OpenAI研发的一款能够将文本信息转化为视频内容的深度学习模型。这意味着用户只需提供一段文本描述，Sora模型就能够据此生成与该描述相契合的视频片段。与DALL-E3、StableDiffusion及Midjourney等同属文本生成图像领域的深度学习模型相似，Sora模型也是一个基于扩散过程构建的模型。这意味着它以包含随机噪声的视频每一帧为起点，运用先进的机器学习技术逐步迭代还原图像，最终将这些帧内容精细化成与Prompt输入提示相符的视觉表现。Sora模型所生成的视频片段可以长达60秒之久。10.4.3Sora模型Sora模型结合了DiffusionModels与GPT系列所采用的Transformer架构，实现了一种创新融合。DiffusionModels在生成细腻的局部纹理方面表现出色，但在构建全局图像结构上相对较弱；相反地，Transformer模型则恰好面临相反的挑战，即在整体布局设计上效果较好，而在细节生成上能力有限。在OpenAI发布的一篇关于Sora模型技术实施的文章中，阐述了这两种模型如何协同工作以达到互补的效果。在Sora模型中，视频帧被分解为一系列较小的三维，这些“块”不仅存在于单个图像内，而且跨越时间维度连续存在。可以将这些“块”比为大型语言模型中Token，它们不是构成完整句子的元素，而是构成连续视觉内容的基本组成单元。该混合体系结构的独特之处在于：为了确保视频生成过程在计算上的可行性，模型采用了降维处理来创建和处理这些“块”，从而避免了对每一帧中每个像素进行独立且密集的计算需求。这样，Transformer模型部分负责组织和构建视频的整体框架结构，而DiffusionModels部分则专注于填充并生成各个“块”内的具体内容。10.4.3Sora模型Sora模型的一项创新功能体现在它能够连续处理多个视频帧，确保了物体在画面内外移动时保持视觉一致性。举例来说，在展示的视频片段中，当袋鼠的手部几次移出镜头范围再回到画面内时，该手部的外观和之前保持一致，不会出现不连贯的现象。为了准确地捕捉用户描述的核心内容，Sora模型采用了与DALL-E3中相同的再现技术。这意味着在制作任何视频之前，会运用GPT对用户提供的描述进行重写以增添更多细节信息。本质上，这是一种自动化的提示工程技术。当然，Sora模型也有其局限性。首先，Sora模型并未对物理学原理深刻理解，因此在模拟“现实世界”场景时，物理规则可能不会被始终如一地遵循。同样，物体在空间中的位置也可能会出现不自然的移动，比如，在某群体场景中，物体可能会无征兆地突然出现，并且位置可能会发生重叠现象。第十章

扩散模型网络10.1扩散模型的背景10.2去噪扩散概率模型10.3StableDiffusion模型10.4扩散模型的变体10.5扩散模型的应用10.5扩散模型的应用10.5.1图像处理10.5.2文本多模态10.5.3自然语言处理10.5.4基础科学研究10.5.1图像处理DiffusionModels在图像处理中的作用十分广泛，可以用于许多图像处理任务，如图像去噪、图像增强、图像分割、艺术创作等。在DiffusionModels出现之前，与图像处理相关的研究已经有很多了，而DiffusionModels在许多图像处理任务中可以更好地发挥作用。10.5.1图像处理1.图像分割与目标检测图像分割与目标检测是计算机视觉领域的经典任务，也是图像处理研究最多的领域。而在加入DiffusionModels方法之后，就可以获取更精准的分割和检测结果。例如DiffusionModels可以生成分割Mask图，如图10.13所示。也同样可以端到端逐步生成检测框，如图10.14所示。不过，DiffusionModels仍然存在生成速度慢的问题，在应用于一些需检测的场景时还需继续优化。图10.13DiffusionModels生成的分割图图10.14DiffusionModels生成的检测框10.5.1图像处理2.图像超分辨率图像超分辨率是将低分辨率的图像重建为高分辨率的图像。DiffusionModels通过‌迭代去噪‌和‌条件信息生成机制‌，分级式地逐步放大分辨率，其在图像超分辨率任务中展现出强大的细节恢复能力与场景适应性，尤其在真实世界复杂变化场景下表现优于传统方法，如图10.15所示，给出了一个使用DiffusionModels实现图像超分辨率的示例。图10.15DiffusionModels实现的图像超分辨率10.5.1图像处理3.图像修复、图像翻译和图像编辑图像修复、图像翻译和图像编辑是对图像的部分或者全部区域执行处理的操作，包括缺失部分修补、风格迁移、内容替换等，但在具体任务上DiffusionModels的作用有所不同。对于图像修复，DiffusionModels通过‌条件信息生成机制‌，将损坏区域（如划痕、遮挡）与周围完整图像内容结合，迭代去噪生成连贯修复结果。对于图像翻译，DiffusionModels通过‌文本或图像条件控制将输入图像转换为特定艺术风格（如油画、赛博朋克）。图像编辑则主要分局部编辑和全局编辑，其中局部编辑是对图像中特定区域进行修改（如更换服装、调整光照），DiffusionModels主要是通过掩码条件实现精准控制，全局编辑‌则是调整图像整体属性（如季节变换、昼夜转换），通过文本提示或风格嵌入引导编辑方向‌。10.5.1图像处理图10.16给出了一个使用DiffusionModels修复图像的示例。图10.16DiffusionModels修复的图像10.5.1图像处理4.艺术创作DiffusionModels在艺术创作方向的应用，不仅促进了艺术形式的多元化，开辟了数字时代艺术表达的新路径，同时降低了艺术创作的技术门槛，使得个人用户也能轻松创造出具有专业水准的艺术作品，为艺术家、设计师和广大用户带来了前所未有的创作与体验空间，如图10.17所示展示了一些通过扩展模型创作的抽象作品。图10.17DiffusionModels实现的艺术创作10.5.1图像处理DiffusionModels在艺术创作方向的主要价值包括：首先，DiffusionModels推动了艺术表现形式的革新，让创作者能够跨越时间和风格的界限，自由地探索和融合不同的美学理念。其次，相比传统手绘或人工调整，自动化的风格迁移和图像生成大大提高了工作效率，同时保持了高水平的艺术质量，降低了创作门槛。再次，用户可以直观地参与到艺术创作过程中，通过简单的操作即可获得专业级别的艺术作品，增强了用户参与度和满意度。最后，艺术与科技的结合通过DiffusionModels等技术得以深化，促进了计算机科学、设计、艺术史等领域的交叉融合，催生出更多创新项目和研究成果。10.5扩散模型的应用10.5.1图像处理10.5.2文本多模态10.5.3自然语言处理10.5.4基础科学研究10.5.2文本多模态多模态是指利用多种不同形式或感知渠道的信息进行表达、交流和理解的方式，通常包括视觉、听觉、文本、触觉等多种感官输入和输出方式。多模态信息的交互是深度学习领域的研究热点之一，对于机器理解人类世界、帮助人类处理多种事务具有重要意义。在诸如DALLE-2和Stablediffusion等图像生成扩散模型以及ChatGPT等语言模型出现之后，多模态逐渐演变为基于文本和其他模态的交互，如文本生成图像、文本生成视频、文本生成3D等。10.5.2文本多模态1.文本生成图像文本生成图像是DiffusionModels最流行、最成熟的应用，输入文本提示语Prompt，DiffusionModels就能根据文字描述生成对应的图像。10.5.1节介绍的DALLE-2、Imagen以及Stablediffusion等，都属于文本和图像的多模态扩散模型。如图10.18所示，给出了几个使用Imagen实现文字生成图像的示例。图10.18文字生成图像示例10.5.2文本多模态2.文本生成视频与文本生成图像类似，文本生成视频扩散模型能够将输入的文本提示语Prompt转换为相应视频流。不同的是，生成的视频需要在时间维度上保持连贯性，避免帧与帧之间的跳跃或不一致，以及生成的视频需要具有高分辨率和高保真度，以满足实际应用的需求，如图10.19所示展示了文本生成视频的例子。文本生成视频有着非常广泛的应用，包括影视制作、广告营销、教育科普和虚拟现实等。图10.19文字生成视频的示例10.5.2文本多模态3.文本生成3D同样，文本生成3D扩散模型能够将输入的文本转换为相应的3D物体。稍有不同的是，3D物体的表征有多种方式，如点云、网格等。不同的应用在实现方式上也略有差异，有些通过DiffusionModels直接实现从文本生成3D，如图10.20所示；有些先生成二维图像，然后基于二维图像生成对应的3D点云。虽然目前文本生成3D技术仍处于起步阶段，但其应用前景非常广阔，包括室内设计、游戏建模、元宇宙数字人等。图10.20文字生成3D的示例10.5扩散模型的应用10.5.1图像处理10.5.2文本多模态10.5.3自然语言处理10.5.4基础科学研究10.5.3自然语言处理DiffusionModels在NLP方面展现出了广泛的应用潜力，以下是一些主要的应用场景：1.剧情故事生成DiffusionModels可以根据预设的主题、角色或情境线索，生成新颖的故事梗概、情节发展或完整的短篇故事，为编剧和小说家提供创作灵感。2.创意写作启发通过输入关键词、情感色彩或特定风格指导，DiffusionModels能够生成与之匹配的文字段落或篇章，帮助作者打破创作瓶颈，探索不同的叙述角度和创作风格。3.对话内容生成在构建聊天机器人或虚拟助手时，DiffusionModels能够生成自然流畅的对话响应，提升交互的真实感和用户体验，适合应用于客服、娱乐和教育领域。4.新闻文章自动生成基于现有的新闻数据或特定话题，DiffusionModels可以自动生成新闻报道、评论或分析文章，提高新闻编辑室的生产效率，快速响应时事热点。10.5.3自然语言处理5.产品描述广告文案在电商和营销领域，DiffusionModels可以根据产品特性或目标市场，生成吸引人的商品描述、广告语或营销文案，增强产品的市场吸引力。6.个性化内容推荐结合用户的历史偏好和行为数据，DiffusionModels能够生成个性化的文章推荐、新闻摘要或定制故事，提升用户满意度和参与度