深度学习通识教程 课件 第八章生成式学习网络1

生成式学习网络

原理与实践目录CONTENTS01生成式模型02自编码器03GAN04扩散模型05本章小结生成式模型AIPARTONE生成式模型上图中最大数字是多少？上图中取自生活中的哪个场景？识图实际上这些图都是GAN生成的图像生成式模型动漫人物头像：真实人物头像：赏图实际上这些图都是GAN生成的图像生成式模型马

斑马变图实际上这些图都是GAN生成的图像生成式模型2018年10月25日，纽约佳士得拍卖行，这幅由法国艺术团体Obvious开发的算法制作的版画作品2018年10月25日，纽约佳士得拍卖行以43.25万美元的价格售出。该画名为《埃德蒙·贝拉米画像》(PortraitofEdmondBelamy)，有GAN生成。毕加索的女人头像(TêtedeFemme)画像售价为10万美元埃德蒙·贝拉米画像(PortraitofEdmondBelamy)女人头像(TêtedeFemme)

卖图实际上这些图都是GAN生成的图像生成式模型生成式模型是一类从数据分布中学习并生成新样本的机器学习模型。生成式模型的终极目标，是建模真实世界数据的复杂联合分布

(ComplexJointDistribution)。简单来说，就是让模型理解数据的内在模式和结构，从而能够“创造”出与真实数据相似的新数据。生成式模型基于似然的模型该类模型旨在学习一个为观测数据样本赋予高似然性的模型。包括自回归模型、归一化流和VAEs。基于分数的生成式模型该类模型不是学习建模能量函数本身，而是学习基于能量的模型的分数作为一个神经网络。生成对抗网络该类模型通过对抗方式学习复杂分布的采样过程。基于能量的建模该类模型将分布建模为任意灵活的能量函数，再进行归一化。生成式模型生成对抗网络（GenerativeAdversarialNetwork,GAN）由IanGoodfellow等人于2014年提出，是一种通过对抗训练生成数据的生成模型。其核心思想是让生成器（Generator）和判别器（Discriminator）在零和博弈中相互竞争，最终使生成器能生成与真实数据几乎无法区分的样本。生成式模型-GAN生成式模型生成式模型-VAEVAE（VariationalAutoencoder，变分自编码器）是2014年提出的基于概率图模型与神经网络结合的生成式模型，核心目标是学习数据的潜在分布（如图红色部分）并基于该分布生成新的、与原始数据相似的样本，兼具“编码-解码”的自编码器结构与“概率建模”的变分特性。生成式模型生成式模型-流模型流模型（NormalizingFlows）是一种基于可逆变换的概率建模方法，它通过一系列可逆的、参数化的变换函数，将一个简单的先验分布（如高斯分布）逐步变换为一个复杂的、目标数据分布。流模型在生成建模、密度估计、采样和变分推断等领域具有广泛应用。注：流模型区别于VAE的关键之处就在于：流模型直接最大化目标函数，而非VAE那般通过最大化目标函数的变分下界来实现目标。生成式模型生成式模型-扩散模型扩散模型（DiffusionModels）是一类基于概率扩散过程的生成模型，近年来在图像生成、语音合成、视频生成等领域取得了非常优异的效果。它通过逐步添加噪声（前向扩散）和逐步去噪还原数据（反向扩散）的方式来建模数据分布。它与VAE、GAN和流模型并列为当前主流的生成模型之一。更稳定的训练过程（相比GAN）更高质量的生成结果更强的理论基础扩散模型相较于其他生成模型的优势生成式模型1980s非平衡热力学为扩散模型提供理念支撑2015Sohl-Dickstein等人提出了首个非平衡热力学生成框架。标志着扩散模型开始向深度生成模型演进。DeepUnsupervisedLearningusingNonequilibriumThermodynamics1992Perona-Malik非线性扩散方程扩散过程首次应用于图像处理。2019提出可训练的扩散过程。扩散模型具备了深度生成模型的理论支撑。VariationalDiffusionModels(2019)2020DenoisingDiffusionProbabilisticModels(2020)扩散模型首次具备实用性和可扩展性。成为后续扩散模型的标准框架。2021扩散模型理论统一。在图像生成任务上超越GAN（如FID指标）。提出DDIM等加速采样方法。2022StableDiffusion出世扩散模型走向工业级应用。生成式模型-扩散模型自编码器AIPARTTWO自编码器传统自编码器卷积自编码器去噪自编码器变分自编码器自编码器是一种无监督学习模型通过将输入数据编码为低维表示并重建原始输入，实现对数据特征的提取与理解。本节将深入探讨自编码器的核心原理及其不同变体。传统自编码器

传统自编码器

传统自编码器

传统自编码器

传统自编码器

传统自编码器类似于PCA，通过将数据压缩为低维表示，去除冗余信息，保留主要特征。降维自编码器能够自动地从输入数据中学习到有效的特征表示。数据预处理与特征工程自编码器能够学习到输入数据的常规模式，对于不符合常规模式的异常数据，它的重建误差会很大。异常检测自编码器的应用去噪自编码器（DenoisingAutoencoder，DAE）去噪自编码器（DenoisingAutoencoder，DAE）是自编码器的一种变体，它的主要目标是学习输入数据的“干净”表示，能够去除噪声并恢复原始信号。自编码器的基本结构与传统自编码器类似，仍然包含编码器和解码器，如下图所示。但与训练传统自编码器不同，训练去噪自编码器时会向输入数据添加噪声，这使得网络不仅要学如何压缩数据，还要学习如何从噪声中恢复出真实的信号。去噪自编码器（DenoisingAutoencoder，DAE）假设有输入特征X，它代表一组原始数据，如图像、文本或其他特征向量。在训练过程中，会对输入数据X添加噪声，生成带噪声的数据X’。通常噪声Noise是通过将输入数据中的一部分像素（或特征值）随机替换成噪声（如高斯噪声或零）来实现的：

X’将作为网络的输入，而原始的输入数据X会作为目标输出。添加噪声的目的是模拟现实世界中的数据干扰或损坏情况，比如图像在压缩、传输过程中损坏或传感器引入的噪声等。去噪自编码器（DenoisingAutoencoder，DAE）

去噪自编码器（DenoisingAutoencoder，DAE）

去噪自编码器（DenoisingAutoencoder，DAE）

去噪自编码器（DenoisingAutoencoder，DAE）对于含有噪声的模糊图像，去噪自编码器能够恢复出原始的清晰图像。这对恢复图像在压缩、传输过程中丢失的细节信息非常有效。图像处理去噪自编码器能够从受到噪声污染的信号中恢复出原始信号，广泛应用于音频处理、通信系统等领域。信号处理当输入数据出现严重的噪声或与常规数据分布差异较大时，网络的重建误差会显著增大。异常检测去噪自编码器的应用在某些情况下，去噪自编码器还能够作为数据增强工具，为训练数据去噪，从而改善模型的泛化能力。数据增强卷积自编码器（ConvolutionalAutoencoder，CAE）卷积自编码器（ConvolutionalAutoencoder，CAE）是自编码器的一种重要变体，它采用卷积神经网络作为编码器与解码器的核心结构，尤其适用于处理图像等具有空间结构的数据。与基于全连接层的传统自编码器相比，卷积自编码器利用卷积层来有效提取局部特征与空间信息，从而更好地捕捉图像中的结构模式。卷积自编码器（ConvolutionalAutoencoder，CAE）在结构设计上，卷积自编码器通常由多层卷积层和池化层组成。卷积层通过可学习的卷积核在输入数据上进行滑动操作，提取图像中的局部特征（如边缘、纹理等），并生成特征图。池化层常用最大池化操作来降低特征图的空间分辨率，减少参数量，保留关键信息，有助于提升计算效率并抑制过拟合。卷积自编码器（ConvolutionalAutoencoder，CAE）在编码过程中，输入图像依次进行多个卷积和池化操作，其空间尺寸逐步减小，而特征图的深度逐渐增加。这一过程实现了图像从高维到低维的有效压缩，最终得到一个低维的潜在空间表示，该表示是输入图像的紧凑、高层次的特征表达。卷积自编码器（ConvolutionalAutoencoder，CAE）

卷积自编码器（ConvolutionalAutoencoder，CAE）

卷积自编码器（ConvolutionalAutoencoder，CAE）

卷积自编码器（ConvolutionalAutoencoder，CAE）总体而言，卷积自编码器通过卷积层和池化层实现图像的编码和压缩，通过反卷积层和上采样层逐步恢复图像的原始空间结构。它的编码器负责提取图像的局部特征并将其压缩为低维表示，解码器则通过逐步增加特征图的空间维度来重建图像。卷积自编码器不仅能够有效地处理图像数据，还具有很强的空间特征提取能力，适用于图像去噪、图像压缩、图像生成等任务。变分自编码器(VariationalAutoencoder,VAE)变分自编码器是自编码器的一个变体，它结合了概率图模型和自编码器的思想。与传统自编码器不同，变分自编码器在编码器部分引入了随机性（通过潜在变量的概率分布），并且解码器的目标是从这些潜在变量的概率分布中生成数据，而不是根据一个确定的潜在变量直接生成数据。变分自编码器具有以下特点：特征映射变分自编码器将输入特征映射到潜在变量的概率分布，而不是单一的潜在变量。因此它能够从潜在变量的概率分布中采样，进而生成数据。重参数化技巧为了能够在训练过程中反向传播梯度，变分自编码码器通过重参数化技巧引入随机性，而不会影响梯度的传播。优化目标变分自编码器使用变分推断方法来优化模型，通过最大化证据下界（EvidenceLowerBound，ELBO）进行训练。变分自编码器(VariationalAutoencoder,VAE)

变分自编码器(VariationalAutoencoder,VAE)

变分自编码器(VariationalAutoencoder,VAE)

变分自编码器(VariationalAutoencoder,VAE)

变分自编码器(VariationalAutoencoder,VAE)总体而言，变分自编码器主要用于生成与输入数据相似的新数据，并通过潜在空间建模数据的内在结构。它不仅可以用于图像、文本和音频等数据的生成，还能通过学习到的潜在变量提供有意义、可解释的数据压缩结果。变分自编码器的输出可以作为下游任务（例如分类、聚类、异常检测和迁移学习等）的有用特征，进一步增强模型的灵活性。此外，变分自编码器还可用于数据重构和去噪任务，通过学习数据的潜在表示来修复损坏或缺失的输入数据。因此，变分自编码器在多种任务中发挥着重要作用。思考：自编码器是生成式模型吗？VAE、扩散模型（DDPM）甚至GAN的解码器部分，都继承了自编码器的“编码-解码”骨架。传统自编码器（AE/DAE/CAE）

它属于无监督表征学习，只能压缩和重构输入数据。潜在空间（Z）不规整，无法