生成式视觉模型原理与实践 课件全套 chapt1、2 生成式视觉模型简介 -chapt7 典型应用场景

生成式视觉模型

原理与实践9:49:25下午1第1&2章

生成式视觉模型简介9:49:25下午2主要内容生成式大模型：语言模型和视觉模型生成式视觉模型的发展历程生成式建模的基本概念（复习概率知识）典型生成模型简介评价指标简介深度学习框架PyTorch简介9:49:25下午31.生成式大模型9:49:25下午4时间模型开发者2022年11月ChatGPTOpenAI2023年2月LLaMAMetaAI2023年3月BardGoogleAI2023年3月文心一言百度2023年4月通义千问阿里2023年12月GeminiDeepMind2025年1月DeepseekV3深度求索语言大模型视觉大模型语言大模型ChatGPT信息检索代码生成聊天机器人……科技业医疗健康客户服务……1.生成式大模型9:49:25下午5时间模型开发者2022年7月MidjourneyMidjourney2022年8月StableDiffusionStabilityAI2023年3月Gen-2Runway2023年7月通义万相阿里云2023年11月文心大模型百度2024年2月SoraOpenAI2025年2月CogView4智谱AI语言大模型视觉大模型图像修复图像编辑图像变换……艺术创作文化娱乐医疗影像……视觉大模型《太空歌剧院》(Midjourney)SoraStableDiffusion的生成效果9:49:25下午6Gen-2的生成效果（1）9:49:25下午7基于一张图片和一段提示词的视频生成图片输入提示词输出Gen-2的生成效果（2）9:49:25下午8视频风格转换输入风格图输出Sora的生成效果（1）9:49:25下午9Sora的生成效果（2）9:49:25下午102.生成式视觉模型的发展历程9:49:25下午11深度神经网络AlexNet(2012)网络结构、损失函数、训练方法等快速迭代DeepMind提出BigGAN(2019)NVIDIA提出StyleGAN(2019)IanGoodfellow等提出生成对抗网络GAN(2014)提出对抗训练机制扩散模型兴起（DiffusionModel）OpenAI提出ADM(2021)媲美甚至超越GAN的生成效果朱俊彦等提出GigaGAN(2023)GAN在图像生成领域的复兴OpenAI发布Sora（2024）JonathanHo等提出DDPM(2020)“前向加噪-反向降噪”训练机制宋飏等提出Score-basedModel(2020)条件生成对抗网络cGAN(2014)对生成的图像具有了较强的控制能力连续条件生成对抗网络CcGAN(2020)以连续标量为条件GAN落伍了？Runway团队提出LatentDiffusionModel(2022)催生出StableDiffusion（同期还有DALL·E、Imagen等）JonathanHo等提出Classifier-FreeGuidance(2021)生成式模型的大型化趋势模型“大”参数量多或计算量大数据“大”上亿的训练样本功能越来越强，成本也越来越高9:49:25下午12M：百万B：十亿3.生成式建模的基本概念3.1概率预备知识3.2信息论预备知识3.3针对图像的生成式建模9:49:25下午13《神经网络与深度学习》，邱锡鹏，机械工业出版社，20213.1概率预备知识样本空间随机变量/向量及其概率分布边际分布条件概率分布独立与条件独立期望和方差高斯分布9:49:25下午143.1概率预备知识似然函数与极大似然估计熵交叉熵

KL散度（相对熵）

JS散度9:49:25下午15样本空间9:49:25下午16

随机变量9:49:25下午17

只有离散型和连续型吗？

接下来只讨论连续型随机变量!连续随机变量的概率分布

9:49:25下午18

连续随机变量的概率分布

9:49:25下午19连续随机变量的概率分布

9:49:25下午20随机向量

9:49:25下午21随机向量的分布

9:49:25下午22边际分布

9:49:25下午23条件概率分布

9:49:25下午24贝叶斯定理

9:49:25下午25在后续的公式推导中会被反复用到！先验：已知信息后验条件：新信息独立与条件独立

9:49:25下午26数学期望

9:49:25下午27方差

9:49:25下午28期望针对哪个分布？协方差

9:49:25下午29期望针对哪个分布？高斯分布9:49:25下午30高斯分布9:49:25下午31

多维高斯分布

9:49:25下午32似然函数

9:49:25下午33极大似然估计（MLE）

9:49:25下午34熵

9:49:25下午35交叉熵

9:49:25下午36KL散度（相对熵）

9:49:25下午37JS散度Jenshon-Shannon(JS)散度是一种对称的、衡量两个分布相似性的度量方式。定义9:49:25下午383.2什么是生成式建模？9:49:25下午39

生成式建模的根本任务密度估计（DensityEstimation）样本生成（Sampling）9:49:25下午40密度估计9:49:25下午41概率密度估计(densityestimation)：基于一些观测样本来估计随机变量的密度函数密度估计的方法9:49:25下午42显式估计参数法：假设待估分布为某已知分布，估计其中未知参数；极大似然估计非参数法：直方图法、核密度估计等可获得估计分布密度函数的具体表达式，但是高维场景中表现较差密度估计的方法9:49:25下午43

样本生成

9:49:25下午443.3针对图像的生成式建模9:49:25下午453.3针对图像的生成式建模9:49:25下午46

估计所有像素值的联合分布

采样

4.典型模型简介4.1变分自编码器4.2生成对抗网络4.3标准化流4.4扩散模型9:49:25下午479:49:25下午48典型模型结构示意图4.1变分自编码器变分自编码器在编码过程中引入了一个隐变量，使得模型能够学习到数据的潜在分布。通过优化潜在变量的变分下界，变分自编码器能够生成与原始数据分布相似的新样本。9:49:25下午494.2生成对抗网络生成对抗网络由两个神经网络组成：一个生成器和一个判别器。通过这两个网络的对抗训练，生成对抗网络能够生成高质量的数据样本，如逼真的图像、音频和视频。9:49:25下午504.3标准化流模型通过一系列可逆且光滑的变量变换，将简单的概率分布（如高斯分布）逐步转换为与真实数据相匹配的复杂分布。这些变换需要满足其雅可比行列式易于计算的条件，以便于进行高效的概率密度估计。9:49:25下午514.4扩散模型通过模拟物质的扩散过程来生成数据。在扩散模型中，数据逐步被添加噪声，然后再通过一个逆向过程逐步去噪，以恢复原始数据或生成新的数据实例。9:49:25下午52典型模型的比较9:49:25下午53模型简称密度函数采样过程训练过程模型结构变分自编码器VAE下界快MLE-LB编码器-解码器生成对抗网络GAN无快对抗式生成器-判别器标准化流Flow精确的较快MLE可逆函数扩散模型Diffusion下界慢MLE-LB编码器-解码器5.评价指标简介

5.1负对数似然

5.2

InceptionScore（IS）

5.3

FréchetInceptionDistance（FID）5.4过拟合的检测9:49:25下午545.1负对数似然9:49:25下午55

交叉熵估计负对数似然越小越好！5.2InceptionScore9:49:25下午56用一个在ImageNet数据集上预训练的Inception

V3模型来预测给定生成图片的类别标签，然后计算

整个数据集类别标签的边缘分布5.2InceptionScore9:49:25下午57两条假设：一是若生成图像的多样性足够高，这些图像的类别标签应该均匀分布于1000个类别，而非集中于某几个类别。二是对于视觉质量较好的生成图像，分类器Inception-V3网络输出的预测概率应当集中于某一特定类别上，即分类器能够较为确定地判断该图像所属的类别。若满足假设，KL散度应该较大。IS越大越好！该数学期望在实际中如何计算？5.3FréchetInceptionDistance用一个在ImageNet数据集上预训练的Inception

V3模型来提取生成图片和真实图片的特征

(feature)，并在此特征空间定义一个距离：FID分数越低，表示生成图像与真实图像的分布越接近，通常认为生成的图像质量越高。9:49:25下午58生成图像生成图像真实图像真实图像5.4

过拟合的检测

9:49:25下午595.

4过拟合的检测9:49:25下午60在VGG16的fc7层所定义的特征空间中，寻找与生成图像最近的14张真实图像。6.深度学习框架：PyTorch9:49:25下午616.深度学习框架：PyTorch9:49:25下午626.深度学习框架：PyTorch9:49:25下午636.深度学习框架：PyTorchPyTorch入门：/tutorials/9:49:25下午64生成式视觉模型

原理与实践9:49:25下午65第3章

变分自编码器9:49:25下午66主要内容预备知识自编码器极大似然估计总体思路模型结构9:49:25下午67理论目标训练算法后验/先验采样条件VAE实现代码1.预备知识I：自编码器降维在机器学习中，降维是减少描述数据的特征数量的过程。降维可以被理解为数据压缩，包含一个抽象的编码器和一个抽象的解码器。编码器压缩数据，解码器则用于解压缩。9:49:25下午681.预备知识I：自编码器自编码器（Autoencoder）用神经网络来作为编码器和解码器，并使用迭代优化学习最佳的编码-解码方案。9:49:25下午69隐空间的维度一般远小于数据空间的维度1.预备知识I：自编码器

9:49:25下午701.预备知识I：自编码器问题：自编码器是否是生成模型？为什么？9:49:25下午71复习：什么是生成式建模？

9:49:25下午72

复习：密度估计的方法

9:49:25下午731.预备知识I：自编码器根据以上定义，自编码器不是生成模型！9:49:25下午741.预备知识II：极大似然估计

9:49:25下午751.预备知识II：极大似然估计

9:49:25下午761.预备知识II：极大似然估计

极大似然估计（MaximumLikelihoodFunction,MLE），属于点估计法

通俗理解极大似然估计就是一个猜参数的方法。我们看哪个参数值能让观测到的数据出现的可能性最大，就认为它是真实参数的估计值。9:49:25下午771.预备知识II：极大似然估计

9:49:25下午781.预备知识II：极大似然估计

9:49:25下午792.总体思路

9:49:25下午802.总体思路

9:49:25下午81什么是隐变量？2.总体思路变分自编码器（VariationalAutoencoder,VAE）是一种含有隐变量的生成模型。显变量（ObservableVariable）可直接观测隐变量（LatentVariable）不可直接观测9:49:25下午822.总体思路变分自编码器在编码过程中引入了一个隐变量，使得模型能够学习到数据的潜在分布。通过优化潜在变量的变分下界，变分自编码器能够生成与原始数据分布相似的新样本。9:49:25下午832.总体思路

9:49:25下午842.总体思路：如何建模？

9:49:25下午85一个直观想法（Naïveidea）2.总体思路：如何建模？

9:49:25下午862.总体思路：联合分布的分解

9:49:25下午87分解一：分解二：2.总体思路：一些定义与假设

9:49:25下午88分解一：分解二：定义&假设：2.总体思路：一些定义与假设9:49:25下午89分解一：分解二：定义&假设：用推断网络建模

用生成网络建模变分分布

2.总体思路：最大化证据下界

9:49:25下午902.总体思路：总结

9:49:25下午919:49:25下午923.模型结构

9:49:25下午93

3.模型结构

9:49:25下午943.模型结构

9:49:25下午953.模型结构自编码器和变分自编码器在模型结构上有什么区别？9:49:25下午964.理论目标：证据下界对分解二等号两侧取对数，可得移项，可得9:49:25下午97分解二：对数似然函数4.理论目标：证据下界

9:49:25下午98接下来，我们来推导证据下界（ELBO）的具体表达式！4.理论目标：证据下界9:49:25下午994.理论目标：证据下界9:49:25下午1004.理论目标：证据下界9:49:25下午1014.理论目标：证据下界9:49:25下午1024.理论目标：证据下界9:49:25下午1034.理论目标：证据下界9:49:25下午1044.理论目标：证据下界9:49:25下午1054.理论目标：证据下界9:49:25下午1064.理论目标：证据下界9:49:25下午1074.理论目标：证据下界9:49:25下午1084.理论目标：证据下界证据下界具有如下形式：9:49:25下午1094.理论目标：证据下界9:49:25下午110当且仅当时，对数似然等于ELBO。这也意味着，当变分分布越接近后验分布，ELBO对对数似然的替代性越强。注意：4.理论目标：琴生不等式

9:49:25下午1114.理论目标：更简洁的推导应用琴生不等式，可得9:49:25下午1124.理论目标：最大化ELBO

9:49:25下午1134.理论目标：最大化ELBO根据分解一，可得9:49:25下午114分解一：4.理论目标：先验匹配项先验匹配项已假设变分分布已假设先验分布则先验匹配项有显式表达式9:49:25下午1154.理论目标：先验匹配项注意：高斯分布之间的KL散度具有显示表达式9:49:25下午1164.理论目标：重构项

9:49:25下午117

4.理论目标：重构项

9:49:25下午1184.理论目标：重参数化

9:49:25下午1194.理论目标：重参数化

9:49:25下午1204.理论目标：重参数化那么,我们可以将原始目标函数改写9:49:25下午121改写估计

4.理论目标：重参数化

9:49:25下午122对应元素相乘4.理论目标：扩展至整个分布

9:49:25下午1235.训练算法：理论损失函数对理论目标函数取负，可得到理论损失函数（TheoreticalLossFunction），即9:49:25下午1245.训练算法：经验损失函数

9:49:25下午1255.训练算法：经验损失函数经验损失可以进一步化简为：9:49:25下午126假设：化简5.训练算法：经验损失函数

9:49:25下午1275.训练算法：总体流程9:49:25下午1289:49:25下午1296.采样

9:49:25下午130复习：模型结构

9:49:25下午1316.采样：后验采样9:49:25下午1326.采样：后验采样9:49:25下午1336.采样：先验采样9:49:25下午1346.采样：先验采样9:49:25下午1357.条件VAE条件变分自编码器（ConditionalVariationalAutoencoder,CVAE）是变分自编码器的变体模型，它可以对条件分布进行估计，并根据给定条件进行图像生成。9:49:25下午1367.条件VAE将条件输入到变分自编码器中的方式有多种，此处我们介绍基于线性投影（LinearProjection）的方法。9:49:25下午1378.代码示例：数据集

9:49:25下午1388.代码示例：载入Python包9:49:25下午1398.代码示例：参数设置9:49:25下午1408.代码示例：数据载入9:49:25下午1418.代码示例：定义VAE类9:49:25下午1429:49:25下午1439:49:25下午1449:49:25下午1459:49:25下午1469:49:25下午1479:49:25下午1488.代码示例：实例化与优化器9:49:25下午1498.代码示例：损失函数9:49:25下午1508.代码示例：训练函数9:49:25下午1519:49:25下午1528.代码示例：执行训练9:49:25下午1538.代码示例：先验采样9:49:25下午154生成式视觉模型

原理与实践9:49:25下午155第4章生成对抗网络

（1）基础模型9:49:25下午156主要内容原始GAN模型条件GAN模型9:49:25下午1573.代码示例1.原始GAN模型生成对抗网络（GenerativeAdversarialNetwork,GAN），由Ian

Goodfellow等人于2014年最先提出，在本课程中被称作原始GAN模型

[GOODFELLOWetal.,2014]。9:49:25下午1581.原始GAN模型YannLeCun（杨立昆）称生成式对抗网络为“机器学习这二十年来最酷的想法”。9:49:25下午1599:49:25下午160生成对抗网络大家族网络条件损失正则化小样本1.原始GAN模型模型结构损失函数如何理解生成器理论最优判别器9:49:25下午161为什么GAN是生成模型？梯度消失问题模式坍缩问题符号约定9:49:25下午162符号含义符号含义真实图像所服从概率分布的密度函数，一般简称为真实分布或数据分布虚假图像所服从概率分布的密度函数，一般简称模型分布或生成数据分布噪声，一般为高斯噪声噪声分布的密度函数模型结构：生成器与判别器

9:49:25下午163模型结构：生成器与判别器生成器：判别器：9:49:25下午164网络结构：全连接网络9:49:25下午165网络结构：卷积网络9:49:25下午166生成器判别器对抗式训练

9:49:25下午167理论训练目标：判别器

9:49:25下午168其中理论训练目标：判别器9:49:25下午169交叉熵损失对抗损失（AdversarialLoss）等价如何推导？理论训练目标：判别器

9:49:25下午170理论训练目标：判别器示例：推导第一项作业：完整推导9:49:25下午171理论训练目标：生成器与判别器的训练目标相反，生成器的目的是生成足以让判别器无法区分的假图，即让判别器“错误地”为这张假图赋予一个较高的概率。9:49:25下午172形式1形式2梯度性质更好，更易优化理论损失函数判别器生成器9:49:25下午173理论损失函数博弈论角度：“最小化最大化游戏”9:49:25下午174经验损失函数9:49:25下午175问题：理论损失中的期望无法计算！经验损失函数

9:49:25下午1769:49:25下午177训练算法如何理解生成器？

9:49:25下午178“多对一”的映射理论最优判别器

9:49:25下午179为什么GAN是生成模型？对抗损失（AdversarialLoss）9:49:25下午180

复习：什么是生成式建模？

9:49:25下午181

复习：密度估计的方法

9:49:25下午182复习：KL散度和JS散度9:49:25下午183KL散度JS散度为什么GAN是生成模型？最优判别器生成器的目标函数9:49:25下午184带入为什么GAN是生成模型？9:49:25下午185为什么GAN是生成模型？9:49:25下午186为什么GAN是生成模型？9:49:25下午187哪来的？为什么GAN是生成模型？9:49:25下午188

为什么GAN是生成模型？9:49:25下午189为什么GAN是生成模型？9:49:25下午190为什么GAN是生成模型？9:49:25下午191为什么GAN是生成模型？

9:49:25下午192Jensen-Shannondivergence（JS散度）

一个简单的例子9:49:25下午193MNIST:70,00028x28gray-scaleimagesfrom10classes(i.e.,10digits).100examplerealimagesfromMNIST网络结构9:49:25下午194GAN模型的两大著名问题梯度消失问题模式坍缩问题9:49:25下午195梯度消失问题：含义GAN模型的梯度消失问题是指在GAN的训练过程中，梯度在反向传播到生成器时逐渐变得非常小，甚至接近于零，导致生成器的参数更新非常缓慢或几乎不更新，进而使得生成器无法有效地学习到如何生成高质量的样本。9:49:25下午196梯度消失问题：原因

9:49:25下午197梯度消失问题：原因9:49:25下午198梯度消失问题：启示不能一次性地将判别器训练至其最优状态（梯度消失）也不能让判别器过于弱小（性能停滞）要渐进式的提升生成器和判别器的能力需要在梯度消失和性能停滞之间找到一个微妙的平衡点，这是一项极具挑战性的任务9:49:25下午199模式坍缩问题：含义在GAN的训练过程中，生成器倾向于只生成有限种或单一模式的样本，而忽略数据集中的其他模式，导致生成的样本缺乏多样性和覆盖性。9:49:25下午200模式坍缩问题：例子当训练一个GAN来生成手写数字图像（即MNIST数据集）时，如果发生模式坍缩，即便训练集中包含了0-9所有数字，生成器可能也只会生成数字“4”。尽管生成的“4”可能非常逼真，但整个生成过程失去了多样性。9:49:25下午201模式坍缩问题：例子9:49:25下午202模式坍缩问题：原因那么，为什么会出现模式坍缩呢？这与GAN的损失函数有关。9:49:25下午203模式坍缩问题：原因最优判别器生成器的目标函数9:49:25下午204再次带入9:49:25下午2059:49:25下午2069:49:25下午2079:49:25下午2089:49:25下午2099:49:25下午210与G无关模式坍缩问题：原因由于JS散度有界，即项对优化影响更显著但是，KL散度项会导致模式坍缩问题！9:49:25下午211模式坍缩问题：原因【KL散度】：若，则，那么KL散度会非常大；若，则无论取值如何，都有

。那么，KL散度接近0。9:49:25下午212模式坍缩问题：原因

9:49:25下午213模式坍缩问题：原因这种特性可能导致GAN模型仅覆盖真实分布的某个模式（Mode），而忽视了其他模式。在生成图像时，这表现为生成器倾向于生成一些更“安全”的样本，而避免生成一些“有挑战性”的样本，这就是所谓的模式坍缩问题。9:49:25下午214模式坍缩问题：原因9:49:25下午2152.条件GAN模型9:49:25下午216GANcGAN2.条件GAN模型重要的生成式建模范式模型结构损失函数模型分析9:49:25下午217重要的生成式建模范式需要控制生成图像的某些特定性质，如类别标签、风格、属性等对以下条件分布进行估计9:49:25下午218模型结构9:49:25下午219条件生成对抗网络（ConditionalGenerativeAdversarialNetwork,cGAN）由Mirza等人在2014年首次提出，并在此基础上发展出了许多变体模型。模型结构

9:49:25下午220损失函数原始cGAN的损失函数9:49:25下午221原始GAN的损失函数模型分析

9:49:25下午222模型分析

9:49:25下午223模型分析

9:49:25下午2243.代码示例：数据集

9:49:25下午2253.代码示例：DCGAN9:49:25下午2263.代码示例：DCGAN9:49:25下午2279:49:25下午228定义生成器的类9:49:25下午229定义判别器的类9:49:25下午230实例化9:49:25下午231定义训练函数9:49:25下午2329:49:25下午233运行训练训练损失9:49:25下午2349:49:25下午235评价指标的计算与比较为了评估DCGAN的生成图像质量，我们采用了FID分数作为衡量标准。具体计算FID分数时，我们首先在Fashion

MNIST数据集上预训练了一个ResNet34模型，并基于该模型最后一个平均池化层输出的特征图来进行计算。在评价生成模型时，我们利用DCGAN的采样函数生成了1万张虚假图片，并以FashionMNIST数据集中的1万张测试图片作为基准，计算了这些生成图片的FID分数。同样地，我们也使用了VAE模型生成了1万张虚假图片，并计算了其FID分数。9:49:25下午236复习：FréchetInceptionDistance用一个在ImageNet数据集上预训练的Inception

V3模型来提取生成图片和真实图片的特征

(feature)，并在此特征空间定义一个距离：FID分数越低，表示生成图像与真实图像的分布越接近，通常认为生成的图像质量越高。9:49:25下午237生成图像生成图像真实图像真实图像9:49:25下午238评价指标的计算与比较9:49:25下午239生成式视觉模型

原理与实践9:49:25下午240第4章生成对抗网络

（2）进阶模型9:49:25下午241原始GAN的问题梯度消失问题模式坍缩问题网络结构简单需要大量样本……9:49:25下午242生成低质量样本需要大幅改进！主要内容损失函数网络架构正则化条件输入方式9:49:25下午243隐变量解耦数据增强二次采样大模型技术1.损失函数Wasserstein损失WGAN、WGAN-GP等Hinge损失GeometricGAN、SNGAN、SAGAN、BigGAN、ReACGAN、ADCGAN等9:49:25下午244预备知识：Wasserstein距离Wasserstein距离（WassersteinDistance），也被称为推土机距离（EarthMover’sDistance,EMD），是一种用于度量两个概率分布之间差异的方法。9:49:25下午245预备知识：Wasserstein距离

9:49:25下午246预备知识：Wasserstein距离Wasserstein距离通过衡量将一个分布转化为另一个分布所需的最小总成本来计算两个概率分布之间的距离。直观上，Wasserstein距离可以被理解为“移动土堆”的最小成本，所以也被称为推土机距离。9:49:25下午247预备知识：Wasserstein距离

9:49:25下午248

预备知识：Wasserstein距离

9:49:25下午249

预备知识：Wasserstein距离

9:49:25下午250

预备知识：Wasserstein距离即使在两个分布的支撑集没有重叠或重叠非常少的情况下，Wasserstein距离仍然能反映两个分布的远近。相比之下，像Kullback-Leibler散度（KL散度）或Jensen-Shannon散度（JS散度）在两个分布不重叠时可能失效。9:49:25下午251预备知识：Lipschitz连续函数Lipschitz连续函数是数学中的一个重要概念，用于描述函数在定义域内任意两点之间的变化率都有一个全局的上限。如果一个函数满足Lipschitz条件，那么它的函数图像在任何地方都不会陡峭到无限的程度，从而为函数的行为提供了强有力的局部约束。9:49:25下午252预备知识：Lipschitz连续函数

9:49:25下午253预备知识：Lipschitz连续函数

9:49:25下午254预备知识：Lipschitz连续函数

9:49:25下午255复习：原始GAN最小化JS散度

9:49:25下午256Jensen-Shannondivergence（JS散度）梯度消失和模式坍缩均与最小化JS散度有关Wasserstein损失Arjovsky等人（2017）提出了WassersteinGAN（WGAN）WGAN用Wasserstein距离替代JS散度显著提升了GAN的稳定性和生成质量9:49:25下午257Wasserstein损失

9:49:25下午258Wasserstein损失

9:49:25下午259Wasserstein损失

9:49:25下午260

Wasserstein损失

9:49:25下午261评价网络（CriticNetwork）Wasserstein损失

9:49:25下午262Wasserstein损失

9:49:25下午263为什么？WassersteinGAN（WGAN）评价网络（CriticNetwork）给真图打高分，给假图打低分生成网络（GenerativeNetwork）生成让评价网络打分尽可能高的样本最终损失函数9:49:25下午264WGAN-GPWGAN的权重剪切法存在两个关键缺陷它将评价网络的权重限制在一个固定范围内，这可能导致权重集中在剪切阈值的两端，从而限制了评价网络的表达能力权重剪切方法并不能完全保证判别器满足Lipschitz连续性条件，反而可能引发训练过程中的不稳定性9:49:25下午265WGAN-GPGulrajani等人提出了WGAN-GP模型，该模型通过引入梯度惩罚项（GradientPenalty,GP）替代了WGAN的权重剪切方法，实现了对评价网络梯度行为更加灵活的控制[GULRAJANIetal.,2017]9:49:25下午266WGAN-GP

9:49:25下午267Hinge损失Hinge损失（HingeLoss），也称铰链损失，最初是在支持向量机中引入的，用于处理分类问题，特别是二分类问题9:49:25下午268Hinge损失

9:49:25下午269Hinge损失Hinge损失的基本思想是在正确分类的同时，最大化不同类别之间的间隔（Margin）使得分类器更加关注难以分类的样本，即那些靠近决策边界的样本，从而提高模型的泛化能力9:49:25下午270Hinge损失在GAN模型中，判别器实质上也可以被视为一个二分类器。因此，在训练判别器的过程中，我们可以考虑采用Hinge损失来替代原始GAN模型中所使用的交叉熵损失9:49:25下午271Hinge损失基于Hinge损失，Lim等人定义了如下的评价网络（判别器）损失函数[Lim&Ye,2017]：生成器的损失函数9:49:25下午272Hinge损失

9:49:25下午273Hinge损失

9:49:25下午2742.网络架构深度卷积架构：DCGAN谱归一化：SNGAN自注意力机制：SAGAN提升模型规模：BigGANViT结构：ViTGAN9:49:25下午275深度卷积架构：DCGAN原始GAN和cGAN模型所采用的网络架构均设计为仅包含三层全连接层的全连接网络，无法处理复杂的高维图像数据。DCGAN（2015）利用卷积神经网络来构建GAN的生成器和判别器，并为网络架构设计提供了指导性意见，对GAN模型的发展具有重要意义。9:49:25下午276[1]Arjovsky,Martin,SoumithChintala,andLéonBottou."Wassersteingenerativeadversarialnetworks."ICML’17.深度卷积架构：DCGAN主要贡献：利用卷积来进行上/下采样步长卷积（下采样）、转置卷积（上采样）批量归一化激活函数ReLU、LeakyReLU避免使用全连接层9:49:25下午277深度卷积架构：DCGAN9:49:25下午278生成器判别器谱归一化：SNGANMiyato等人利用谱归一化(SpectralNormalization)来归一化判别器每个权重矩阵的谱范数(SpectralNorm)，从而防止权重在训练中有较大波动进而提出SpectralNormalizationGAN（SNGAN）防止模式坍缩，提高GAN的收敛性9:49:25下午279[1]Miyato,Takeru,etal."SpectralNormalizationforGenerativeAdversarialNetworks."ICLR’18.谱归一化：SNGAN

9:49:25下午280

方法一：SVD分解9:49:25下午281

方法二：通过特征值计算9:49:25下午282通过特征方程求解例题1：最大奇异值计算9:49:25下午283例题2：谱归一化后的Lipschitz连续性9:49:25下午284L2诱导范数（即谱范数）

方法一和二属于精确计算，但只适用于小矩阵方法三：幂迭代法（Poweriteration,近似方法）9:49:25下午285SNGAN的ResNet网络架构9:49:25下午286SNGAN的ResNet网络架构9:49:25下午287自注意力机制：SAGAN传统GAN模型主要依赖卷积操作来建模图像区域间的依赖关系，然而，卷积操作的感受野有限，难以有效捕捉图像中的远距离依赖关系，尤其在生成精细细节时显得力不从心。Zhang等人于2019年提出了Self-AttentionGenerativeAdversarialNetwork（SAGAN）。9:49:25下午288[1]Zhang,Han,etal."Self-attentiongenerativeadversarialnetworks."ICML’19.自注意力机制：SAGAN引入自注意力机制，适合长距离关系建模对生成器和判别器均应用了谱归一化技术在2018-2019年左右达到新能最佳启发了重要的条件生成式模型BigGAN9:49:25下午289SAGAN的网络架构9:49:25下午290提升模型规模：BigGANBrock等人于2019年提出了BigGAN模型，该模型旨在通过提升模型规模、优化训练方式、改进采样方式等手段，突破GAN在生成复杂高分辨率图像时面临的瓶颈问题，从而极大推动了基于类别的生成模型性能的提升。9:49:25下午291BigGAN的改进

9:49:25下午292BigGAN的网络结构9:49:25下午293BigGAN的网络结构9:49:25下午294ViT结构：ViTGAN用VisionTransformer(ViT)完全替代卷积神经网络(CNN)来作为生成器和判别器的架构与基于CNN的最新GAN模型表现相当9:49:25下午295[1]Lee,Kwonjoon,etal."ViTGAN:TrainingGANswithVisionTransformers."ICLR2022.3.正则化正则化（Regularization）在GAN中扮演着至关重要的角色。它主要通过引入额外的约束或惩罚项来限制模型的复杂度或保持某些良好特性，从而帮助稳定GAN的训练过程、防止过拟合，并提升生成图像的质量和多样性。9:49:25下午2963.正则化权重衰减一致性正则化梯度正则化……9:49:25下午297权重衰减

9:49:25下午298权重衰减的作用防止过拟合提高模型稳定性平衡生成器和判别器的性能9:49:25下午299已集成进优化器9:49:25下午300一致性正则化一致性正则化（ConsistencyRegularization,CR）是机器学习领域中常用的一种技术。核心思想是通过引入一致性约束来增强模型的泛化能力和稳定性。这种正则化策略鼓励模型在面对轻微扰动的输入时，能够产生一致或相似的输出。有助于降低模型对输入噪声的敏感性，并促使模型学习到更加平滑的决策边界。9:49:25下午301一致性正则化Odena等人于2020年提出了一致性正则化生成对抗网络（ConsistencyRegularizedGAN,CR-GAN）。在训练判别器时，CR-GAN的损失函数增加了一个一致性正则化项，即9:49:25下午302

梯度正则化

9:49:25下午303回忆：K-Lipschitz连续是如何定义的？4.条件输入方式特征图拼接辅助分类器条件批归一化标签投影一维连续条件9:49:25下午304复习：原始cGAN

9:49:25下午305如何将条件输入到神经网络中呢？常见方法9:49:25下午306生成器判别器特征图拼接通过在隐藏层进行条件拼接来实现条件生成功能简单、易于实现，既适用于生成器也适用于判别器9:49:25下午307生成器判别器辅助分类器：ACGAN在判别器网络的末尾中增加一个辅助分类网络，并引入一个辅助分类任务9:49:25下午308辅助分类器：ACGANACGAN的总损失函数为对抗损失和辅助分类损失的线性组合：9:49:25下午309对抗损失辅助分类损失条件批归一化是传统批归一化（BatchNormalization,BN）的变体，它在批归一化公式中引入了条件信息，以增强模型在特定条件下的生成能力。这种方法已被证明在生成对抗网络中具有显著效果，并且已被多种著名的GAN模型，如SNGAN、SAGAN、BigGAN等采用。9:49:25下午310复习：传统批归一化

9:49:25下午311复习：常见归一化方法9:49:25下午312批归一化层归一化实例归一化群归一化复习：常见归一化方法9:49:25下午313条件批归一化将条件信息融入到缩放和偏移参数中，使得这些参数不再是全局固定的，而是根据输入的条件动态变化:9:49:25下午314条件批归一化一般将生成器网络的某些批归一化层替换为条件批归一化层9:49:25下午315标签投影在现代cGAN模型中，一种常用的向判别器网络输入条件的方法被称为标签投影（LabelProjection）。这一方法已经被多种著名的cGAN模型所采用，包括SNGAN、SAGAN、BigGAN等。9:49:25下午316标签投影9:49:25下午317一维连续条件传统cGAN不能以连续的标量，又称回归标签（例如年龄或角度）为条件进行生成式建模9:49:25下午318为什么？原因损失函数无法适用于回归标签缺乏合适的标签输入方式（为什么？）9:49:25下午319回顾9:49:25下午320生成器判别器传统方法无法编码回归标签回归标签是连续的，可能有无数种取值，回归标签可能有缺失值（未在训练集中观测到的取值）9:49:25下午321连续条件生成对抗网络（CcGAN）

9:49:25下午322连续条件生成对抗网络（CcGAN）9:49:25下午323工程应用工程逆向设计针对高光谱图像的数据扩增可控点云生成SAR图像可控生成预测地质层系中的二氧化碳传播解决高度异质材料属性的稳态问题……极大促进了不同学科的交叉！高光谱图像的数据扩增预测CO2传播点云可控生成机翼翼型逆向设计SAR图像可控生成未必只适用于图像数据！5.隐变量解耦InfoGANStyleGAN9:49:25下午3245.隐变量解耦隐变量解耦（Disentanglement）在GAN模型中指的是将隐空间（即噪声空间）中的变量分解为相互独立或相关性较小的部分，每部分变量控制生成图像的不同属性或特征。通过解耦，可以更容易地操纵生成图像，实现更精细的控制和生成多样性。9:49:25下午325InfoGAN信息最大化生成对抗网络（InfoGAN）是对原始GAN模型的一个重要扩展。其核心创新之处在于引入了一个潜在信息变量，并通过最大化这些信息与生成数据之间的互信息，使得生成器能够生成具有特定属性的数据样本9:49:25下午326是cGAN吗？StyleGANStyleGAN是由TeroKarras等人于2019年提出的一种GAN模型的变体。StyleGAN的主要创新之处在于其生成器的架构设计，特别是在生成过程中引入了风格（Style）控制机制，这使得它能够对生成图像的各个层次细节进行独立的控制9:49:25下午327StyleGAN9:49:25下午328StyleGAN

9:49:25下午329StyleGAN合成网络（SynthesisNetwork）：将风格代码转换为最终的图像在合成过程中，每个样式块通过自适应实例归一化（AdaIN）将样式信息注入到对应的卷积层中，从而实现对图像样式的精细控制9:49:25下午330StyleGAN能够无监督的自主解耦(Disentanglement)生成图像中的高阶属性（例如人物的表情、脸部朝向等），从而使用者可以控制图像的生成9:49:25下午3316.数据增强DiffAugment负样本扩增9:49:25下午332复习：传统数据增强数据增强（DataAugmentation，DA）是一种提高深度学习模型性能的技术，特别是在图像处理任务中。通过对训练数据进行随机变换，可以生成更多样化的训练样本，从而减轻过拟合，增强模型的泛化能力。常见变换：几何变换、颜色变换、噪声、变形、剪切、混合等。9:49:25下午333DiffAugment可微分数据扩增（DifferentiableAugmentation，DiffAugment）是一种旨在GAN训练稳定性的方法，尤其适用于数据集规模较小的情况。其核心创新点在于，将数据增强操作设计为一个可微分的模块，直接整合到GAN的训练流程之中。9:49:25下午334DiffAugment

9:49:25下午335负样本扩增（NDA）传统数据增强（Data

Augmentation,

DA）利用旋转、翻转、剪切等操作来扩充训练集本质：告诉模型应该生成什么样本负样本扩增（NegativeDA,NDA）生成低质量样本来扩充训练集本质：告诉模型不应该生成什么样本9:49:25下午336负样本扩增（NDA）传统NDADual-NDA9:49:25下午337负样本扩增（NDA）9:49:25下午3387.二次采样二次采样（Subsampling）可以在GAN模型训练完成后，提升采样质量基于最优判别器基于概率密度比估计9:49:25下午339预备知识：拒绝采样

9:49:25下午340将拒绝采样应用于GAN

9:49:25下午341基于最优判别器回忆：原始GAN的最优判别器具有如下形式，整理后可得9:49:25下午342基于最优判别器

9:49:25下午343基于概率密度比估计

9:49:25下午344基于概率密度比估计真实分布是包含25个高斯分布的混合分布对比方法无二次采样基于最优判别器概率密度比估计9:49:25下午3458.大模型技术：GigaGAN三大突破​：🚀​高速生成​：在3.66秒内完成4K超分辨率🖼️​任意分辨率​：支持从256px→4K的无缝上采样🧩​跨尺度一致性​：通过多尺度训练避免细节断裂9:49:25下午346GigaGAN如何实现高效高质生成？重新设计的网络结构增大的模型容量多尺度的训练算法9:49:25下午347GigaGAN生成效果9:49:25下午348文生图文生图质量媲美StableDiffusionv1.5GigaGAN生成效果9:49:25下午349图像超清图像超清效果达到SOTAGigaGAN的工业级应用潜力游戏设计​：实时生成开放世界高清贴图（对比传统手工绘制）9:49:25下午350GigaGAN的工业级应用潜力广告创意​：按需生成多尺寸广告素材（从手机屏到户外大屏）9:49:25下午351GigaGAN的工业级应用潜力医学影像​：低分辨率影像（CT、MRI等）→高清3D重建9:49:25下午352生成式视觉模型

原理与实践9:49:25下午353第4章生成对抗网络

（3）典型应用9:49:25下午354主要内容图像翻译图像超清图像去噪图像修复9:49:25下午355图像操作文生图知识蒸馏图像翻译（I2ITranslation）任务解释：图像翻译（Image-to-ImageTranslation）一种经典的计算机视觉任务，旨在学习一个映射，使得图像能够从源图像域（SourceDomain）有效地转换到目标图像域（TargetDomain），同时尽可能地保留原始图像的内容（Content）。9:49:25下午356源图像域目标图像域

映射图像翻译（I2ITranslation）9:49:25下午357图像翻译（I2ITranslation）9:49:25下午358图像翻译（I2ITranslation）配对VS非配对

数据9:49:25下午359问题：哪一种数据更容易搜集？CycleGAN（2017）：简介CycleGAN是一种无需配对数据的图像翻译模型，它借助了GAN的结构实现两个不同域之间的图像风格转换，并通过循环一致性损失保证转换的准确性。9:49:25下午360[1]Zhu,Jun-Yan,etal."Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks."

ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.源域目标域CycleGAN（2017）：结构

9:49:25下午361[1]Zhu,Jun-Yan,etal."Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks."

ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.源域目标域CycleGAN（2017）：机制

9:49:25下午362[1]Zhu,Jun-Yan,etal."Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks."

ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.

更关注CycleGAN（2017）：损失对抗训练目标函数能否只用对抗损失？当生成器网络容量足够大时，可能生成与输入图像无关但足以欺骗判别器的图像，即忽略了输入图像的内容，而只关注于生成与目标域相似的图像。9:49:25下午363CycleGAN（2017）：损失循环一致性损失为对抗训练目标添加约束，增强了生成图像与目标域图像之间的一致性9:49:25下午364CycleGAN（2017）：损失完整训练目标9:49:25下午365问题：CycleGAN满足生成模型的定义嘛？复习：什么是生成式建模？

9:49:25下午366

复习：密度估计的方法

9:49:25下午367CycleGAN（2017）：损失完整训练目标9:49:25下午368严格来说不属于生成式模型;是基于GAN模型的变种CycleGAN（2017）：效果9:49:25下午369案例：基于CycleGAN的MR-CT转换利用CycleGAN实现MR影像到CT影像的转变，将有助于癌症患者放射治疗基于CycleGAN架构，但是加入了结构约束合成效果好于其他无监督方法9:49:25下午370[1]Yang,Heran,etal."UnsupervisedMR-to-CTsynthesisusingstructure-constrainedCycleGAN."

IEEEtransactionsonmedicalimaging

39.12(2020):4249-4261.图像超清(Super-resolution)任务解释：一种计算机视觉任务，旨在提高图像的分辨率和清晰度，以获得更高质量的图像。可以应用于多个领域，如数字摄影、视频监控、医学成像和遥感等，以提升图像质量和视觉效果。9:49:25下午371SRGAN

(2017)SRGAN通过生成器和判别器的博弈学习，实现图像的超清晰度处理。并采用感知误差作为优化目标，确保生成的图像在细节和纹理上更接近真实高清图像。9:49:25下午372[1]Ledig,Christian,etal."Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork."

ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017.SRGAN

(2017)：网络结构9:49:25下午373[1]Ledig,Christian,etal."Photo-realisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork."

ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017.生成器网络判别器网络高清超清超清低清SRGAN

(2017)：效果9:49:25下午374原始图像GigaGAN

（2023）9:49:25下午375图像去噪(ImageDenoising)任务解释：指从包含噪声的图像中恢复出干净的图像内容旨在去除图像拍摄或传输过程中引入的随机噪声，如高斯噪声、椒盐噪声等目标是提高图像质量和视觉效果，以便于后续的图像分析、识别和处理9:49:25下午376基于GAN的图像去噪9:49:25下午377[1]Tran,LinhDuy,SonMinhNguyen,andMasayukiArai."GAN-basednoisemodelfordenoisingrealimages."ProceedingsoftheAsianConferenceonComputerVision.2020.使用GAN估计输入噪声图像上的噪声分布，并生成噪声样本然后，利用这些噪声样本构建配对的训练数据集，用于训练去噪网络图像修复（ImageInpainting）任务解释：重建或修复图像中丢失、损坏或不需要的部分例如修复老照片中的瑕疵、去除图像中的多余物体、填补图像中的空洞等。9:49:25下午378基于WassersteinGAN的图像修复采用GAN的架构和对抗损失将图像修复问题转化为对抗生成问题9:49:25下午379[1]Jiang,Yi,etal."Imageinpaintingbasedongenerativeadversarialnetworks."

IEEEAccess

8(2020):22884-22892.图像操控（ImageManipulation）任务解释：图像操控任务通常指的是利用算法和技术对数字图像进行修改、增强或创作的过程。这些任务旨在改善图像的质量、突出特定信息、实现艺术效果或满足其他应用需求。通俗说就是P图！9:49:25下午380DragGAN(2023)主要包括两个组件：1）基于特征的运动监督，驱动操作点向目标位置移动；2）一种新的点跟踪方法，利用判别性GAN特征来持续定位操作点的位置。通过DragGAN，任何人都可以精确控制像素的位置来变形图像，从而操控动物、汽车、人类、风景等不同类别的姿态、形状、表情和布局。9:49:25下午381[1]Pan,Xingang,etal."Dragyourgan:Interactivepoint-basedmanipulationonthegenerativeimagemanifold."

ACMSIGGRAPH2023ConferenceProceedings.2023.文生图（Text-to-Image）任务解释：根据给定的文本描述，生成与之相匹配的图像9:49:25下午382GigaGAN（2023）9:49:25下午383Deepfake技术Deepfake是一种利用深度学习技术生成合成媒体的技术，得名于“deeplearning”（深度学习）和“fake”（伪造）的结合，主要通过“生成对抗网络”（GANs）等生成模型来实现，能够将人的面部和声音等特征进行伪造，生成看似真实的图像、视频或音频。9:49:25下午384Deepfake技术9:49:25下午385面部替换：GAN训练特定人物面部特征，生成器学习面部数据创建逼真替换图像，比如将视频中人物A的脸替换成人物B的脸，实现换脸效果。1表情迁移：GAN模型捕捉面部表情和动态，在视频中生成逼真面部表情变化，使伪造人物面部模仿真实人物表情，如让视频中人物做出原本未有的喜怒哀乐表情。2音频同步：Deepfake技术将音频与伪造视频同步，使人物在伪造视频中看似说出特定语句，如让视频中的人物说出一段事先准备好的音频对应的话语。3Deepfake技术9:49:25下午386Deepfake的应用✅娱乐与创意​电影特效​：让已故演员“复活”（如《星球大战》中的年轻版莱娅公主）。​虚拟偶像​：如初音未来、A-SOUL等虚拟歌手。✅教育与研究​历史人物重现​：如让爱因斯坦“讲解”相对论。​语言学习​：生成多语言配音视频。9:49:25下午387Deepfake的应用⚠️恶意滥用风险​虚假新闻​：伪造政治人物演讲（如乌克兰总统“宣布投降”的伪造视频）。​色情内容​：名人换脸到成人视频。​诈骗​：模仿CEO声音要求转账（如2019年某公司被骗24.3万美元）。9:49:25下午388Deepfake的伦理与安全问题信任危机​：难以区分真实与虚假信息，破坏社会信任。​隐私侵犯​：未经同意使用他人肖像或声音。​法律挑战​：现行法律难以监管AI生成内容。9:49:25下午389Deepfake的伦理与安全问题检测技术​：​AI检测器​：如Facebook的DeepfakeDetectionChallenge（DFDC）。​生物特征分析​：检测眨眼频率、血流信号等生理特征。​立法监管​：中国《互联网信息服务深度合成管理规定》（2023年）美国《深度伪造责任法案》（2023年提案）。欧盟《AI法案》要求标注AI生成内容。​公众教育​：提高对Deepfake的认知和警惕性。9:49:25下午390Deepfake：“双刃剑”Deepfake是一把​​“双刃剑”，既能推动影视、教育等行业发展，也可能被滥用传播虚假信息。未来需要​“技术+法律+公众教育”结合，才能合理规范其使用。9:49:25下午391生成式视觉模型

原理与实践9:49:25下午392第5章

标准化流9:49:25下午393主要内容生成模型回顾雅可比行列式（预备知识）变量替换定理（预备知识）什么是标准化流？经典模型与应用9:49:25下午3949:49:25下午395典型生成模型的结构示意图复习1.生成模型回顾：VAE变分自编码器在编码过程中引入了一个隐变量，使得模型能够学习到数据的潜在分布。通过优化潜在变量的变分下界，变分自编码器能够生成与原始数据分布相似的新样本。9:49:25下午396复习1.生成模型回顾：GAN生成对抗网络由两个神经网络组成：一个生成器和一个判别器。通过这两个网络的对抗