计算机视觉 课件 第12章视觉内容生成

1第十二章视觉内容生成§12.1任务概述§12.2基于子空间学习的方法§12.3基于对抗学习的方法§12.5应用举例§12.4基于扩散模型的方法2§12.1任务概述一、任务定义二、任务类型三、评价准则3任务定义

4任务定义

5任务定义研究目的对高维概率分布进行表示与操纵通过生成“以假乱真”的数据，降低深度学习中模型学习对真实数据样本量的需求可以生成多峰值的输出，解决传统机器学习中只能学习到一种输出的问题许多实际任务中需要看起来真实的样本6任务类型人脸到草图生成根据真实人脸图像生成草图，便于风格化或下游感知任务7任务类型文本到图像生成在文本-图像跨模态数据集上，预训练扩散模型可实现基于自然语言的可控图像生成8任务类型图像到图像生成针对图像输入，可实现基于自然语言的可控图像编辑9任务类型图像到图像生成针对图像输入，可实现基于任意自定义条件输入的可控图像编辑基于边缘检测的可控生成基于人体姿态的可控生成基于深度先验的可控生成10任务类型图像到图像生成针对图像输入，可实现基于任意自定义条件输入的图像风格转换11任务类型图像到图像生成图像inpainting：通过融合局部和全局上下文信息，还原缺失的图像块12任务类型图像超分辨率从单位区域像素量较少、画质较差的低分辨率图像中恢复出单位区域像素量多、画质清晰的高分辨率图像13任务类型三维点云补全根据残缺点云补全生成完整点云，需要对三维点云的几何结构知识进行建模14评价准则InceptionScore将生成的样本输入已训练好的分类器，其类别熵可反映生成样本的真实度类别分布熵可反映图像的多样性使用互信息联合考虑样本的真实度与多样性15评价准则InceptionScore由于实际互信息只能通过估计得到，InceptionScore实际计算公式InceptionScore存在的问题：当GAN发生过拟合时，IS无法反映模型泛化性能的下降过度依赖预训练分类器，IS跟预训练数据集有关只要生成样本具有足够多的类别，类内模式崩溃也无法检测出来IS只关注生成样本的分布，而忽略了真实数据集的分布IS不满足度量的性质IS会受到样本分辨率的影响16评价准则InceptionScore改进版本ModeScore:考虑训练集的标签信息ModifiedInceptionScore:关注类内模式崩溃AMScore:考虑数据分布类别不均匀17评价准则FréchetInceptionDistance分别把生成器生成的样本和真实数据集中的样本送到分类器中，抽取分类器中间层特征，假设其符合高斯分布计算生成的样本与真实样本的均值方差之间的Fréchet距离FID的优缺点对噪声鲁棒性较好与人的视觉判断较一致计算复杂度低高斯分布的假设在实际中不成立18评价准则FréchetInceptionDistanceMaximumMeanDiscrepancy：灵活选择分布差异度量WassersteinDistance：考虑过拟合和模式崩溃1-NearestNeighborClassifier：结构简单，无超参数NRDS：用于多个GAN之间的性能比较19§12.2基于子空间学习的方法一、子空间学习二、Face2Sketch任务介绍三、FaceSketchRecognition20基于子空间学习的方法“低维嵌入”举例下图三维空间中的样本点，在低维嵌入子空间（为其空间中的曲面）中更容易进行学习21基于子空间学习的方法主成分分析(PCA)求解基于最近重构性和最大可分性，能分别得到主成分分析的两种等价推导22线性判别分析(LinearDiscriminantAnalysis，LDA)基于子空间学习的方法

23基于子空间学习的方法Face2Sketch任务介绍人脸检索在刑侦领域有重要作用，然而在许多情况下，嫌疑人的肖像以素描画的形式体现进行从人脸相片到素描画的生成具有重要的研究意义，将photo转换为sketch后可以进行更为精准的匹配24基于子空间学习的方法FaceSketchRecognition实用几何度量方式描述人脸，可以避免因为画风不同导致的纹理差异设计人脸几何模型通过EigenFace提取人脸特征：

，其中为人脸photo25基于子空间学习的方法FaceSketchRecognition但由于photo和sketch差异太大，直接使用EigenFace效果不佳。相同人的photo与sketch之间打差距大于不同人photo之间的差距为此，需要将photo转换为sketch，再提取特征由EigenFace的推导过程可知，人脸图像本质上可以由M个训练集sample线性组合来构成，因此可以将photo

sample映射到sketchsample26基于子空间学习的方法FaceSketchRecognitionFace2sketch整体流程Step1：分别计算photo训练集和sketch训练集的平均值

和Step2：计算photo训练集的特征值矩阵Step3：对输入的photo进行减均值Step4：将

映射到

以计算特征值权重向量Step5：重建sketch图像Step6：最终加回平均值27§12.3基于对抗学习的的方法一、生成对抗理论二、生成对抗网络三、生成对抗训练优化28生成对抗理论使用推土机距离优化GAN目标函数20172014首次提出生成对抗网络2018使用渐进训练对生成对抗模型进行优化2016将生成对抗模型隐变量进行解耦将卷积神经网络引入生成对抗模型2015生成对抗网络拟合的数据规模达到数亿20192020合成数据集在众多视觉任务中用于训练在数据伪造与防伪领域广泛部署202129生成对抗理论由生成器（Generator）和判别器（Discriminator）组成生成器目标：生成看起来真实的样本，尝试骗过判别器判别器目标：正确分辨真实样本和生成样本30生成对抗理论通过minimax函数使得G和D的博弈达到平衡最大化D(x)使得判别器能准确分辨出真实样本最小化D(G(z))使得判别器能准确分辨出生成样本G和D的迭代优化判别器生成器

31生成对抗理论均匀采样优化G和D的迭代次数比例32生成对抗网络

33生成对抗网络深度卷积生成对抗网络（DCGAN）将卷积神经网络引入生成对抗模型，在图像领域进行样本生成使得无监督学习达到了与监督学习类似的效果对模型结构进行改动以稳定训练过程：将pooling层替换成stride/使用LeakyReLU/移除全连接层34生成对抗网络拉普拉斯生成对抗网络（Lap-GAN）引入图像金字塔，由粗糙到精细生成图片图像金字塔使用拉普拉斯金字塔恢复图像35生成对抗网络信息生成对抗网络（Info-GAN）将互信息理论引入生成对抗模型最大化隐变量与生成样本间的互信息，对生成样本的性质进行解耦，使得生成的样本满足用户的需求（朝向、种类、粗细、大小）

36生成对抗网络可解剖生成对抗网络（GANDissection）对生成对抗网络的隐变量层进行解剖（Dissection），可视化对于生成样本关键的视觉元素（例如房子图片中关键的元素是门和窗）利用干涉（Intervention）将图片中的某些视觉元素移除以探索他们之间的因果关系37生成对抗网络边界平衡生成对抗网络（BEGAN）使用自编码器的编码器和解码器分别作为生成器和判别器，以达到生成器与判别器训练过程中的平衡38生成对抗网络堆叠生成对抗网络（StackGAN）通过对生成器的堆叠，以多层级的方式生成精细图像39生成对抗训练优化难点数学层面当样本看上去较假时，minimax优化几乎没有梯度（如图左上方）梯度主要来自于小部分样本（如图右下方），只有这部分样本能起到有效的训练作用在最优判别器下，优化目标出现了矛盾，导致了模式崩溃现象40生成对抗训练优化难点实践层面虽然在理论上可以证明生成器与判别器能够达到纳什均衡，但在实际实现中，我们是在参数空间优化而非函数空间，这导致理论上的保证在实践中不成立在生成器与判别器的迭代训练中，minmax和maxmin是不可交换的，导致生成的样本没有多样性41生成对抗网络训练范式针对目标函数进行改进-WGAN推土机距离：将一个分布搬到另一个分布的最小距离优化目标：42生成对抗网络训练范式针对目标函数进行改进原始生成对抗损失函数：WassersteinGAN:最小平方损失函数：Hinge损失函数：43生成对抗网络训练范式针对训练范式进行改进给判别器的网络权重引入谱归一化，以提升判别器训练过程中的稳定性谱归一化作为权重约束项进行正则谱归一化计算的快速近似方法：44生成对抗网络训练范式针对训练范式进行改进给噪声隐变量引入约束项，确保判别器和生成器在训练过程中的平衡通过编码器生成富含样本空间信息的隐变量，避免模式损失45§12.4基于扩散模型的方法一、去噪扩散理论二、扩散生成网络46去噪扩散模型方法原理去噪扩散模型(DenoisingDiffusionModel)是一种生成式模型，用于生成高质量的图像、文本或音频等数据。这种模型的核心思想是通过对噪声图像的逐步处理来生成清晰图像。这个模型的基本原理是通过将噪声逐渐扩散(diffuse)到图像中来训练47去噪扩散模型方法原理训练过程：模型接收噪声图像和清晰图像对作为输入，在每个时间步骤中，逐渐增加噪声，然后训练模型以逆向这个过程48去噪扩散模型

49去噪扩散模型

50去噪扩散模型

51扩散生成网络High-ResolutionImageSynthesiswithLatentDiffusionModels

(LDM)通过将图像映射到潜空间(latentspace)，在潜空间进行扩散学习52扩散生成网络AddingConditionalControltoText-to-ImageDiffusionModels

(ControlNet)通过引入ControlNet，实现对DiffusionModel的高效控制和迁移53扩散生成网络UniDiffuser为所有分布学习扩散模型可以统一为预测扰动数据中的噪声54§12.5应用举例一、典型应用二、视频生成55视觉内容生成技术通过制造假新闻来影响政治舆论网友利用深度生成算法合成特朗普被捕、坐牢以及越狱等图像，短暂影响美国的政治舆论和民情典型应用：政治安全56军事涉密照片的伪造可能会被用于误导军事情报和作战决策，视觉深度鉴别技术可用于防范潜在的安全风险和威胁伊拉克战争期间，美国政府伪造大