计算机视觉 课件 第八章 生成式图像

计算机视觉第八章图像生成式模型CONTENTS本章目录01·生成模型概述02·基础理论：隐变量与变分推断03·变分自编码器VAE04·生成对抗网络GAN05·扩散模型Diffusion06·其他生成模型07·典型应用场景01生成模型概述什么是生成模型·发展历程·应用全景PART01·概述什么是生成模型定义：生成模型学习真实数据x的概率分布p(x)，并能从该分布中采样出全新的数据样本。判别模型学的是p(y|x)（给定x预测类别y）；生成模型学的是p(x)或p(x|y)，能"无中生有"。4/50PART01·概述生成模型vs判别模型对比维度判别模型生成模型学习目标p(y|x)：给定x预测yp(x)：学习数据本身的分布典型任务分类、检测、分割生成新样本、超分、补全、风格迁移代表模型ResNet、YOLO、BERTVAE、GAN、扩散模型输出类别标签/框坐标全新图像（像素级）5/50PART01·概述生成模型发展历程6/50PART01·概述典型应用场景文生图·输入文字描述生成图像·Midjourney/DALL·E·设计师灵感工具图像编辑·局部重绘、风格迁移·照片修复、扩展·PhotoshopGenerativeFill数据增强·生成训练数据·稀有类别扩充·降低标注成本医学影像·低剂量CT去噪·跨模态影像合成·病理图像生成游戏与影视·游戏资产生成·特效合成·数字人、虚拟主播3D/视频生成·NeRF3D重建·Sora视频生成·数字孪生7/50PART01·概述生成模型的核心挑战真实度Fidelity生成图像要足够清晰、逼真，接近真实照片多样性Diversity不能所有样本都长得像，要覆盖数据分布的多种模式模式崩溃ModeCollapseGAN常见问题：生成器只产出少数几类样本训练稳定性GAN极小极大博弈难收敛，需要精心调参可控性按文字/属性精确控制生成内容（文生图）计算效率扩散模型采样慢，需要DDIM/LCM加速8/5002基础理论隐变量模型·最大似然·KL散度·变分推断PART02·基础理论隐变量模型LatentVariableModel核心思想：直接建模p(x)太困难，引入隐变量z，把p(x)分解为p(x)=∫p(x|z)p(z)dz。z是不可观测的"语义编码"（如人脸的表情、角度、光照），p(z)取简单分布（如标准高斯）。10/50PART02·基础理论最大似然估计MLE目标：找到模型参数θ，使训练数据出现的概率（似然）最大。logpθ(x)=log∫pθ(x|z)p(z)dz——积分难以直接求解，这是VAE/GAN要解决的核心问题。maxθE_x~data[logpθ(x)]困难：积分不可解·z维度高，积分无法解析计算·直接采样方差大、效率低解决思路·VAE：用变分推断近似后验，优化ELBO·GAN：用判别器间接逼近分布，不显式算似然11/50PART02·基础理论KL散度：衡量分布差异定义：KL(q||p)=∫q(x)log(q(x)/p(x))dx，度量两个分布q和p的差异，KL≥0，且KL=0当且仅当q=p。logp(x)=ELBO+KL(q(z|x)||p(z|x))直觉理解：·KL项≥0，所以logp(x)≥ELBO（证据下界）·最大化ELBO=最大化logp(x)的下界，同时让q(z|x)逼近真实后验p(z|x)·ELBO=E_q[logp(x|z)]-KL(q(z|x)||p(z))重建项正则项这就是VAE的核心优化目标！12/50PART02·基础理论三大类生成模型对比维度VAEGAN扩散模型核心思想变分下界优化博弈对抗逐步去噪生成质量较模糊锐利、逼真当前SOTA训练稳定性稳定难训练、易崩溃稳定采样速度快（一次前向）快（一次前向）慢（多步迭代）代表模型VQ-VAEStyleGANStableDiffusion13/50PART02·基础理论本章理论小结1.生成模型的目标：学习数据分布p(x)，并能从中采样新样本。2.隐变量视角：引入简单先验p(z)，通过p(x|z)生成x，绕过直接建模p(x)的困难。3.最大似然：目标是最大化logp(x)，但积分不可解。4.变分推断：用q(z|x)近似真实后验，优化ELBO（=重建损失+KL正则）。5.三大流派：VAE（变分下界）、GAN（对抗博弈）、扩散模型（迭代去噪）。14/5003变分自编码器VAEEncoder-Decoder·重参数化·ELBO优化PART03·VAEVAE整体框架16/50PART03·VAE编码器与解码器Encoder（推断网络）输入：真实图像x输出：高斯分布的参数μ和logσ²结构：CNN/MLP，逐步下采样作用：把高维图像压缩到低维隐空间注意：输出不是单个z，而是分布参数这样才能做KL正则，保证隐空间规整Decoder（生成网络）输入：隐变量z输出：重建图像x̂（或像素分布参数）结构：转置卷积上采样/MLP作用：从隐向量解码出逼真图像采样：训练后只需z~N(0,I)→Decoder生成新图17/50PART03·VAE重参数化技巧Reparameterization问题：从q(z|x)=N(μ,σ²)采样z的操作不可导，无法反向传播。z=μ+σ⊙ε，ε~N(0,I)直觉：把随机性转移到ε上，μ和σ变成可导的确定性参数。·ε是外部采样的常数，不参与梯度计算·μ和σ通过网络前向得到，可以正常反向传播·等价性：z~N(μ,σ²)⟺z=μ+σ·ε,ε~N(0,I)这是VAE能端到端训练的关键技巧！18/50PART03·VAE条件VAE（CVAE）思路：在Encoder和Decoder中都输入额外条件c（如类别标签、文字描述），就能控制生成结果。q(z|x,c)和p(x|z,c)都以c为条件，实现"按指定类别生成"。19/50PART03·VAEVAE优缺点优点·训练稳定，有明确的概率解释·隐空间连续，可做插值生成·能显式优化似然下界·适合做表示学习、特征提取·条件生成扩展自然·是扩散模型的重要思想源头缺点·生成图像偏模糊（MSE重建损失导致）·似然估计是下界，不是精确值·生成质量不如GAN和扩散模型·后验塌缩：z被忽略，Decoder直接从c生成·适合做先验建模，不适合做高清生成20/50PART03·VAEVAE小结核心公式：maxELBO=E[logp(x|z)]-KL(q(z|x)||p(z))两大组件：Encoder输出μ,σ；Decoder从z重建x关键技巧：重参数化z=μ+σ·ε使训练可导扩展：CVAE引入条件c控制生成类别地位：第一个可行的深度生成模型，思想影响了后续扩散模型21/5004生成对抗网络GAN博弈对抗·DCGAN·WGAN·StyleGANPART04·GANGAN基本原理核心思想：两个网络互相博弈——生成器G造假，判别器D辨真伪，G要骗过D，D要识破G。23/50PART04·GAN极小极大博弈目标函数min_Gmax_DV(D,G)=E_x~data[logD(x)]+E_z[log(1-D(G(z)))]判别器D的目标·对真实x，D(x)输出接近1·对假样本G(z)，D(G(z))输出接近0·即：maxV(D,G)生成器G的目标·让D(G(z))尽量接近1·即：minV(D,G)=minlog(1-D(G(z)))·实际训练用maxlogD(G(z))获得更好梯度24/50PART04·GANDCGAN：CNN版GAN贡献：首次把CNN成功引入GAN，提出稳定训练的架构准则，是后续所有GAN的基础。25/50PART04·GANGAN训练的三大难点模式崩溃现象：生成器只产出少数几种样本，D对这几种骗得好就不再进化原因：博弈失衡，G找到一条捷径对策：Minibatchdiscrimination、UnrolledGAN梯度消失/爆炸现象：D太强时，log(1-D(G(z)))饱和，梯度趋近0原因：JS散度在分布不重叠时为常数对策：maxlogD(G(z))、WGAN用Wasserstein距离难平衡现象：G和D需要交替训练，谁太快谁就崩原因：两个网络动态博弈，没有固定损失对策：精心调学习率、D每步训练1次G训练1-5次26/50PART04·GANWGAN：Wasserstein距离核心改进：用Wasserstein距离（推土机距离）替代JS散度，解决梯度消失问题。即使两个分布完全不重叠，Wasserstein距离仍提供有意义的梯度。W(p_r,p_g)=infE_{γ~π(p_r,p_g)}[||x-y||]WGAN三大变化：·D最后一层去掉Sigmoid（输出任意实数作为评分）·损失不取log，直接用D(x)和D(G(z))的差值·每次更新D后把权重裁剪到[-c,c]（WGAN-GP改用梯度惩罚，更稳定）效果：训练稳定、不易模式崩溃、损失曲线与生成质量正相关27/50PART04·GANStyleGAN：人脸生成SOTA关键创新：·MappingNetwork：把z映射到中间w，解耦风格因子·AdaIN：把风格w注入每一层，控制不同尺度的属性（粗糙=脸型，中等=五官，精细=肤色）·噪声输入：逐层加随机噪声，生成逼真的发丝、皮肤纹理·StyleGAN2/3进一步改善伪影、解耦更彻底28/50PART04·GANGAN典型应用图像超分辨率·SRGAN、ESRGAN·低清图像→4K高清·医学影像、老照片修复人脸编辑·StyleGAN+风格向量插值·改年龄、表情、性别、发型·数字人、换脸图像到图像转换·pix2pix、CycleGAN·草图→照片、马→斑马、白天→黑夜·语义标签→街景数据增强·生成稀有类别训练样本·医学病灶、遥感图像·降低标注成本29/50PART04·GANGAN小结核心思想：G和D博弈，G学分布、D辨真假，达到纳什均衡目标函数：min_Gmax_DE[logD(x)]+E[log(1-D(G(z)))]关键演进：原始GAN→DCGAN（CNN架构）→WGAN（解决梯度消失）→StyleGAN（高质量人脸）优点：生成样本锐利、逼真，无需显式建模似然缺点：训练不稳定、模式崩溃、需要平衡G/D地位：2014-2020年的主流生成范式，扩散模型出现前的SOTA30/5005扩散模型DiffusionDDPM·DDIM·StableDiffusionPART05·扩散模型扩散模型直觉：从噪声中还原图像核心思想：正向过程逐步给真实图像加噪声，直到变成纯高斯噪声；反向过程学习逐步去噪，从噪声还原出图像。32/50PART05·扩散模型前向扩散过程过程：每一步往x_{t-1}加入小高斯噪声，方差按预设β₁...β_T递增。数学性质：x_t可以直接由x₀一步采样（不需要逐步迭代）。q(x_t|x_{t-1})=N(x_t;√(1-β_t)·x_{t-1},β_t·I)关键性质：·β_t是预设的噪声调度（线性或余弦），常见T=1000·闭式解：x_t=√(α̅_t)·x₀+√(1-α̅_t)·ε，ε~N(0,I)·α̅_t=∏(1-β_s)，随t增大趋近0，x_T近似纯噪声·前向过程不需要学习，是固定的马尔可夫链33/50PART05·扩散模型反向去噪过程目标：学习pθ(x_{t-1}|x_t)，即从带噪图像预测更干净的图像。实践中：神经网络εθ(x_t,t)预测x_t中加入的噪声ε，再反向推出x_{t-1}。34/50PART05·扩散模型DDPM：去噪扩散概率模型提出：Hoetal.2020，首个在图像生成上媲美GAN的扩散模型。结构：U-Net+时间步嵌入+残差连接+自注意力。U-Net关键设计：·编码器逐步下采样提取多尺度特征，解码器上采样恢复分辨率·SkipConnection连接同层编码解码，保留细节·时间步t通过正弦位置编码+MLP注入每个残差块·中间层加自注意力，建模长程依赖采样过程：从x_T~N(0,I)开始，循环T=1000次：预测噪声→去噪→得到x_{T-1}→...→x₀缺点：采样慢（1000步串行），生成一张图需要数秒~数十秒35/50PART05·扩散模型DDIM：加速采样核心：DDPM需要1000步，DDIM用非马尔可夫过程，只需50-100步。不重训模型，只改采样策略，牺牲少量随机性换10-20倍速度。对比DDPMDDIM采样步数1000步50-100步随机性随机马尔可夫链可确定性（eta=0）是否重训—否，直接用DDPM权重用途训练好的标准采样快速推理、图像插值36/50PART05·扩散模型StableDiffusion：潜空间扩散关键创新：不在像素空间做扩散，而在VAE压缩后的潜空间做，大幅降低计算量。37/50PART05·扩散模型扩散模型小结核心思想：前向加噪（固定）→反向去噪（学习），从纯噪声还原图像训练目标：预测每一步加入的噪声ε，简单的MSE损失关键演进：DDPM（1000步）→DDIM（加速到50步）→LatentDiffusion（潜空间压缩）→StableDiffusion（开源可用）优点：训练稳定、生成质量SOTA、模式覆盖全、可条件控制缺点：采样慢（多步串行）、计算成本高地位：2022年后的生成范式主流，文生图、图像编辑、视频生成的基础38/5006其他生成模型自回归·流模型·VQ-VAEPART06·其他模型自回归模型PixelRNN/PixelCNN思想：把图像看作像素序列，按从左到右、从上到下的顺序逐个像素预测。p(x)=p(x₁)·p(x₂|x₁)·p(x₃|x₁,x₂)·...完全分解链式法则。优点·精确的似然估计·训练稳定·生成样本质量高·是GPT等大语言模型的思想源头缺点·采样极慢：逐像素串行生成·256×256图要生成65536次·不适合高分辨率图像·GPT/图像Transformer用大规模并行缓解40/50PART06·其他模型流模型与VQ-VAE流模型（NICE/RealNVP/Glow）思想：用一系列可逆变换把简单分布变成数据分布优点：·精确的对数似然·双向生成和推断都高效缺点：·变换必须可逆，限制了网络设计·内存占用大·生成质量不如GAN/扩散VQ-VAE（向量量化）思想：隐空间离散化，用码本上的最近邻向量表示z优点：·离散隐空间，适合做生成先验·是StableDiffusion的VAE基础缺点：·码本坍缩、向量退化·重构有损失41/50PART06·其他模型六大生成模型横向对比模型VAEGAN扩散自回归流模型生成质量中（模糊）高很高高中训练稳定高低高高高采样速度快快慢很慢快似然估计下界无近似精确精确代表模型VQ-VAEStyleGANSD/DALL·EGPT/PartiGlow42/5007典型应用场景文生图·图像编辑·人脸生成·医学影像PART07·应用文生图Text-to-Image关键能力：·自然语言理解：CLIP/文本编码器把prompt映射为语义条件·高保真生成：扩散模型在潜空间去噪，生成复杂细节·应用：设计灵感、插画、广告素材、教育图示、游戏概念图44/50PART07·应用图像编辑与修复局部重绘Inpainting·蒙版框选区域·提示词描述新内容·模型只重绘选中区域·保持背景不变·例：PS生成式填充风格迁移·内容图+风格图·CycleGAN/StyleGAN·照片→油画/动漫·保持内容结构·仅改变纹理笔触超分与修复·