生成式视觉模型原理与实践 课件chapt7 典型应用场景

生成式视觉模型

原理与实践9:19:06下午1第7章

典型应用场景9:19:06下午2主要内容典型应用场景实战案例9:19:06下午3典型应用场景可控图像生成图像翻译图像超分辨率图像修复图像分割图像编辑……9:19:06下午4可控图像生成ControllableImageGeneration根据用户的指定的条件，生成具有特定属性或内容的图像。9:19:06下午5典型方法：条件生成模型CVAE、SNGAN、SAGAN、BigGAN、CFG、ADM等GigaGAN、隐扩散模型、StableDiffusion等9:19:06下午6文生图9:19:06下午7提示词：一幅具有毕加索风格的最后的晚餐基于语义图的图像生成9:19:06下午8天空树木湖泊视频风格转换9:19:06下午9输入风格图输出图像翻译

9:19:06下午10源域目标域SourceDomainTargetDomain典型方法CycleGAN（2017）CycleGAN-Turbo（2024）Palette（2022）调色板DiffI2（2023）……9:19:06下午11照片上色

9:19:06下午12自动驾驶

9:19:06下午13医疗影像分析

9:19:06下午14人像卡通化大头照卡通化9:19:06下午15草稿图到完整绘画9:19:06下午16输入草稿提示词输入草稿提示词图像超分辨率Super-Resolution(SR)将低分辨率（LowResolution，LR）图像转换为高分辨率（HighResolution，HR）图像，从而增强图像的细节和清晰度。9:19:06下午17典型方法SRGAN（2017）经典模型，引用极多ESRGAN（2018）GigaGAN（2023），能够支持4K超分辨率StableDiffusion（2022）ResShift（2024）……9:19:06下午18遥感图像的超分辨率重建9:19:06下午19图像修复对受到损坏的图像进行修复重建或者去除图像中的多余物体的过程。9:19:06下午20典型方法9:19:06下午21基于WassersteinGAN的图像修复（2020）采用GAN的架构和对抗损失将修复问题转化为对抗生成问题典型方法9:19:06下午22Repaint(2022)将图像修复归纳为一个以已知区域为条件的条件生成式建模问题利用DDPM模型进行图像修复图像分割将图像划分为若干个具有独特性质的区域，并识别出感兴趣的目标9:19:06下午23典型方法SegDiff(2021)将分割任务转化为条件生成式建模任务以待分割图片为条件利用扩散模型进行建模9:19:06下午24图像编辑对图像进行各种编辑和转换的过程。这包括但不限于图像的缩放、裁剪、旋转、翻转、添加水印、添加文本、添加倒影、图像遮罩、设置背景色、高斯模糊、像素化等操作。9:19:06下午25典型方法：DragGANDragGAN仅需通过简单的拖动动作，即可实现对图像中对象的形状、布局、姿态、表情等特征的精确调整，同时保持图像的整体真实性和多样性。9:19:06下午26注意：合法使用、防止AI诈骗9:19:06下午27实战案例案例1：医疗影像的模态转换案例2：遥感图像的超分辨率案例3：StableDiffusion文生图9:19:06下午28案例1：医疗影像的模态转换主要任务：实现脑部CT影像与核磁共振影像（MRI）间的相互转换。9:19:06下午29案例1：医疗影像的模态转换数据集：Kaggle平台上的“CTandMRIBrainScans”数据集2486张脑部CT影像和2488张脑部MRI影像9:19:06下午30案例1：医疗影像的模态转换模型：CycleGANCycleGAN是一种无需配对数据的图像翻译模型，它借助了GAN的结构实现两个不同域之间的图像风格转换，并通过循环一致性损失保证转换的准确性。9:19:06下午31[1]Zhu,Jun-Yan,etal."Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks."

ProceedingsoftheIEEEinternationalconferenceoncomputervision.2017.源域目标域案例1：医疗影像的模态转换完整训练目标9:19:06下午32案例1：医疗影像的模态转换实验效果9:19:06下午33案例2：遥感图像的超分辨率

9:19:06下午34案例2：遥感图像的超分辨率数据集：OLI2MSI该数据集由Landsat8-OLI与Sentinel2-MSI图像组成，其中OLI图像作为低分辨率（Low-Resolution,LR）图像，MSI图像则被视为真实的（GroundTruth）高分辨率（High-Resolution,HR）图像9:19:06下午35案例2：遥感图像的超分辨率数据集：OLI2MSI整个数据集包含5225个可用于训练的“低清-高清”图像对，另有100个“低清-高清”图像对可用于测试。9:19:06下午36案例2：遥感图像的超分辨率模型：SRGAN9:19:06下午37案例2：遥感图像的超分辨率实验效果：9:19:06下午38案例3：StableDiffusion文生图本地部署方法：访问“秋葉aaaki”的Bilibili官方主页，以便获取最新版本的整合包资源（本指南以V4.9.1版本为范例进行说明）9:19:06下午39案例3：StableDiffusion文生图本地部署方法：执行“启动器运行依赖-dotnet-6.0.11.exe”程序，以便安装所有必需的依赖项解压“sd-webui-aki-v4.9.1.7z”压缩包，这将生成一个名为“sd-webui-aki-v4.9.1”的文件夹9:19:06下午40案例3：StableDiffusion文生图本地部署方法：将位于“./controlnet/模型”路径下的checkpoint文件复制到“./sd-webui-aki-v4.9.1/models/ControlNet”目录内最后，只需在“./sd-webui-aki-v4.9.1”文件夹下运行“A绘世启动器.exe”9:19: