生成式大模型项目实战课件 项目6掌握 AIGC 图像工程-Stable Diffusion 全流程工业级应用

项目6

掌握AIGC图像工程

——StableDiffusion全流程工业级应用目录国内AI绘画工具介绍StableDiffusion图像处理工具介绍StableDiffusion任务实践拓展创新——精确控制提示词关键字任务导入01任务导入01在上一章中，我们深入探讨了图像处理的基本概念和一些简单的应用案例。现在，让我们进入本章的主题，我们将专注于AI图像处理技术。本章的目标是教授大家如何运用人工智能技术来设计并生成逼真的图像（如图6-1所示）。通过学习这些技术，使读者能够提高工作和学习的效率，并且在探索AI图像处理的过程中发现新的乐趣和创造力。为了实现这一目标，本章将通过一系列具体的任务来逐步引导读者对AI图像处理这一技术进行深入理解。任务1：通过对超写实图片、包装产品设计、电商美工图和AI服装设计等案例来加深读者对StableDiffusion的熟练使用并运用到日常的办公操作当中。任务2：在Kimi大语言模型的基础上精确控制提示关键词来生成图片以及思路，使得读者对提示关键词有更加深入的理解。国内AI绘画工具介绍02国内AI绘画工具介绍021.Stable-Diffusion（SD）Stable-Diffusion（SD）是一款广受欢迎的开源绘画软件，以其免费和可本地部署的特性吸引了众多用户。作为开源且免费的软件，用户可以遵循官方的安装指南自行进行安装。2.必应（bing）图像创建必应官方提供了一个图像创建平台，它基本上是完全免费的，无需安装，用户只需注册一个微软账号即可使用。注册微软账号的流程相对简便，因此在此不作详细说明。用户可以直接通过必应的界面访问该服务，如图所示。国内AI绘画工具介绍023.文心一格文心一格是百度公司推出的AI艺术和创意辅助平台，用户通过输入文字描述即可生成具有不同艺术风格的创意画作。虽然包含收费项目，但提供了试用期供用户体验。4.即梦DreaminaDreamina提供了基础的免费图片生成体验，允许用户在不支付费用的情况下尝试其基本功能。至于更高级的功能，比如视频生成，目前处于内测阶段，用户在内测期间有机会获得一些免费试用的机会。Dreamina尚未公布这些高级功能的正式收费标准。5.RunwayRunway是一家独立公司，提供一整套多模态人工智能工具库，涵盖了图像修复、绿幕修图、运动跟踪等关键功能，这些工具旨在显著提高视频编辑的效率，特别适合专业视频编辑师使用，并且提供了免费试用的机会。StableDiffusion图像处理工具介绍033.1StableDiffusion图像处理工具介绍031.StableDiffusion介绍StableDiffusion是一种基于神经网络的图像生成模型，它通过结合变分自编码器、U-Net和对比语言-图像预训练三者的优势，能够在生成高质量图像的同时保持细节丰富和特征准确，使用户能够根据文本描述生成与描述相匹配的图像。变分自编码器是一种用于生成模型的神经网络结构，它通过学习数据的潜在空间表示来创建新的数据实例。在StableDiffusion模型中，变分自编码器扮演着概率编码器和解码器的角色。它首先将输入数据编码到潜在空间，然后利用重参数化技巧，将编码的向量与高斯分布相结合，从而实现从潜在空间的直接采样，为生成过程提供灵活性和多样性。StableDiffusion能够提取图像的潜在空间表示，同时将图像的噪声和细节信息分离。这种分离使得模型在生成新图像时可以更有效地控制噪声水平和细节的丰富度。如图下所示，前向扩散过程将图像从其原始的高维空间转换到一个低维的潜在空间，这个低维空间捕捉了图像的核心特征。然后，模型通过反向扩散过程，从这个低维潜在空间中重建图像，逐步恢复细节并减少噪声，最终生成高质量的图像输出。这个过程不仅提高了图像生成的稳定性，而且增加了生成图像的多样性和真实感。3.1StableDiffusion图像处理工具介绍03逆概率沿扩散是StableDiffusion模型中的关键技术，它是一种自回归模型，用于逆向地从扩散过程中重建图像。这个逆模型利用当前帧的噪声和之前生成的图像帧作为输入，预测下一帧的噪声分布，然后通过从图像中逐步减去这些预测的噪声来重建图像。这个过程本质上是扩散过程的逆操作，它允许模型从包含噪声的图像状态逐步恢复到清晰的图像状态。逆概率沿扩散通过这种方式，可以在每一步中精细化图像的细节，从而生成高质量的图像。如下图所示：3.2StableDiffusion文生图的推理流程03StableDiffusion提供了两种图像生成模式：文生图和图生图。文生图通过文本描述，利用扩散模型将文本编码器的输出与噪声结合，然后通过解码器生成相关图像；而图生图则是基于现有图像，结合可能的文本提示，生成新的图像。这两种模式共同体现了StableDiffusion在创造性图像生成方面的多功能性和高效性。StableDiffusion的文生图推理流程首先接收文本输入，通过文本编码器提取文本嵌入，然后结合随机生成的初始噪声，输入到扩散模型U-Net中进行去噪处理，最终利用自编码器的解码器模块将去噪后的潜在空间转换为生成的图像，从而实现从文本描述到图像的视觉化转换，如图所示。3.3StableDiffusion环境安装配置03（1）配置要求尽管当前市场上有广泛的算力租赁服务，可以为学习StableDiffusion或工作使用提供强大的计算资源，但作者建议，如果条件允许，购买一张性能良好的显卡并搭建自己的图文服务器可能是更佳选择。（2）环境安装StableDiffusion的手动安装方案包括以下几个步骤：1.安装Python：下载并安装Python3.10版本，在安装过程中确保选中“AddPythontoPATH”，这样Python命令就可以在命令行中直接使用。2.安装Git：访问Git官网，下载并安装Git。Git是版本控制系统，用于管理代码库。3.下载webui的github仓库：

-打开命令行窗口（使用快捷键“win+r”输入cmd）。

-切换到你希望克隆仓库的目标目录，使用命令cdPATH_TO_CLONE，其中PATH_TO_CLONE是你的目标路径。

-运行gitclone来克隆仓库到本地。3.3StableDiffusion环境安装配置034.装配模型：在提供模型下载的网站上下载带有CKPT标注的模型文件，然后将下载的模型文件放置在克隆的仓库路径下的models/Stable-diffusion目录中。5.使用：在克隆的仓库目录中，双击运行webui-user.bat。这个脚本将自动下载所需的依赖项。下载过程可能需要一些时间。完成后，程序将输出一个本地服务器地址，如:7860/，你可以在浏览器中输入这个地址来访问StableDiffusion的web界面。（6）环境更新方案,更新按下win+r输入cmd，调出命令行窗口。运行：cdPATH_TO_CLONE,运行gitpull,在这里“PATH_TO_CLONE”

表示你期望下载的目标目录。（3）文生图最简流程①选择正确的底模（基础模型）对于生成图像的结果至关重要，因为它直接影响到画面的风格和最终视觉效果。3.3StableDiffusion环境安装配置03②在第一个框中填入提示词，对想要生成的东西进行文字描述③在第二个框中填入负面提示词（Negativeprompt)，用户对不想要生成的东西进行文字描述④选择采样方法、采样次数、图片尺寸等参数3.4部分参数介绍03（1）SamplingSteps（采样步数）StableDiffusion的工作流程开始于一个随机生成的高斯噪声图像，然后通过逐步的降噪过程向目标图像逼近，这个过程通常涉及多个迭代步骤。随着迭代次数的增加，生成的图像会逐渐变得更加清晰和精确，更接近于符合用户提示词描述的结果。采样器的选择也会影响这一过程，不同的采样器可能在不同步数下表现不同。通常，用户可能会将迭代步数设置在20到30之间，这是一个平衡图像质量和生成时间的常见选择。用户可以根据自己的需求和硬件性能来调整这一参数，以达到最佳的图像生成效果。3.4部分参数介绍03（2）Sampler（采样器/采样方法）StableDiffusion的图像生成过程涉及选择不同的采样器，如Eulera（EulerAncestral）可以在较少步数下带来图像多样性，而其他非ancestral采样器则在相同条件下产生相似结果。DPM相关的采样器虽然能提供高质量的图像，但会相应增加计算时间和资源消耗。用户应根据对图像多样性、质量和生成速度的需求，以及可用的计算资源，来选择最合适的采样器，以实现高效的图像生成。3.4部分参数介绍03（3）设置高分辨率修复“Highres.Fix”（高清修复）功能允许用户通过先在较低分辨率下生成图像，然后应用放大算法来提升图像分辨率，从而在生成高分辨率图像时避免混沌和细节丢失的问题。这种方法能够在保持图像清晰度的同时，实现高质量的大图效果，最终输出的图像尺寸是原始分辨率乘以一个指定的缩放系数，如图所示。3.4部分参数介绍03（4）设置随机种子用户在绘图时，当发现有满意的图像时，就可以复制并锁定图像的随机数种子，使后续生成的图像更加符合自己的需求。此类操作在连续迭代出图工作中比较常用。随机数种子在绘图过程中，如果用户遇到了满意的图像，他们可以复制并锁定该图像的随机数种子。这个操作允许用户保存当前图像的生成条件，确保后续生成的图像能够维持相似的风格、元素和构图，从而更贴近用户的个性化需求。锁定种子后，用户可以在此基础上进行微调或迭代，探索更多变化，同时保持图像质量的一致性。如图6-48所示，这个功能为用户提供了一种控制和复现理想图像结果的有效手段。3.5提示词技巧03（1）基础书写规范（2）提示词的万能公式提示词书写顺序分别为：主体内容、环境背景、构图镜头、图像设定、参考风格。在编写咒语时可以按照类目对号入座，会更加规范和易读。（3）高阶语法技巧强调关键词分步绘制停止绘制打断提示词融合提示词交替绘制矩阵排列StableDiffusion任务实践044.1超写实图片案例04选取一张在日常工作或学习中的实际案例，展示生成效果，如图所示4.1超写实图片案例04（1）StableDiffusion模型选取在civitai上下载“majicMIXrealistic麦橘写实”模型，根据模型名字可知，这是一个写实风格的模型，如图6-111所示。下载后，存放在：\models\Stable-diffusion文件夹中（2）Lora模型选取由于AI生成的图片在皮肤质感上会存在过度虚化感，在这里使用Lora模型调整皮肤质感4.1超写实图片案例04（3）初步出图首先，输入一下关键词4.1超写实图片案例04（4）优化方案一——加上皮肤质感lora模型接着在同样的数据上加上皮肤质感，首先选择Lora模型，并且把权重调低一点，改为0.8，如图所示。4.1超写实图片案例04（5）优化方案二——加入反向提示词在超写实这样的案例中，反向提示词一般是通用的，类似于降低画质和人物美观度的描述，都可以放到提示词中，用以提升画面质量4.1超写实图片案例04（6）使用ControlNet重新生成图片在ControNet中,上传一张选中的一张图片，勾选完美像素模式、允许预览，控制类型选择Lineart(线稿)，预处理器选择lineart_realistic。做这一步的目标是为了等一下生成出来的图和我们这张图有高度的相似度，如图所示。4.2包装产品设计案例04在当今激烈的市场环境中，独特而吸引人眼球的产品包装设计，对提高产品的整体形象和竞争力显得尤为重要。StableDiffusion作为一种先进的AI技术，为产品包装设计提供了无限的可能性，为帮助设计师在短时间内创作出独具特色的产品包装效果。（1）选择综合大模型生成初图（2）选择化妆品包装Lora模型优化（3）使用ControlNetDepth控制画面的光影4.3AI服装设计款式04一个人开一家服装店，这在以往不可能完成。但现在有了AI的加持，让这一切成为可能，一个人也能完成一个团队的工作量，实现降本增效。（1）绘制设计稿选择一个综合性模型，这里无需编写反向提示词选择分辨率为1024*1024,步数在30，单击“生成”按钮，这里可以多生成几次，从中选择你比较看好的姿势4.3包装产品设计案例04用户可以手绘，也可以手工画，简单几笔，不用太复杂，最终选取一张最满意的服装绘制初稿图，如图所示4.3包装产品设计案例04（2）绘制最终AI服装款式图设置ADetailer脸部修复模型，勾选“高清分辨率修复”，迭代步数25，宽高768*768，提示词引导系数为3-5之间，太高的话图片容易跑偏，跟线稿图不像，单击“生成”，绘制AI服装，查看效果4.4电商美工图案例04上述案例大部分是全图创意绘制，但是很多时候，会存在局部区域下的AI制图重绘，例如需要更换模特身上的服装等。（1）打开PS制作精细蒙版在网上搜索一张图片，比如女士的裤子，利用photoshop软件打开，如图所示。4.4电商美工图案例04经过操作反选裤子，把其他内容填充为黑色，即可得出蒙版并保存，如图