Stable Diffusion AI绘画实战（微课版）-项目6 进阶

Project6项目6StableDiffusion进阶StableDiffusionAI绘画实战（微课版）ControlNet精准控图技术图像放大高清输出技术后期优化图像管理技术高等院校艺术设计精品系列教材人民邮电出版社目录与导航Contents6.1使用ControlNet精准控图控制模型与预处理器使用流程与参数配置控制类型与组合使用6.2图像放大SDupscale脚本UltimateSDupscaleTiledDiffusion扩展6.3后期优化与图像管理后期处理功能PNG信息获取无边图像浏览6.4课后实践ControlNet综合应用图像放大技术对比工作流整合实践课堂学习目标知识目标了解ControlNet基础知识，理解控制模型与预处理器的工作原理了解图像放大技术体系，掌握不同放大方法的特点与适用场景了解后期优化与图像管理技术，构建完整的工作流能力目标掌握基于ControlNet的精准控图方法，实现结构、姿态、风格的多维度控制掌握图像放大方法，从低分辨率草图到4K商用图像的工业化输出掌握后期优化与图像管理技术，具备流程优化能力素养目标培养技术适配思维，根据创作需求选择合适的技术方案增强工作流整合意识，构建从生成到管理的完整流程提高精准控图意识，从\"抽卡式生成\"转向\"定向化创作\"学习路径01理论基础理解ControlNet、图像放大、后期优化的核心概念与技术原理02操作实践通过课堂演练掌握具体操作方法与参数配置技巧03综合应用学习多技术组合使用，实现复杂场景的精准控制04实战拓展通过AI实战案例与课后实践，深化技能应用能力项目引入：从随机生成到精准控制通过前面的学习，我们已经具备了使用StableDiffusion生成图像的能力，精准控制便成为下一步进阶突破的关键。本项目聚焦三大核心技术，将StableDiffusion从"抽卡式生成"升级为"定向化创作"的专业工具。ControlNetAI生成的"导航系统"其精准控图能力将彻底打破"抽卡式生成"的随机困局。通过姿势、构图、深度等多维度控制，实现从参考图到生成结果的精准映射。姿势一致性控制构图精准还原风格迁移与保持图像放大高质量输出的"核心引擎"搭建从512×512草图到4K商用图像的工业化放大流水线。通过AI算法重构像素级细节，在提升分辨率的同时修复细节缺陷，增强画面质感。分块重绘技术细节增强与修复低显存优化方案后期优化与图像管理生成后的完整管理通过无边图像浏览实现批量成果对比，构建可复用的优质素材库。支持图像增强、面部修复、PNG信息提取等功能。批量图像处理参数追溯与复现智能图像浏览这三大技术模块构建了一套覆盖"生成—优化—管理"全链条的AI技术框架，将StableDiffusion从随机工具升级为精准设计平台6.1使用ControlNet精准控图ControlNet扩展的控制模型和预处理器、使用流程、配置参数、控制类型、组合使用及SDXL架构模型控制模型参数配置组合使用6.1.0ControlNet概念什么是ControlNet？ControlNet（控制网络）是StableDiffusion的一个扩展功能，旨在让用户通过指定详细条件来控制图像生成。在前面的AI绘画实践中，我们发现精确控制图像的生成非常不易，往往需要大量"抽卡"才能得到满意的结果，而ControlNet的引入正是为了解决这一问题。ControlNet可以从参考图中提取姿势、构图等特征，使生成结果不偏离这些特征，突破了传统文生图模型在细节控制、构图精准度和风格一致性方面的局限。核心价值将StableDiffusion从"随机生成工具"升级为"精准设计工具"实现从参考图到生成结果的精准映射，保持结构、姿态、风格一致性支持多维度协同控制，组合使用多个ControlNet实现复杂场景技术突破细节控制精确控制人物姿态、物体位置、画面构图构图精准度保持画面结构、透视关系、空间层次风格一致性迁移参考图风格，保持系列作品统一性应用场景角色设计一致性姿势精准控制场景结构保持风格批量迁移图像高清放大局部精准重绘6.1.1控制模型与预处理器01控制模型ControlNet通过不同类型的控制模型（ControlModel）解析参考图，生成对应的条件特征图，引导StableDiffusion生成图像。这些模型通常称为ControlNet模型，每种模型都有特定的控制能力。结构控制控制画面结构、边缘轮廓姿势控制控制人物姿态与动作画风控制控制图像风格与色彩空间控制控制深度与三维关系02预处理器ControlNet模型需要与预处理器（Preprocessor）配合使用。预处理器本质上是独立的图像处理算法，其功能是将用户上传的参考图转换为特定类型的特征图，供ControlNet模型识别。工作流程1用户上传普通照片2预处理器转换特征图（线稿/深度图等）3ControlNet模型识别并控制生成例如：上传照片后，lineart预处理器先将其转换为黑白线稿，再交给ControlNet模型使用模型与预处理器安装ControlNet模型文件格式：.pth安装路径：extensions\sd-webui-controlnet\models预处理器文件格式：.pth安装路径：extensions\sd-webui-controlnet\annotator\downloads秋葉aaaki整合包预装有ControlNet扩展，但没有安装模型和预处理器。建议手动安装后重启SDWebUI生效。6.1.2ControlNet使用流程应用场景文生图界面从零生成全新图像时，通过ControlNet约束构图或结构图生图界面在原图基础上叠加控制条件（姿势、边缘等），实现精准调整提示：可以在文生图中生成基础图像，转入图生图通过ControlNet细化细节基本使用流程1生成基础图像使用文生图或图生图生成初始图像，或上传现有参考图2提取特征（可选）运行预处理器将参考图转换为线稿、深度图、骨骼图等特征图3基于特征生成新图像ControlNet根据特征图控制生成过程，输出符合预设结构的新图像重要：运行预处理器并非强制步骤，但强烈推荐使用，因为可以预览并调整预处理结果，确保控制准确ControlNet使用流程图（图6-1）参考图用户上传的原始图像预处理器提取特征图(线稿/深度图/骨骼图)ControlNet模型识别特征并控制生成生成结果符合预设结构的新图像【课堂演练1】基于线稿生成插画下面通过一个使用ControlNet的Lineart模型生成动物插画的例子，示范使用ControlNet的完整流程，涉及3个核心步骤：生成基础图像→提取线稿→基于线稿生成插画。文生图参数Checkpoint：majicmixRealistic_v7正向提示词：ANortheastTigerlyingonthesnow,withdetailedfur,sharpclaws,goldeneyes,cinematiclighting,8K,wildlifephotography反向提示词：blurry,deformedpaws,multipleheads,multipletails,text,cartoon,human,badproportions采样方法：DPM++2M调度类型：Karras迭代步数：30图像尺寸：768×512随机数种子：1006344476用于ControlNet提取线稿的基础图像1生成基础图像【课堂演练1】基于线稿生成插画下面通过一个使用ControlNet的Lineart模型生成动物插画的例子，示范使用ControlNet的完整流程，涉及3个核心步骤：生成基础图像→提取线稿→基于线稿生成插画。2提取线稿ControlNet设置启用完美像素模式允许预览控制类型：Lineart（线稿）预处理器：lineart_realistic模型：control_v11p_sd15_lineart单击💥按钮运行预处理器提取线稿【课堂演练1】基于线稿生成插画下面通过一个使用ControlNet的Lineart模型生成动物插画的例子，示范使用ControlNet的完整流程，涉及3个核心步骤：生成基础图像→提取线稿→基于线稿生成插画。3生成插画修改文生图参数正向提示词：watercolorpaintingofaNortheasttiger,snow-coveredpineforest,goldenhourlighting,softbrushstrokes,paleblueandorangepalette,detailedfurtexture,artbyJamesGurney反向提示词：photorealistic,3Drender,blurrybackground,deformedlegs采样方法：Eulera迭代步数：35提示词引导系数：8.0生成→完成!生成的动物插画核心要点保持结构精准基于线稿生成的水彩画风格动物插画能够保持东北虎的结构精准，姿势、构图与原图一致预处理器选择lineart_realistic针对写实风格图像优化，lineart_anime针对动漫风格优化，需根据参考图类型选择风格转换通过修改提示词和Checkpoint模型，可在保持结构的同时实现多种风格转换（写实→水彩、油画、动漫等）6.1.3ControlNet面板配置（上）01图像管理区域此区域主要用来上传参考图，ControlNet会根据当前选择的控制类型从参考图中提取某种特征信息，用于生成图像。参考图上传支持单图精细控制或多图批量生成参考图要求线条是白色、背景是黑色。如使用白底黑线参考图，请使用"invert"预处理器参考图操作按钮使用画布（自行绘制参考图）使用摄像头（拍摄照片）镜像摄像头（水平翻转）发送尺寸到StableDiffusion预处理结果预览：以可视化形式展示提取的特征信息（线稿/深度图/骨骼图等）02控制选项区域此区域提供5个复选框，便于用户设置ControlNet控制选项。启用必须勾选才能使当前ControlNet单元生效，参与生成图像低显存模式显卡内存低于4GB时建议勾选，降低显存占用完美像素模式自动计算预处理图像分辨率，使其与生成图像分辨率一致允许预览在参考图右侧显示预处理结果预览区，快速了解预处理器效果高效子区蒙版通过蒙版指定ControlNet的作用范围，实现对图像局部区域的精准调节6.1.3ControlNet面板配置（下）03控制类型区域控制类型选择可选择任何一种控制类型（ControlType），如Canny、Lineart、OpenPose等选择"全部"(All)则需手动选择预处理器和模型预处理器与模型预处理器：提取参考图中的特征信息，作为生成时的参数模型：ControlNet参与图像生成时使用的模型匹配原则预处理器与模型须严格匹配例如：lineart_anime预处理器→control_v11p_sd15s2_lineart_anime模型单击💥按钮会使用当前预处理器生成效果图，展示在预览区04控制参数区域设置ControlNet的控制参数，通用控制参数如表6-1所示。表6-1通用的ControlNet控制参数参数说明推荐设置控制权重控制参考图对结果的影响力（过高导致僵硬，过低失去控制）1.0～1.3（常用）引导介入时机ControlNet开始介入的迭代步数比例（0.2表示前20%步自由生成）0～0.3（保结构）引导终止时机ControlNet停止介入的迭代步数比例（0.8表示后20%步自由细化）0.7～0.9（增细节）控制模式以提示词为主还是ControlNet为主。偏向提示词适合创意发散；偏向ControlNet适合复刻结构均衡缩放模式参考图与生成图尺寸不一致时的处理方法裁剪后缩放部分预处理器有自己的控制参数，如Canny的LowThreshold和HighThreshold控制边缘检测敏感度6.1.4ControlNet控制类型总览ControlNet提供多种控制类型，每种类型都有特定的预处理器和模型。基于功能特性和应用场景，可将这些控制类型划分为五大类型。线条控制Canny：精细边缘线稿Lineart：艺术化线条SoftEdge：柔和渐变边缘MLSD：仅识别直线边缘Scribble：涂鸦转线稿空间控制Depth：提取空间层次NormalMap：识别表面凹凸对象控制OpenPose：提取人体骨骼Instant-ID：特定对象精准还原Segmentation：语义分割色块风格控制Shuffle：迁移参考图风格Reference：全局参考风格IP-Adapter：风格/人脸一致T2I-Adapter：色彩/结构双约束修复优化Tile：分块重绘细节Inpaint：局部重绘InstructP2P：文字指令修改Recolor：自动上色【课堂演练2】InstructP2P场景转换InstructP2P核心特点InstructP2P主要用于场景转换和风格迁移，其核心是通过文本指令直接修改图像内容，无须手动绘制线稿或蒙版。文本指令格式MAKEit[目标描述]季节转换：MAKEitspring/summer/autumn/winter天气替换：MAKEitrainy/sunny/cloudy材质更改：MAKEitwoodentexture/marble背景替换：MAKEitbeachbackground优势：无须抠图合成，单指令实现多环境展示，适合商品场景快速切换场景转换应用快速将夏日风景转换为雪景，保持构图不变，仅改变季节和天气商业应用价值商品多环境展示、场景概念设计、快速视觉方案对比操作简便性无需复杂参数，单指令即可实现高质量场景转换【课堂演练2】InstructP2P场景转换操作流程1上传参考图在ControlNet面板上传含有红房子的风景图2配置ControlNet启用、完美像素模式控制类型：InstructP2P预处理器：none（无预处理器）模型：control_v11e_sd15_ip2p3设置文生图参数Checkpoint：majicmixRealistic_v7正向提示词：MAKEitsnowy提示词引导系数：9生成→完成场景转换!【课堂演练3】OpenPose姿态控制OpenPose可以检测人体的关键点（头部、肩膀、手肘、膝盖等），从而控制人物的姿态。本例展示如何精准控制人物姿态，并保持姿态不变的情况下更换背景。1生成基础人物图文生图参数Checkpoint：majicmixRealistic_v7正向提示词：1girl,standing,parkbackground,brightsunlightfromthefront,well-litface,clearsky,sharpfocus,8Kresolution反向提示词：NSFW,(ng_deepnegative_v1_75t:1.4),EasyNegative,badhands,extrafingers,reversedfingers,disfigured图像尺寸：512×768随机数种子：2910536367ADetailer：启用face_yolov8n.pt和hand_yolov8n.pt生成基础人物图作为姿态控制参考【课堂演练3】OpenPose姿态控制OpenPose可以检测人体的关键点（头部、肩膀、手肘、膝盖等），从而控制人物的姿态。本例展示如何精准控制人物姿态，并保持姿态不变的情况下更换背景。2提取骨骼姿势ControlNet设置启用、完美像素模式、允许预览控制类型：OpenPose（姿态）预处理器：openpose_hand（控制姿态和手部）模型：control_v11p_sd15_openpose骨骼姿势图OpenPose预处理器选择openpose：仅提取身体骨骼（不含面部和手部）openpose_hand：提取身体骨骼+手部关键点openpose_face：提取身体骨骼+面部关键点openpose_full：提取全身骨骼+面部+手部骨骼姿势图说明OpenPose对输入图像进行人体姿态估计，输出包含关键点坐标和连接关系的结构化数据（JSON格式）。骨骼姿势图是通过解析JSON中的关键点数据，按预设规则连接关键点形成的可视化图形。可备份JSON文件可上传JSON重用【课堂演练3】OpenPose姿态控制OpenPose可以检测人体的关键点（头部、肩膀、手肘、膝盖等），从而控制人物的姿态。本例展示如何精准控制人物姿态，并保持姿态不变的情况下更换背景。3生成新图像修改提示词1girl,standinginsnowfield,softsunlightfromthefront,well-litface,clearsky,fallingsnowflakes,distantsnow-cappedmountains,sharpfocus,8Kresolution其他参数保持不变生成→完成姿态控制姿态相同的原图和新图【拓展演练1】通过修改骨骼姿势图改变人物姿态可以对OpenPose提取的骨骼姿势图进行修改，以改变人物姿态。本演练在【课堂演练3】的基础上继续操作。该扩展提供可视化骨骼编辑功能，支持拖动关键点、隐藏关键点等操作OpenPoseEditor核心功能拖动关键点自由调整人物姿势，实现自定义姿态隐藏关键点右键隐藏不需要的关键点，实现更灵活的控制JSON备份备份骨骼姿势图的JSON文件，便于重用JSON上传上传JSON文件快速复用之前保存的姿势1确认安装扩展确认已安装名为SD-WEBUI-OPENPOSE-EDITOR的扩展该扩展提供可视化骨骼编辑功能，支持拖动关键点、隐藏关键点等操作【拓展演练1】通过修改骨骼姿势图改变人物姿态可以对OpenPose提取的骨骼姿势图进行修改，以改变人物姿态。本演练在【课堂演练3】的基础上继续操作。2编辑骨骼姿势图单击预处理结果预览区中的"编辑"按钮在编辑器中拖动关键点调整姿势通过单击鼠标右键隐藏关键点单击"发送姿势到ControlNet"OpenPose编辑器【拓展演练1】通过修改骨骼姿势图改变人物姿态可以对OpenPose提取的骨骼姿势图进行修改，以改变人物姿态。本演练在【课堂演练3】的基础上继续操作。3生成新图像单击"随机数种子"输入框右侧的♻️按钮单击"生成"按钮根据修改后的骨骼姿势图重新生成图像修改后的骨骼姿势图

改变姿态后的人物图像【AI实战1】结合OpenPose改进模特换装项目5中使用图生图的批量处理功能进行模特换装时，虽然使用了重绘蒙版，但换装后的姿态与原图无法保持一致。这里结合OpenPose进行控图，实现批量统一换装且姿态完全一致。批量处理目录配置输入目录存放原图（模特原始照片）输出目录存放生成图（换装后的图像）批量重绘蒙版目录存放蒙版图（文件名与原图文件名必须保持一致）ControlNet输入目录实际上就是原图，用于提取骨骼姿势图生图参数设置Checkpoint：majicmixRealistic_v7正向提示词：vintageyellowsweaterBREAK(darkgreenhigh-waisteddenimjeans:1.5),softlighting反向提示词：ng_deepnegative_v1_75t,t-shirt,logo,(multiplelegs:1.3),(multiplearms:1.3),deformed,NSFW采样方法：DPM++2M调度类型：Karras迭代步数：28重绘尺寸：512×768重绘幅度：0.65ADetailer：启用face_yolov8n.pt和hand_yolov8n.ptControlNet设置启用、完美像素模式控制类型：OpenPose（姿态）预处理器：openpose_full（控制全身）模型：control_v11p_sd15_openpose【AI实战1】结合OpenPose改进模特换装项目5中使用图生图的批量处理功能进行模特换装时，虽然使用了重绘蒙版，但换装后的姿态与原图无法保持一致。这里结合OpenPose进行控图，实现批量统一换装且姿态完全一致。批量生成效果完成模特的批量统一换装，模特仅是服装发生变化，姿态未变图6-14批量生成换装后的模特图姿态一致性保证换装后的模特姿态与原图的模特姿态完全一致，实现专业级换装效果图6-15模特换装前后的对比技术突破通过OpenPose姿态控制，解决了传统图生图换装无法保持姿态一致性的痛点姿态控制以ControlNet输入目录中的图像为参考图【课堂演练4】使用Canny生成二次元角色Canny控制类型通过边缘检测算法提取图像轮廓，将参考图转换为线稿，然后AI根据这个线稿生成新图像。这对于保持原始构图非常有效。本例展示对真人照片进行线稿提取，然后生成二次元角色。Canny边缘检测参数高低阈值原理LowThreshold（低阈值）：100用于去掉过细的线条，大于低阈值的线条被认定为边缘HighThreshold（高阈值）：200用于去掉零散的线条，大于高阈值的线条被认定为强边缘，全部保留高阈值和低阈值之间的线条被认定为弱边缘，只保留与强边缘相邻的弱边缘ControlNet设置控制类型：Canny（硬边缘）预处理器：canny模型：control_v11p_sd15_cannyLowThreshold：100HighThreshold：200Canny的参数设置黑白线稿【课堂演练4】使用Canny生成二次元角色Canny控制类型通过边缘检测算法提取图像轮廓，将参考图转换为线稿，然后AI根据这个线稿生成新图像。这对于保持原始构图非常有效。本例展示对真人照片进行线稿提取，然后生成二次元角色。生成动漫风格人物文生图参数Checkpoint：anything-v5（二次元模型）正向提示词：brightsunlightfromthefront,animestyle,cel-shading,vibrantcolors,studioGhibliatmosphere反向提示词：EasyNegative,badhandv4,worstquality,lowquality:1.4,blurry采样方法：DPM++2M调度类型：Karras迭代步数：30图像尺寸：512×768提示词引导系数：8原图写实人像新图二次元角色Canny控制类型优势保持构图通过边缘检测提取精细线稿，确保生成图像的构图与参考图一致风格转换可在保持结构的同时实现风格转换（写实→动漫、油画、水彩等）参数可调通过调整高低阈值，控制边缘检测的敏感度，适应不同图像特征【课堂演练5】使用Segmentation改变画风Segmentation的核心在于"色块即元素"，将图像中的不同物体转换为特定颜色的色块，每个色块代表一类物体（如浅蓝色色块代表天空、深绿色色块代表树木）。StableDiffusion根据色块位置和颜色生成对应元素，实现精准构图控制。提取色块图ControlNet设置启用、完美像素模式、允许预览控制类型：Segmentation预处理器：seg_ofade20k模型：control_v11p_sd15_seg单击💥按钮生成色块图色块图预处理器协议seg_ofade20k：适合风景、自然场景seg_ufade20k：适合复杂场景（桥梁、河流、道路）seg_ofcoco：适合人造物体、城市街景构图精准控制色块位置决定物体位置，色块颜色决定物体类别，实现像素级构图控制【课堂演练5】使用Segmentation改变画风Segmentation的核心在于"色块即元素"，将图像中的不同物体转换为特定颜色的色块，每个色块代表一类物体（如浅蓝色色块代表天空、深绿色色块代表树木）。StableDiffusion根据色块位置和颜色生成对应元素，实现精准构图控制。生成油画风格文生图参数Checkpoint：Dreamshaper_v8正向提示词：Oilpainting,countrysidelandscape,greenfields,stonepath,cloudysky,distantmountains,redhouse采样方法：DPM++2M迭代步数：30图像尺寸：768×512特点：所生成的风景图继承原图的画面元素，只是表现形式改变了油画艺术风格的风景图多风格转换同一色块图可生成多种风格作品（油画、动漫、水彩、素描等），保持构图一致【课堂演练5】使用Segmentation改变画风Segmentation的核心在于"色块即元素"，将图像中的不同物体转换为特定颜色的色块，每个色块代表一类物体（如浅蓝色色块代表天空、深绿色色块代表树木）。StableDiffusion根据色块位置和颜色生成对应元素，实现精准构图控制。生成动漫风格文生图参数Checkpoint：anything-v5正向提示词：animestyle,cel-shading,fantasyforest,glowingriver,fireflies,starrysky提示词引导系数：8采样方法：DPM++2M迭代步数：30图像尺寸：768×512特点：采用赛璐珞经典动画着色技法，整体充满梦幻与浪漫氛围动漫艺术风格的风景图多风格转换同一色块图可生成多种风格作品（油画、动漫、水彩、素描等），保持构图一致【拓展演练2】使用Segmentation替换画面元素Segmentation的色块位置决定物体位置，色块颜色决定物体类别，用户可通过修改色块自由增减场景元素。本演练在【课堂演练5】的基础上继续操作。1下载色块图下载【课堂演练5】Segmentation预处理器生成的色块图2修改色块图使用图像编辑软件修改色块图：将红色色块（房子）调整为周边颜色画出一条蓝色的小道Segmentation元素替换原理1色块即元素每个色块代表一类物体，颜色与物体类型一一对应2位置决定空间色块位置决定物体在画面中的空间位置3自由编辑通过修改色块，可自由增减、替换场景元素跳过预处理的情况当用户自行生成或制作符合ControlNet输入标准的图像时，可直接上传至ControlNet单元，跳过预处理步骤，无须预处理器。使用Photoshop绘制黑底白线的线稿，用于Lineart模型使用Blender导出深度图（.exr格式），用于Depth模型将之前ControlNet生成的预览图保存后直接作为新输入【拓展演练2】使用Segmentation替换画面元素3上传修改图将修改好的色块图上传到ControlNet单元0上传手动修改后的色块图4生成新图像预处理器：none（无需预处理器）模型：control_v11p_sd15_seg控制权重：1.2正向提示词：删除"redhouse"新的风景图（无房子）6.1.5ControlNet组合组合使用的优势单一ControlNet仅能约束某一维度（如仅姿势或仅边缘），而多ControlNet的组合使用能够对生成过程施加多维度约束，实现结构与风格的协同控制。组合应用场景1OpenPose+Depth：实现人物姿态和背景分离的控制，保证人物动作不变，背景无缝替换组合应用场景2OpenPose+Segmentation：生成多角色互动画面，避免人物重叠，定位各角色动作配置方法1启用多个ControlNet单元在SDWebUI中同时启用多个单元（如单元0、单元1），每个单元独立配置预处理器和模型2调整控制权重主约束（如姿态）控制权重建议设为1.0~1.2，辅助约束（如风格）控制权重建议设为0.6~0.83统筹引导介入时机结构类控制建议早期介入（0.1），风格类控制建议中期介入（0.3）控制权重与引导时机推荐设置组合类型主约束辅助约束应用场景OpenPose+ShuffleOpenPose:1.2Shuffle:0.7姿势固定，服饰纹理随机Canny+DepthCanny:1.0Depth:0.8轮廓精准+空间层次OpenPose+SegmentationOpenPose:1.1Seg:0.9多角色互动，避免重叠【课堂演练6】双ControlNet协同控图本例以NormalMap和Depth的组合生成工业机械图为例，示范ControlNet的组合配置和参数联动。Depth控制宏观结构，NormalMap捕捉微观几何特征，协同实现精细控图。1生成基础图像文生图参数Checkpoint：realisticVisionV51_v51VAE正向提示词：masterpiece,bestquality,industrialgearassembly,steelshaftsandcogwheels,metallicscratches,oilstains,volumetriclighting,depthoffield,8K迭代步数：30图像尺寸：768×512高分辨率修复：放大算法R-ESRGAN4x+，放大倍数2随机数种子：3521327008【课堂演练6】双ControlNet协同控图本例以NormalMap和Depth的组合生成工业机械图为例，示范ControlNet的组合配置和参数联动。Depth控制宏观结构，NormalMap捕捉微观几何特征，协同实现精细控图。2ControlNet单元0：DepthDepth设置预处理器：depth_leres++模型：control_v11f1p_sd15_depth控制权重：0.8引导介入：0.1引导终止：0.7高分辨率修复：两者中等强度约束空间层次，避免过度压制生成自由度深度图【课堂演练6】双ControlNet协同控图本例以NormalMap和Depth的组合生成工业机械图为例，示范ControlNet的组合配置和参数联动。Depth控制宏观结构，NormalMap捕捉微观几何特征，协同实现精细控图。3ControlNet单元1：NormalMapNormalMap设置预处理器：normal_bae模型：control_v11p_sd15_normalbae控制权重：1.1引导介入：0.3引导终止：0.9控制模式：更偏向提示词较大权重强化表面细节还原，压制随机性法线贴图【课堂演练6】双ControlNet协同控图本例以NormalMap和Depth的组合生成工业机械图为例，示范ControlNet的组合配置和参数联动。Depth控制宏观结构，NormalMap捕捉微观几何特征，协同实现精细控图。生成赛博朋克风格Checkpoint：CyberRealisticV4.2正向提示词：cyberpunkstyle,neon-litgearassembly,glowinghydraulicpistons,chrome-platedshafts,(metallicscratches:1.2),futuristicworkshop,cinematicatmosphere,8K生成：单击"生成"按钮原图和新图的对比双ControlNet协同效果Depth控制控制宏观结构，维持空间层次（前景齿轮/背景框架）NormalMap控制捕捉微观几何特征（螺栓凹凸），强化表面质感协同优势Depth奠定空间框架，NormalMap叠加微观细节，加上提示词定义风格，实现更精细的控图。特别适合工业设计可视化。4【课堂演练6】双ControlNet协同控图本例以NormalMap和Depth的组合生成工业机械图为例，示范ControlNet的组合配置和参数联动。Depth控制宏观结构，NormalMap捕捉微观几何特征，协同实现精细控图。1生成基础图像文生图参数Checkpoint：realisticVisionV51_v51VAE正向提示词：masterpiece,bestquality,industrialgearassembly,steelshaftsandcogwheels,metallicscratches,oilstains,volumetriclighting,depthoffield,8K迭代步数：30图像尺寸：768×512高分辨率修复：放大算法R-ESRGAN4x+，放大倍数2随机数种子：35213270082ControlNet单元0：DepthDepth设置预处理器：depth_leres++模型：control_v11f1p_sd15_depth控制权重：0.8引导介入：0.1引导终止：0.7高分辨率修复：两者中等强度约束空间层次，避免过度压制生成自由度图6-26深度图3ControlNet单元1：NormalMapNormalMap设置预处理器：normal_bae模型：control_v11p_sd15_normalbae控制权重：1.1引导介入：0.3引导终止：0.9控制模式：更偏向提示词较大权重强化表面细节还原，压制随机性图6-28法线贴图步骤4：生成赛博朋克风格Checkpoint：CyberRealisticV4.2正向提示词：cyberpunkstyle,neon-litgearassembly,glowinghydraulicpistons,chrome-platedshafts,(metallicscratches:1.2),futuristicworkshop,cinematicatmosphere,8K生成：单击"生成"按钮图6-29原图和新图的对比双ControlNet协同效果Depth控制控制宏观结构，维持空间层次（前景齿轮/背景框架）NormalMap控制捕捉微观几何特征（螺栓凹凸），强化表面质感协同优势Depth奠定空间框架，NormalMap叠加微观细节，加上提示词定义风格，实现更精细的控图。特别适合工业设计可视化。6.1.6SDXL架构ControlNet模型SD1.5vsSDXL架构差异前面涉及的都是SD1.5的ControlNet模型，由于SDXL与SD1.5的模型架构存在差异，这些ControlNet模型无法直接用于SDXL架构，用户需要使用SDXL架构专用的ControlNet模型。重要提示：只有改用基于SDXL架构的Checkpoint模型，ControlNet面板中才会自动匹配SDXL架构的预处理器和模型SDXL专用模型分类官方推荐模型Canny-XL：边缘检测，适用于线稿上色或结构复现Depth-XL：空间层次控制，适合建筑场景生成OpenPose-XL：人体姿态控制轻量化模型diffusers_xl_depth_mid（约1GB，平衡性能）diffusers_xl_depth_small（约0.7GB，低显存适用）一体化模型ControlNetUnion由xinsir团队发布，整合10余种控制类型，可通过一个模型实现多种控制效果controlnet-union-sdxl-1.0：建议使用promax版本解决SDXL架构ControlNet模型种类偏少的问题软硬件要求SDWebUI版本：不低于1.6.0ControlNet扩展：不低于1.1.454显存要求：原版≥8GB，轻量化≥6GB模型部署安装路径：extensions\sd-webui-controlnet\models命名建议：加上"++"后缀便于识别生效：重启SDWebUI【课堂演练7】使用一体化模型ControlNetUnion原则上单一控制使用专用模型（如Canny-XL），多条件控制使用ControlNetUnion，以节省显存，简化流程。本例展示同时控制人物姿态与场景深度，实现人物姿态与背景景深的同步精准控制。模型安装1下载diffusion_pytorch_model_promax.safetensors2更名为controlnet++_union_sdxl.safetensor3放到extensions\sd-webui-controlnet\models4重启SDWebUIControlNet单元0：OpenPose预处理器：openpose模型：controlnet++_union_sdxl控制权重：0.8引导介入：0.0引导终止：0.65控制模式：均衡Union不适用带面部和手部的骨骼姿势图模型生成的骨骼图ControlNet单元1：Depth预处理器：depth_leres++模型：controlnet++_union_sdxl控制权重：0.7引导介入：0.1引导终止：0.8控制模式：更偏向提示词低于姿势控制权重，避免景深压制纹理生成的深度图ControlNetUnion特点控制类型共13种，分六大类：OpenPose、Depth、ThickLine、ThinLine、Normal、Segment多重控制支持组合使用，但官方表示超过两个控制条件时效果显著下降使用建议单一控制用专用模型，多条件控制用Union，以节省显存、简化流程【课堂演练7】使用一体化模型ControlNetUnion原则上单一控制使用专用模型（如Canny-XL），多条件控制使用ControlNetUnion，以节省显存，简化流程。本例展示同时控制人物姿态与场景深度，实现人物姿态与背景景深的同步精准控制。生成最终图像文生图参数Checkpoint：JuggernautXL_v9正向提示词：masterpiece,bestquality,1girlinredqipaostandingintraditionalpalacecourtyard,(intricateqipaoembroidery:1.3),stonepathway,woodenpillars,(woodgraintexture:1.1),lanterns,sunsetlighting,8K图像尺寸：896×1152Adetailer：启用面部和手部修复原图和新图的对比6.2图像放大放大脚本、ControlNetTile、后期处理放大、TiledDiffusion扩展SDupscaleUltimateSDTile模型TiledDiffusion6.2.1使用放大脚本放大图像为什么需要图像放大？显存限制直接生成超高分辨率图像易导致显存不足，需先低分辨率出图再针对性放大细节需求低分辨率图像难以呈现精细纹理和复杂场景，直接放大后易出现模糊、噪点、畸变质量提升通过AI算法重构像素级细节，在提升分辨率的同时修复细节缺陷，增强画面质感主流放大技术高分辨率修复文生图在文生图过程中首先生成低分辨率图像，再以低重绘幅度二次生成放大版本。优势在于还原细节，但显存占用高、速度慢图生图放大图生图"缩放模式"选择"仅调整大小"，修改重绘尺寸或指定尺度，设置较低重绘幅度（0.3~0.5）。但可能产生模糊或细节损失放大脚本图生图SDupscale和UltimateSDupscale，通过分块重绘技术实现2~8倍放大【课堂演练8】使用SDupscale脚本放大图像SDupscale是原生脚本，集成于SDWebUI的图生图"脚本"下拉列表，无须额外安装，操作简单，能够快速实现2~4倍放大。SDupscale特点原生脚本，集成于SDWebUI无须额外安装，操作简单支持2~4倍放大适用场景：基础放大需求，快速实现图像放大【课堂演练8】使用SDupscale脚本放大图像SDupscale是原生脚本，集成于SDWebUI的图生图"脚本"下拉列表，无须额外安装，操作简单，能够快速实现2~4倍放大。1准备图像使用【课堂演练3】生成的写实人物图像，尺寸为512×768。进入"图生图"界面，将该图像上传。原图尺寸较小，适合演示放大效果2启用放大脚本从"图生图"界面底部的"脚本"下拉列表中选择"SDupscale"。原生脚本，无须额外安装扩展3设置参数并生成图像放大参数分块重叠像素宽度：64放大倍数：4放大算法：4x-UltraSharp图生图参数Checkpoint：majicmixRealistic_v7重绘幅度：0.3生成→完成放大!分块重叠像素宽度防止出现接缝，若接缝明显可增至128。重叠区域越大，接缝越不明显，但处理时间也会增加放大倍数单次放大倍数不宜过大（建议不超过4倍），避免显存溢出。可多次执行实现更高倍率放大放大算法4x-UltraSharp适合写实风格图像，R-ESRGAN4x+Anime6B适合动漫风格，需根据图像类型选择【课堂演练8】使用SDupscale脚本放大图像SDupscale是原生脚本，集成于SDWebUI的图生图"脚本"下拉列表，无须额外安装，操作简单，能够快速实现2~4倍放大。启用SDupscale脚本并设置参数SDupscale放大后的图像【课堂演练9】使用UltimateSDupscale脚本放大图像UltimateSDupscale脚本适合4K~8K高清输出，显存优化更佳。支持棋盘格分块模式，显著减少接缝，支持更高倍率放大。UltimateSDupscale优势棋盘格分块显著减少接缝，提升放大质量接缝修复三种Seamsfix模式，针对不同场景优化高倍率支持支持8K及以上分辨率输出显存优化相比原生脚本，显存占用更低UltimateSDupscale增强功能棋盘格（Chess）分块模式自定义分块尺寸优化接缝处理支持4K~8K高清输出安装方式：以扩展形式单独安装（ultimate-upscale-for-automatic1111）【课堂演练9】使用UltimateSDupscale脚本放大图像UltimateSDupscale脚本适合4K~8K高清输出，显存优化更佳。支持棋盘格分块模式，显著减少接缝，支持更高倍率放大。确认安装与准备确认安装ultimate-upscale-for-automatic1111扩展使用512×768人物图像上传到图生图界面从脚本下拉列表选择UltimateSDupscale启用UltimateSDupscale脚本并设置参数图像放大参数设置Targetsizetype：Fromimg2img2settings放大算法：R-ESRGAN4x+类型：Chess（棋盘格分块）分块尺寸：512×512蒙版边缘模糊度：16Padding：64Chess类型显著减少接缝，适合高清输出6.2.2使用ControlNet的Tile确保图像放大质量Tile模型核心作用ControlNet的Tile模型通过分块处理，在保留原图主体结构的同时补充细节。它本身不是一个"放大工具"，并不直接放大图像，但能让图像在放大过程中不变形、不崩坏，细节更丰富。解决传统放大痛点传统图生图放大中，低重绘幅度难以新增细节，高重绘幅度易导致主体变形。Tile模型完美解决这一矛盾。典型应用场景低清图像转高清图像，配合分阶段放大策略，极低分辨率图像也能放大为自然无畸变的4K级图像，实现"低清重生"。Tile模型四大功能保持结构保持图像整体结构（人物姿势、构图、物体位置）不变增强细节增强局部细节，如皮肤纹理、毛发、材质等防止重复防止分块放大时出现重复元素（如多脸、多人）高重绘支持支持高重绘幅度（1.0）而不崩图，这对图生图非常关键Tile模型典型应用方式单独使用Tile模型可以单独使用，无需搭配其他ControlNet模型或扩展，直接增强图像细节配合放大脚本通常配合分块放大技术（如UltimateSDupscale、TiledDiffusion）使用，起到结构保持和细节增强的作用分阶段放大配合分阶段放大策略，极低分辨率图像也能放大为自然无畸变的4K级图像，实现"低清重生"【AI实战2】联合使用放大脚本和ControlNetTile实现"低清重生"本例展示基于ControlNet的Tile模型实现128×128低清头像放大为1024×1024高清头像。直接放大8倍易导致结构失真，因此本例分两个阶段进行放大操作。1阶段1：128→512（4倍）准备与反推提示词•准备128×128低分辨率头像（PNG格式）•在WD1.4标签器中反推提示词•单击"发送到图生图"按钮图生图参数Checkpoint：majicmixRealistic_v7反向提示词：blurry,deformedface迭代步数：30重绘尺寸倍数：4重绘幅度：0.5ControlNetTile设置预处理器：tile_resample模型：control_v11f1e_sd15_tile控制权重：1.0UltimateSDupscale设置类型：Chess分块尺寸：256×256Padding：32生成→第一阶段完成【AI实战2】联合使用放大脚本和ControlNetTile实现"低清重生"本例展示基于ControlNet的Tile模型实现128×128低清头像放大为1024×1024高清头像。直接放大8倍易导致结构失真，因此本例分两个阶段进行放大操作。2阶段2：512→1024（2倍）第二阶段操作•将新生成的512×512图像拖到图生图•调整UltimateSDupscale参数•分块尺寸：512×512•蒙版边缘模糊度：16•Padding：64调整图生图参数尺度：2（放大2倍）重绘幅度：0.3ControlNetTile保持•保持之前的Tile设置•确保结构不变形•低重绘幅度确保细节稳定生成→第二阶段完成分阶段放大优势分阶段放大8倍（先4倍再2倍）比直接放大8倍更稳定，避免结构失真，细节更丰富Tile模型关键作用Tile模型确保在放大过程中结构不变形、不崩坏，支持高重绘幅度而不失真6.2.3后期处理的图像放大功能StableDiffusion后期处理模块的图像放大是提升生成图像分辨率与强化细节的重要方法，尤其在显存受限时，可通过多种方法实现高清输出。这种方法适合原图质量高，仅需扩大尺寸且保留原内容的情形。核心优势速度快（秒级完成）对显存要求低适合快速批量处理放大算法的选择实类采用4x-UltraSharp保留皮肤纹理动漫类采用R-ESRGAN4x+Anime6B通用场景可选R-ESRGAN4x+强化线条与色彩平衡细节与效率当前预装算法不足时，可下载模型放入SDWebUI主目录下的models\ESRGAN子目录中后期处理的图像放大功能还支持双算法叠加，其中辅助算法需设置强度单次缩放倍数不要超过4倍。超过4倍易失真，建议分阶段放大（先2倍，再2倍）提示【课堂演练10】使用后期处理的图像放大功能将之前换装的多个模特人物图像批量放大4倍（512×768→2048×3072），达到2K高清标准。操作流程在“后期处理”界面切换到“批量处理文件夹”选项卡单击“生成”按钮→完成批量放大! 输入目录：D:\clothing\output1（提供原图）

输出目录：D:\clothing\output-qhd（存放放大之后的图像）

图像放大：勾选

放大算法1：4x-UltraSharp

放大算法2：Lanczos（“放大算法2强度”为0.3）

缩放比例：41切换选项卡2设置参数本例采用混合算法，4x-UltraSharp主攻细节生成，Lanczos（30%强度）抑制边缘失真，实现“生动而不失真”的效果。可以发现，8个图像放大4倍用时不到50秒，显存消耗约4.72GB（2.34GB+2.38GB），消耗量中等偏低。还可以到设置的输出目录中进一步查看放大之后的图像。生成→完成批量放大3什么是TiledDiffusion？TiledDiffusion（分块扩散）是StableDiffusion中用于生成高清大图、低显存放大图像及精准控制构图的重要扩展。其实现机制是将图像分割为小块（瓦片），每个小块独立执行扩散过程（添加噪声→去噪生成），最后融合为完整图像。风格一致性迁移参考图风格，保持系列作品统一性TiledDiffusion的优势支持工业级无缝输出更适合动漫图像4K+放大、低显存设备（≤8GB）图像放大、多元素复杂场景放大等放大脚本更适合简单背景和单人物放大，或者快速小幅放大6.2.4

基于TiledDiffusion扩展的图像放大1TiledDiffusion的协作机制MultiDiffusion适合图像放大，需较大重叠值（32~48）减少接缝MixtureofDiffusers适合直接生成大图，通过高斯平滑减少接缝，重叠值仅需16~32。TiledDiffusion采用双组件协作机制。TiledDiffusion组件负责分块生成，实现超大尺寸图像绘制和精准控制构图。TiledVAE组件则专门负责降低显存消耗，是处理超高分辨率图像的关键。TiledDiffusion支持以下两种融合方案：2TiledDiffusion通常结合ControlNet的Tile模型实现细节还原，增强发丝、纹理等高频细节。TiledDiffusion除了在图生图中使用，还可以在文生图中使用。它能够轻松实现8G显存生成4K图像，满足壁纸、海报、游戏场景等的高清生成需求。另外，它还能通过分区提示词和Tile模型协同优化局部，实现细节精准控制。6.2.4

基于TiledDiffusion扩展的图像放大【课堂演练11】基于TiledDiffusion放大生成4K高清图像这里给出基于TiledDiffusion实现放大生成高清图像的例子，以将动漫角色图放大6倍为目标。使用流程安装扩展程序确认已经安装名为multidiffusion-upscaler-for-automatic1111的扩展。（同时包括TiledDiffusion和TiledVAE）图像准备准备一个要放大的图像，这里使用【课堂演练4】生成的动漫人物图像，尺寸为512×768。将其上传到“图生图”界面。参数设置启用TiledDiffusion。勾选“TiledDiffusion”并展开该面板，设置以下参数：方案：MultiDiffusion潜空间分块宽度：128（动漫风格图像细节较少，增大分块可加速处理）潜空间分块高度：128潜空间分块重叠：48（防止接缝，动漫线条简洁，48已足够）潜空间分块单批数量：4放大算法：R-ESRGAN4x+Anime6B放大倍数：6（目标分辨率为3072×4608）

这里不要启用噪声反转，因为6倍放大易导致皮肤出现噪点123【课堂演练11】基于TiledDiffusion放大生成4K高清图像这里给出基于TiledDiffusion实现放大生成高清图像的例子，以将动漫角色图放大6倍为目标。使用流程启用TiledVAE勾选“TiledVAE”并展开该面板，确认勾选“将VAE移动到GPU”以加速解码，勾选“快速编码器颜色修复”避免色彩断层。“编码器分块大小”值越大速度越快，显存不足时会自动减小至512。细节增强启用ControlNet的Tile进行细节增强。展开ControlNet面板，在“ControlNet单元0”选项卡中勾选“启用”“完美像素模式”，在“控制类型”区域选择“Tile（分块）”并设置以下参数。45预处理器：tile_resample（通用细节增强，避免偏色）模型：control_v11f1e_sd15_tile控制权重：1.0（防止局部变形）设置生图参数启用ControlNet的Tile进行细节增强。展开ControlNet面板，在“ControlNet单元0”选项卡中勾选“启用”“完美像素模式”，在“控制类型”区域选择“Tile（分块）”并设置以下参数。6Checkpoint模型：CounterfeitV3外挂VAE模型：vae-ft-mse-840000-ema-pruned采样参数：“采样方法”为“DPM++2M”，“调度类型”为“Karras”，“迭代步数”为30（增加细节精度）重绘幅度：0.3（超过0.5易导致变形）设置生图参数7可以发现，图像放大6倍用时4分多钟，显存消耗属于中高水平。还可以到图生图输出目录中进一步查看放大之后的图像，该图像纹理清晰度显著提高，无接缝或色块。如果显存配置较低，应当分阶段放大（先放大3倍再放大2倍，以降低单次负载），或者先基于TiledDiffusion放大2倍或3倍，再使用后期处理的图像放大功能进行放大。6.3后期优化与图像管理后期处理、PNG信息获取、无边图像浏览后期处理PNG信息无边浏览6.3.1后期处理图像生成之后，还需要进行后期处理。本节补充介绍后期处理的其他功能，这些功能可进一步完善工作流。表6-3后期处理功能一览功能说明应用场景参数或选项GFPGAN通过重建损失、对抗损失等保留人脸特征。修复后高度忠于原图轻微模糊或低质量人脸修复可见度：0~1，建议1.0CodeFormer通过自编码器学习人脸先验知识，支持细节重建。修复严重破损能力更强严重破损老照片重建权重：0~1，建议0.5分割过大的图像对大图进行分割图像预处理阈值、重叠比例自动面部焦点剪裁自动识别图像中的人脸，并以人脸为中心来规范裁剪范围图像预处理，裁剪优化焦点面部权重：0~1创建水平翻转副本快速生成原始图像的水平翻转版本数据增强水平、垂直或两者生成标签根据图像反推提示词，并存放于文本文件中反推提示词DeepBooru或BLIPGFPGANvsCodeFormerGFPGAN：忠于原图，适合轻微模糊修复CodeFormer：重建能力强，适合严重破损修复批量处理优势后期处理最有用的还是批量处理功能，主要用于高效处理多个图像（如高清放大、面部修复、预处理等），显著提升效率应用场景示例为前面模特换装的结果批量创建水平翻转副本，实现数据增强和多样化输出6.3.2获取PNG信息PNG信息功能概述SDWebUI提供的PNG图片信息功能用于解析和提取由SDWebUI生成的图像的内嵌参数，主要用于图像参数追溯、复现和二次编辑。参数追溯一键追溯生成逻辑，了解图像是如何生成的效果复现对比不同参数下的生成效果，优化参数设置二次编辑通过发送功能快速跳转编辑，减少手动输入错误元数据存储原理SDWebUI在生成PNG图像时，会将所有生成参数以文本形式嵌入PNG文件的元数据（Metadata）中。支持的参数类型•采样参数（方法、步数）•CFG值、种子•图像尺寸、模型、VAE•重绘幅度、放大信息•提示词（正向/反向）•ControlNet参数重要提示：仅支持SDWebUI生成的图像。外部图像或经第三方软件编辑后的图像可能丢失元数据，导致解析失败操作步骤1切换到"PNG图片信息"界面2上传由SDWebUI生成的图像3右侧自动显示解析结果4发送到文生图/图生图/后期处理图6-46获取PNG信息发送功能可以将参数发送到以下界面：文生图（自动填充所有字段）图生图局部重绘后期处理扩展应用可结合WD1.4标签器：进一步获取图像的提示词信息，实现更全面