绘画教程 第6章 ControlNet与热扩展插件

06第6章ControlNet与热门扩展插件目录CONTENTS16.1ControlNet插件概述2

6.2常用的ControlNet控制类型3

6.3StableDiffusion扩展插件46.4本章小结6.1ControlNet插件概述ControlNet是一种基于StableDiffusion的扩展插件，它通过对AI生成图像的准确控制，可以让生成的AI作品更加生动、逼真和富有感染力。

简单来说，在ControlNet出现之前，用户利用AI绘图时，是无法准确预测AI会生成什么图像的，整个过程完全像开盲盒一样；而ControlNet出现之后，用户便可以通过各种ControlNet模型准确控制AI生成的图像，如可以上传线稿让AI填充颜色并渲染、控制人物的姿势等，因此，ControlNet已成为StableDiffusion的必备插件之一。6.1ControlNet插件概述

展开ControlNet插件后，会发现ControlNet的插件界面主要包括以下几大部分：1.ControlNet单元

“ControlNet单元”是指在使用ControlNet时可同时启用的一个个独立控制模块。每个“ControlNet单元”都可以独立地选择不同的控制类型、上传参考图片、配置预处理器和模型等参数，继而从参考图片中提取不同的特征信息，如人物姿势、线条结构、画面深度等，并以此来控制生成图片的相应效果。多个“ControlNet单元”可以同时参与图片的绘制，共同影响最终生成的图像结果。6.1ControlNet插件概述2.控制类型（ControlType）

在ControlNet中，“控制类型（ControlType）”是指用于引导图像生成的不同模式，每种控制类型从参考图像中提取特定类型的信息来对生成的图像施加相应的控制。ControlNet中提供了20余种控制类型，如Canny(硬边缘)、Depth(深度)、OpenPose(姿态)等，如图6-3所示。6.1ControlNet插件概述3.预处理器（PreProcessor）

“预处理器（PreProcessor）”是ControlNet中的一个关键组件，它的功能是对输入的参考图像进行预处理，提取出特定类型的信息。这些信息将作为后续生成图像的引导条件。不同的控制类型（如Canny边缘检测、深度检测等）会有与之对应的预处理器。4.模型（Model）

在ControlNet中，“模型（Model）”是核心部分，它基于预处理器提取的信息来生成图像。6.1ControlNet插件概述5.其他参数

在ControlNet中，除了以上4个主要组成部分外，还有一些其他参数，如控制权重、引导介入时机、引导终止时机等。这些参数共同作用，用以生成用户所期望的图像效果，其主要参数介绍如下：（1）控制权重：该参数代表使用ControlNet生成图像时ControlNet模型的影响程度，权重越高，其影响越大，权重值通常设置为0.6~1.1。（2）引导介入时机和引导终止时机：这两个参数用以控制ControlNet对图像生成的影响程度。默认情况下，引导介入时机为0，引导终止时机为1，表示ControlNet将从开始生成时就起作用，并将影响整个生成过程，直至结束。

（3）控制模式：控制模型下有三个单选按钮，分别为：“均衡”、“更偏向提示词”、“更偏向ControlNet”，其表示在图像生成过程中，图像效果是更偏向提示词还是更偏向ControlNet或者二者均衡，默认为均衡模式。

（4）缩放模式：缩放模式下有三个单选按钮，分别为：“仅调整大小”、“裁剪后缩放”、“缩放后填充空白”，该参数主要用以控制生成图像的画面缩放模式，默认为裁剪后缩放，一般保持默认即可，它将会自动适配图片。6.2常用的ControlNet控制类型6.2.1Canny（硬边缘）

“Canny（硬边缘）”控制类型用于识别图像的边缘信息，从而提取出图像中的线条。用户可通过“Canny（硬边缘）”将上传的图片转换为线稿，然后根据关键词生成与上传图片具有相同构图的新画面。使用“Canny（硬边缘）”控制类型的前后效果对比如图6-6所示。6.2常用的ControlNet控制类型

使用“Canny（硬边缘）”控制类型的操作方法。

（1）确定大模型和提示词。

（2）启用ControlNet并上传参考图片。

展开ControlNet选项区，在“ControlNet单元0”选项卡中的图片位置单击，上传图6-6(a)所示图片，并勾选“启用”、“完美像素模式”和“允许预览”三个复选框。

（3）选择控制类型、预处理器和模型。

在ControlNet选项区下方，选中“Canny（硬边缘）”单选按钮，系统会自动选择“Canny”作为预处理器，在“模型”列表中选择与“Canny（硬边缘）”配套的模型“control_v11p_sd15_canny_fp16[b18e0966]”，该模型可以识别并提取图像中的边缘特征并输送到新的图像中。

（4）生成线稿图。

（5）生成新图像。

保持默认参数设置，单击“生成”按钮，即可生成相应的新图，会发现生成的人物姿态构图与原图基本一致，效果如图6-6(b)所示。6.2常用的ControlNet控制类型6.2常用的ControlNet控制类型6.2.2SoftEdge(软边缘)

“SoftEdge(软边缘)”与“Canny（硬边缘）”的作用类似，都是进行图像边缘检测，只是使用“Canny（硬边缘）”模型的效果类似于用铅笔进行边缘提取，而“SoftEdge(软边缘)”模型则类似于用毛笔进行边缘提取。由此可知，使用“SoftEdge(软边缘)”提取出的边缘将更加柔和且细节更加丰富。6.2常用的ControlNet控制类型6.2.3Lineart(线稿)

“Lineart(线稿)”主要应用于线稿生成和线稿上色。与“Canny（硬边缘）”相比，“Lineart(线稿)”对边缘轮廓的提取更加清晰、有力。总体来说，“Lineart(线稿)”对边缘轮廓的提取效果要比“Canny（硬边缘）”和“SoftEdge(软边缘)”更加优秀。6.2常用的ControlNet控制类型6.2.4Scribble/Sketch(涂鸦/草图)

“Scribble/Sketch(涂鸦/草图)”具有根据涂鸦或草图绘制精美图像效果的能力。该功能对于那些没有手绘基础或缺乏绘画天赋的用户而言，无疑是一个巨大的福音。

“Scribble/Sketch(涂鸦/草图)”检测生成的预处理图像就像蜡笔涂鸦的线稿，在控图效果上更加自由。使用“Scribble/Sketch(涂鸦/草图)”模型的生图效果如图6-17所示。6.2常用的ControlNet控制类型

使用“Scribble/Sketch(涂鸦/草图)”模型实现涂鸦绘画的操作方法。（1）确定大模型和提示词。（2）启用ControlNet并上传参考图片。（3）选择控制类型、预处理器和模型。（4）生成涂鸦图。（5）生成新图像。6.2常用的ControlNet控制类型6.2.5MLSD(直线)

“MLSD(直线)”可以提取图像中的直线边缘，被广泛应用于需要提取物体线性几何边界的领域，如建筑设计、室内设计和路桥设计等。需要注意的是，“MLSD(直线)”模型只适用于对直线的检测，无法识别和捕捉曲线，因此可能会忽略曲面中的人物、动物等元素。应用“MLSD(直线)”的前后对比效果图如图6-20所示。6.2常用的ControlNet控制类型6.2.6Depth(深度)

“Depth(深度)”模型主要用来解决图像中元素前后关系的问题。具体来说，在具有空间感和透视效果的图像中，利用“Depth(深度)”模型可以提取深度特征，这些深度特征在处理具有透视关系图像时可以提升准确性，帮助用户完成图像分割、目标检测、3D重建等任务。“Depth(深度)”模型使用前后的效果对比如图6-23所示。6.2常用的ControlNet控制类型6.2.7NormalMap(法线贴图)

“NormalMap(法线贴图)”可以从原图中提取三维物体的法线向量，从而使绘制的新图与原图的光影效果完全相同。由于“NormalMap(法线贴图)”可以实现在不改变物体真实结构的基础上反映光影分布的效果，因此被广泛应用于计算机图形学、动画渲染和游戏制作等领域。图6-27所示为应用“NormalMap(法线贴图)”前后效果对比图。6.2常用的ControlNet控制类型6.2.8OpenPose(姿态)

“OpenPose(姿态)”主要用于控制人物的肢体动作和表情特征。它可以通过使用“OpenPose(姿态)”模型检测人体关键点（如头部、肩部、手部等）的位置，这对于复制人体姿势非常有用，并且不掺杂服装、发型和背景等无关细节。

“OpenPose(姿态)”模型能更准确地识别并确定姿势，使多张图片中人物生成的姿势基本一致，因此它在许多场景中都得到了广泛的应用，如AI肖像、产品展示的AI模特、多人像照片、简单的多视图等。6.2常用的ControlNet控制类型

使用“OpenPose(姿态)”检测人物姿态的操作方法。（1）确定大模型和提示词。（2）启用ControlNet并上传参考图片。

展开ControlNet选项区，在“ControlNet单元0”选项卡中的图片位置单击，上传图6-31(a)所示图片，并勾选“启用”、“完美像素模式”、“允许预览”和“上传独立的控制图像”四个复选框。（3）选择控制类型、预处理器和模型。

在ControlNet选项区下方的“控制类型”中选中“OpenPose(姿态)”单选按钮，系统会自动选择“openpose_full”作为预处理器，在“模型”列表中选择与“OpenPose(姿态)”配套的模型“kohya_controllllite_xl_openpose_anime_v2[b0fa10bb]”，在“控制模式”中选择“更偏向ControlNet”单选按钮，并将“控制权重”设置为1.5。

（4）生成姿势图。单击“运行预处理器”按钮，系统即可检测人物的姿态及手部动作，并生成相应的骨骼姿势图。

（5）生成新图像。6.2常用的ControlNet控制类型6.2常用的ControlNet控制类型6.2.9T2I-Adapter

“T2I-Adapter”模型是一种色彩分布约束，指的是通过对原图中的色块分布进行读取来获取特征信息，从而据此安排新生成图像的色彩分布情况，以获得色彩分布大致相似的新图像。图6-34所示为使用“T2I-Adapter”的前后效果对比图。6.2常用的ControlNet控制类型6.2.10Segmentation(语义分割)

“Segmentation(语义分割)”能够识别物体轮廓的同时，将图像划分为不同的部分，同时为这些部分添加语义标签，这将有助于实现更加精确的控图效果。在使用过程中，“Segmentation(语义分割)”模型会在参考图像中标记不同对象，例如建筑物、天空、树木、人和人行道，并为每个对象定义特定的颜色。“Segmentation(语义分割)”模型的使用效果如图6-37所示。6.2常用的ControlNet控制类型

使用“Segmentation(语义分割)”的操作方法。

（1）确定大模型和提示词。

（2）启用ControlNet并上传参考图像。

展开ControlNet选项区，在“ControlNet单元0”选项卡中的图片位置单击，上传图6-37(a)所示的室内设计图像，并勾选“启用”、“完美像素模式”和“允许预览”三个复选框。

（3）选择控制类型、预处理器和模型。

在ControlNet选项区下方的“控制类型”中，选中“Segmentation(语义分割)”，系统自动选择“seg_ofade20k”作为预处理器，在模型列表中自动选择“control_v11p_sd15_seg[e1f51eb9]”作为模型。（4）生成板块图。（5）生成新图像。6.2常用的ControlNet控制类型6.2.11Shuffle(随机洗牌)

“Shuffle(随机洗牌)”模型常用于图像重组，即通过使用“Shuffle(随机洗牌)”模型打乱原图像，再重新合成新的图像，新图像将保留原图的大部分色彩信息。图6-40所示为使用“Shuffle(随机洗牌)”的前后效果对比图。6.2常用的ControlNet控制类型6.2.12Tile/Blur(分块/模糊)

“Tile/Blur(分块/模糊)”模型包括两方面内容，即分块和模糊。分块指的是将输入的图像切分成多个小块，然后对每个小块分别进行处理和渲染，最后再将这些处理好的小块组合成一张完整的大图。这样做的好处是可以在一定程度上提高图像的细节和精度，尤其适用于处理大尺寸图像或需要高分辨率输出的情况。模糊指的是在分块处理的基础上，对每个小块或整个图像应用一定程度的模糊效果，从而使生成的图像更加平滑和自然。图6-43所示为应用“Tile/Blur(分块/模糊)”模型的效果对比图。其中，左图为写实图像，右图为油画风格图像。6.2常用的ControlNet控制类型6.2.13局部重绘“局部重绘”ControlNet主要用于对图像的特定部分进行重新绘制和修改，同时保持图像的其他部分不变，从而实现对画面细节的精确控制和修改。“局部重绘”ControlNet的功能与“5.4局部重绘”功能相同，区别仅在于“5.4局部重绘”只能在“图生图”模式下进行操作；而“局部重绘”ControlNet既可以在“图生图”模式下又可以在“文生图”模式下进行操作。图6-47所示为应用“局部重绘”ControlNet在周围环境不变的情况下，将一座中国古代建筑更换为现代建筑的前后效果对比图。6.2常用的ControlNet控制类型6.2.14InstructP2P

“InstructP2P”主要用于实现图像的场景转换和风格迁移等功能。具体来说，“InstructP2P”模型会根据输入图像的内容，按照“MAKEitxxx”的语法输入提示词，其中“xxx”为要实现的具体效果，如“MAKEitsummer”，“MAKEitarainyday”等，最终实现在保留图像原有结构和部分特征的基础上，对图像进行有针对性的修改和转换，生成新的场景或风格的图像。图6-50所示为应用“InstructP2P”的前后效果对比图。6.2常用的ControlNet控制类型6.2.15Reference(参考)

“Reference(参考)”能够让用户指定参考图像中期望的属性、构图或风格等元素，并将这些元素融入新生成的图像中，从而使生成的图像在某些方面与参考图像保持一致或具有相似性，增加生图的可控性和风格定制性。

例如，用户有一张人物穿着古装的参考图像，希望生成一系列该人物穿着不同古装、摆着不同姿势但风格一致的图像，就可以使用“Reference(参考)”。通过选择合适的预处理器和调整相关参数，生成的新图像会在画风、色彩搭配、人物气质等方面与参考图像保持一致，同时又能根据输入的不同提示词生成人物不同的姿态、服饰细节等。6.2常用的ControlNet控制类型6.2.16Recolor(重上色)

“Recolor（重上色）”，顾名思义，就是可以对图片进行重新上色。它非常适合修复一些黑白老旧照片；同时，它还可以将现有的彩色照片进行黑白处理，然后重新由提示词填上颜色。由于其简便易用，因此被广泛应用于老旧黑白照片上色、电影画面修复与上色、艺术创作中的颜色变换如人物头发和衣服换色、图片风格色调转换，以及漫画与插画上色等领域。图6-54所示为应用“Recolor(重上色)”进行图片上色的效果对比。6.2常用的ControlNet控制类型6.2.17Revision

“Revision”的功能主要是对输入图像进行更精细的调整和修正，以生成更符合特定要求或更优质的输出图像。它主要可用于图像融合与风格迁移、复杂图像的细节优化与修正、创意图像生成与概念融合，以及图像编辑与后处理等方面。图6-57所示为应用“revision”的效果图。6.2常用的ControlNet控制类型6.2.18IP-Adapter

“IP-Adapter”是由腾讯AI实验室发布的一个专门为预训练的文本到图像扩散模型（如StableDiffusion）设计的适配器，它通过一系列的内在机制，使模型能够在生成图像时更好地参考输入图像的风格、内容等特征，实现以图像提示来生成图像的功能。图6-59所示为应用“IP-Adapter”把一张写实图像转换为莫奈油画风格的图像。6.2常用的ControlNet控制类型6.2.19Instant_ID

“Instant-ID”是一种基于ControlNet和IP-Adapter组合的AI技术，主要用于图像生成中的人物面部特征控制。利用“Instant-ID”可以实现高效的单图换脸，只需单张图像即可实现ID保留生成，能精准地将输入图像中的人物面部特征迁移到生成的新图像中，且相似度极高；同时支持多种风格，为生成的图像增添了丰富的艺术风格和视觉效果。6.2常用的ControlNet控制类型6.2.20SparseCtrl(稀疏控制)ControlNet中的“SparseCtrl(稀疏控制)”是一种为文本到视频扩散模型引入的控制技术。用户能够通过提供稀疏的条件信号，如关键帧的草图、深度图或RGB图像等，更精确地控制视频的生成内容和结构，减少了生成结果的随机性和不确定性，满足了更专业和复杂的创作需求。

“SparseCtrl(稀疏控制)”在文生视频方面可降低训练成本、增强视频可控性、提高生成效率。6.3ControlNetr扩展插件6.3.1ADetailer：修复图像

“ADetailer”插件是一款专为图像修复和细节增强设计的工具。它利用深度学习模型对图像中的人脸、手部等关键部位进行精准修复和增强。它能够智能检测图像中的细节问题，并自动进行重绘修复，使得生成的图像更加自然、符合预期。这款插件的出现，极大