生成式人工智能应用基础 课件 项目11 ControlNet及其使用

人工智能应用基础

项目11ControlNet及其使用目录CATALOG11.111.2ControlNet的基本使用ControlNet简介11.311.4ControlNet—姿态约束ControlNet—线条约束11.5ControlNet其他模型11.1ControlNet简介3StableDiffusion之所以能够如此迅速地吸引设计师的注意，很大程度上得益于ControlNet插件。这个插件能够对图像进行精准的控图操作，相较于Midjourney，它似乎更能满足设计师在多种商业场景中的需求。在StableDiffusion的设计中，ControlNet插件几乎成为了不可或缺的一部分。11.1.1ControlNet模型产生的原因11.1ControlNet简介4在AI绘图过程中，我们利用模型、数据集、关键词以及参数等多种因素来绘制一张图片。尽管这些因素能让我们在一定程度上控制图像，达到70%或80%的预期目标，但实现100%的图像控制仍然是不可能的。例如，当我们尝试在保持人物或物体形状不变的前提下更改其风格时，会发现这种控制仍然带有一定的随机性，无法完全如愿。这时，就需要借助ControlNet插件来增强我们的控制能力。ControlNet的绘画思路非常独特。用户首先输入一张参考图，程序会根据这张参考图按照特定的模式生成一张预处理图。然后，程序再根据这张预处理图生成一幅全新的图像。当然，用户也可以直接输入预处理图，让AI根据这张图生成新图。目前，ControlNet已经公开了多种模型，其中公认最好用的是openpose（姿态）模型。11.1.1ControlNet模型产生的原因11.1ControlNet简介5值得一提的是，ControlNet模型是由斯坦福大学计算机科学在读华裔博士LvminZhang（张吕敏）提出的。他的研究领域涵盖计算艺术与设计、互动内容创作以及计算机图形处理等。在ControlNet模型经过了一段时间的技术预览与早期应用之后，在2024年2月的一篇论文《AddingConditionalControltoText-to-ImageDiffusionModels》中，他首次介绍了ControlNet模型。该论文提出了一种新的方法，通过引入额外的框架来附加多种空间语义条件，从而控制StableDiffusion模型的生成过程。同一天，LvminZhang还在GitHub上公开了ControlNet的相关源代码。可以说，ControlNet是一个功能强大的插件，它搭载在WebUI上，用于拓展StableDiffusion的功能。目前，最新的ControlNet模型分为两个版本：ControlNet1.1和ControlNetXL。其中，ControlNet1.1支持基于SD1.5和2.1版本训练的大模型，而ControlNetXL则支持基于SDXL版本训练的大模型。尽管这两个版本属于不同的模型，但它们的使用方法和原理是相似的。11.1.2ControlNet的控制类型11.1ControlNet简介6ControlNet实质是通过给定的一幅或多幅图做引导，再根据提示词生成新图。它是一种基于控制点的图像变形算法。该功能允许用户通过预定义的线条、轮廓或图像特征来引导AI生成过程，从而实现对最终图像的更精确控制。ControlNet已经出现了很多优秀的实现形式，LiblibAI使用的ControlType包括：Canny（硬边缘）、Depth（深度图）、OpenPose（姿态）、SoftEdge（软边缘）、Tile/Blur（分块/模糊）和IP-Adapter（风格迁移）等，我们简单介绍几种常用的：1.Canny模型硬边缘模型是一种利用边缘检测的技术，可以从原始图片中提取出线稿，并根据给定的提示词生成与线稿相似的画面。此外，该模型还可以用来给提取出的线稿上色。11.1.2ControlNet的控制类型11.1ControlNet简介7ControlNet实质是通过给定的一幅或多幅图做引导，再根据提示词生成新图。它是一种基于控制点的图像变形算法。该功能允许用户通过预定义的线条、轮廓或图像特征来引导AI生成过程，从而实现对最终图像的更精确控制。ControlNet已经出现了很多优秀的实现形式，LiblibAI使用的ControlType包括：Canny（硬边缘）、Depth（深度图）、OpenPose（姿态）、SoftEdge（软边缘）、Tile/Blur（分块/模糊）和IP-Adapter（风格迁移）等，我们简单介绍几种常用的：1.Canny模型硬边缘模型是一种利用边缘检测的技术，可以从原始图片中提取出线稿，并根据给定的提示词生成与线稿相似的画面。此外，该模型还可以用来给提取出的线稿上色。11.1.2ControlNet的控制类型11.1ControlNet简介82.OpenPose模型OpenPose姿态识别可以实现精确控制人体动作。这项技术不仅可以生成单人的姿态，还可以生成多人的姿态。3.Depth模型Depth利用原始图像中的深度信息，可以生成具有相同深度结构的图像。还可以通过使用3D建模软件，例如SketchUp，构建一个简单的素模场景，然后通过深度模型渲染出图像。4.Tile模型Tile模型的应用非常广泛，可以用它来放大图像，也可以用它通过大模型的调整，来对原图进行风格的转换。它的工作原理是将图片的细节进行一定程度的忽略，然后通过添加一些自动生成的细节来生成最终的图片。11.1.3ControlNet的预处理器11.1ControlNet简介9我们知道，ControlNet是一种用于控制稳定扩散的神经网络结构模型，其控制类型决定了模型如何接受和处理输入信息以生成期望的输出。ControlNet的控制类型（ControlType）与ControlNet预处理器之间存在密切的关系。在ControlNet中，控制类型通常基于不同的应用场景和需求来设定，而预处理器是ControlNet的控制类型下衍生的具体实现算法模型。1.预处理器的作用预处理器在ControlNet模型中扮演着重要的角色，它负责对输入数据进行预处理，以提高模型的性能和输出质量。预处理器的具体作用包括但不限于：数据标准化：将输入数据缩放到统一的范围内，以消除不同特征之间的量纲差异，有助于模型更好地学习特征之间的关系。数据归一化：通过计算每个特征的均值和标准差，将输入数据转换为标准正态分布，有助于模型更快地收敛并提高泛化能力。11.1.3ControlNet的预处理器11.1ControlNet简介10特征选择：从原始特征中选择出对控制任务最有用的特征，以降低模型的复杂度并提高计算效率。噪声抑制：去除输入数据中的噪声成分，以提高模型的鲁棒性。2.ControlNet控制类型与预处理器的关系其一是匹配性。不同的控制类型需要不同的预处理器来配合。例如，对于形态Canny（硬边缘检测）控制类型，可能需要使用能够突出边缘特征的预处理器；而对于Depth（深度图生成）控制类型，则可能需要使用能够提取深度信息的预处理器。其二是相互作用。预处理器与控制类型之间相互作用，共同影响模型的输出。预处理器对输入数据的预处理结果将直接影响控制类型对数据的处理和解释方式，从而影响最终的输出质量。其三是灵活性。ControlNet允许用户根据具体需求选择不同的控制类型和预处理器组合。这种灵活性使得ControlNet能够适应多种应用场景和需求，实现更加精确和高效的控制。11.2.1ControlNet使用基本步骤和技巧11.2ControlNet的基本使用111.使用ControlNet的基本步骤在使用ControlNet进行图像生成时，以下是基本的使用步骤：上传文件：首先，用户需要选择并上传一张引导图，这张图将作为图像生成的方向和细节的指导。设置ControlNet参数：接着，在参数设置面板中，用户需要设置模型的类型、控制强度以及控制模式，以确保生成的图像符合预期的效果。描述生成要求：在提示词输入框中，用户可以输入对图像的其他具体要求，以便AI更准确地生成符合需求的图像。开始生成：完成上述设置后，用户可以点击开始生成按钮，AI将根据引导图和用户的要求生成图像。重复添加控制网络：如果对生成的图像不满意，用户还可以重复添加控制网络，通过调整参数和描述来进一步优化图像效果。11.2.1ControlNet使用基本步骤和技巧11.2ControlNet的基本使用121.使用ControlNet的基本步骤在使用ControlNet进行图像生成时，以下是基本的使用步骤：上传文件：首先，用户需要选择并上传一张引导图，这张图将作为图像生成的方向和细节的指导。设置ControlNet参数：接着，在参数设置面板中，用户需要设置模型的类型、控制强度以及控制模式，以确保生成的图像符合预期的效果。描述生成要求：在提示词输入框中，用户可以输入对图像的其他具体要求，以便AI更准确地生成符合需求的图像。开始生成：完成上述设置后，用户可以点击开始生成按钮，AI将根据引导图和用户的要求生成图像。重复添加控制网络：如果对生成的图像不满意，用户还可以重复添加控制网络，通过调整参数和描述来进一步优化图像效果。11.2.1ControlNet使用基本步骤和技巧11.2ControlNet的基本使用132.使用技巧(1)精准匹配ControlNet模型：ControlNet配备了多种预训练模型，它们各自擅长处理不同的引导特征，例如Canny硬边缘检测的InstantX-FLUX.1-dev-Controlnet-Union-Pro、.Depth（深度图）的XLabs-flux-depth-controlnet_v3等。为了获得最佳的生成效果，您需要仔细选择与您所使用的引导图类型相匹配的模型。(2)灵活调整权重：控制强度：这一参数决定了引导图对生成内容的影响程度以及模型创作的自由度。当控制强度设置得较低时，模型将拥有更大的创作空间；而当控制强度较高时，生成的内容将更紧密地贴合引导图。多ControlNet单元组合：通过同时使用多个ControlNet模型，您可以实现复杂效果的完美融合，从而创造出更加丰富和多样的图像。11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用14进入LiblibAI的“在线生图”|“文生图”，选择CHECKPOINT模型为“majicMIXrealistic麦橘写实_v7.safetensors”。step1.点击ControlNet向右的箭头，展开ControlNet设置框，如图11‑1所示。图11‑1ControlNet设置框11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用15Step2.选择一张图片作为引导图，上传到平台。如图11‑2所示。勾选开启选项来开启ControlNet，必须勾选。完美像素:ControlNet会根据输入的图像自动匹配合适的预处理器参数，一般可以点上。允许预览：顾名思义就是你上传了图像，进行预处理以后，通过预览可以检查下是否是想要的效果。开启了后，左侧的是你上次的图像，右侧就是进行预处理后的图像，ControlNet将根据预处理后的图像和你选择的Controlnet模型进行控制。图11‑2上传一张图片作为引导图11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用16图11‑3openpose（姿态）预览Step3.在ControlType模型和预处理器中均选择“openpose（姿态）”用于提取引导图中任务的姿态，其它参数默认。点击左边有个爆炸标记的按钮“运行&预览”，在预览框中出现引导图的状态骨骼图示意，如图11‑3所示。11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用17Step4.点击预览框中预览图右边的“编辑”，会出现更完整的姿态骨骼图示。如图11‑4所示。可以修改相关的数据改变骨骼的位置。图11‑4编辑骨骼图示意11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用18图11‑5生成与引导图姿态一样的穿红衣服男孩Step5.在文生图提示词中输入“男孩子,红色衣服”，目的是生成一个与引导图姿态一样的穿红衣服的男孩。然后，点击“开始生图”，成图如图11‑5所示。11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用19图

11‑6预处理器openpose（姿态）的控制参数Step6.自行实践如下：分别自行设置预处理器openpose（姿态）的其他参数控制权重、起始步数、完结步数、图片缩放模式，如图11‑6所示。多次练习，多次生成图像进行比较，总结规律和经验。11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用20控制权重:这个选项是指当你使用ControlNet生成图片的时候，这个控制模式被应用的权重占比。数字越高代表权重指数越大，控制效果越强。需要注意的是并不是数字越高越好，越高给到AI模型的可操作空间就越小，很可能生成不出好的作品。起始步数：这是引导介入时机，简单的说就是ControlNet在生成步骤中，什么时候开始介入，例如这个数值设置为0即代表ControlNet模型控制是从一开始时就介入，如果设置为0.5时即代表图像渲染到50%步数的时候，ControlNet才开始正式介入计算。完结步数：即引导退出时机，和引导介入时机对应，如果设置为1，表示ControlNet模型控制会一直介入直到渲染结束，如果设置为0.8时就意味着到80%的时候，画面将不再受到ControlNet模型的控制。11.2.2LiblibAI绘图启用ControlNet11.2ControlNet的基本使用21图片缩放模式：分别是拉伸、裁减（重新调整尺寸）和填充（调整尺寸），提供了调整ControlNet大小和上传图像的纵横比。拉伸:不保留纵横比的情况下，改变CntrolNet图像的大小以匹配Txt2Img设置的宽度和高度。这包括拉伸或压缩图像以适应指定的尺寸。裁减并重新调整尺寸:调整ControlNet图像的大小以适应Txt2Image的尺寸填充并调整尺寸:调整Txt2Image的大小以适应ControlNet图像的尺寸。画布宽度和画布高度:它会调整空白画布的大小来进行绘制，不会影响上传的原始图像。11.2.2LiblibAI绘图启用ControlNet22图片缩放模式：分别是拉伸、裁减（重新调整尺寸）和填充（调整尺寸），提供了调整ControlNet大小和上传图像的纵横比。拉伸:不保留纵横比的情况下，改变CntrolNet图像的大小以匹配Txt2Img设置的宽度和高度。这包括拉伸或压缩图像以适应指定的尺寸。裁减并重新调整尺寸:调整ControlNet图像的大小以适应Txt2Image的尺寸填充并调整尺寸:调整Txt2Image的大小以适应ControlNet图像的尺寸。画布宽度和画布高度:它会调整空白画布的大小来进行绘制，不会影响上传的原始图像。11.2ControlNet的基本使用11.3ControlNet—姿态约束23在上一节关于启用ControlNet的学习中，我们已经初步了解了姿态约束工具openpose。openpose的核心功能在于识别人体姿态，构建出人体骨架结构，进而控制生成图像中的人物姿态。接下来，让我们更深入地探索openpose在姿态识别方面的更多应用。任务描述：探索openpose在ControlNet中的姿态约束应用，包括身体姿态、表情、手指形态三种约束。通过上传引导图，选择不同的预处理器类型，控制生成图像中人物的姿态、表情或手指，并对比引导图与生成图的姿态相似度，以及观察不同参数对相似度的影响。11.3ControlNet—姿态约束2411.3.1Openpose姿态识别openpose对姿态的约束常用的有三种，分别是身体姿态、表情、手指形态三种。在LiblibAI的ControlNet中，如图11‑7所示。预处理器类型可以分为：1)

openpose：身体姿态2)

openpose_face：身体姿态+面部表情3)

openpose_faceonly：只有面部表情4)

openpose_full：身体姿态+手部+面部表情5)

openpose_hand：身体姿态+手部11.3ControlNet—姿态约束2511.3.2预处理器“姿态”识别与图像生成下面是本节完成姿态识别生成图像进行对比操作的一般步骤：step1.上传一张引导图step2.选择不同的预处理器类型，用于控制生成图像中人物的姿态、表情或手指。step3.对比引导图中人物的姿态与生成图像中人物的姿态。图11‑8生图其他参数设置11.3ControlNet—姿态约束2611.3.2预处理器“姿态”识别与图像生成接着上传openpose姿态引导图，如图11‑9所示。图11‑9上传openpose姿态引导图Step2.ControlNet参数设置如图11‑10所示。选择OpenPose的预处理器“openpose(openpose姿态)”。图11‑10ControlNet参数设置11.3ControlNet—姿态约束2711.3.2预处理器“姿态”识别与图像生成图11‑11openpose姿态约束成图Step3.在提示词中输入：“一个女孩在洒满阳光的院子里跳舞”。生成图如图11‑11所示。11.3ControlNet—姿态约束2811.3.3预处理器“姿态及手部”识别与图像生成CHECKPOINT选择写实风格的主模型；在预处理器中选择“openposehand(OpenPose

姿态及手部)”，其他参数与上一节相同。上传ControlNet引导图，如图11‑12所示。图11‑12上传“OpenPose姿态及手部”引导图提示词输入“一个穿休闲装的男子坐在台阶上”，点击“开始生图”，生成的图如图11‑13所示。可以看到新成图主要聚焦姿态和手部，而对面部显然重视不够。图11‑13“OpenPose姿态及手部”约束成图11.3ControlNet—姿态约束2911.3.4预处理器“仅脸部”识别与图像生成CHECKPOINT选择写实风格的主模型；在预处理器中选择“openpose_faceonly(OpenPose

仅脸部)”，其他参数与前一节相同。上传ControlNet引导图，如图11‑14所示。图11‑14上传“OpenPose仅脸部”约束引导图11.3ControlNet—姿态约束3011.3.4预处理器“仅脸部”识别与图像生成图11‑15“OpenPose仅脸部”约束成图正、负向提示词均不输入，点击“开始生图”，形成新图如图11‑15所示。可以发现，生成了面部表情同样丰富的图像。11.4ControlNet—线条约束ControlNet线条约束是StableDiffusion中的一款强大插件功能，它主要通过“点线面”的方式约束画面构图。具体而言，它包含Canny（硬边缘）、MLSD（直线）、Lineart（线稿）、SoftEdge（软边缘）、Scribble/Sketch（涂鸦/草图）等多种线条约束类型，可用于控制人物姿势、线稿生图等多种绘画效果。任务描述：探索ControlNet线条约束的多种类型的使用。通过登录LiblibAI平台，上传引导图并设置相应参数，体验不同线条约束类型在图像生成中的应用，观察并分析生成图像与引导图在构图、姿态及边缘处理等方面的差异与相似度。11.4ControlNet—线条约束3211.4.1Canny线条约束1.canny边缘检测的功能Canny（硬边缘）功能的核心在于通过先进的边缘检测技术，将图片中的关键边缘精确识别并提取，形成清晰的线稿图。这一过程不仅是对原始图像边缘结构的精准捕捉，更为后续的图像创作提供了坚实的基础。具体来讲，Canny（硬边缘）的功能体现在以下几个方面：(1)精确边缘识别：它运用高级算法，能够精确提取引导图（即参考图）中的边缘结构，这些边缘线条明确、连续，为后续根据线稿图作图提供了准确的轮廓指导。(2)控制艺术风格：在生成图像的过程中，Canny（硬边缘）功能确保生成的图像保留原图像的主要轮廓，即那些通过边缘检测提取出的关键线条。同时，它允许艺术家在保持原有结构的基础上，探索并融入不同的艺术风格，为创作带来更多可能性。11.4ControlNet—线条约束3311.4.1Canny线条约束(3)图像修复和增强：此外，Canny边缘检测技术在图像修复领域也发挥着重要作用。它能够帮助识别出损坏区域的边缘，这些边缘信息对于模型在修复过程中保持原有结构的完整性至关重要。通过依据这些边缘信息进行修复，可以确保修复后的图像在视觉上更加自然、连贯。Canny（硬边缘）适用于快速生成风格化的作品，如海报、插画、UI元素等。11.4ControlNet—线条约束3411.4.1Canny线条约束2.Canny线条约束操作示例登录LiblibAI的“文生图”，设置CHECKPOINT以“写实”为宜，迭代步数为40，启用ControlNet，选择ControlType为“Canny（硬边缘）”，预处理器默认

为“canny(硬边缘检测)”。Model默认为“InstantX-FLUX.1-dev-Controlnet-Union-Pro”；其他参数默认。上传ControlNet引导图，引导图选择一张龙的图像，如图11‑16所示。图11‑16上传龙引导图及部分参数示意11.4ControlNet—线条约束3511.4.1Canny线条约束图11‑17预处理器“canny(硬边缘检测)”生成“火龙”效果提示词为“afiredragon”（火龙），最后点击“开始生图”。最终效果如图11‑17所示，生成的图像中龙的基本形状不变，但是变成了火龙。可以调整控制权重、完结步数等参数控制形状的变化。11.4ControlNet—线条约束3611.4.1Canny线条约束3.Model选择“invert(白底黑线反色)”，提示词输入“白龙马”，生成效果如图11‑18所示。图11‑18预处理器“invert(白底黑线反色)”生成“白龙马”效果11.4ControlNet—线条约束3711.4.2hed边缘提取图11‑19上传引导图与“hed”预处理器设置hed边缘提取是一种用于识别和突出图像中边缘特征的技术，跟canny类似。它能指导模型生成新图像时遵循原图的轮廓和结构，确保生成内容与原图在形状和边缘上的一致性。登录LiblibAI的“文生图”，设置CHECKPOINT为“动漫插画模型”为宜，迭代步数为40，启用ControlNet，选择ControlType为“全部”，预处理器默认

为“hed”。Model默认为“control_sd15_hed”；其他参数默认。上传ControlNet引导图，如图11‑19所示。11.4ControlNet—线条约束3811.4.2hed边缘提取图11‑20“hed”预处理器效果图提示词输入“穿红裙子的女孩”，生成效果如图11‑20所示。11.4ControlNet—线条约束3911.4.3mlsd线段识别StableDiffusion中的MLSD线段识别适用于建筑设计、室内设计中的线条提取，以及图像处理、机器视觉中的边缘检测和直线特征识别。它能帮助快速准确地捕捉直线元素，提高设计效率和图像处理的准确性，为自动驾驶、机器人导航等应用提供有力的技术支持。登录LiblibAI的“文生图”，设置CHECKPOINT为“写实”为宜，采样方法选“DPM++2MKarras”，设置迭代步数为30，启用ControlNet，选择ControlType为“MLSD（直线）”，预处理器为“mlsd(M-LSD直线线条检测)”。其他参数默认。上传ControlNet引导图，引导图为卧室图，如图11‑20所示。11.4ControlNet—线条约束4011.4.3mlsd线段识别图11‑21上传引导图与“MLSD（直线）”ControlNet设置11.4ControlNet—线条约束4111.4.3mlsd线段识别在MLSD（直线）模式中，有两个参数需要解释：MLSDValueThreshold是调节画面线条的工具，数值越大，画面线条越少。MLSDDistanceThreshold是对远距离线条的处理，数值越大，远距离线条越少。点击“运行&预览”，可以提取到mlsd线段识别的线稿图，如图11‑22所示。图11‑22mlsd线段识别的线稿图示意11.4ControlNet—线条约束4211.4.4lineart线稿提取Lineart技术在线稿处理方面具备卓越能力，其核心优势在于能够精确且清晰地提取图像中的线条元素，同时完好无损地保留原图的构图布局与结构细节。这一技术的适用场景极为丰富多样，具体涵盖了以下几个方面：首先，在漫画图片的线条提取方面，Lineart能够高效地从复杂的背景中剥离出细腻、连贯的线条，为后续的编辑、修饰或上色工作提供强有力的支持。其次，对于素描图片的上色处理，Lineart同样表现出色。它能够从素描作品中准确提取出线条轮廓，为艺术家们提供了一个理想的数字上色平台，使他们能够轻松地为作品增添丰富的色彩层次与细腻的光影效果。11.4ControlNet—线条约束4311.4.4lineart线稿提取下面是lineart线稿提取上机操作过程的简单说明：登录LiblibAI的“文生图”，设置CHECKPOINT为“写实”为宜，采样方法选“DPM++2MKarras”，设置迭代步数为30，启用ControlNet，选择ControlType为“lineart(线稿)”，预处理器为“lineartstandard(标准线稿提取-白底黑线反色)”。其他参数默认。上传ControlNet引导图，引导图为黑白手绘建筑草图，点击运行&预览之后，如图11‑23所示。11.4ControlNet—线条约束4411.4.4lineart线稿提取图11‑23上传引导图与“lineart(线稿)”ControlNet设置11.4ControlNet—线条约束4511.4.4lineart线稿提取图11‑24“lineart(线稿)”成图效果示意提示词输入“现代建筑，超现实，明亮，舞台灯光，”，生成效果图如图11‑24所示。11.4ControlNet—线条约束4611.4.4lineart线稿提取Lineart线稿提取常用的预处理器模型有：lineart_realistic(写实线稿提取)lineartcoarse(粗略线稿提取)lineart_anime(动漫线稿提取)lineartstandard(标准线稿提取-白底黑线反色)invert(白底黑线反色)lineart_anime_denoise(动漫线稿提取-去噪)11.4ControlNet—线条约束4711.4.4lineart线稿提取分别使用上述不同的预处理器和Model，实现如图11‑25所示的线稿提取任务，并分别指出每一个预览图所采用的预处理器和Model。图11‑25采用不同预处理器线稿提取示意11.4ControlNet—线条约束4811.4.5scribble黑白稿稿提取scribble可通过粗略的涂鸦线段，引导AI生成图像内容。登录LiblibAI的“文生图”，设置CHECKPOINT为“写实”为宜，采样方法选“DPM++2MKarras”，设置迭代步数为20，启用ControlNet，选择ControlType为“Scribble/Sketch（涂鸦/草图）”，预处理器为“scribble_hed(涂鸦-合成)”。其他参数默认。上传ControlNet引导图，引导图为涂鸦草图，点击运行&预览之后，如图11‑26所示。11.4ControlNet—线条约束4911.4.5scribble黑白稿稿提取图11‑26上传引导图与“Scribble/Sketch（涂鸦/草图）”ControlNet设置11.4ControlNet—线条约束5011.4.5scribble黑白稿稿提取图11‑26“Scribble/Sketch（涂鸦/草图）”成图效果示意提示词输入“苹果”，生成效果图如图11‑27所示。对比引导图中涂鸦的内容与生成图像中的内容，相似度还是很高的。常用的scribble预处理器有：scribble_pidinet(涂鸦-手绘)，偏向画面整体的统一；scribble_xdog(涂鸦-强化边缘)；scribble_hed(涂鸦-合成)则表现在细节处理有优化。

11.4ControlNet—线条约束5111.4.6softedge软化边缘实际上，Canny边缘检测则更适合处理需要精确边缘检测的场景，如工业检测、医学影像分析等。相比Canny边缘检测方法，SoftEdge则能够生成更流畅、更自然的线条，适合处理需要柔和边缘效果的图像，如漫画渲染、插画制作等。在ControlNet参数设置面板中，选择ControlType为“SoftEdge（软边缘）”，其常用的softedge预处理器：1）softedge_hed:HED软边缘检测，细节更多2）softedge_hedsafe:软边缘检测-保守HED算法，去除前后景细节3）softedge_PiDiNet:软边缘检测-PiDiNet算法，更为合理4）softedge_PiDiNetSafe:软边缘检测-保守PiDiNet算法，去除前后景细节11.4ControlNet—线条约束5211.4.6softedge软化边缘对目标图，进行软化边缘的线条提取(比较适合做头发的线条提取)。如图11‑28所示。图11‑28softedge软化边缘运行&预览图11.5ControlNet其它模型53ControlNet中的depth、seg、tile模型都是用于辅助图片生成和编辑的辅助模型，通过特定的算法和预处理技术实现对图片生成过程的精细控制。这些模型在预处理和参数调节方面具有相似性，用户可以通过调节参数来影响图片生成的效果，以满足不同的需求。任务描述：探索ControlNet中的depth（深度图）、seg（语义分割）、tile/blur（分块/模糊）模型，这些模型通过特定算法和预处理技术，实现对图片生成过程的精细控制。用户可调节参数以满足不同需求，如提取深度信息、进行语义分割或增强图像细节。通过实践案例，理解这些模型在图像生成和编辑中的应用。11.5ControlNet其它模型5411.5.1Depth(深视图）depth的主要功能是处理和利用图像的深度信息，用于生成具有精确空间结构和层次感的图像。如图11‑29所示。图11‑29图像层次感示意11.5ControlNet其它模型5511.5.1Depth(深视图）1.depth的功能说明（1）深度信息提取：Depth可以从输入图像中提取深度信息，生成一张深度图，这张图反映了场景中各个物体的远近关系。这有助于在后续的图像生成过程中维持原图的三维结构。（2）生成同构图：利用提取的深度信息，用户可以生成与原图有相同深度结构但风格、内容不同的图像。这对于创建系列作品或风格迁移非常有用。（3）常用的预处理器有：depth_midas：这是一种经典的深度预处理器，也是最常用的深度估计器，它通过神经网络推断出场景中物体的距离信息，适用于需要整体深度感但不太关注细节的场景。depth_leres(LeRes深度图估算):擅长处理细节丰富的图像，保持边缘清晰，对于精细结构的深度处理效果较好。11.5ControlNet其它模型5611.5.1Depth(深视图）depth_leres++：在depth_leres的基础上进行了优化，能够提供更多细节，包括近景也会更清晰，适用于需要更高细节和清晰度的场景。depth_zoe(ZoE深度图估算)：专注于提供快速且相对准确的深度估计，适合于需要实时或高效处理的应用场景。depth_hand_refiner：这是一个专门用于