7.讲义-人工智能辅助设计与绘图技术实务-基础学习班-张海平-第七章　ControlNet应用基础

自考辅导《人工智能辅助设计与绘图技术实务》第七章ControlNet应用基础第1页第七章ControlNet应用基础第01讲ControlNet插件概述

01

ControlNet插件概述

基础使用流程Controlnet基础参数

图像上传：

点击此处可以上传一张图像用于控制，单击上传本地图像或复制粘贴都可进行上传，上传后Controlnet插件会自动启动，如图所示。控制类型：

在控制类型面板可以选择控制的模式，每一种模式对应着不同的预处理器，也对应着不同的Controlnet模型，点击其中一个标签后，会自动打开相对应的预处理器和模型，如图所示。控制参数：

预处理器参数：每一个不同的预处理器都有不同的控制参数，如图所示，“Canny（硬边缘）”有三个参数，分别为“PreprocessorResolution（预处理器分辨率）”、“CannyLowThreshold（Canny最低零界点）”、“CannyHighThreshold（Canny最高零界点）”

控制权重：

控制权重：控制权重参数可以决定Controlnet的强度，默认数值为1，代表Control完全启动，生成图像会被Controlnet完全控制。

案例：写一段简单的提示词描述一下上传的画面，如：“agirl,overthesea,harbor,leaningagainsttherailing,seasurface,（一个女生，海边，港口，靠着栏杆，海平面）”，接着打开Controlnet上传图像并使用“Canny（硬边缘）”模式，如图所示。

第02讲ControlNet预处理器简介

02

Controlnet预处理器简介预处理器功能概览

Canny硬边缘预处理器

01

硬边缘预处理器主要用于边缘检测，能够清晰勾勒图像边缘轮廓，为后续处理提供基础。上传图像后点击“控制类型”中的“Canny（硬边缘）”，即可激活此预处理器，接着点击预览图标，勾选“允许预览”，“即可看到预处理后的效果，如图所示。

02

Canny预处理器的预处理器的分辨率参数影响预处理结果清晰度和性能。默认分辨率为512，参数低时预处理结果分辨率低，图像边缘模糊；参数高时分辨率高，边缘清晰，但更消耗机器性能。用户需根据需求和性能合理调整分辨率参数。Depth深度预处理器

01

深度预处理器主要用于深度信息处理，将图像深度信息以灰度图形式呈现，白色部分代表离镜头近的物体，黑色部分代表离镜头远的物体。用户上传图像后点击“控制类型”中的“Depth（深度）”激活此预处理器，点击预览图标可直观查看预处理效果。

02

预处理器通过将深度信息转换为灰度图呈现，帮助用户理解图像空间结构，为创建三维效果、模拟景深等操作提供参考。例如处理室内场景图像时，可通过Depth预处理器清晰看到家具、墙壁等物体的深度关系。Depth预处理器的分辨率参数影响预处理效果清晰度和性能。分辨率高时，预处理效果轮廓清晰，能准确反映物体深度信息；分辨率低时，效果模糊，深度信息细节丢失。用户需根据需求和性能合理调整分辨率参数

NormalMap法线贴图

01NormalMap法线贴图预处理器主要用于生成法线贴图，为图像添加丰富细节和立体感。用户上传图像后点击“控制类型”中的“NormalMap（法线贴图）”激活此预处理器，点击预览图标可直观查看预处理效果。

02NormalMap预处理器的分辨率参数影响法线识别精度。分辨率高时，法线识别精确，生成的法线贴图能准确反映图像表面细节和纹理；分辨率低时，法线识别不精确，细节丢失。

OpenPose姿态

01

姿态预处理器主要用于人物姿态检测和动作捕捉。用户上传图像后点击“控制类型”中的“OpenPose（姿态）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的效果，包括人物的骨骼关键点和姿态信息。

02

OpenPose预处理器的分辨率参数对姿态检测的精度有一定影响，但影响相对较小。分辨率越高，姿态检测的精度会略有提升，但通常只有细微的画面变化。

MLSD直线预处理器

01

MLSD直线预处理器主要用于检测图像中的直线特征。用户上传图像后点击“控制类型”中的“MLSD（直线）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的效果，包括图像中的直线特征被清晰地提取出来。

02

MLSD直线预处理器的分辨率参数对直线检测的精度有直接影响。分辨率越高，直线检测的精度越高，能够更准确地提取图像中的直线特征；分辨率越低，直线检测的精度越低，可能会遗漏一些细节直线。

Lineart线稿预处理器

01

Lineart线稿预处理器主要用于生成图像的线稿效果。用户上传图像后点击“控制类型”中的“Lineart（线稿）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的线稿效果，包括图像的轮廓线、细节线等被清晰地提取出来。

02

Lineart线稿预处理器的分辨率参数对线稿效果的清晰度和细节表现有直接影响。分辨率越高，线稿效果越清晰，细节表现越丰富；分辨率越低，线稿效果越模糊，细节可能会丢失。SoftEdge软边缘预处理器

01

Lineart线稿预处理器

SoftEdge软边缘预处理器主要用于生成图像的软边缘效果。用户上传图像后点击“控制类型”中的“SoftEdge（软边缘）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的软边缘效果，包括图像的边缘部分被柔和地处理，呈现出自然的过渡效果。

02

SoftEdge软边缘预处理器的分辨率参数对软边缘效果的影响较为特殊。在分辨率中等的情况下，反而能生成更加精细的画面。分辨率过高或过低时，软边缘效果可能会变得不够自然。

Scribble/Sketch涂鸦/草图预处理器

01

Scribble/Sketch涂鸦/草图预处理器主要用于生成图像的涂鸦或草图效果。用户上传图像后点击“控制类型”中的“Scribble/Sketch（涂鸦/草图）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的涂鸦或草图效果，包括图像的轮廓线和细节线被以涂鸦或草图的形式呈现出来。

02

Scribble/Sketch涂鸦/草图预处理器的分辨率参数对涂鸦/草图效果的清晰度和细节表现有直接影响。分辨率越高，涂鸦/草图效果越清晰，细节表现越丰富；分辨率越低，涂鸦/草图效果越模糊，细节可能会丢失。

Segmentation语义分割预处理器

01

Segmentation语义分割预处理器主要用于对图像进行语义分割，将图像中的不同物体或区域进行分类和标注。用户上传图像后点击“控制类型”中的“Segmentation（语义分割）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的语义分割效果，包括图像中的不同物体或区域被清晰地标注出来。02Segmentation语义分割预处理器的分辨率参数对语义分割效果的清晰度和细节表现有直接影响。分辨率越高，语义分割效果越清晰，细节表现越丰富；分辨率越低，语义分割效果越模糊，细节可能会丢失。

Shuffle随机洗牌预处理器

01

Shuffle随机洗牌预处理器主要用于将上传图像的颜色提取作为新的生成图像色彩参考。用户上传图像后点击“控制类型”中的“Shuffle（随机洗牌）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的效果，包括图像的颜色被随机洗牌后生成新的色彩组合。

02

Shuffle随机洗牌预处理器通过提取上传图像的颜色作为参考，生成新的色彩组合。这种随机洗牌的方式可以为创意设计提供新的灵感和思路。

Tile分块预处理器

01

Tile分块预处理器主要用于将画面分成不同的小块，然后在上面重绘新的细节。用户上传图像后点击“控制类型”中的“Tile（分块/模糊）”，即可激活此预处理器。激活后，点击预览图标，可以直观地看到预处理后的效果，包括画面被分成不同的小块，每个小块上重绘了新的细节。

02

Tile分块预处理器通过将画面分成不同的小块，然后在每个小块上重绘新的细节，为图像添加丰富的视觉效果。用户可以通过调整“DownSamplingRate”参数来控制分块的分辨率，参数数值越高，分辨率越低，但对画面生成的影响极低。Iinpaint局部重绘

01

此预处理器功能类似图生图面板中的局部重绘，但是相比图生图局部重绘会更加细腻一点，上传图像后点击“控制类型”中的“Inpaint（局部重绘）”，即可激活此预处理器，上传图像面板可以使用蒙版笔刷对想要重绘的部分进行涂抹，如图所示。

IP2P

01

IP2P

上传图像后点击“控制类型”中的“InstrunctP2P”，即可激活，不过可以看到此控制类型并没有预处理器，如图所示。

此控制类型的作用是在提示词输入框中输入固定句式的提示词“make

it/he/she”，生成画面会则根据提示词在原图基础上发生改变，比如输入：“make

shesad（让她伤心）”，点击生成，效果如下图所示。

此控制类型的作用是在提示词输入框中输入固定句式的提示词“makeit/he/she”，生成画面会则根据提示词在原图基础上发生改变，比如输入：“makeshesad（让她伤心）”，点击生成，效果如下图所示。

Reference参考

01

上传图像后点击“控制类型”中的“Reference（参考）”，即可激活，不过可以看到此控制类型只有预处理器并没相对应的Controlnet模型，如图所示。

总的来说此预处理器可以用于模仿上传图像风格，在预处理器参数处有一个“StyleFidelity（onlyfor“Balanced”mode）”参数，也可以成为“风格保真度”，此数值越高对原图风格的模仿则越充分，如图为不同风格保真度情况下的原图与生成效果。

第03讲ControlNet商业实战

03

Controlnet商业实战

实战：使用Controlnet预处理器完成线稿上色

1.在“文生图”界面单击打开ControlNet设置面板，上传这张线稿，勾选“AllowPreview”（允许预览）复选框，在下方的“预处理器”“模型”中都选择Lineart相关的选项，例如“预处理器”选择“lineart_standard（fromwhitebg&blackline）”，“模型”选择“control_v11p_sd15_lineart”。

单击“预处理器”后方的“”按钮，可生成预览，再勾选“PreviewasInput”（将预览作为输入）复选框。2.模型：基础算法_F.1.safetensors

提示词：

AwomandressedinaTang-styleopen-neckrobeandskirt,withthemainbodyoftheskirtinemeraldgreen,pairedwitharedsashandbeigescarf.Shewearsanelaborategoldhaircrownadornedwithpearls,gems,andsilkflowers,alongwithmatchinggoldearringsandnecklace.Hermakeupisdelicate,featuringfloraldesigns.ThebackgroundisaChinesewoodenindoorscenewithceramicvessels.单击“生成”按钮，等待片刻，线稿上色就完成了。线稿以及完成稿的对比。

3.模型：DisneyPixarCartoonTypeA

提示词：momandson,3d,c4d,Motherholdsapaintbrushinherrighthand,andhersoniscarryingaschoolbag,cute,disneystyle,cleanbackground,<lora:3DMM_V7:1>

反向提示词：EasyNegativeV2

采样方法：Eulera

实战：使用Controlnet预处理器完成艺术字体1.准备阶段：准备一张白底黑字的文字图片，搜索合适模型并加入模型库，例如：“ReVAnimated_v122”与LORA“春花魅影【艺术字/海报】。

2.将准备好的文字图片上传至ControlNet并选择Canny预处理器。Canny预处理器擅长处理边缘检测,能够突出文字的边缘信息,为生成艺术字体提供有力的支持,如图所示。3.输入提示词。

(1)输入一段描述想要生成画面的提示词,尽量使用概念性的短句,如"Autumnscenery,mapleleaveshungwithdewdrops,textcomposedoforangemapleleaves,leaveshungwiththindropsofwater,asifofwater,sparkling,emittingasoftlight,smallwildflowers,masterpieces,extremedetails,thehighestquality,.(秋天的风景，枫叶上挂着露珠，文字由橘黄色的枫叶组成，叶子上挂着细细的水珠，如水一般，波光粼粼，散发着柔和的光芒，小小的野花，杰作，极致的细节，最高的品质)“和反向提示词。4.调整参数的步骤及参数如下。

设置文生图基本参数,“采样方法”可以选择较为稳健的“Euler”,“迭代步数”：30,图像分辨率可以原图尺寸为准，提示词引导系数(CFGScale)”：9,如图，然后单击"生成"按钮,再从中选择效果较好的一张。实战：使用Controlnet预处理器完成光