4.讲义-人工智能辅助设计与绘图技术实务-基础学习班-张海平-第四章　图生图

自考辅导《人工智能辅助设计与绘图技术实务》第四章图生图第1页第四章图生图第01讲图生图原理

01图生图原理

图生图原理

StableDiffusion模型图生图实现的底层逻辑主要基于深度学习，其将生成对抗网络（GANs）和扩散模型（DiffusionModel）相结合，通过对大量的数据进行训练，从而让模型自主学习如何从随机噪声生成具有特定风格和内容的图像。

在StableDiffusion模型图生图的实现过程分为两个阶段：前向扩散过程和反向去噪生成过程。①前向扩散过程将输入的真实图像逐步转化为随机噪声；②反向去噪生成过程则从生成随机噪声开始，通过学习逐步还原出尽可能接近真实图像的图像。

第02讲图生图常用设置方法（一）02常用设置方法

操作面板

提示词面板：用于输入关键词描述画面的内容

图片上传面板：用于上传参考图片

缩放模式设置

在图生图页面中，当上传图片时，图片的尺寸和预先设置的图像分辨率可能会有所偏差，这时，缩放模式是一个非常重要的参数，它能够决定图像在缩放过程中的处理方式。在哩布哩布网站上，共提供了三种典型的缩放模式，分别是拉伸、裁剪后缩放和缩放后填充。在图生图页面的参数面板可以找到缩放模式参数，如图红框所示。

●拉伸缩放模式

特点：一种最直接的缩放方式。当调整图像的大小时，它会按照设定的新尺寸对图像进行缩放，不考虑图像的原始宽高比。

效果：如果新尺寸与原始图像的宽高比不一致，图像可能会出现拉伸或压缩的现象，导致图像内容变形或失真。下图中上传的图像（左边）尺寸为1024×1024，而图像分辨率设置为的256×512，图像出现了一定的拉伸变形。

●裁剪后缩放模式

特点：这种方式会先对图像进行裁剪，满足新的宽高比后再进行缩放。

效果：图像内容不会被拉伸或压缩，但可能会失去一部分原始图像的内容，裁剪过程会去掉不符合设定的宽高比的部分。如图所示，可以看到当缩放模式选择为“裁剪后缩放”时，会先将上传的图片进行裁剪后，再加入其中进行生成，生成出来的图像就是被裁剪后的，这样的方式生成的图像虽然画面内容不完整，但是比例是正常的。

●缩放后填充模式

特点：先对图像进行缩放，然后用特定的颜色或图案填充图像周围的空白区域，使其达到新的尺寸。

效果：图像内容不会被拉伸或压缩，同时也不会失去原始图像的内容。但填充的部分可能与原始图像的内容不协调，导致整体视觉效果不佳。如图会在生成图像时对上下部分进行创意式填充，填充的图像不协调。

重绘幅度

重绘幅度参数是一个关键的控制元素，它决定了生成图像与原始图像之间的相似度以及变化程度。通过调整这个参数，用户可以在保持原始图像特征的基础上，引入更多的创造性变化，或者保持更贴近原始图像的复制品。重绘幅度参数是一段由0至1的数值，数值越小，生成的图像越接近原始图像，保留的细节和特征越多；数值越大，生成的图像与原始图像的差异越大，引入的新元素和变化也越多。可以在图生图页面中的“提示词引导系数（CFGScale）”参数下方找到“重绘幅度”参数，如图所示。

●轻微变化（0-0.3）：

当重绘幅度设置为较低值时，生成的图像将在保留原始图像大部分特征的基础上，进行细微的调整和修饰。例如，色彩可能会变得更加鲜艳或柔和，细节部分可能会有所增强或模糊，但整体构图和主体元素通常保持不变。重绘设置为0.1后，原始图和生成图分别由左右两个所示。

●显著变化（0.3-0.7）：

随着重绘幅度的增加，生成图像的变化将更加明显。除了色彩和细节的显著调整外，还可能引入新的元素或改变原始图像的构图。这种设置对于希望获得与原始图像有较大差异但仍保留其部分特征的用户来说非常有用。图分别是重绘幅度为0.5和0.7时的状态。

●完全创新（0.7-1）：

当重绘幅度设置为最大值时，生成的图像可能与原始图像几乎完全不同，只保留了极少数的特征或灵感来源。这种设置对于追求完全创新和突破的用户来说非常合适，它鼓励算法在原始图像的基础上进行大胆的创造和想象。图是重绘幅度为1时的状态。

第03讲图生图常用设置方法（二）

不同画风设置

●真人转动漫风格

1）选择真人图像

2）输入提示词：一个女生，穿着黑色连衣裙，带着棕色遮阳帽，看着镜头，海边，彩霞，海浪

3）选择模型：在CKECKPOINT下拉框选“AWPaintingV1.5

safetensors”模型。

4）调整重绘幅度参数：0.4-0.7，选合适的作为最终结果。

重绘幅度0.4结果

重绘幅度0.5结果

重绘幅度0.7结果

●动漫转真人风格

1）选择动漫图像

2）输入提示词：AyoungmanwearingawhiteT-shirt,lookingatthecamera,smiling.,

3）选择模型：在CKECKPOINT下拉框选“majicMIXrealistic麦橘写实”模型。

4）调整重绘幅度参数：0.3-0.7，选合适的作为最终结果。

重绘幅度0.3结果

重绘幅度0.5结果

重绘幅度0.7结果

●真人转3D风格

由于CHECKPOINT的模型库中没有想要的模型RevAnimated，所以需要进行模型库的添加，步骤如下：

1）点“模型”按钮

2）点“在模型广场中将喜欢的模型加入模型库吧”按钮

由于CHECKPOINT的模型库中没有想要的模型RevAnimated，所以需要进行模型库的添加，步骤如下：

3）在搜索栏输入“RevAnimated”，然后点击搜索

4）选第一个图片

由于CHECKPOINT的模型库中没有想要的模型RevAnimated，所以需要进行模型库的添加，步骤如下：

5）点击“加入模型库”

6）返回图生图界面开始生图

1）选择真人图像

2）输入提示词：一个年轻男生，穿着白色T恤，微笑，室外，绿植，阳光。

3）选择模型：在CKECKPOINT下拉框选“RevAnimated_v1.1safetensors”模型。

4）调整重绘幅度参数：0.4、0.6、0.8，选合适的作为最终结果。

重绘幅度0.4结果

重绘幅度0.6结果

重绘幅度0.8结果

第04讲局部重绘03局部重绘

局部重绘允许用户精确修改图像中的特定部分，如更改任务的表情、动作等。

局部重绘更改表情

●想让男子的眼睛闭上

1）选择真人图像

2）输入提示词：AyoungmanwearingawhiteT-shirt,lookingatthecamera,smiling，eyesclosed.

3）选择模型：在CKECKPOINT下拉框选“majicMIXrealistic麦橘写实”模型。

4）在图像上用鼠标涂鸦需要更改的部位

5）设置其他参数

6）调整重绘幅度参数：0.3、0.6、0.8，选合适的作为最终结果。

当重绘幅度为0.3时的结果

当重绘幅度为0.6时的结果当重绘幅度为0.8时的结果

蒙版参数设置

●蒙版边缘模糊度

可控制边缘的模糊程度，模糊度越低则边缘越清晰，作图为原图，右图分别是蒙版边缘模糊度分别为0,20和64的结果图

●蒙版模式

①重绘蒙版内容：选择这个，则只有涂鸦（蒙版）区域内的内容被重新绘制，其他部分不变。

②重绘非蒙版内容：选择这个，则被涂鸦（蒙版）区域的内容保持不变，其他部分被重新绘制

一个男生，卷发，厚厚的棉袄，雪地里，下雪，雪花，背景松树

例如：提示词修改为一个男生，卷发，厚厚的棉袄，雪地里，下雪，雪花，背景松树

我们希望除了脸都重新绘制，则选择“重绘非蒙版”，结果如右图所示。

●重绘区域

①全图：参考底图生成一张新的完整图像。

②仅蒙版：不参考底图，，仅对蒙版区域重新绘制

提示词：AyoungmanwearingawhiteT-shirt,lookingatthecamera,smiling.Wearingglasses，eyesclosed.

结果：仅蒙版可能会导致眼睛不会闭上。

●蒙版区域内容处理

①填充：生成的新图像，不参照蒙版下的底图，但会参照蒙版周围的像素。

②原版：生成的新图像参照蒙版下的底图，对底图微调，生成的内容较为和谐，但变化没有“填充”的明显。

③潜空间噪声：先生成噪声，再根据噪声生成图像，不参考底图，生成的图像变化很大。

④空白潜空间：根据蒙版内底色进行填充，是参考底色的同时完成与潜空间噪声一样的操作，色彩更偏向底色。

蒙版区域内容处理

第05讲涂鸦重绘04涂鸦重绘

涂鸦重绘

涂鸦重绘允许用户在生成的图像上直接进行手绘涂鸦，并实时看到涂鸦内容与原图的融合效果。适用于添加个性化道具或修复不满意的部分。

添加道具

●给男子戴口罩

1）点击涂鸦重绘，并选择图像

2）输入提示词：AyoungmanwearingawhiteT-shirt,lookingatthecamera,smiling.

3）选择模型：在CKECKPOINT下拉框选“majicMIXrealistic麦橘写实”模型。

4）在调色板选择合适的颜色，比方蓝色，绘制一个蓝色口罩

5）输入与绘制涂鸦相关的提示词，如“wearingamaskwithapinkfloralpatternonit”，然后调整重绘幅度

6）调整蒙版透明度，透明度越低，则蒙版的图案越明显

透明度分别为0，30,100时的结果

第06讲上传重绘蒙版05上传重绘蒙版

上传重绘蒙版

通过上传重绘蒙版，用户可以指定哪些区域应该保留原始图像的特征，哪些区域接受新生成的图像内容。适用于背景替换或去除杂物

更换背景

●更换背景

1）点击重绘蒙版，并选择原始图像

2）创建蒙版图像，使用黑色覆盖需要保留的人物或主题，使用白色覆盖需要替换的背景部分，然后将图像上传到原始图像下方

3）输入提示词：一个女生，看着镜头，穿着黑色羽绒服，城市，赛博朋克，霓虹灯光，夜晚。

4）选择模型：在CKECKPOINT下拉框选“majicMIXrealistic麦橘写实”模型。

5）选择参数：蒙版设置参数默认，适当增加提示词引导系数，适当增加重绘幅度

6）生成图

参数设置情况如下：

结果如下：

第07讲蒙版图的概念及作用07蒙版图概念

蒙版图（MaskImage）是一种用于控制图像显示范围或编辑区域的特殊图像或图层。它通常以黑白或灰度形式表示，其中：

·白色区域→表示完全可见或完全选中（不透明/有效区域）

·黑色区域→表示完全隐藏或未选中（透明/无效区域）

·灰色区域→表示部分透明或部分选中（半透明/过渡区域）

作用

1.精准局部调整

通过蒙版图可以精确控制调整范围，仅对图像的特定区域应用色彩校正、锐化、模糊等操作，避免影响整体画面。

2.高级图像合成

在多层图像融合时，蒙版图能实现自然过渡，广泛应用于背景替换、特效叠加、多元素拼合等场景，确保合成效果真实无痕。

3.智能目标分割

在计算机视觉领域，蒙版图用于精准标注目标对象（如医学影像中的病灶区域、自动驾驶中的可行驶区域），为AI模型提供可靠的训练数据。

4.无损灵活编辑

基于蒙版图的编辑方式不会破坏原始图像数据，支持随时修改、细化或撤销调整，极大提升后期制作的灵活性和可控性。

第08讲蒙版图类型

▷图层蒙版（LayerMask）

1.专业图像处理软件（如Photoshop）的核心功能

2.通过黑白灰度控制图层不同区域的透明度

3.支持画笔、渐变等多种编辑方式，实现非破坏性修改

▷Alpha通道蒙版（AlphaMask）

1.以独立通道形式存储图像的透明信息

2.广泛应用于PNG、TIFF等支持透明背景的格式

3.在视频合成和3D渲染中至关重要

▷剪贴蒙版（ClippingMask）

1.基于下层图层的形状限制上层内容的显示范围

2.常用于文字特效、图案填充等创意设计

3.保持编辑灵活性，可随时调整底层形状

▷快速蒙版（QuickMask）

1.高效的选区创建与编辑模式

2.通过红色蒙版直观显示选区范围

3.支持画笔工具精细调整选区边缘

▷语义分割蒙版（SemanticSegmentationMask）

1.计算机视觉领域的重要数据形式

2.使用不同颜色标记图像中的语义类别（如道路、行人、车辆）

3.为自动驾驶、医学影像分析等AI应用提供训练基础

▷矢量蒙版（VectorMask）

1.由锚点和路径组成的矢量图形

2.使用贝塞尔曲线创建平滑边缘

3.完全分辨率无关，可无限放大不失真

第09讲蒙版图应用场景应用场景▷专业摄影后期处理

·实现精准的局部色彩校正与光影调整

·完成高质量的背景替换与场景合成

·专业级人像精修（皮肤处理、五官调整等）

·支持非破坏性编辑流程，保留原始图像数据

▷影视特效制作

·专业绿幕/蓝幕抠像技术实现

·复杂动态遮罩与跟踪合成

·特效元素的精准融合与叠加

·场景延伸与数字绘景制作

▷人工智能与计算机视觉

·高精度目标检测与识别

·语义分割与实例分割

·医学影像分析与诊断辅助

·自动驾驶环境感知系统

▷3D渲染与游戏开发

·材质贴图的精准控制

·光照效果的局部调整

·特效区域的范围限定

·渲染元素的合成与混合

▷平面设计与数字艺术

·创意图像合成与拼贴

·文字特效与图形设计

·插画创作与数字绘画

·品牌视觉设计应用

第10讲蒙版图生成方法（一）

生成方法

Photoshop

利用Photoshop软件，可以实现一些蒙版图的生成，主要可以生成图层蒙版、剪贴蒙版、矢量蒙版和快速蒙版

生成图层蒙版

1.创建图层蒙版：在图层面板中，选中要添加蒙版的图层，点击面板下方的“添加图层蒙版”按钮，即可为该图层添加一个白色的蒙版。白色区域表示图层内容完全可见，黑色区域表示隐藏，灰色区域则表示半透明状态。

2.使用画笔绘制蒙版：选择画笔工具，将前景色设置为黑色或白色，在蒙版上进行绘制。用黑色画笔涂抹，可隐藏对应位置的图层内容；用白色画笔涂抹，则可让隐藏的内容重新显示。若要调整涂抹的不透明度，可在画笔工具的选项栏中设置。3.利用形状工具绘制蒙版：选择钢笔工具、矩形工具、椭圆工具等形状工具，在工具选项栏中选择“路径”模式，绘制出所需的形状。绘制完成后，点击图层面板下方的“添加图层蒙版”按钮，根据绘制的路径创建蒙版，路径内部的内容显示，外部的内容隐藏。

生成剪贴蒙版

1.创建剪贴蒙版：将需要被蒙版遮挡的图形或图像放置在绘制的形状上方，选中它们，然后执行“对象”→“剪切蒙版”→“建立”命令（快捷键Ctrl+7），即可创建剪切蒙版，使图形或图像按照形状的轮廓显示。

2.选择蒙版工具：在工具栏中选择钢笔工具、椭圆工具或矩形工具等蒙版工具。

3.绘制蒙版形状：在合成窗口中，选中要添加蒙版的图层，然后使用所选工具绘制蒙版形状。绘制时可将图层放大，以确保绘制的精确性。

4.调整蒙版属性：绘制完成后，在时间轴面板中展开该图层的“蒙版”属性，可以对蒙版的形状、羽化、不透明度等进行调整，还可以通过添加关键帧来制作蒙版的动画效果。

生成矢量蒙版

1.创建矢量蒙版：将需要被蒙版遮挡的图形或图像放置在绘制的形状上方，选中它们，然后执行“对象”→“矢量蒙版”→“建立”命令，即可创建矢量蒙版，使图形或图像按照形状的轮廓显示。

2.选择蒙版工具：在工具栏中选择钢笔工具、椭圆工具或矩形工具等蒙版工具。矢量形状可利用路径工具随意变形；但不能使用画笔等添加像素。

3.绘制蒙版形状：在合成窗口中，选中要添加蒙版的图层，然后使用所选工具绘制蒙版形状。绘制时可将图层放大，以确保绘制的精确性。

4.控制蒙版：启用/停用：Shift点击蒙版缩略图或通过眼睛图标来控制蒙版的可见性；删除：直接点击蒙版缩略图并按Delete键。

第11讲蒙版图生成方法（二）

生成快速蒙版

1.创建剪贴蒙版：点击工具栏「快速蒙版模式」按钮，然后上传图片

2.使用画笔涂抹人物的轮廓包括发丝的部位，可以随时修改画笔的大小，进行调节笔触，不做过多无用的选区，也不忽略其他的部分

3.退出快速蒙版编辑，此时我们选中的是人物之外的区域，还要进行反选

4.回到菜单栏-选择-选择并遮住，低版本叫调整边缘，使用调整边缘画笔工具，大小根据要调整的区域大小来确定，然后沿着边缘绘制5.调整右侧参数值，具体数值如下图，然后确定

6.新建一个纯色调整图层看一下效果

7.对刚才的输出的蒙版修饰一下，按住Alt键，然后点击女孩的蒙版

8.对刚才的输出的蒙版修饰一下，按住Alt键，然后点击女孩的蒙版，完成。

参考文献

本课件的制作参考文献包括：

1./question/372879137/answer/question/372879137/answer/23246671763.如何生成创意的蒙版画

第12讲生成对抗网络

06模型拓展

图生图模型

典型的图生图模型有生成对抗网络（GAN）和扩散模型，而StableDiffusion模型将生成对抗网络（GAN）和扩散模型（DiffusionModel）进行了完美结合以得到高质量的图像。

对生成对抗网络（GAN）和扩散模型的原理进行详细讲解。生成对抗网络工作原理训练过程

生成对抗网络（GANs）的训练过程是一个动态的两阶段优化过程，涉及两个主要的神经网络组件：生成器（Generator,G）和判别器（Discriminator,D）。以下是训练过程的详细步骤：

1.初始化：生成器和判别器通常都是深度神经网络，它们的权重和偏置被随机初始化。

2.交替训练：

·训练判别器(D)：首先，使用真实数据集中的样本和生成器生成的假样本喂给判别器。判别器尝试区分这些样本，输出每个样本是真实还是假的概率。通过最大化真实样本被正确分类为真的概率和假样本被正确分类为假的概率来更新判别器的权重。这通常通过最小化二元交叉熵损失函数来实现。

·训练生成器(G)：接下来，固定判别器的权重，用生成器产生的样本再次欺骗判别器。生成器的目标是让判别器认为其生成的样本是真实的。因此，生成器的训练目标是最大化判别器将其生成的样本误判为真实的概率。这可以通过最小化生成样本被判别器判断为假的概率来实现，或者等价地最大化生成样本被判别器判断为真的概率。

3.损失函数：

·判别器的损失：通常是一个二元交叉熵损失，它衡量了判别器正确分类真实与生成样本的能力。

·生成器的损失：可以看作是判别器对生成样本错误分类的概率，即生成样本的“真实性”度量。

4.纳什均衡：理想情况下，训练过程会达到一个纳什均衡点，此时生成器生成的数据几乎无法被判别器区分，判别器对生成样本和真实样本的判断概率接近0.5，表示它无法确定样本的来源。

5.平衡与挑战：在实际训练中，保持生成器和判别器的训练平衡是一个挑战。如果判别器过强，生成器可能难以改进；反之，如果生成器过强，训练可能会变得不稳定。因此，需要调整训练策略，如使用不同的学习率、权重初始化策略、以及可能的梯度惩罚（如WassersteinGAN中的WGAN-GP）来稳定训练过程。

6.多样性与模式塌陷：训练过程中还需注意避免“模式塌陷”，即生成器只学习到数据分布的某些部分，而不是全面覆盖。这要求设计更复杂的网络结构或引入正则化策略。

7.评估与可视化：训练过程中，通过定期检查生成样本的质量和多样性来评估模型性能，这通常涉及到人工检查生成的图像或其他类型的数据。

8.超参数调整：训练GANs需要仔细调整超参数，包括学习率、批次大小、网络架构等，以达到最佳性能。

9.训练迭代：这个过程是迭代的，直到达到预定的训练轮次或满足特定