Stable-Diffusion基础知识和概念

StableDiffusion1基本操作文生图txt2img为文生图功能，重点参数介绍正向提示词：描述图片中希望出现的内容反向提示词：描述图片中不希望出现的内容Samplingmethod：采样方法，推荐选择Eulera或DPM++系列，采样速度快Samplingsteps：迭代步数，数值越大图像质量越好，生成时间也越长，一般控制在30-50就能出效果Restorefaces：可以优化脸部生成Width/Height：生成图片的宽高，越大越消耗显存，生成时间也越长，一般方图512x512，竖图512x768，需要更大尺寸，可以到Extras功能里进行等比高清放大CFG：提示词相关性，数值越大越相关，数值越小越不相关，一般建议7-12区间Batchcount/Batchsize：生成批次和每批数量，如果需要多图，可以调整下每批数量Seed：种子数，-1表示随机，相同的种子数可以保持图像的一致性，如果觉得一张图的结构不错，但对风格不满意，可以将种子数固定，再调整prompt生成图生图Resizemode：缩放模式，Justresize只调整图片大小，如果输入与输出长宽比例不同，图片会被拉伸。Cropandresize裁剪与调整大小，如果输入与输出长宽比例不同，会以图片中心向四周，将比例外的部分进行裁剪。Resizeandfill调整大小与填充，如果输入与输出分辨率不同，会以图片中心向四周，将比例内多余的部分进行填充Maskblur：蒙版模糊度，值越大与原图边缘的过度越平滑，越小则边缘越锐利Maskmode：蒙版模式，Inpaintmasked只重绘涂色部分，Inpaintnotmasked重绘除了涂色的部分MaskedContent：蒙版内容，fill用其他内容填充，original在原来的基础上重绘Inpaintarea：重绘区域，Wholepicture整个图像区域，Onlymasked只在蒙版区域Denoisingstrength：重绘幅度，值越大越自由发挥，越小越和原图接近2Prompt语法技巧画面画风：主要是大模型或LoRA模型的Tag、正向画质词、画作类型等画面主体：画面核心内容、主体人/事/物/景、主体特征/动作等画面细节：场景细节、人物细节、环境灯光、画面构图等风格参考：艺术风格、渲染器、EmbeddingTag等3Prompt语法提示词排序：越前面的词汇越受AI重视，重要事物的提示词放前面增强/减弱：(提示词:权重数值)，默认1，大于1加强，低于1减弱。如(doctor:1.3)混合：提示词|提示词，实现多个要素混合，如\[red|blue\]hair红蓝色头发混合\+和AND：用于连接短提示词，AND两端要加空格分步渲染：\[提示词A:提示词B:数值\]，先按提示词A生成，在设定的数值后朝提示词B变化。如\[dog:cat:30\]前30步画狗后面的画猫，\[dog:cat:0.9\]前面90%画狗后面10%画猫正向提示词：masterpiece,bestquality等画质词，用于提升画面质量反向提示词：nsfw,badhands,missingfingers……,用于不想在画面中出现的内容Emoji：支持emoji，如形容表情，修饰手4ControlNetEnable：启用ControlNetLowVRAM：低显存模式优化，建议8G显存以下开启Guessmode：猜测模式，可以不设置提示词，自动生成图片Preprocessor：选择预处理器，主要有OpenPose、Canny、HED、Scribble、Mlsd、Seg、NormalMap、DepthModel：ControlNet模型，模型选择要与预处理器对应Weight：权重影响，使用ControlNet生成图片的权重占比影响Guidancestrength(T)：引导强度，值为1时，代表每迭代1步就会被ControlNet引导1次Annotatorresolution：数值越高，预处理图像越精细Cannylow/highthreshold：控制最低和最高采样深度Resizemode：图像大小模式，默认选择缩放至合适Canvaswidth/height：画布宽高Createblankcanvas：创建空白画布Previewannotatorresult：预览注释器结果，得到一张ControlNet模型提取的特征图片Hideannotatorresult：隐藏预览图像窗口5图像风格控制Artist艺术家风格主要通过画作种类Tag（如：oilpainting、inkpainting、comic、illustration），画家/画风Tag（如：HayaoMiyazaki、Cyberpunk）等控制图像风格。Checkpoint预训练大模型Checkpoint是根据特定风格训练的大模型，模型风格强大，但体积也较大，一般5-7GB。模型训练难度大，需要极高的显卡算力。目前网上已经有非常多的不同风格的成熟大模型可供下载使用。LoRA微调模型LoRA模型是通过截取大模型的某一特定部分生成的小模型，虽然不如大模型的能力完整，但短小精悍。因为训练方向明确，所以在生成特定内容的情况下，效果会更好。LoRA模型也常用于训练自有风格模型，具有训练速度快，模型大小适中，配置要求低（8G显存）的特点，能用少量图片训练出风格效果。TextualInversion文本反转模型TextualInversion文本反转模型也是微调模型的一种，它是针对一个风格或一个主题训练的风格模型，一般用于提高人物还原度或优化画风，用这种方式生成的模型非常小，一般几十KB，在生成画作时使用对应Tag在prompt中进行调用。6图像精准控制OpenPose姿势识别通过姿势识别，达到精准控制人体动作。除了生成单人的姿势，它还可以生成多人的姿势，此外还有手部骨骼模型，解决手部绘图不精准问题。以下图为例：左侧为参考图像，经OpenPose精准识别后，得出中间的骨骼姿势，再用文生图功能，描述主体内容、场景细节和画风后，就能得到一张同样姿势，但风格完全不同的图。Canny边缘检测模型可以根据边缘检测，从原始图片中提取线稿，再根据提示词，来生成同样构图的画面，也可以用来给线稿上色。HED边缘检测跟Canny类似，但自由发挥程度更高。HED边界保留了输入图像中的细节，绘制的人物明暗对比明显，轮廓感更强，适合在保持原来构图的基础上对画面风格进行改变时使用。Scribble黑白稿提取涂鸦成图，比HED和Canny的自由发挥程度更高，也可以用于对手绘线稿进行着色处理。Mlsd直线检测通过分析图片的线条结构和几何形状来构建出建筑外框，适合建筑设计的使用。Seg区块标注通过对原图内容进行语义分割，可以区分画面色块，适用于大场景的画风更改。NormalMap法线贴图适用于三维立体图，通过提取用户输入图片中的3D物体的法线向量，以法线为参考绘制出一副新图，此图与原图的光影效果完全相同。Depth深度检测通过提取原始图片中的深度信息，可以生成具有同样深度结构的图。还可以通过3D建模软件直接搭建出一个简单的场景，再用Depth模型渲染出图。7部署安装云端部署StableDiffusion通过GoogleColab进行云端部署，推荐将成熟的StableDiffusionColab项目复制到自己的Google云端硬盘运行，省去配置环境麻烦。这种部署方式的优点是：不吃本机硬件，在有限时间段内，可以免费使用GoogleColab强大的硬件资源，通常能给到15G的GPU算力，出图速度非常快。缺点是：免费GPU使用时长不固定，通常情况下一天有几个小时的使用时长，如果需要更长时间使用，可以订阅Colab服务。本地部署