生成式人工智能应用基础 课件 项目10 AI图像生成图像

人工智能应用基础

项目10AI图像生成图像目录CATALOG10.110.2提示词反推LiblibAI图生图10.310.4LoRA项目单元小结10.1.1LiblibAI图生图概述10.1LiblibAI图生图3从创作功能上，LiblibAI提供了三种主要的创作功能：在线生图，在线工作流以及LoRA训练。其中在线生图比较普适，可以轻松上手。而另外两个功能则更加专业(对SD/MJ有一些使用经验会更好）一些，可以实现一定的专业诉求。LiblibAI在线生图的大分类下，有细化文生图、图生图、图生视频等。LiblibAI在线生图的大分类下的图生图功能，是一项极具创意和实用性的工具。以下是对该功能的详细介绍：1．LibibiAI简介10.1.1LiblibAI图生图概述10.1LiblibAI图生图41、功能概述图生图功能允许用户上传一张已有的图片，然后基于这张图片生成新的图片。平台会分析上传图片的风格、元素和特征，并在此基础上进行创作，生成与原图相似但又不完全相同的新图片。2、使用步骤上传图片：用户需要先在平台上选择并上传一张已有的图片。这张图片可以是任何类型的图像，如风景、人物、动物等。选择模型：平台提供了多个不同的AI模型供用户选择。每个模型都有不同的特点和风格，用户可以根据自己的喜好和需求选择合适的模型。2．LibibiAI图生图10.1.1LiblibAI图生图概述10.1LiblibAI图生图5调整参数：用户还可以根据需要调整一些生成参数，如图片的尺寸、生成数量等。这些参数将影响最终生成图片的质量和风格。开始生成：设置好所有参数后，用户可以点击开始生成按钮，等待平台完成图片的生成。有参数后，用户可以点击开始生成按钮，等待平台完成图片的生成。除了上传图片，其余步骤与文生图都是相同或相似的。3、功能特点多样性：图生图功能可以生成多种风格的新图片，满足用户的多样化需求。无论是想要保留原图风格并进行微调，还是想要生成与原图风格完全不同的新图片，都可以通过调整参数和选择模型来实现。2．LibibiAI图生图10.1.1LiblibAI图生图概述10.1LiblibAI图生图6高效性：平台采用了先进的AI技术，可以在短时间内完成图片的生成。用户无需等待过长时间，即可获得满意的结果。个性化：用户可以根据自己的喜好和需求进行个性化设置，如选择模型、调整参数等。这使得生成的图片更加符合用户的期望和风格。4、应用场景艺术创作：艺术家可以利用图生图技术进行风格迁移，将一幅画转换为另一种风格，或者对老旧照片进行修复和艺术化处理。2．LibibiAI图生图10.1.1LiblibAI图生图概述10.1LiblibAI图生图7视觉特效制作：在电影、游戏和广告等视觉特效制作中，图生图技术可以用于生成逼真的特效元素，如火焰、水流等。室内设计：设计师可以利用图生图技术快速生成多种设计方案，帮助客户选择最合适的装修风格和布局。2．LibibiAI图生图10.1.2图生图任务目标10.1LiblibAI图生图81．任务目标任务描述：本次任务的核心在于掌握AI图像生成技术，以分析和创作具有特定特征的新图片。具体目标是，通过AI图像生成方法，深入分析一张“夏日海滩”的原始图片，并在此基础上生成一张全新的图片。这张新图片不仅要保持原始图片的风格和氛围，还需巧妙融入“雪山”这一全新的场景元素，最终达成如图10‑1所示的独特视觉效果。图10‑1原始图片与预期结果10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图91．操作步骤step1进入LiblibAI“在线生图”界面，打开“图生图”功能菜单，操作如图10‑2所示。向下拖出现“图像参数设置”的功能界面。图10‑2进入图生图界面操作示意图10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图101．操作步骤Step2点击“生图”|“图生图”下方的“将图像拖到这里上传

或

点我选择图片”选择文件，从本地选择一张“夏日海滩”的图片，这里使用的图片尺寸为1024*736，点击“上传”，此时上传的图片会在界面的左侧显示。其它参数默认即可。操作如图10‑3所示。图10‑3上传图像操作示意图10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图111．操作步骤step3编写提示词，保留原来图像中需要的画面特征，设计新图像中的雪山场景，操作如图10‑4所示。在正向提示词中输入“masterpiece,4K,highlydetailed,summerbeach,clearbluesky,goldensand,brightsunshine,(wintermountain),snow-coveredpeak,sereneatmosphere,”，表示“杰作，4K，高细节度，夏季海滩，清澈的蓝天，金色的沙滩，明媚的阳光，(冬季雪山)，白雪覆盖的山峰，宁静的气氛，”。在负面提示词中输入“lowquality,blurry,badanatomy”，表示避免出现“低画质，模糊，生物结构错乱”。图10‑4上传图像操作示意图10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图121．操作步骤step4设置参数，选择CHECKPOINT为写实风格的主模型“majicMIXrealistic麦橘写实_v7.safetensors”或“腾讯混元-DiT_HunyuanDiT-v1.2.safetenso”，如图10‑5所示。图10‑5上传图像操作示意图10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图131．操作步骤图像尺寸设置为与上传图像一致“1024*736”，迭代步数设置为40，图片数量选择1，其它参数默认，操作如图10‑6所示。缩放方式默认为“拉伸”。当希望生成的图像与上传图像大小不一致时，可以选择缩放模式对图像进行缩放。LiblibAI的缩放模式有三种，分别是拉伸原图、裁剪原图、填充空白。重绘幅度默认值为0.75，用于控制AI创作的自由度，0.5以下对人物面部微调，0.7以上大范围重绘。图10‑6参数设置示意图10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图141．操作步骤图10‑7生成及下载图片操作示意图step5点击“开始生图”，在原始图的右侧方框中生成新的图片，图片生成后点击“下载”，操作如图10‑7所。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图151．操作步骤图10‑8原始图片与重绘幅度为0.75时生成结果对比将原始图片与生成的新图片进行对比，如图10‑8所示。可以看到虽然生成的新图片将“夏日沙滩”与“雪山”进行了比较完美的融合，但是整个画面的构图几乎与原始图像没有关系（因为我们知道重绘幅度参数超过0.7其重绘的自由度就很大），接下来适当调整参数解决该问题。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图161．操作步骤图10‑9调整重绘幅度示意图step6将“图像参数”中的重绘幅度减少到0.5，操作如图10‑9所示。再次生成图片，将原始图片与生成的图片进行对比，如图10‑10所示。可以看到降低重绘幅度后，生成的图片不仅很好地将原始图片中的“夏日沙滩”与“雪山”进行了融合，还尽可能地保留了原始图片中的内容，整个画面非常自然合理。图10‑10原始图片与重绘幅度为0.5时生成结果对比10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图171．操作步骤图10‑11修改“椅子”区域step7将上一步生成的图像下载到本地，在画面中有一部分内容是“椅子”，如图10‑11所示。如果希望对这部分内容进行修改，可以使用“蒙版”对图片局部重绘。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图181．操作步骤图10‑12新建图层操作示意图step8使用Photoshop打开原始图片，新建一个图层，点击选中该图层。操作如图10‑12所示。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图191．操作步骤图10‑13涂抹修改区域step9使用画笔工具，前景色为“黑色”，对图片中的椅子进行涂抹，操作如图10‑13所示。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图201．操作步骤图10‑14隐藏背景图层step10隐藏背景图层，将制作的蒙版图片导出为PNG格式，操作如图10‑14、图10‑15所示。图10‑15导出蒙版为PNG格式10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图211．操作步骤图10‑16上传蒙版图像示意图step11返回到AI图像生成界面，选择“图生图”|“重绘蒙版”。其中选择“重绘蒙版”如图10‑16所示。分别将step6、step7中生成和下载的图片上传到重绘蒙版，将step10制作的蒙版图片也上传到重绘蒙版。在“重绘蒙版”中点击“将图像拖到这里上传或点我选择图片”提示上传图片。使用蒙版后，AI只会对图片中被蒙版遮住的区域进行重新绘制。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图221．操作步骤图10‑17修改蒙版模式的重绘区域修改蒙版模式，重绘区域为“仅蒙版”，其他参数默认，比如蒙版蒙住的内容默认是“原版”。如图10‑17所示。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图231．操作步骤图10‑18编写提示词示意图step12使用提示词将蒙版遮盖的区域修改成“用沙子堆的城堡”。操作如图10‑18所示。正向提示词中输入“masterpiece,4K,highlydetailed,sandcastle,”。表示“杰作，4K，高细节度，沙子做的城堡”。负面提示词中输入“lowquality,blurry,badanatomy,”表示避免出现“低画质，模糊，生物结构错乱”。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图241．操作步骤图10‑19局部重绘结果图step13仍旧选择写实风格的主模型“majicMIXrealistic麦橘写实_v7.safetensors”，图像尺寸设置为与上传图像一致“1024*736”，迭代步数设置为40，其它参数默认。点击“开始生图”，结果如图10‑19所示。

10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图251．操作步骤图10‑20改变蒙版蒙住的内容为“填充”参数设置后生成图step14在“蒙版版式”参数中，改变蒙版蒙住的内容为“填充”，可以缩小生成的替换蒙版部分的城堡的大小。

生成图像如图

10‑20所示。

10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图261．操作步骤图10‑21上传有拼接痕迹的图step15重新选择“生图”|“图生图”，将上一步生成的有拼接痕迹的图上传，如图10‑21所示。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图271．操作步骤图10‑22编写提示词优化局部重绘的图片step16编写提示词，重新描述画面中的内容。操作如图10‑22所示。10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图281．操作步骤图10‑23编写提示词优化局部重绘的图片step17设置参数，写实风格的CHECKPOINT主模型不变，图像尺寸设置为与上传图像一致“1024*736”，迭代步数设置为40，重点是重绘幅度设置为0.5，限制重绘的自由度。其它参数默认，操作如图10‑23所示。

10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图291．操作步骤图10‑24消除拼接痕迹优化后的图点击“开始生图”，

生成优化的消除拼接痕迹的图，如图

10‑24所示。

10.1.3图生图实践-蒙版重绘10.1LiblibAI图生图301．操作步骤图10‑25原始图片与最终生成结果原始图片与生成结果如图10‑25所示。10.1.4局部重绘10.1LiblibAI图生图31在图生图中上传下图，让其开眼笑。选择铅笔标记。10.1.4局部重绘10.1LiblibAI图生图32将眼部涂黑10.1.4局部重绘10.1LiblibAI图生图33其他参数设置如下：在提示词中输入：Openeyes,点击“开始生图”，效果如下：10.1.5使用lnpaintAnything插件10.1LiblibAI图生图34InpaintAnything是一个结合了HQ-SAM（SegmentAnythinginHighQuality）高质量图像分割基础模型、图像修补模型（例如LaMa)和AIGC模型（例如StableDiffusion)等视觉基础模型的AI图像替换和修补系统。基于此系统，用户可以方便的使用AI进行图像替换，处理具有任意长宽比和高清分辨率的图像,且不受图像原始内容限制，并且使用方便。InpaintAnything已经被广泛应用于多个领域。例如，在时尚设计领域，设计师可以利用这款插件快速生成不同风格的服装搭配方案；在广告行业，制作人员可以通过换装换景功能轻松制作出具有吸引力的广告海报；在社交媒体上，普通用户也可以借助这款插件制作出富有创意的个性化头像和壁纸。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图35示例1：简单的换装实操。step1打开LiblibAI，选择“InpaintAnything”，如图10‑26所示。图10‑26选择“InpaintAnything”10.1.5使用lnpaintAnything插件10.1LiblibAI图生图36图10‑27输入一张图Step2打开

InpaintAnything卷展栏，拖入一张要修改的照片，默认选择SegmentAnything模型

ID，然后点击下方“运行SegmentAnything”。如图

10‑27所示。

10.1.5使用lnpaintAnything插件10.1LiblibAI图生图37图10‑28选择蒙版的区域Step3经过一会计算后，便出现了一张颜色块图案，原图上人物的各个部分被用颜色块来进行了分割，可以使用画笔点击选择不同的颜色区域为蒙版部分。使用画笔点击女孩图像的上装区域为蒙版部分，画笔可以改变点的大小，在同一颜色区域点击点数不限，一个即可。如图10‑28所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图38图10‑29创建蒙版Step4然后，点击下方的创建蒙版，衣服便被创建了蒙板。如图10‑29所示。亮色（一般是白色）部分即表示蒙版区域，如果此时对蒙版区域不满意还可以继续使用画笔涂抹绘制增加，对于新增加的蒙版区域，要点击“根据草图添加蒙版”完成蒙版的区域增加。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图39图10‑30获取蒙板并发送到图生图Step5点击仅蒙板–>获取蒙板–>发送到图生图重绘。就会将原图和刚刚创建的蒙板直接发送到图生图中。如图10‑30所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图40图10‑31图生图中提示词输入“蓝色运动装”Step6在图生图中的提示词中输入“蓝色运动装”，如图10‑31所示。点击右上方的“开始生图”。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图41图10‑32重绘蒙版重绘蒙版结果如图10‑32所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图42图10‑33添加小木屋图像示例2：在小木屋前增加一片水域step1在LiblibAI中选择“InpaintAnything”，添加小木屋图片。如图10‑33所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图43图10‑34用不同颜色分割原图区域Step2点击“运行SegmentAnything”后，就会对原图使用不同颜色进行了区域分割，如图10‑34所示。在这里不选任何区域，直接点击“创建蒙版”。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图44图10‑35在草图上涂抹绘制出一片水域Step3创建蒙版后，在草图使用画笔涂抹绘制出一片水域的区间，如图10‑35所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图45图10‑36蒙版部分变亮Step4点击“根据草图添加蒙版”之后，经过计算，蒙版部分变亮，如图10‑36所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图46图10‑37获取小木屋前水域的蒙版Step5点击仅蒙板–>获取蒙板–>发送到图生图重绘。就会将原图和刚刚创建的蒙板直接发送到图生图中。如图10‑37所示。10.1.5使用lnpaintAnything插件10.1LiblibAI图生图47图10‑38小木屋前增加一片水域后的结果在图生图中输入提示词“一片蓝色水域”，点击“开始生图”，结果如图10‑38所示。10.1.6拓展任务10.1LiblibAI图生图481．任务描述：使用AI绘图模型进行图像风格转换。将一张自然风景图像转换成“梵高风格”的画作，如图10‑39所示。并在此基础上生成具有“星空”主题的混合图像。2.提示词：梵高风格（VanGoghStyle）乌云（StarryNight）飞机（plane）自然风景（NaturalLandscape）油画质感（OilPaintingTexture）混合图像（MixedImage）图10‑39重绘“梵高风格”的画作10.1.6拓展任务10.1LiblibAI图生图493.参数建议：原始图像：一张高分辨率的自然风景图像，例如黄山松的图像。请自行获取。风格：生成的图像风格接近梵高。图像分辨率：1024x768，生成高清画作。迭代次数：40，提高生成图像的细节。色彩饱和度：高，使图像色彩更加鲜明。细节度：高，确保图像细节丰富，清晰可见。自行调节提示词引导系数

CFG和重绘幅度的值。10.1.6拓展任务10.1LiblibAI图生图50将重绘的图片下载保存，转到InpaintAnything上传重绘图片。如图10‑40所示。图10‑40InpaintAnything上传重绘图设置重绘参数，如图10‑41所示。图10‑41设置重绘参数10.1.6拓展任务10.1LiblibAI图生图51生成图如图10‑42所示。图10‑42拓展任务最终结果10.2.1

提示词反推的作用10.1LiblibAI图生图521.CLIP反推我们已经了解，CLIP（ContrastiveLanguage-ImagePre-training）是一个模型，它将图像和文本嵌入空间联系起来。CLIP反推使用图像生成与之相关的自然语言描述。在StableDiffusion中，CLIP反推会根据输入的图像生成一句话的描述，以帮助指导图像生成。例如，给定一张图像，CLIP反推可以生成类似于“晚上背着包站在建筑物前的女人，背景是城市，背景是城市景观”的描述。2.DeepBooru反推DeepBooru是一个用于标记二次元图片的模型，它能够识别出图片中的各种元素。DeepBooru反推会在图像中生成多个单独的提示词，这些提示词可以用于进一步调整图像生成的方向。10.2.1CLIP反推提示词生图10.1LiblibAI图生图53操作步骤如下：Step1打开LiblibAI平台的“图生图”，上传“花丛中的长发少女穿粉色裙子”图片，如图10‑43所示。图10‑43上传少女图片10.2.1CLIP反推提示词生图10.1LiblibAI图生图54图10‑44CLIP反推提示词Step2点击“CLIP反推”，自动生成CLIP写法的提示词，如图10‑44所示。负向提示词默认。图10‑45启用ADetailerStep3为了保障面部清晰，启用ADetailermodel，选择一个“face”模型，如图10‑45所示。10.2.1CLIP反推提示词生图10.1LiblibAI图生图55点击“开始生图”，生图效果如图10‑46所示。图10‑46CLIP反推提示词生图结果10.2.2DeepBooru反推提示词生图10.1LiblibAI图生图56操作步骤与反推CLIP提示词生图类似。Step1换一种“动漫”CHECKPOINT模型，点击“DeepBooru反推”，如所示。生成DeepBooru写法的提示词。图10‑46CLIP反推提示词生图结果图10‑47DeepBooru反推提示词生图结果10.3LoRA10.1LiblibAI图生图57LoRA模型是风格化模型，是在CHECKPOINT大模型底座基础上训练的个性化的模型，可以搭建属于个人的数字资产库，包括素材组件库。现在在企业层面更多的AI图像落地方案和应用，大都集中在LoRA模型，一方面LoRA模型是完全可控的，二是其具有私密性，其三LoRA模型的质量和效率也是最高的。在StableDiffusion中LoRA训练是最AIGC在企业商业性落地最有说服力的工作项目，也是企业就业的一项技能，甚至是一个就业方向。10.3.1

什么是LoRA模型10.1LiblibAI图生图58LoRA模型，全称Low-RankAdaptationofLargeLanguageModels，是一种用于微调大型语言模型的低秩适应技术。它最初应用于NLP领域，特别是用于微调GPT-3等模型。LoRA通过仅训练低秩矩阵，然后将这些参数注入到原始模型中，从而实现对模型的微调。这种方法不仅减少了计算需求，而且使得训练资源比直接训练原始模型要小得多，因此非常适合在资源有限的环境中使用。在StableDiffusion（SD）模型的应用中，LoRA被用作一种插件，允许用户在不修改SD模型的情况下，利用少量图像数据训练出具有特定画风、IP或人物特征的模型。这种技术在社区使用和个人开发者中非常受欢迎。例如，可以通过LoRA模型改变SD模型的生成风格，或者为SD模型添加新的人物或IP。10.3.1

什么是LoRA模型10.1LiblibAI图生图59

LoRA模型的使用涉及安装插件和配置参数。用户需要下载适合的LoRA模型和相应的CHECKPOINT模型，并将其安装到相应的目录。在LiblibAI平台中则可以直接选择“训练我的LoRA”模块。在使用时，可以将LoRA模型与大模型结合使用，通过调整LoRA的权重来控制生成图片的结果。LoRA模型的优点包括训练速度快、计算需求低、训练权重小，因为原始模型被冻结，我们注入新的可训练层，可以将新层的权重保存为一个约3MB大小的文件，比UNet（一种基于卷积神经网络的图像分割算法）模型的原始大小小了近一千倍。我们举个更容易懂的例子：CHECKPOINT大模型就像素颜的人，LoRA模型就如同进行了化妆、整容或cosplay，但内在还在大模型的底子。当然，LoRA模型不仅仅适用于人物，场景、动漫、风格都有相对应的LoRA。10.3.2

如何使用LoRA10.1LiblibAI图生图60本地安装的StableDiffusion，LoRA和大模型一样需要自己去下载安装，常用的LoRA模型下载平台包括LiblibAI、吐司TusiA、Civitai等平台。LiblibAI在线平台可直接使用LoRA模型，具体使用操作如下：step1进入LiblibAI首页，搜索“商标LoRA”，如图10‑48所示。图10‑48搜索“商标LoRA”10.3.2

如何使用LoRA10.1LiblibAI图生图61图10‑49选择“极简风LoRA”Step2自行选择一个LoRA模型，比如极简风LoRA，如图10‑49所示。注意查看该模型的说明，其部分说明如下：极简风logo-lora-XL-punditV1.0制作极简风格logo的lora模型，极简风格，logo图标，搭配我的Portraitphotography-XL-pundit大模型10.3.2

如何使用LoRA10.1LiblibAI图生图62图

10‑50展开LoRA模型的提示词和参数Step3点击“加入模型库”，然后选择一个有提示词和参数的图标（打开后才可以查看），出现该图像LoRA模型的提示词与参数说明。如图10‑50所示。点击“复制全部”、“画同款”。正向提示词中文翻译：标志，JJ，没有人，简单的背景，英文文本，黑色背景，独奏，文本焦点，艺术家姓名，水彩画主题，10.3.2

如何使用LoRA10.1LiblibAI图生图63Step4点击“画同款”提示（有的可能是“一键生图”提示）后就进入文生图界面，将该LoRA的提示词和参数填充过来，我们修改正向提示词，仅将“标志”改为“电子血压计标志”，“英文文本”改为“中文文本”，“黑色背景”改为“白色背景”，其他内容保存不变。修改后的提示词：电子血压计标志，JJ，没有人，简单的背景，中文文本，白色背景，独奏，文本焦点，艺术家姓名，水彩画主题，修改提示词如图10‑51所示。注意查看此时的CHECKPOINT模型是Portraitphotography-XL-pundit1.0模型，这个模型是一个个性化的LoRA模型。注意，有些个人模型可能不允许加载！图10‑51修改提示词10.3.2

如何使用LoRA10.1LiblibAI图生图64Step5点击“开始生图”，结果如图10‑52所示。可看出，这个LoRA模型对汉字似乎不在行。图10‑52由LoRA模型生成的新图10.3.3

训练个人LoRA模型10.1LiblibAI图生图65‌LORA训练首先要搜集整理图片数据‌，这是整个训练过程的基础和关键步骤。以下是搜集整理图片数据的具体步骤和注意事项：‌(1)确定训练目的‌：在开始搜集图片数据之前，首先要明确训练的目的，比如是生成特定风格的人物、物体、场景等。明确训练目的有助于更有针对性地选择和收集图片‌。‌(2)挑选图片数的注意事项：‌内容多样性‌：确保图片内容具有多样性，包括不同的物体、场景、角度、光线、主题和复杂度等。例如，如果是训练人物，需要不同角度、动作和表情的图片‌3。‌质量要求‌：选择高质量的图片，避免模糊、失真或低分辨率的图片。