CN118334160B 一种细粒度时尚文本引导的服饰图像生成方法 （昆明理工大学）

一种细粒度时尚文本引导的服饰图像生成本发明涉及细粒度时尚文本引导的服饰图像特征进行细粒度时尚特征学习，得到具有风度文本图像特征和粗粒度图像特征进行服饰图粒度时尚文本和纹理图案自动生成具有更加真2首先，对输入的多模态时尚服饰数据集中的服饰图像和时尚文本练的由Bert构成Clip文本编码器得到时尚文本特征ftext，其次，服饰图像通过预训练的通过构建包含3类文本属性的Clip文本编码器，对局部时尚文本描述符tlocal进行标记其次，采用多个文本一图像交叉注意力层对时尚文本特征ftext和服饰3方法，基于风格迁移提出了金字塔多层级生成网络架构，能无监督分离生成图像中的高级属性，并在通过文本引导服饰图像生成过程中能够根据潜在代码在每个卷积层调整图像的“风格”，直接控制不同尺度上图像特征的强度。例如Lin<SIGGRAPHSpecialInterestGroupforComputerGRAPHICS>,2023)采用文本和纹理两个模态，通过预训练的生成对抗ConferenceonComputerVisionandPatternRecognition>,2023)使用了Clip预训练语言图像对比模型，将给定的输入图像嵌入到生产对抗模型的潜在空间中，然后基于潜在上公知方法主要侧重于多模态的人体姿态恢复和基本款式的服饰图像生成。细粒度文本一图像特征，以确保生成的图像在时尚语义上保持一致性并且具有服饰的细粒度属性。4文本图像特征编码模块，分别对时尚文本特征ftext、纹理图案特征fpatch、服饰图像特征ffineimage和粗粒度图像特征fcoarseimag[0013]然后，将时尚文本属性定义为包含风格、颜色和配饰3类属性。其中，风格属性[0014]最后，通过构建包含3类文本属性的文本编码器，对局部文本描述符tl[0018]其中和为5粗、中、细粒度，i表示条件模块，并将细粒度时尚文本特征ffine一text和细粒度图像特征f=con文本图像特征编码模块，分别对时尚文本特征ftext、纹理图案特征fpatch、服饰图像特征ffineimage和粗粒度图像特征fcoarseimagΔs′6[0035]然后，将时尚文本属性定义为包含风格、颜色和配饰3类属性。其中，风格属性[0036]最后，通过构建包含3类文本属性的文本编码器，对局部文本描述符tl[0040]其中和为粗、中、细粒度，i表示条件模块，并将细粒度时尚文本特征ffine一text和细粒度图像特征[0042]最后，通过计算faw=conbi分别为第成Clip文本编码器得到时尚文本特征ft7R768[0046]通过构建包含3类文本属性的Clip文本编码器，对局部文本描述操，从而得到细粒度时尚文本特征其中表示文本特征的[0050]其次，服饰纹理图案特征fpatch通过预训练的VGG-19网络得到细粒度图像特征8[0054]其中和为第i个文本图像注意层的注意力参数，在该过程中引入了文本图像相似度计算使得该模文本图像融合特征fΔs。finetext和上，添加了一个单独的交叉注意力机制其中查询Q＝WQ·Norm9[0059]其中表示第l层的交为每层生成图像的分辨率为鉴别器则是由文本处理tD和图像处理φ两个部分组成，使用其中VGAN为标准的非饱和生成对抗网络损耗、中的每一层都是由自注意和卷积组成。最后一层将空间范围扁平化为1×1张量，产生(x"=f32,16,8,4,1y的输出分辨率，如图4所示通过不断上采样处理最终得到更加真实自