CN115393456B 一种基于多模态信息的服装草图到图像生成方法 （武汉纺织大学）

TransformerforGarmentSketch-一种基于多模态信息的服装草图到图像生本发明涉及一种基于多模态信息的服装草多模态生成模型，该模型结合了CNN多尺度特征提取的优势与Transformer强大的掩码注意力机2局部信息与服装全局信息进行向量量化，得到服装的全局信息编码与服装的局部信息编节信息的局部特征图然后继续下采样到原来的1/8得到包含全局信息的全局特最近邻算法在Vglobal中找到与之最接近的向量ek并进行替换得到Zglobal；求Zlocal的方法为：步骤1.2、将局部特征图Zlocal输入局部基向量空间Vlocal，得到服装的全局信息编码其中部信息序列；其中，Transformer_L用于生成服装细节信息编码，Transformer34[0004]随着深度卷积神经网络(DCNN)的发展，生成对抗网络(GAN)在图像生成方面展现[0012]步骤3、将生成的服装全局信息序列与服装局部信息序列分别输入对应的基向量5到原来的1/4大小，得到包含细节信息的局部特征图Zlocal,局部特征图Zlocal继续下采样到于最先进的基于注意力引导的单模态生成方法U_GAT_IT降低了24.19，IS值相较于最先进的MUNIT提升了10.73LPIPS值提升了10.8多样性和保真度都得到了较为明显的提6[0035]本发明提出一种基于多模态信息的服装草图到服装图像生成模型，将CNN多尺度特征提取的优势与Transformer强大的掩码注意力机制相融合,其整体架构如图1所示，主第二阶段，根据第一阶段得到的特征融合编码，提出一种多模态信息关联学习模型：部特征图ze",然后继续下采样到原来的1/8得到包含全局信息的全局特征图7[0043]为了融合不同层的特征信息，将Zglobal上采样到与Zlocal相同[0049]其中||x_x'||2为重建图像与真实图像之间的误差的平方和损失。由于量化过程边缘部分的纹理不清晰，详见第4.5节。为了使模型在优化时能关注到服装图像的细节纹下:[0051]其中Lfm为判别器所有层损失值的平均值，计算判别器第t层损失值的公式为：其中N是判别器第t层的特征数，为第t层判别器提[0055]文本和服装草图共同组成了条件信息。对于文本的编码，本发明直接使用词语之间的关系。8要学习条件概率分布p(x,c):相同的单向自回归Transformer组成，其中，Transformer_L用于生成服装细节信息编码，码和服装全局信息编码融合作为输入，其中草图和文本共同构成条件信息，通过9[0072]·FID(FréchetInceptionDistance):FID用于衡量真实图像和生成图像的[0076]实验选择了四个经典的单模态条件图像生成方法，包括原始条件生成网络[0080]本发明的方法生成的服装图像的IS和LPIPS的得分分别为3.30和0.374，相较于MUNIT分别提升了10.73％和10.8FID得分为26.08，相比于最先进的U_GAT_IT提升了层编码模型，主要包括VQ_VAE、PeCo和VQ_GAN。实验使用相同的配置在VITON数据集和表明二者没有充分学习到服装的纹理和色彩；尽管VQ_GAN在VITON数据集上显示出很强的于最先进的基于注意力引导的单模态生成方法U_GAT_IT降低了24.19，IS值相较于最先进的MUNIT提升了10.73LPIPS值提升了10.8多样性和保真度都得到了较为明显的提