CN113449135B 图像生成系统与方法 （阿里巴巴达摩院(杭州)科技有限公司）

US2021191971A1,2021本申请实施例提供一种图像生成系统与方指定对象品类相关联的用户行为数据和指定对合基于文本预测的图像生成模型将样式描述文2文本挖掘组件，用于确定第一制造行业中需要输入至第二图文匹配模型进行匹配，以得到匹配度符合阈值要求的至少一个候选对象图其中，第一图像生成模型采用基于矢量化的对抗生成网络VQGAN和稀疏注意力机制实将所述样式描述文本对应的文本序列输入至所述3.根据权利要求2所述的系统，其特征在于，所述图像生成组件基于预先训练出的码将所述文本序列输入至所述第一图像生成模型的编码将所述第一图像特征输入至所述第一图像生成模型的解码器，在所述解码像与所述样式描述文本输入至第二图文匹配模型进行匹配以得到匹配度符合阈值要求的文匹配模型用于将所述多个初始对象图像和所述样式描述文本分别进行特征编码并映射根据所述多个第二图像特征与所述文本特征之间的匹配对与所述指定对象品类相关联的用户行为数据对所述指定对象品类在最近时段内出现的新对象的描述信根据所述用户感兴趣的对象属性和品类描述，以及所述新对象的对象属性和品类描3根据与第一制造行业中指定对象品类相关联的用户行为数据和所述指定对象品类的将所述样式描述文本输入至基于文本预测的第一图像将所述样式描述文本对应的文本序列输入至所述将所述文本序列输入至所述第一图像生成模型的编码将所述第一图像特征输入至所述第一图像生成模型的解码器，在所述第一图像生成模型的解码器中，采用稀疏注意力机13.根据权利要求10所述的方法，其特征在于，对所述多个图像序列分别进行图像重将所述多个图像序列输入至图像序列化模型中，由所述4采用矢量化的对抗生成网络，利用所述第二将所述多个初始对象图像和所述样式描述文本输入至第图文匹配模型用于对所述多个初始对象图像和所述样式描述文本分别进行特征编码并映根据所述多个第二图像特征与所述文本特征之间的匹配对与所述指定对象品类相关联的用户行为数据对所述指定对象品类在最近时段内出现的新对象的描述信根据所述用户感兴趣的对象属性和品类描述，以及所述新对象的对象属性和品类描将所述至少一个候选对象图像展示给评估系统，5业中需要生成样图的指定对象品类，根据与所述指定对象品类相关联的用户行为数据以图像；将所述多个初始对象图像与所述样式描述文本输入至第二图文匹配模型进行匹配，6[0018]图1为本申请示例性实施例提供的一种图像生成系统的结构示意质量评测组件103可部署在台式电脑、笔记本电脑或智能手机等各种带有显示屏幕的设备7乘用车行业等等。尤其是，第一制造行业可以是支持用户直连制造（Customer-to-[0023]在本实施例的图像生成系统中，文本挖掘组件102一方面用于确定第一制造行业[0024]可选地，文本挖掘组件102可以对第一制造行业的各个对象品类进行图像需求分造行业中各对象品类下最后一次更新对象图像的时间和/或各对象品类下的对象流行趋势，在最后一次更新对象图像的时间与当前时间的时间间隔大于设定间隔阈值时和/或当前使用的对象图像与当下对象流行趋势不符合时，说明需要针对该对象品类更新对象图[0026]可选地，文本挖掘组件102也可以接收来自于第一制造行业的管理端的对象图像8制造行业的管理端或管理人员根据制造需求而定，例如对于比较热门或流行的对象品类，请求为该对象品类生成用户感兴趣或比较符[0027]在确定需要生成对象图像的指定对象品类的情况下，文本挖掘组件102可发挥其[0028]在本实施例中，文本挖掘组件102一方面可获取指定对象品类相关联的用户行为的用户行为数据和指定对象品类的对象描述信息，生成用于指定对象品类的样式描述文的部分对象称为选定对象，利用选定对象的描述信息来表征指定对象品类的对象描述信对象的情况下，文本挖掘组件102在根据与指定对象品类相关联的用户行为数据以及指定9类描述以及新商品的对象属性和品类描述可以从CPV知识体系中获取用户感兴趣且比较流的基于文本预测的第一图像生成模型。M6模型是一种超大规模多模态的语言预训练模型，生成分辨率为1024*1024甚至更高的高文匹配模型可以是但不限于：对比文本-图像预训练模型（ContrastiveLanguage-Image[0038]在本申请一可选实施例中，图像生成组件101基于第一图像生成模型采用一种两[0039]在一可选实施例中，本实施例的第一图像生成模型采用深度自注意力变换网络FeedForward层以及位于前面每一层上面的Add&Norm层；其中，在Multi-HeadSelf-不限于此。现跨模态表征理解，即实现文本特征到图像特征的转换；而解码器则负责学习自然语言生向对上述几种信息建立关联并学习基于上下文的深度表征；对解码器而言，则利用注意力机制关联来自编码器的高层表征，并通过单向的自注意力学习自回归形式的自然语言生成。[0042]在一可选实施例中，基于文本预测的第一图像生成模型可以输出长度为256的图成组件101在基于码本对第一图像特征分别进行解码得到多个图像序列过程中，可以在第方式不仅跨神经网络模型，而且处理过程中的信息模态是从文本序列到图像序列再到图（VectorQuantizationGenerativeAdversarialNetwork，VQGAN）以及向量离散化的模型架构，其目标是训练出一张码本，通过该码本可以将一张二维图像通过图像序列化模型中的编码器和量化器压缩为一维的图像序列，与此同时还可以通过图像序列化模型中 码器与编码器的结构类似，只需对应的将下采样模块替换为上采样模块。量化器模块内部第三种是对抗损失函数，这里使用了的额外的图像块判别网络小块取卷积神经网络[0049]在本申请另一可选实施例中，相比于传统的矢量量化变分自动编码（Vector本组成的图文匹配对作为训练样本，以同一语义空间作为约束，通过同一语义空间对图文特征之间可以计算匹配度，采用大批样本数量（largebatchsize）训练和对比学习初始对象图像与样式描述文本输入至图文匹配模型进行匹配，以得到匹配度符合阈值要求的至少一个候选对象图像，具体包括：将多个初始对象图像和样式描述文本输入至图文匹配模型中，对多个初始对象图像和样式描述文本分别进行特征编码并映射到同一语义空征可计算匹配度，则可根据多个第二图像特征与文本特征之间的匹配度，从多个初始对象图像中选择匹配度大于阈值的至少一个初始对象图像作为候选对象图像。[0056]其中，图文匹配模型的一种实现结构如图2a所示，包括：图像编码（image[0058]301、根据与第一制造行业中指定对象品类相关联的用户行为数据和指定对象品[0065]在一可选实施例中，基于码本对第一图像特征分别进行解码对象品类相关联的用户行为数据进行文本挖掘，得到用户感兴趣的对象属性和品类描述；关联的用户行为数据和指定对象品类的对象描述信息，自动捕捉指定对象品类的样式需[0074]需要说明的是，上述实施例所提供方法的各步骤的执行主体[0076]图4为本申请示例性实施例提供的一种云服务器的结构示意图。该云服务器用于静态随机存取存储器（SRAM电可擦除可编程只读存储器（EEPR本输入至基于文本预测的第一图像生成模型中进行图像生成，以得到多个初始对象图像；[0081]进一步可选地，处理器45还可以将至少一个候选对象图像发以供质量评测组件将至少一个候选对象图像展示给评估系统，以及响应于评估系统的选[0094]上述图4中的通信组件被配置为便于通信组件所在设备和其他设备之