CN119417931A 图像生成方法、装置、计算机设备及存储介质 （腾讯科技（深圳）有限公司）

质征；对第一融合风格特征执行自注意力编码操容匹配。通过提供任意一种风格的多个参考图2获取内容信息和多个参考图像，所述多个参考图像具有相提取所述内容信息对应的内容特征，提取所述多个参考图像中的每个参对所述第一融合风格特征执行自注意力编码操作，得到第二融合风格特通过所述编码网络，对所述每个参考图像执行编码操作，得到所述每个参考通过所述第一下采样网络，对所述每个参考图像分别对应的图像编通过所述第一残差层，将所述每个参考图像分别对应的图像编码特通过所述特征编码层，对所述每个参考图像分别对应的第一残差特征通过所述第一自注意力层，对所述每个参考图像分别对应的第一残差通过所述第二自注意力层，对所述每个参考图像分别对应的第一中间5.根据权利要求2所述的方法，其特征在于对应的图像编码特征执行下采样操作，得到所述每个参考图像分别对应的参考风格特征，通过所述k个第一下采样层中的第1个第一下采样层，对所述每个通过所述k个第一下采样层中的第m个第一下采样层，对所述每个36.根据权利要求5所述的方法，其特征在于，所述第一图像生成模型包括特征处理网通过所述k个特征融合层中的第1个特征融合层，融合所述多个参考图通过所述k个特征融合层中的第m个特征融合层，融合所述多个参考图7.根据权利要求6所述的方法，其特征在于，通过所述k个第三自注意力层中的第1个第三自注意力层，对所述第1个第一融合风格通过所述k个第三自注意力层中的第m个第三自注意力层，对所述第m个第一融合风格通过所述第一上采样网络，对所述内容特征和所述第二融合风格特征执行上采样操通过所述第二残差层，将第一噪声特征映射为第二残差特征，所述第一通过所述注意力层，对所述内容特征、所述第二融合风格特征和通过所述第四自注意力层，对所述第二残差特征执行自注意力编码操通过所述第一交叉注意力层，对所述第三残差特征和所述第二融合通过所述第二交叉注意力层，对所述内容特征和所述第二中间特征执行4通过所述k个第一上采样层中的第1个第一上采样层，对第一噪声风格特征是基于第1个第一下采样层输出的特征确定的，所述第一噪声特征用于表征随机二融合风格特征是基于第m个第一下采样层输出的特征确定的，m为大于1且不大于k的整获取样本内容信息和样本标签图像，所述样本标签图像的内容通过第二图像生成模型，提取所述样本内容信息对应的样本内容通过所述第二图像生成模型，以所述第二样本参考特征为引导，基于所述样本目标图像和样本标签图像，训练所述第二图像生复制所述第四自注意力层，得到第三自注意力层；基于特在训练后的所述第二图像生成模型中，将所述第二下采样网5获取模块，用于获取内容信息和多个参考图像，所述多个参特征提取模块，用于提取所述内容信息对应的内容特征特征融合模块，用于融合所述多个参考图像分别对应的参现如权利要求1至14任一项所述的图像生成方67[0011]可选地，所述第一下采样网络包括依次连接的k个第一下采样层，k为大于1的整应的图像编码特征执行下采样操作，得到所述每个参考图像分别对应的第1个参考风格特通过所述k个第三自注意力层中的第1个第三自注意力层，对所述第1个第一融合通过所述k个第三自注意力层中的第m个第三自注意力层，对所述第m个第一融合8括依次连接的k个第一下采样层，所述第一上采样网络包括依次连接的k个第一上采样层，融合风格特征是基于第1个第一下采样层输出的特征确定的，所述第一噪声特征用于表征样本标签图像对应的第一样本参考特征，在所述第一样本参考特征中添加第二噪声特征，9储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，使用和处理需要遵守相关国家和地区的相关高斯噪声，可以将其视为一系列去噪自编码器。StableDiffusion由3个部分组成：VAE图像转换至低维潜在空间，添加和去除高斯噪声的过程被应用于低维潜在空间，然后将去噪后的特征解码至像素空间。在前向扩散过程中，高斯噪声被迭代地应用于压缩的潜在特径的对称U型结构进行处理。同时U_Net也是StableDiffusion模型的基础主干模型，在U_实际上在StableDiffusion模型中的U_Net分为三个部分，分别是downblock、midblock以帮助模型更好地理解不同部分之间的关联，从而更准确地预测扩散过程中的变化和影让latent特征中的所有语义表征进行进一步融合，同时能够让生成对象的表现更加清晰服务器102下载客户端安装包实现对客户端[0045]第一终端101以及其它的第二终端103通过有线网络或无线网络与服务器102相[0046]服务器102包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一[0049]图2是本申请实施例提供的一种图像生成方法的流程图，本申请实施例由计算机[0055]对于多个参考图像中的每一个参考图像，计算机设备对该参考图像进行特征提[0058]计算机设备获取到多个参考图像中的每个参考图像分别[0067]上述图2的实施例仅是对图像生成方法的简要说明，在一些实施例中计算机设备[0071]示例性的，第一下采样网络302和第一上采样网络304是U_Net模型架构中的下采以为Clip模型中的textencoder模块，textencoder模块是一个基于transformer的编码[0074]本申请实施例提供的图像生成方法由上述图3所示的第一图像生成模型实现，详细过程参见下述图4的实施例。图4是本申请实施例提供的另一种图像生成方法的流程图，的每个参考图像输入至编码网络，编码网络输出每个参考图像分别对应的图像编码特征。一化后的特征与第一值特征相乘乘积，得到第一中间特征。本申请实施例中的键特征残差特征与第一映射矩阵相乘所得到的第一空间矩阵为3维度的第一空间矩阵，电子设备申请实施例中的第一下采样网络302包括多个第一下采样层31，每个第一下采样层31是由包括多个第一下采样层31为例来展示，实际上第一下采样网络302还可以仅包括一个第一参考风格特征一起输入至特征处理网络，特征处理网络融合多个参考图像的参考风格特[0110]在一种可能实现方式中，将多个参考图像的参考风格特征在通道维度上取平均考风格特征c。将参考风格特征a、参考风格特征b和参考风格特征c输入至特征处理网络征。[0113]其中，参考图像的参考风格特征的权重可根据参考图像的风格表征程度来确[0131]示例性的，第一交叉注意力层的网络结构和第二交叉注[0140]在此实现方式中，通过第一上采样网络对内容特征和风为基于3个像素风格的参考图像生成的目标图像，目标图像为像素风格。第三行是像素风[0148]该步骤1001获取内容信息和多个参考图像的过程与上述步骤401获取内容信息和[0150]该步骤1002提取内容特征的过程与上述步骤402提取内容特征的过程同理，在此[0152]该步骤1003提取图像编码特征的过程与上述步骤403提取图像编码特征的过程同像分别对应的图像编码特征执行下采样操作，得到每个参考图像分别对应的第1个参考风[0156]以某一个参考图像为例，计算机设备将参考图像的图像编码特征输入至第1个第[0157]计算机设备对每一个参考图像均执行上述步骤，从而得到每个参考图像的k个参[0162]图11是本申请实施例提供的另一种第一图像生成模型的结构示意图，如图11所个参考图像的k个参考风格特征13，不同第一下采样层输出的参考风格特征13分别存储至得到第2个第一融合风格特征。将多个参考图像的第3个参考风格特征输入至第3个特征融[0172]计算机设备将第1个第一融合风格特征输入至第1个第三自注意力层，得到第1个到多个不同参考图像中共同且关键的风格特征，使得提取出的风格特征更加显著和突出，12是本申请实施例提供的一种模型训练方法的流程图，本申请实施例由计算机设备执行，[0191]图13是本申请实施例提供的一种第二图像生成模型的结构[0201]图14是本申请实施例提供的一种第三图像生成模型的结构第二下采样网络307、连接网络308和第二上采样网络309的处理，得到去噪后的图像特征[0204]在一种可能实现方式中，训练后的第一图像生成模型包括依次连接的编码网络、二图像生成模型的第二上采样网络309包括k个第二上采样层71。特征提取网络包括k个处风格额外训练用于生成不同风格图像的模型，节省了模型训练所耗费的时间和资源成本，[0216]本申请实施例提供的图像生成方法，可应用于生成指定风格的图像的任意场景风格照片中的每个参考风格照片分别对应的图像[0226]在一个实施例中，本申请实施例的图像生成方法还可应用于制作DIY游戏角色的像作为训练样本数据，且针对不同的风格需要分别训练用于生成不同风格图像的Stable[0229]而本申请实施例提供的第一图像生成模型，能够实现zero_shot的风格传递图像[0231]而本申请实施例提供的第一图像生成模型，构建了多个风格图像的特征平衡机通过特征编码层，对每个参考图像分别对应的第一残差特征执行注意力编码操1个第一参考风格特征执行下采样操作，得到每个参考图像分别对应的第m个参考风格特通过k个特征融合层中的第1个特征融合层，融合多个参考图像分别对应的第1个通过k个特征融合层中的第m个特征融合层，融合多个参考图像分别对应的第m个通过k个第三自注意力层中的第1个第三自注意力层，对第1个第一融合风格特征通过k个第三自注意力层中的第m个第三自注意力层，对第m个第一融合风格特征[0243]可选地，参见图18，第一上采样网络包括第二残差层和注意力层；上采样单元通过第二交叉注意力层，对内容特征和第二中间特征执行交叉注意力编码操作，等。第一处理器1901可以采用DSP（DigitalS（FieldProgrammableGateArray，现场可编程门阵列）、PLA（ProgrammableLogic理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU理的低功耗处理器。在一些实施例中，第一处理器1901可以集成有GPU（GraphicsProcessingUnit，图像处理的交互器GPU用于负责显示屏所一处理器1901所具有以实现本申请中方法实施例提供的图一存储器1902和外围设备接口1903被集成在同一芯片或电路板上；在一些其他实施例中，