CN113963087B 图像处理方法、图像处理模型训练方法、装置及存储介质 （北京百度网讯科技有限公司）

WO2020258668A1,2020.12.30Wu,Z.等.Stylespaceanalysis:CVFConferenceonComPatternRecognition.2020,12863-12872.Patashnik,O.等.Styleclip:Text-置及存储介质为：将所述待编辑图像在生成对抗网络的S空间将所述文本编码在所述S空间上进行映射，获取2Vision.2017,5706-5714.张雪菲,程乐超,白升利,张繁,孙农亮,王章401-409.3获取所述目标隐编码与所述第二隐编码的第二差将所述第一差值的平方与所述加权后的第二差值的平方相加得到所述图像重建编码2.根据权利要求1所述的方法，其中，所将待编辑图像输入至逆变换编码器，通过所述逆变换编码器在所述S空间中生成与所所述逆变换编码器是基于图像重建误差进行监督训练的将文本描述信息输入至所述CLIP模型的文本编辑器，对所述文本描述信息进行编码，其中，s表示目标隐编码，s_{image}表示第一隐编码，s_{text}表示第二隐编码，4通过原始图像在生成对抗网络的S空间训练逆变换编码器，得到训练好的逆变换编码通过所述训练好的逆变换编码器将所述原始图像在所述S空间进行编码，获取第三隐基于所述第三隐编码和所述第四隐编码训练所述隐编码映获取所述原始图像和目标图像特性的文本描述信基于所述第三隐编码和所述第五隐编码训练所述图像重将通过所述逆变换编码器转换得到的第三隐编码输入所述基于样式的生成对抗网络获取所述第三隐编码对应的原始图像与所述重8.根据权利要求7所述的方法，其中，所述通将所述原始图像与所述重建图像均输入ID辨别器，以得到所述原始文本获取模块，用于响应于图像编辑请求，根据所述图像编第二编码模块，用于将所述文本描述信息进行编码，获取基于文本图像对比预训练优化模块，用于将所述第一隐编码和第二隐5获取所述目标隐编码与所述第二隐编码的第二差将所述第一差值的平方与所述加权后的第二差值的平方相加得到所述图像重建编码将待编辑图像输入至逆变换编码器，通过所述逆变换编码器在所述S空间中生成与所所述逆变换编码器是基于图像重建误差进行监督训练的将文本描述信息输入至所述CLIP模型的文本编辑器，对所述文本描述信息进行编码，其中，s表示目标隐编码，s_{image}表示第一隐编码，s_{text}表示第二隐编码，第一获取模块，用于通过所述训练好的逆变换编码器将所述原始图像在所述S空间进第二训练模块，用于基于所述第三隐编码和所述第四隐编码训练所述隐编码映射器，6基于输入的所述第四隐编码输出的第六隐编码之间的余弦距离；所述第二训练模块还用第二获取模块，用于获取所述原始图像和目标图像第三训练模块，用于基于所述第三隐编码和所述第五隐编码训练所述图像重建编辑将通过所述逆变换编码器转换得到的第三隐编码输入所述基于样式的生成对抗网络获取所述第三隐编码对应的原始图像与所述重将所述原始图像与所述重建图像均输入ID辨别器，以得到所述原始所述存储器存储有可被所述至少一个处理器执行的7[0003]结合生成对抗网络的图像处理方法在图像编辑领域提供了一种便捷的图像编辑[0008]将所述文本描述信息进行编码，获取基于文本图像对比预训练CL[0009]将所述第一隐编码和第二隐编码进行距离优化，获取满足距离要求的目标隐编[0013]通过原始图像在生成对抗网络的S空间训练逆变换编码器，得到训练好的逆变换[0014]通过所述训练好的逆变换编码器将所述原始图像在所述S空间进行编码，获取第8[0021]第二编码模块，用于将所述文本描述信息进行编码，获取文本图像对比预训练[0027]第一获取模块，用于通过所述训练好的逆变换编码器将所述原始图像在所述S空9[0038]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特抗网络)及其S空间编码：StyleGAN是一个具有强大图像生成能力的模型。图1所示为8层全连接网络得到W空间的隐编码(latentcode)w，w再由仿射变换得到18份隐编码{s_[0052]StyleCLIP(StyleContrastiveLanguage-ImagePre-training，基于样式的文[0053]文本图像对比预训练CLIP模型：是一个通过对比学习在4亿对图像-文本描述对片的内容与文本描述的内容相符时，它们经由CLIP模型产生code_text_clip和code_[0055]当前的实现方案主要是采用StyleCLIP方法，该方法利用StyleGAN的编辑能力及过在StyleGAN的S空间进行隐编码编辑，能够在编辑时更好的保持文本描述以外的属性特[0062]在本申请实施例中，所述基于样式的生成对抗网络可以选择StyleGAN，或者[0065]将待编辑图像输入至逆变换编码器，通过所述逆变换编码器在所述S空间中生成[0071]所述隐编码映射器的作用是将文本描述的文本编码(code_text_clip)映射至基[0075]所述图像重建编辑器的作用是，在S空间中产生一个与图像对应的第一隐编码和[0085]本申请实施例中，所述基于样式的生成对抗网络可以选择StyleGAN，或者[0090]本申请实施例的图像处理模型训练方法，针对模型中的部分组[0092]作为一种可能的实现方式，生成所述逆变换编码器的过程结合StyleGAN2模型的[0094]将通过所述逆变换编码器转换得到的第三隐编码输入基于样式的生成对抗网络编码映射器是一个线性映射器，采用线性映射器是为了保持图片和文本描述之间的关系。目标函数的约束条件包括所述第三隐编码与所述隐编码映射器基于输入的所述第四隐编所述隐编码映射器能够将图片在CLIP模型空间的隐编码映射到StyleGAN模型的S空间，且[0120]将待编辑图像输入至逆变换编码器，通过所述逆变换编码器在所述S空间中生成[0134]对应上述图像处理模型训练方法的实施例，图8是根据本申请实施例的图像处理[0137]第一训练模块801，用于通过原始图像在生成对抗网络的S空间训练逆变换编码[0139]第二训练模块803，用于基于所述第三隐编码和所述第四隐编码训练所述隐编码[0141]第三训练模块805，用于基于所述第三隐编码和所述第五隐编码训练所述图像重[0144]将通过所述逆变换编码器转换得到的第三隐编码输入所述基于样式的生成对抗目标函数的约束条件包括所述第三隐编码与所述隐编码映射器基于输入的所述第四隐编设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系瞬时计算机可执行程序以及模块，如本申请实施例中的图像处理的方法对应的程序指令/[0161]存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系[0162]图像处理的方法的电子设备还可以包括：输入装置903和输出装置904。处理器[0163]输入装置903可接收输入的数字或字符信息，以及产生与图像处理的电子设备的[0164]此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用[0167]可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("如，本发申请中记载的各步骤可以并行地执