CN113297933B 一种图像生成方法及相关装置 （广州虎牙科技有限公司）

本申请公开了一种图像生成方法及相关装络是利用第二领域的图像生成器网络的部分卷积层替换掉第一领域的图像生成器网络对应的络是利用第二领域的数据集对第一领域的图像是通过第二领域的图像生成器网络多次迭代训2图像生成网络是利用所述第二领域的图像生成器网络的部分卷积层替换掉所述第一领域通过第二图像生成网络对所述初始图像进行修复，得到所述原始图像在将所述第一领域的图像生成器网络为初始网络，利用所述设定所述通过超分辨率算法对所述数据集进行调整，得到设定分辨率的数据集的步骤之所述第一领域的图像生成器和所述第二领域的图像生成器均包括采集第一人脸特征所述将所述第一领域的图像生成器网络为初始网络，利用所述设定分将所述第二领域的所述第二人脸特征的卷积层替换掉所述第一领域的所述第二人脸3所述利用风格融合技术以及截断技巧修改所述图像的风格属性4像生成器网络是利用第二领域的数据集对所述第一领域的图像生成器网络进行迁移学习[0007]其中，利用第一图像生成网络将原始图像转换为第二领域的初始图像的步骤包56像翻译问题。对于一对一图像翻译问题使用的数据集是成对数据(paireddata)还是不成要手动绘制每一张二次元图片。监督训练的代表方法有pix2pix(pixel_to_pixel)，pix2pixHD(pixel_to_pixelhighdefinition)以及pSp(pixel_to_style_to_pixel)方生成结果较差。无监督训练的代表方法有CycleGAN(Cycle_consistentGAN)和DiscoGAN[0032]卷积层交换技术(convolutionallayerswapping)基于StyleGAN(一种生成对抗网络)先训练一个随机生成A域数据的生成网络，再以这个网络权重为初始化对B域数据做7[0044]第一领域的图像生成器网络包括第一领域的图像生成器网络权重和第一领域的为生成第二领域图像的生成器网络/生成对抗网络。第一领域的图像生成器网络为生成第像生成器网络权重为初始化向第二领域的数据集做迁移学习得到第二领域的图像生成器8将该第二领域数据集中的所有图片调整到1024×102成器从高斯分布中随机采样512维的z向量，z向量再通过FC(fullyConnection)网络映射的图像生成器网络的生成包括z向量通过映射网络映射到w隐向量，将w隐向量控制的第一领域图像生成器网络的权重输入至第二领域图像生成器网络结构中进行迭代训练得到第[0053]步骤S23：将第二领域的图像生成器网络的部分卷积层替换掉第一领域的图像生层和第二领域的高层卷积层互相交换就可以做到从一个数据域到另一个数据域网络权重为初始化做迁移迭代学习得到的第二领域的图像生成器网络的卷积层权重，其个新的图像生成器网络，即为构建本实施例中的第一图像生成器网络。在本实施例中，多会由于第一领域的图像生成器网络和第二领域的图像生成器网络的权重分布差异太大9像生成网络是由经过低迭代训练得到的第二领域的图像生成器网络卷积层与第一领域的像生成器网络的迭代次数小于10K能保证输入第一领域图像能输出较好地第二领域图像。第二图像生成网络是利用第二领域的数据集对所述第一领域的图像生成器网络进行多次图像生成网络是利用第一领域的图像生成器网络的权重和第二领域的数据集对StyleGAN2像输入至第一图像生成器网络(Latent_1)中将第一领域的原始图像转换为第二领域的初像生成器网络的部分卷积层替换掉第一领域的图像生成器网络对应的部分卷积层后得到网络进行迁移学习得到的，第一领域的图像生成器网络是利用现有的StyleGAN2网络得到风格融合技术(Style_mixing)和截断技巧(truncation_trick)修改第二领域图像的风格积层替换掉第一领域的图像生成器网络对应的部分卷积[0069]本实施例中，获取第一图像生成网络之前还包括获取第二领域的图像生成器网[0080]其中，第二图像生成网络是通过第二领域的图像生成器网络多次迭代训练得到域的图像生成器包括从高斯分布中随机采样512维的z向量，z向量再通过全连接层(FC)网像的隐向量通过风格融合技术(Style_mixing)以及截断技巧(truncation_trick)做到特络将第一领域的原始图像转换成第二领域图像，获取第二领域图像的w隐向量空间特征信融合技术(Style_mixing)将生成的第二领域图像的1_7层w隐向量和随机采样的样本的8_[0084]本实施例中的步骤S54包括：利用风格融合技术以及截断技巧对图像生成器网络执行存储器702存储的程序指令以实现上述任一方法实施例中的步骤或者上述任一方法实信号处理器(DigitalSignalProcessor,DSP)、专用集成电路(ApplicationSpecific[0089]计算机可读存储介质80包括计算机可读存储介质80上存储的计算机程序801，计算机程序801被上述处理器执行时实现上述任一方法实施例中的步骤或者上述方法实施例质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现