CN113592724B 目标人脸图像的修复方法和装置 （北京金山云网络技术有限公司）

本发明提供了一种目标人脸图像的修复方一一维特征向量输入所述训练好的StyleGan生2通过训练好的编码器从目标人脸图像中提取图像特征，生成所述将所述第一一维特征向量输入所述训练好的StyleGan生成器，所述StyleGan生成器先经过全连接层结构再经过预设个数卷积和上采样结码器先经过预设个数卷积和下采样结构再经过全连接层结构，其中，所述编码器与所述通过训练好的编码器从目标人脸图像中提取图像特征，生成所述通过所述训练好的编码器中的第一卷积和下采样结构从目标人脸图像中提取第一图通过所述训练好的编码器中的第i卷积和下采样结构从第i-1特征图中提取第i图像特通过所述训练好的编码器将所述目标特征图进行映射得到所述目标人脸图像对应的通过所述训练好的StyleGan生成器中的第一卷积和上采样结构将所述第一一维特征通过所述训练好的StyleGan生成器中的第j卷积和上采样结构将第j-1修复特征图和不超过所述预设个数的整数，k为大于1且不超过所述预设个数的整数，j从小到大进行取根据所述目标修复特征图得到所述目标人脸图像修复后的第确定训练样本集，所述训练样本集中的每组训练样本包基于所述训练样本集中的低清人脸图像样本和一维特征向量样基于所述训练样本集中的低清人脸图像样本和高清人脸图像样3基于所述训练样本集中的低清人脸图像样本和高清人脸图像样失函数，如果所述第二损失函数不满足第二预设条件，则对所述中间编码器和中间二预设条件的第二损失函数对应的编码器和StyleGan生成器为训练好的编码器和训练好将预先确定的所述一维特征向量样本输入所述中间StyleGan生成器将所述高清人脸图像样本进行缩小放大尺寸调整，并加入随机大小生成模块，用于通过训练好的编码器从目标人脸图像中提取修复模块，用于将所述第一一维特征向量输入所述训练好的Style所述StyleGan生成器先经过全连接层结构再经过预设个数卷积和上采样结码器先经过预设个数卷积和下采样结构再经过全连接层结构，其中，所述编码器与所述所述生成模块具体还用于，通过所述训练好的编码器中的第一征图进行映射得到所述目标人脸图像对应的第一一述计算机程序被执行时实现权利要求1-5中任意一项所述的目标人脸4[0001]本发明涉及图像修复技术领域，尤其是涉及一种目标人脸图像的修复方法和装过程中引起的图像信息缺失进行修复重建或者去除图像中的多余物体后的修复。现如今，[0008]通过训练好的编码器中的第一卷积和下采样结构从目标人脸图像中提取第一图的第一卷积和上采样结构将一维特征向量和第k特征图融合生成第一修复特征图；通过训练好的StyleGan生成器中的第j卷积和上采样结构将第j-1修复特征图和第k-1特征图融合5预先训练的中间StyleGan生成器对第三一维特征向量进行修复，得到第二高清人脸图像，StyleGan生成器为训练好的编码器和训练好的Style6[0026]目前的人脸生成模型StyleGan可通过随机输入的一维低精度向量生成一高清人[0028]基于此，本发明实施例提供的一种目标人脸图像的修复方法和装置，通过与7本发明实施例提供的修复方法将此低清人脸图像修复成高结构相逆即可实现为StyleGan生成器提供目标人脸图像对应一维特征8个“卷积+下采样结构”后，通过3个全连接层将特征图映射为1*512的特征向量，作为9第二一维特征向量，根据第二一维特征向量与一维特征向量样本的差异确定第一损失函第三一维特征向量；通过预先训练的中间StyleGan生成器对第三一维特征向量进行修复，定满足第二预设条件的第二损失函数对应的编码器和StyleGan生成器为训练好的编码器函数可以集合经编码器生成的一维特征向量(经过与编码器结合的生成器得到的修复高清人脸图像对应的修复一维特征向量)与通过预先训的中间StyleGan生成器生成的人脸高清图像(训练样本对应的高清人脸图像)对应的一维特征向量之卷积和上采样结构将第一一维特征向量和第k特征图融合生成第一修复特征图；通过训练好的StyleGan生成器中的第j卷积和上采样结构将第j-1修复特征图和第k-1特征图融合生集中的每组训练样本包括低清人脸图像样本、一维特征向量样本以及高清人脸图像样本；确定满足第一预设条件的第一损失函数对应的编码器为中预先训练的中间StyleGan生成器对第三一维特征向量进行修复，得到第二高清人脸图像，StyleGan生成器为训练好的编码器和训练好的Style[0084]其中，存储器301可能包含高速随机存取存储器(RandomAccessMemory，简称通过至少一个通信接口304(可以是有线或者无线)实现该系统网元与至少一个其他网元之本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器302中，或者由方法的各步骤可以通过处理器302中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器302可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegrated[0088]对应于上述跨区块链通信方法，本申请实施例还提供了一种计算机可读存储介[0089]本申请实施例所提供的人脸图像的修复装置可以为设备上的特定硬件或者安装合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，显示了根据本