CN111783603B 生成对抗网络训练方法、图像换脸、视频换脸方法及装置 （有半岛(北京)信息科技有限公司）

本发明实施例公开了一种生成对抗网络训对混合特征图进行解码得到第二人脸替换第一2初始化生成对抗网络的判别器的参数、生成器的编码网络和将所述原图像和所述目标图像输入所述生成器中进行训练获得将所述原图像和所述换脸图像输入所述判别器进行训练根据所述判定值、所述换脸图像、所述原图像和所述目标图像对所述生成器所述生成器用于从所述原图像提取第一人脸的属性特征图，包对所述原图像进行编码处理得到所述第一人脸的属特征图和所述上采样特征作为所述上采样卷积层的将所述目标图像输入所述身份提取网络中提取所述第二人采用所述残差网络将所述身份特征注入所述属性特征图中得到混基于所述属性特征图和所述身份特征，采用所述解码网络对所述混合特征图进行解将所述预处理后的原图像输入所述编码网络中，获得每个下采样其中，所述预处理包括调整图像尺寸，所述编码网络的最将所述身份特征均值、身份特征方差以及所述属性特征图输入所述残差网络中3过所述残差网络将所述身份特征迁移到所述属性特征图上得到根据所述总损失对所述生成器和所述判别器的参将两张所述原图像输入所述生成器中获得所述原图计算所述对抗损失、所述重构损失、所述关键点损失和所述身计算所述原图像和所述换脸图像中人脸的关键点将所述目标图像和所述换脸图像分别输入所述身份提取网络中，得到计算所述目标图像中人脸的身份特征和所述换脸图像中人脸的身份特征的距离得到若否，根据所述对抗损失调整所述判别器的参数，以及根据所述将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到从所述视频数据中提取包含第一人脸的视频图像4将所述原图像和所述目标图像输入生成对抗网络的生成器中，得到原图像和目标图像获取模块，用于获取包含第一人脸的原图生成对抗网络初始化模块，用于初始化生成对抗网络的判别器网络和解码网络的参数，以及获取训练好的用于所述生成器中的残差网络和身份提取网生成器训练模块，用于将所述原图像和所述目标图像输入所述生成器用于从所述原图像提取第一人脸的属性特征图，包对所述原图像进行编码处理得到所述第一人脸的属特征图和所述上采样特征作为所述上采样卷积层的原图像和目标图像获取模块，用于获取包含第一人脸的原图5视频换脸模块，用于将所述原图像和所述目标图像输入6像中无法同时保持原图像的属性特征和目标图征和所述属性特征图对所述混合特征图进行解码得到所述第二人脸替换所述第一人脸后7像中提取第二人脸的身份特征，并将所述身份特征注入所述属性特征图中生成混合特征[0034]图像换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器8[0040]视频换脸模块，用于将所述原图像和所述目标图像输入生成对抗网络的生成器目标图像中提取第二人脸的身份特征，并将身份特征注入属性特征图中生成混合特征图，以及根据身份特征和属性特征图对混合特征图进行解码得到第二人脸替换第一人脸后的9[0060]图1为本发明实施例一提供的一种生成对抗网络训练方法的步骤流程图，本发明生成混合特征图，以及在解码网络中根据身份特征和属性特征图对混合特征图进行解码，使得训练生成器和判别器构成动态的“博弈过程”，最终训练好的生成器生成的图像足以于真实图像的概率。码网络和解码网络的参数进行调整，以及根据对抗损失求梯度以对判别器的参数进行调下采样卷积层均输出一个下采样特征图ef。如图2B所示，编码网络301最终输出第一人脸[0085]S205、采用所述残差网络将所述身份特征注入所述属性特征图中得到混合特征以通过残差网络将身份特征迁移到属性特征图上得到[0091]本发明实施例通过残差网络可以将第二人脸的身份特征注入到第一人脸的属性每个上采样卷积层均输入上采样特征rp,对于解码网络中的某一个上采样卷积层i，可以确定该上采样卷积层i在编码网络中对应的下采样卷积层，并获得该下采样卷积层输出的下采样特征将和进行相加后进行上采样输出上采样特征作为下一上采样卷[0105]上述公式中，G(Xi)为生成器生成的换脸图像，D(G(Xi))为i)为真实图像的判定值。人脸的换脸图像，然后计算该重构原图像的重构损失，示例性地，记采用两张原图像为发明实施例对梯度算法和对参数调整更新的方法不加[0128]图3为本发明实施例三提供的一种图像换脸方法的步骤流程图，本发明实施例可征和属性特征图对混合特征图进行解码得到第二人脸替换第一人[0137]图4为本发明实施例四提供的一种视频换脸方法的步骤流程图，本发明实施例可征和属性特征图对混合特征图进行解码得到第二人脸替换第一人[0149]本发明实施例获取待换脸视频数据后，从视频数据中提取包含第一人脸的原图[0151]图5是本发明实施例五提供的一种生成对抗网络训练装置的结构框图，如图5所[0152]原图像和目标图像获取模块501，用于获取包含第一人脸的原图像和包含第二人[0154]生成器训练模块503，用于将所述原图像和所述目标图像输入所述生成器中进行[0155]判别器训练模块504，用于采用所述原图像和所述换脸图像训练所述判别器得到[0160]原图像和目标图像获取模块601，用于获取包含第一人脸的原图像和包含第二人[0161]图像换脸模块602，用于将所述原图像和所述目标图像输入生成对抗网络的生成[0163]本发明实施例所提供的图像换脸装置可执行本发明实施例三所提供的图像换脸[0167]原图像提取模块702，用于从所述视频数据中提取包含第一人脸的视频图像作为[0169]视频换脸模块704，用于将所述原图像和所述目标图像输入生成对抗网络的生成[0172]本发明实施例所提供的视频换脸装置可执行本发明实施例四所提供的视频换脸本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、