CN113705290B 图像处理方法、装置、计算机设备和存储介质 （腾讯科技（深圳）有限公司）

质图像进行附加形象特征提取得到源附加形象特面部图像与对比面部图像之间的附加形象差异部更换模型。采用本方法能够提高面部更换效2对所述训练源面部图像进行附加形象特征提取，得到所述训对所述训练源面部图像进行身份特征提取，得到所述训练源面将所述训练模板面部图像输入到面部更换模型中的编码器进行将所述源附加形象特征、源身份特征以及所述面部属性特征输入到获取所述解码面部图像与对比面部图像之间的附加形象差异，基基于所述目标模型损失值调整所述编码器以及所述解码器的模2.根据权利要求1所述的方法，其特征在于，所述附加形象差异包括第一形象特征差对所述解码面部图像进行附加形象特征提取，得到所述解码面部图像确定所述源附加形象特征与所述目标附加形象特征之对所述对比面部图像的附加形象进行识别，得到所述对比面部图像确定所述附加形象区域与所述解码面部图像中对应位置的图像区域之间的图像差异，基于所述附加形象差异得到附加形象损失值，利用所述附获取所述附加形象区域中的附加像素点，从所述解码面部图3对所述附加形象区域对应的像素值差异值进行统计，得到对所述解码面部图像中所述附加形象区域对应的图像区域进行计算所述提取附加形象特征与所述解码形象特征之间的形基于所述附加形象差异得到附加形象损失值，利用所述附获取所述对比面部图像对应的非附加形象区域，确定所述非附加基于所述非附加形象差异得到非附加形象损失值，所述根据所述增强附加形象损失值与所述非附加形象损失值得到目标对所述解码面部图像进行身份特征提取，得到所述解码面部图像对应的目标身份特基于所述源身份特征与所述目标身份特征之间的身份特征差异得根据所述附加形象损失值以及所述身份损失值得到目标将所述训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形象特征所述基于所述目标模型损失值调整所述编码器以及所述解码器的模型保持所述附加形象特征提取网络的网络参数不变，基于4从所述已训练的附加图像识别模型中提取图像识别层之前的特对所述目标源面部图像进行附加形象特征提取，得到所述目标源面对所述目标源面部图像进行身份特征提取，得到所述目标源面将所述目标模板面部图像输入到已训练的面部更换模型中将所述目标源附加形象特征、所述目标身份特征以及所述目标面部其中，所述编码器和所述解码器是基于目标模型损失值调确定目标视频中的当前视频帧，将所述当前视频帧中的当前对训练源附加形象特征得到模块，用于对所述训练源面部图像进行附加形象特征提取，源身份特征得到模块，用于对所述训练源面部图面部属性特征得到模块，用于将所述训练模板面部图像输入到面解码面部图像得到模块，用于将所述源附加形象特征、源身份特征5所述附加形象损失值是所述附加形象区域与所述解码面部图像中对应位置的图像区域之像包括所述训练源面部图像或者所述解码面部图像对应的标准面部图像的第一形象特征差异得到单元，用于确定所述源附加形象第一目标模型损失值得到单元，用于基于所述第一形象特征差异得到目标模型损失附加形象区域得到单元，用于对所述对比面部图像的附附加形象差异得到单元，用于确定所述附加形象区的位置匹配的解码像素点；计算所述附加像素点与所述解码像素点之间的像素值差异值；6附加形象损失值与所述非附加形象损失值得到目标模第三目标模型损失值得到单元，用于根据所述附加形象损模块还用于将所述训练源面部图像输入到已训练的附加形象特征提取网络中进行附加形附加对象图像得到单元，用于获取附加对象图训练单元，用于利用所述附加对象图像对待训练的附加图像特征提取层提取单元，用于从所述已训练的附加图像识别模目标源附加形象特征得到模块，用于对所述目标源面部图像进行附加形象特征提取，面部更换图像得到模块，用于将所述目标源附加形象特征、所述7其中，所述编码器和所述解码器是基于目标模型损失值调理器执行时实现权利要求1至11中任一项所述的方法8[0004]然而，现有的换脸技术得到的图像与理想的换脸后的图9于对所述对比面部图像的附加形象进行识别，得到所述对比面部图像对应的附加形象区差异得到附加形象损失值，利用所述附加形象增强值对所述附加形象损失值进行增强处象特征、源身份特征以及所述面部属性特征输入到所述面部更换模型中的解码器进行解部图像的至少一个；基于所述目标模型损失值调整所述编码器以及所述解码器的模型参源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解标身份特征；将所述目标模板面部图像输入到已训练的面部更换模型中的编码器进行编[0038]人工智能(ArtificialIntelligence,AI)是利用数字计算机或者数字计算机控[0040]计算机视觉技术(ComputerVision,CV)计算机视觉是一门研究如何使机器“看”源附加形象特征、源身份特征以及面部属性特征输入到面部更换模型中的解码器进行解和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集像是对模型进行训练的源面部图像，训练模板面部图像是对模型进行训练的模板面部图面部图像与训练模板面部图像具有不同的属性信息。属性信息指的是与形象相关的信息，训练模板面部图像中可以包括眼镜也可以不的源附加形象特征是对训练源面部图像进行附加特征提取所得到的附特征以及面部属性特征生成解码面部图像。解码面部图像是解码器基于源附加形象特征、括训练源面部图像或者解码面部图像对应的标准面部图像[0070]附加形象差异用于反映解码面部图像与对比面部图像中包括的附加物体之间的同的区域。对比附加形象特征可以包括源附加形象特征或标准附加形象特征中的至少一个，标准附加形象特征是对标准面部图像进行附加形象特征提取所得到的附加形象特征。[0072]具体地，服务器可以将解码面部图像输入到已训练的附[0075]在一些实施例中，服务器可以计算目标身份特征与对比result_id_feature与src_id_feature之间的余弦相似度(cosine相似度)，即身份特征相目标模型损失值下降的方向调整面部更新模型中的模型参数，得到已训练的面部更新模将第一人脸图像中的五官和轮廓替换至第二人脸图像中，以实现对第二人脸图像进行换[0085]视频换脸指的是将一张人脸图像(记作原始人脸图像)中的人脸更换到另外一张[0091]具体地，服务器可以将解码面部图像输入到已训练的附glass_loss表示眼镜损失值，result_glass_feature表示目标眼镜特征，src_glass_feature表示源眼镜特征。cosine_similarity(result_glass_feature,src_glass_feature)表示result_glass_feature与src_glass_feature之间的余弦相似度，即附加特[0094]glass_loss＝1-cosine_similarity(result_glass_feature,src_glass_加形象差异得到附加形象损失值，利用附加形象增强值对附加形象损失值进行增强处理，确定附加形象区域的区域位置信息，从解码面部图像中确定该区域位置信息对应的区域，是特征上的差异。附加形象差异还可以包括第二形象特征差异或差异统计值中的至少一非附加形象区域中的像素点对应的掩膜值(记作第二掩膜值)，第一掩膜值大于第二掩膜强值与非附加形象区域对应的第二掩膜值成正相关关系。当附加形象区域为眼镜区域时，以根据需要设置，例如可以为5。mask_weight包括眼镜增强值以及非眼镜增强值，mask_weight中的眼镜增强值根据glass_mask中的眼镜区域对应的掩膜值计算得到，mask_weight中的非眼镜增强值根据glass_mask中的非眼镜区域对应的掩膜值计算得到，例如，[0105]例如，可以利用公式(6)计算得到增强非附加形象损失值以及增强附加形象损失面部图像与标准面部图像在像素上的差异，包括非附加形象损失值以及附加形象损失值，Reconstruction_loss中包括增强非附加形象损失值以及增强附加形象损失值，(即非眼镜增强值)与|result-gt_img|中的非附加形象损失值的乘积，Reconstruction_loss中的增强附加形象损失值，是mask_weight中的附加形象增强值(即眼镜增强值)与|result-gt_img|中的附加形象损失值的乘积。Reconstruction_loss可以称为重构损失函即提高解码面部图像中的附加物体与训练源面部图像中的附加物体之间象特征是对解码面部图像中附加形象区域进对应的图像区域进行特征提取所得到的特征。络模型中，利用预设神经网络模型的一个或多个特征提取层对附加形象区域进行特征提增强附加形象损失值与非附加形象损失值得到目标模[0118]具体地，服务器可以利用非附加形象增强值对非附加形特征以及非匹配形象特征之间的差异，基于各个差异进行统计计算得到非形象特征差异，型中并输出result在alexnet网络模型的四个特征提取层所输出的特征，result_fea1、result_fea2、result_fea3以及result_fea4分别为四个特征提取层中的各个特征提取层所输出的解码面部图像result的解码面部特征。alexnet_feature(gt_img)表示将标准面部图像gt_img输入到alexnet网络模型中并输出gt_img在alexnet网络模型的四个特征提特征提取层中的各个特征提取层所输出的标准面部图像gt_img的标[0121]result_fea1,result_fea2,result_fea3,result_fea4＝alexnet_feature(result)(7)gt_img_fea1,gt_img_fea2,gt_img_fea3,gt_img_fea4＝alexnet_feature以称为LPIPS(LearnedPerceptualImagePatchSimilarity)损失函数，LPIPS损失也可[0124]本实施例中，根据增强附加形象损失值与非附加形象损失值得到目标模型损失附加形象损失值以及身份损失值得到目标模型[0126]具体地，目标身份特征是对解码面部图像进行身份特征提取所得到的身份特特征提取网络的网络参数不变，基于目标模型损失值调整编码器以及解码器中模型参数，[0136]本实施例中，从已训练的附加图像识别模型中提取图像识别层之前的特征提取D(result_1/2)以及D(result_1/4)分别表示将原始大小的解码面部图像、1/2原始大小的像的原始大小与解码面部图像的原始大小可以份与目标源面部图像的身份一致。面部更换图像中的面部与目标源面部图像的面部匹配，例如可以是图4中的人脸图像(b),面部更换图像例如可以是图4中的人脸图像(c),人脸图括的对象。目标对象的参考对象指的是对目标对象进行面部替换时使用的面部所属的对码特征中可以包括训练模板人脸图像对应的人脸属性特征以及训练源人脸图像的图像特算模块可以基于其所包括的眼镜特征损失函数，对目标眼镜特征以及源眼镜特征进行计区域与附加形象区域之间差异得到第二附加形象损失值以及第三附加形象损失值。如图5附加形象区域进行得到提取得到附加形象特征，对眼镜区域进行特征提取得到眼镜特征，二游戏人脸图像中的人脸替换为第一游戏人物[0164]将已训练的人脸更换模型应用于游戏人物设计中，可以快速生成特定风格的角是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或[0170]训练源附加形象特征得到模块804，用于对训练源面部图像进行附加形象特征提[0172]面部属性特征得到模块808，用于将训练模板面部图像输入到面部更换模型中的[0174]目标模型损失值得到模块812，用于获取解码面部图像与对比面部图像之间的附[0175]已训练的面部更换模型得到模块814，用于基于目标模型损失值调整编码器以及[0179]第一目标模型损失值得到单元，用于基于第一形象特征差异得到目标模型损失得到提取附加形象特征；对解码面部图像中附加形象区域对应的图像区域进行特征提取，到非附加形象损失值，非附加形象损失值对应的非附加形象增强值小于附加形象增强值；根据增强附加形象损失值与非附加形象损失值得到目标[0193]在一些实施例中，训练源附加形象特征得到模块804还用于将训练源面部图像输的源附加形象特征；已训练的面部更换模型得到模块814还用于保持附加形象特征提取网[0200]目标源附加形象特征得到模块904，用于对目标源面部图像进行附加形象特征提[0202]目标面部属性特征得到模块908，用于将目标模板面部图像输