CN113569791A 图像处理方法及装置、处理器、电子设备及存储介质 （北京市商汤科技开发有限公司）

脸姿态图像进行人脸关键点提取处理获得所述2对所述参考人脸图像进行编码处理获得所述参考人脸分别对所述参考人脸图像和所述目标图像进行人依据所述第二人脸掩膜和所述第三人脸掩膜之间的像素值的差异，确定第四人脸掩通过多层编码层对所述参考人脸图像进行逐级编码依据所述第二人脸掩膜和所述第三人脸掩膜中相同位置的像素点的像素值之间的平均值，所述第二人脸掩膜和所述第三人脸掩膜中相同位置的像素点的像素值之间的方差，依据所述仿射变换形式对所述第二人脸掩膜和将训练样本输入至所述人脸生成网络，获得所述训述第一重构图像通过对所述样本人脸图像编根据所述样本人脸图像和所述第一生成图像的人脸特征3述第一样本人脸图像中的人脸纹理信息和所述第一生成图像中的人脸纹理信息的差异获将所述第二样本人脸图像和第二样本人脸姿态图像输根据所述第二样本人脸图像和所述第二生成图像的人脸据所述第二样本人脸图像中的人脸纹理信息和所述第二生成图像中的人脸纹理信息的差7.根据权利要求1至3中任意一项所述的方法，其特将所述待处理人脸图像作为所述参考人脸图像，将所第一处理单元，用于对所述参考人脸图像进行4人脸关键点提取处理单元，用于分别对所述参考确定单元，用于依据所述第二人脸掩膜和所述第三人脸通过多层编码层对所述参考人脸图像进行逐级编码依据所述第二人脸掩膜和所述第三人脸掩膜中相同位置的像素点的像素值之间的平均值，所述第二人脸掩膜和所述第三人脸掩膜中相同位置的像素点的像素值之间的方差，以及依据所述仿射变换形式对所述第二人脸掩膜和所述第三人脸掩膜进行仿射变换，将训练样本输入至所述人脸生成网络，获得所述训述第一重构图像通过对所述样本人脸图像编根据所述样本人脸图像和所述第一生成图像的人脸特述第一样本人脸图像中的人脸纹理信息和所述第一生成图像中的人脸纹理信息的差异获5将所述第二样本人脸图像和第二样本人脸姿态图像输根据所述第二样本人脸图像和所述第二生成图像的人脸据所述第二样本人脸图像中的人脸纹理信息和所述第二生成图像中的人脸纹理信息的差15.一种处理器，其特征在于，所述处理器用于执行如权利要求1至7任一项所述的方6[0003]传统方法通过将大量包含目标人物的人脸的图像作为训练集对神经网络进行训脸姿态图像；对所述参考人脸图像进行编码处理获得所述参考人脸图像的人脸纹理数据，并对所述参考人脸姿态图像进行人脸关键点提取处理获得所述人脸姿态图像的第一人脸数据；所述n级目标处理中的第i级目标处理包括对所述第i级目标处理的输入数据和调整7[0008]在该种可能实现的方式中，通过在对第一人脸掩膜和第一人脸纹理数据进行n级目标处理的过程中对目标处理的输入数据与调整尺寸后的第一人脸掩膜进行融合可提升[0009]在另一种可能实现的方式中，所述对所述第i级目标处理的输入数据和调整所述考人脸图像的人脸纹理数据之后，所述方法还包括：对所述人脸纹理数据进行j级解码处第r级解码处理的输出数据的尺寸与所述第i级目标处理的输入数据的尺寸相同；所述r为数据在通道维度上合并实现对第r级解码处理的输入数据的信息与第i级目标处理的输入8核对所述第i级人脸掩膜进行卷积处理获得第一特征数据，并使用第二预定尺寸的卷积核对所述第i级人脸掩膜进行卷积处理获得第二特征数据；依据所述第一特征数据和所述第二特征数据确定归一化形式；依据所述归一化形式对所述第i级目标处理的被融合数据进数据和第二特征数据对第i级目标处理的被融合数据进行归一化处理，以提升人脸纹理数二特征数据确定仿射变换的形式，并根据仿射变换的形式对第i级目标处理的被融合数据[0021]在又一种可能实现的方式中，所述依据所述人脸纹理数据和所[0024]在该种可能实现的方式中，通过多层编码层对参考人脸图像9[0030]在该种可能实现的方式中，根据第二人脸掩膜和第三人脸掩膜确定仿射变换形所述第一样本人脸图像中第四像素点的像素值和所述第一生成图像中第五像素点的像素第二样本人脸姿态图像通过在所述第二样本人脸图像中添加随机扰动以改变所述第二样样本人脸图像中第十像素点的像素值和所述第二重构图像中第十一像素点的像素值的差十像素点在所述第二样本人脸图像中的位置和所述第十一像素点在所述第二重构图像中所述人脸生成网络的第二网络损失；基于所述第二网络损失调整所述人脸生成网络的参处理人脸图像作为所述参考人脸图像，将所述待处理视频的图像作为所述人脸姿态图像，级目标处理，获得所述目标图像；所述n级目标处理包括第m_1级目标处理和第m级目标处标处理的输出数据为所述第m级目标处理的输入数据；所述n级目标处理中的第i级目标处理包括对所述第i级目标处理的输入数据和调整所述第一人脸掩膜的尺寸后获得的数据依数据进行j级解码处理；所述j级解码处理中的第1级解码处理的输入数据为所述人脸纹理解码处理的输出数据与所述第i级目标处理的输入数据进行合并，获得第i级合并后的数第i级目标处理的输入数据的尺寸相同；所述r为大于或等于1且小于或等于所述j的正整出数据与所述第i级目标处理的输入数据在通道维度上合并，获得所述第i级合并后的数核对所述第i级人脸掩膜进行卷积处理获得第一特征数据，并使用第二预定尺寸的卷积核对所述第i级人脸掩膜进行卷积处理获得第二特征数据；以及依据所述第一特征数据和所述第二特征数据确定归一化形式；以及依据所述归一化形式对所述第i级目标处理的被融包括第s层编码层和第s+1层编码层；所述多层编码层中的第1层编码层的输入数据为所述一像素点的像素值与所述目标图像中的第二像素点的像素值之间的差异与所述第四人脸第二像素点在所述目标图像中的位置以及所述第三像素点在所述第四人脸掩膜中的位置[0050]在又一种可能实现的方式中，所述装置执行的图像处理方法应用于人脸生成网样本人脸图像中第四像素点的像素值和所述第一生成图像中第五像素点的像素值的差异第七像素点的像素值的差异获得第四损失；根据所述第一生成图像的真实度获得第五损第二样本人脸姿态图像通过在所述第二样本人脸图像中添加随机扰动以改变所述第二样样本人脸图像中第十像素点的像素值和所述第二重构图像中第十一像素点的像素值的差十像素点在所述第二样本人脸图像中的位置和所述第十一像素点在所述第二重构图像中所述人脸生成网络的第二网络损失；基于所述第二网络损失调整所述人脸生成网络的参使所述处理器执行如上述第一方面及其任意一[0069]图11为本申请实施例提供的一种基于参考人脸图像和参考人脸姿态图像获得的[0076]应用本申请实施例提供的技术方案可实现将参考人脸图像中目标人物的面部表[0082]获取参考人脸图像和/或参考人脸姿态图像的方式可以是接收用户通过输入组件人脸姿态图像进行人脸关键点提取处理获得人脸姿出数据为激活处理的输入数据。卷积处理可通过卷积核对输入编码层的数据进行卷积实[0089]上述人脸轮廓关键点和五官关键点可根据用户实施本申请实施例的实际效果进目标图像中的人脸纹理数据均为李四的人脸纹理数据，也就是说目标图像中的人物是李[0095]在102中，本申请实施例通过对参考人脸图像进行编码处理以获得参考人脸图像像中获得目标人物人脸纹理数据，且目标人物的人脸纹理数据不包含目标人物的人脸姿提高获得的目标图像中的人物的人脸纹理数据与参考人脸图像的人脸纹理数据的匹配度，度信息、人脸皮肤的皱纹信息、人脸皮肤的纹理信息的相似度就越高(在用户的视觉感受标人物的人脸纹理数据又包含目标人脸姿态的融合数据，再通过对融合数据进行解码处[0097]在另一种可能实现的方式中，通过多层解码层对人脸纹理数据进行逐级解码处理，可获得不同尺寸下的解码后的人脸纹理数据(即不同的解码层输出的解码后的人脸纹掩膜融合后的数据作为第三层解码层的输入数据，…,将第七层解码层的输出数据与第七级人脸掩膜的尺寸与第二层解码层的输出数据的尺寸相同，…,第七级人脸掩膜的尺寸与数据中的相同位置的元素可参见图4，元素a在数据A中的位置与元素e在数据B中的位置相[0101]本实施例通过对参考人脸图像进行编码处理可获得参考人脸图像中目标人物的人脸纹理数据，通过对参考人脸姿态图像进行人脸关键点提取处理可获得第一人脸掩膜，[0104]对参考人脸姿态图像进行人脸关键点提取处理获得参考人脸姿态图像的第一人即上一层编码层的输出数据为下一层编码层的输入数据。假定多层编码层包括第s层编码码层的输出数据为第s+1层编码层的输入数据，最后一层编码层的输出数据为参考人脸图[0106]通过多层编码层对参考人脸图像进行逐级编码处理可从参考人脸图像中提取出实现，通过BN层对卷积处理后的数据进行批归一化处理使卷积处理后的数据符合均值为0高处理速度，且后续处理可基于任意参考人脸图像的人脸纹理数据以及任意人脸姿态(即[0109]请参阅图6，图6为本申请实施例(三)提供的实施例(一)103的一种可能实现的方被融合数据，对第1级目标处理的被融合数据与第1级人脸掩膜进行融合处理获得第1级融膜进行下采样处理获得。且第1级人脸掩膜的尺寸与第1级目标处理的输入数据的尺寸相[0116]n级目标处理中的任意一级目标处理通过对该目标处理的输入数据和调整第一人的第i级目标处理通过对第i级目标处理的输入数据和调整第一人脸掩膜的尺寸后获得的[0117]通过将不同尺寸的人脸掩膜(即调整第一人脸掩膜的尺寸后获得的数据)与不同过解码处理中的归一化处理对融合后的数据进行归一化处理时会使不同尺寸的人脸掩膜[0121]可选的，使用第一预定尺寸的卷积核对第i级人脸掩膜进行卷积处理获得第一特[0122]在一种可能实现的方式中，通过对第i级目标处理的输入数据进行仿射变换可实对第i级目标处理的输入数据进行仿射变换即对第i级目标处理的输入数[0124]在确定归一化形式后，可依据归一化形式对第i级目标处理的输入数据进行归一[0127]在一种可能实现的方式中，如图8所示，重构解码层的数量与目标处理的数量相同，且第r级解码处理的输出数据(即第r级重构解码层的输出数据)的尺寸与第i级目标处(concatenate)。此处对第i级被融合后的数据进行第i级目标处理的过程可参见上一种可[0128]需要理解的是，图7中的目标处理中第i级被融合的数据为第i级目标处理的输入[0129]需要理解的是，图7和图8中目标处理的数量以及图8中合并的次数均为本申请实大，因此合并的次数可根据用户的实际使用情况进行调整，例如可以使用部分(如最后几[0131]本申请实施例还提供了一种通过对参考人脸图像的人脸掩膜和目标图像的人脸尺寸以及第三人脸掩膜的尺寸以及参考人脸图像的尺寸以及参考目标图像的尺寸均相同。第二人脸掩膜包括参考人脸图像中的人脸轮廓关键点的位置信息和五官关键点的位置信[0135]902、依据第二人脸掩膜和第三人脸掩膜之间的像素值的差异，确定第四人脸掩膜中相同位置的像素点的像素值之间的方差(下文将称为像素方差)，确定仿射变换形式。的人脸纹理数据与参考人脸图像中的人脸纹理数据的匹配度就越高。而通过步骤902的处理，可确定参考人脸图像与目标图像中相同位置的像素点的像素值的差异(下文将称为像gen[0145]通过I*(1_mask)可强化目标图像中与参考人脸图像的像素值差异小的位置的gen像素值，并弱化目标图像中与参考人脸图像的像素值差异大的位置的像素值。通过Iref*图像的细节与参考人脸图像的细节匹配度。在通过Iref*mask获得的图像中的位置与像素点a在参考人脸图像中的位置相同)，且通过gengenI*(1_mask)获得的图像中的像素点e的像素值为0(像素点d在通过I*(1_gengen脸图像的编码处理和解码处理获得的不同尺寸的人脸纹理数据(包括图中的人脸纹理数据和每个解码层的输出数据)的质量高(此处的质量高指不同尺寸的人脸纹理数据包含的信定尺寸的卷积核和第二预定尺寸的卷积核对第一级人脸掩膜或第二级人脸掩膜或第三级[0153]通过对人脸纹理数据进行逐级解码处理获得重构图像的过程中解码层的输出数据与对人脸纹理数据进行逐级解码获得目标图像的过程中解码层的输出数据进行[0155]基于上述实现思想以及实现方式，本申请提供了一种人脸生成以使训练后的人脸生成网络可从参考人脸姿态图像中获得高质量的人脸掩膜(即人脸掩膜包含的人脸姿态信息与参考人脸姿态图像包含的人脸姿态信息的匹配度高)，以及从参考人脸图像中获得高质量的人脸纹理数据(即人脸纹理数据包含的人脸纹理信息与参考人脸图像包含的人脸纹理信息的匹配度高)，并可基于人脸掩膜和人脸纹理数据获得高质量的脸图像中提取的人脸纹理特征的效果越好(即提取出的人脸纹理特征包含的人脸纹理信息与第一样本人脸图像包含的人脸纹理信息的匹配度高)，后续获得的第一生成图像的质量越高(即第一生成图像包含的人脸纹理信息与第一样本人脸图像包含的人脸纹理信息的匹与第一样本人脸图像中的人物的相似度就越高(从用户的视觉感官上，第一生成图像中的[0159]第一生成图像与第一样本人脸图像的整体相似度越高(此处的整体相似度包括：图像中除人脸区域外的图像内容与第一样本人脸图像中除人脸区域外的图像内容的相似解码处理后的人脸纹理数据(即基于人脸纹理数据获得第一重构图像过程中每层解码层的输出数据)与基于人脸纹理数据获得第一生成图像过程中每层解码层的输出数据进行数据获得第一重构图像的过程中每层解码层的输出数据的质量越高(此处指解码层的输出数据包含的信息与第一样本人脸图像包含的信息的匹配度高)，获得的第一生成图像的质人脸生成网络中的多层编码层对参考人脸图像进行逐级编码处理获得人脸纹理数据时更专注于从参考人脸图像中提取人脸纹理特征，而不从参考人脸图像中提取人脸姿态特征，过人脸生成网络生成的图像，即第一生成图像不是真实图像(即通过摄像器材或摄影器材用户的视觉角度来看，第一生成图像就越像真实图像)，可通过生成对抗网络损失L5…公式(2)5均为任意自然数。第二重构图像。再根据第二样本人脸图像和第二生成图像获得第六损失(获得第六损失的过程可参见根据第一样本人脸图像和第一生成图像获得第一损失的过程)，根据第二样本人脸图像和第二生成图像获得第七损失(获得第七损失的过程可参见根据第一样本人脸图像和第一生成图像获得第二损失的过程)，根据第二样本人脸图像和第二生成图像获得第八损失(获得第八损失的过程可参见根据第一样本人脸图像和第一生成图像获得第三损失见根据第一样本人脸图像和第一重构图像获得第四损失的过程)，根据第二生成图像获得L9L10…公式(3)均为任意自然数。=α=α数据的映射关系。在应用训练好的人脸生成网络获得目标图像时，若参考人脸图像中存在纹理数据，并从训练过程中学习到的人脸纹理数据中确定与d的人脸纹理数据匹配度最高定与目标人脸纹理数据对应的目标牙齿信息。并根据目标牙齿信息确定目标图像e中的牙任意参考人脸图像中获取人脸纹理数据，再基于人脸掩膜和人脸纹理数据可获得目标图生成网络和人脸生成网络的训练方法，本申请实施例(六)提供了几种可能实现的应用场[0183]人们在对人物进行拍摄时，由于外界因素(如被拍摄人物的移动，拍摄器材的晃处理可获得该人物的人脸纹理数据，最后基于人脸掩膜和人脸纹理数据可获得目标图像。中演员的脸替换成自己的脸后的效果。B可将自己的照片(即待处理人脸图像)和该段视频作为参考人脸姿态图像，利用本申请提供的技术方案对B的照片和视频中每一帧图像进行目标处理的输出数据为所述第m级目标处理的输入数据；所述n级目标处理中的第i级目标处理包括对所述第i级目标处理的输入数据和调整所述第一人脸掩膜的尺寸后获得的数据纹理数据进行j级解码处理；所述j级解码处理中的第1级解码处理的输入数据为所述人脸第r级解码处理的输出数据与所述第i级目标处理的输入数据进行合并，获得第i级合并后积核对所述第i级人脸掩膜进行卷积处理获得第一特征数据，并使用第二预定尺寸的卷积核对所述第i级人脸掩膜进行卷积处理获得第二特征数据；以及依据所述第一特征数据和所述第二特征数据确定归一化形式；以及依据所述归一化形式对所述第i级目标处理的被层包括第s层编码层和第s+1层编码层；所述多层编码层中的第1层编码层的输入数据为所中的第一像素点的像素值与所述目标图像中的第