CN114037802B 三维人脸模型重建方法、装置、存储介质及计算机设备 （Oppo广东移动通信有限公司）

测纹理贴图以及标准纹理贴图构建的代价函数2获取与所述样本二维图像对应的标准三维人脸模型以及创建初始人脸重建模型，并将所述样本二维对所述预测三维人脸模型进行平滑处理得到平滑预测三维将所述预测三维人脸模型进行二维投影得到预测二维图像，并基于所述预测三维人脸模型中的各顶点与所述标准三维人脸模型中的各顶点构建第基于所述预测三维人脸模型中的各顶点与平滑预测三维人脸模型中的各顶点构建第三维人脸模型中的第i个顶点，所述v"ooth为所述平滑预测三维人脸模型中的第i个顶基于所述预测二维图像中的人脸关键点与样本二维图像中的人脸关键点构建第三代价函数：L;="MSE(lmk,Imkcri)/M,其中所述M为人脸关键点个数，所述基于所述预测纹理贴图中的各像素与所述标准纹理贴图中的各像素构建第四代价函对所述第一代价函数、所述第二代价函数、所述第三代价函数以基于所述代价函数对所述初始人脸重建模型进行训练，得到训练完成的人脸重建模将所述目标二维图像输入至所述人脸重建模型中，输出所述目标基于所述目标三维人脸模型以及所述目标纹理贴图，生成包含纹的人脸重建模型中，输出所述目标二维图像对应的目标三维人脸模型以及目标纹理贴图，将所述目标二维图像输入至训练完成的人脸重建模型中，输出所述3所述基于所述目标三维人脸模型以及所述目标纹理贴图，生成包含纹理基于所述风格化三维人脸模型以及所述风格化纹理贴图，生成包含基于所述样本二维图像中的人脸关键点对所述平均脸三维模型进行约获取所述标准三维人脸模型中各顶点的UV坐标，基于各顶点的基于所述样本二维图像中的人脸关键点对所述平均脸三基于所述第一投影参数对所述约束三维人脸模型进行投影变换，得本二维图像输入至所述初始人脸重建模型进行预测得到预测三维人脸模型以及预测纹理创建初始人脸重建模型，并将所述样本二维基于所述光照图以及所述第一纹理贴图生成预获取所述初始人脸重建模型中的第二投影参数，基于所述第二投2+λ4模型训练模块，用于采集样本二维图像；获取与所述样本二维图像对4L1="MSE(V,vomi)/N,其中，所述N为顶点个数，所述Vi为所述预测三维人脸模型脸模型中的各顶点与平滑预测三维人脸模型中的各顶点构建第二代价函数：LZ="MSE(V,V"0"t)/N,其中所述N为顶点个数，所述Vi为所述预测三维人脸模vth为所述平滑预测三维人脸模型中的第i个顶点；基于所述预测二维图像中的人脸关键点与样本二维图像中的人脸关键点构建第三代价函数：L;="MSE(Imk,Imkcri)/M,其中所述M为人脸关键点个数，所述lmki为所述预测二维图像中的第i个人脸关键点，所述lmkGT,i为所述样本二维图像中的第i个人脸关键点；基于所述预测纹理贴图中的各像素与所述标准纹理贴图中的各像素构建第四代价函数：脸重建模型；模型预测模块，用于将所述目标二维图像输入至所述人脸重建模型5所述至少一条指令适于由处理器加载并执行上述的6基于样本二维图像对应的预测三维人脸模型以及样本二维图像对应的标准三维人脸模型多个代价函数预先训练生成的人脸重建模型可以基于二维图像重建出效果稳定的包含纹[0029]图13为本申请实施例提供了一种利用人脸关键点约束重建标准三维人脸模型的7模型(CANDIDE-3)和三维变形模型(三维MM)及其变种模型，基于它们的三维人脸重建算法8[0049]所述目标二维图像是指需要进行三维人脸重建的二维人脸图像，可通过线下拍[0050]S102,将所述目标二维图像输入至训练完成的人脸重建模型中，输出所述目标二标二维图像中的人脸图像信息重建出所述目标二维图像对应的目标三维人脸模型以及目[0053]可选的，所述人脸重建模型可以包括基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)的backbone以及多层感知器(Multi-layerPerceptron，MLP)模型。所述backbone为基于CNN的encoder网络，用于对目标二维图像进行图像特征提取，所述[0056]如图2所示，将所示目标二维图像输入至所示人脸重建模型中即可得到如图所示的目标三维人脸模型。所示人脸重建模型包括基于卷积神经网络(ConvolutionalNeural9所述预测三维人脸模型以及所述预测三维人脸模型进行平滑处理后的平滑预测三维人脸样本二维图像中的人脸关键点对平均脸三维模型进行约束重建得到。练生成的人脸重建模型可以基于目标二维图像重建出效果稳定的目标纹理贴图以及目标二维图像中人脸图像区域超出所述样本二维图像总区域的预[0071]所述标准三维人脸模型为精度较高的、较为接近真实人[0075]所述初始人脸重建模型可以基于二维图像重建生成与输入进模型的二维图像对脸重建模型对纹理贴图以及三维人脸模型具有较好的重建[0080]步骤S210～步骤S212请参见步骤S101～步骤S103中的详细描述，在此不进行赘置的关键点，所述人脸关键点的检测方法包括但不限于主动形状模型(ActiveShapeEdeflan所述为平滑处理后的标准三维人脸模型中的第i个三维顶点，所述α表示平滑系将所述样本二维图像经过双线性插值得到预设尺寸的标脸模型中各顶点的分别对应的UV坐标以及样本二维图像中各像素点分别对应的像素信息模型进行预测得到预测三维人脸模型以及预测纹预测得到的所述预测三维人脸模型以及预测纹理贴图并不具有较好的模型效果和纹理效果，因此需要对初始人脸重建模型进行训练以不断更新初始人脸重建模型中的参数信息，以不断改善预测得到的所述预测三维人脸模型的模型效果以及预测纹理贴图的输入所述初始人脸重建模型进行预测得到预测三维人脸模型以及预测纹理贴图，可以包[0136]一个实施例中，将样本二维图像输入人脸重建模型中的基于CNN的backbone网络[0140]S3081，基于所述预测三维人脸模型中的各顶点与所述标准三维人脸模型中的各[0144]S3082，基于所述预测三维人脸模型中的各顶点与平滑预测三维人脸模型中的各[0146]其中所述N为顶点个数，所述Vi为所述预测三维人脸模型中的第i个顶点，所述为所述平滑预测三维人脸模型中的第i个顶点。所述预测三维人脸模型中的各顶点与平滑预测三维人脸模型中的各顶点构建第二代价函[0148]S3083，基于所述预测二维图像中的人脸关键点与样本二维图像中的人脸关键点[0152]S3084，基于所述预测纹理贴图中的各像素与所述标准纹理贴图中的各像素构建[0158]进一步的，在一种可行实施方式中，采用基于MSE的代价函数计算并进行反向传S301～步骤S304用于为步骤S305～步骤S309的迭代型预测出预测三维人脸模型和预测纹理贴图，基于预测三维人脸模型与如图5所示流程图二维图像中的人脸关键点1构建第三代价函数；基于初始人脸重建模型预测出的预测纹理及第四代价函数进行加权求和并更新初始人脸重建模型。上述过程为一次完整的训练过[0171]步骤S310～步骤S312请参见步骤S101～步骤S103中的详细描述，在此不进行赘练完成的人脸重建模型对于三维人脸模型重建以及目标纹理贴图预测具有较好的准确性、[0175]请参见图11，为本申请实施例提供了一种三维人脸模型重建方法的流程示意样本二维图像中的人脸关键点进行约束得到与所述风格化样本二维图像对应的标准三维将所述风格化样本二维图像经过双线性插值得到预设尺寸的标模型进行预测得到预测三维人脸模型以及预测纹维图像对应的风格化三维人脸模型以及风格代价函数基于所述预测风格化三维人脸模型以及所述预测风格化三维人脸模型进行平滑模型进行二维投影后的人脸关键点以及所述样本二维图像对应的风格化样本二维图像中的人脸关键点得到；[0194]所述预测风格化三维人脸模型基于创建的初始人脸重建模型对所述样本二维图图像中的人脸关键点对平均脸三维模型进行[0197]请参见图14，为本申请实施例提供了一种三维人脸模型重建装置的结构示意[0199]模型预测模块12，用于将所述目标二维图像输入至训练[0200]目标模型生成模块13，用于基于所述目标三维人脸模型[0208]标准获取单元142，用于获取与所述样本二维图像对应的标准三维人脸模型以及至所述初始人脸重建模型进行预测得到预测三维人脸模型[0222]模型训练子单元1435，用于基于所述代价函数对所述初始人脸重建模型进行训[0232]基于所述预测三维人脸模型中的各顶点与所述标准三维人脸模型中的各顶点构[0233]基于所述预测三维人脸模型中的各顶点与平滑预测三维人脸模型中的各顶点构[0234]基于所述预测二维图像中的人脸关键点与样本二维图像中的人脸关键点构建第[0235]基于所述预测纹理贴图中的各像素与所述标准纹理贴图中的各像素构建第四代4练生成的人脸重建模型可以基于目标二维图像重建出效果稳定的目标纹理贴图以及目标效果和准确性训练出的人脸重建模型就可以输出风格化三维人脸模型以及风格化纹理贴条指令，所述指令适于由处理器加载并执行如上述图1～图13所示实施例的所述三维人脸模型重建方法，具体执行过程可以参见图1～图13所示实施例的具体说明，在此不进行赘[0243]本申请还提供了一种计算机程序产品，该计算机程序产所述至少一条指令由所述处理器加载并执行如上述图1～图13所示实施例的所述三维人脸模型重建方法，具体执行过程可以参见图1～图13所示实施例的具体说明，在此不进行赘[0244]请参考图19，其示出了本申请一个示例性实施例提供的计算机设备的结构方框编程门阵列(field－programmablegatearray，FPGA)、可编程逻辑阵列(programmable存储器(read-onlymemory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质练生成的人脸重建模型可以基于目标二维图像重建出效果稳定的目标纹理贴图以及目标效果和准确性训练出的人脸重建模型就可以输出风格化三维人脸模型以及风格化纹理贴[0252]本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来软件和/或硬件，其中硬件例如可以是现场可编程门阵列(Field－ProgrammaBLEGate[0258]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可可以包括：闪存盘、只读存储器(Read-OnlyMemory，ROM)、随机存取器(RandomAccess