CN114926591B 多分支深度学习的3d人脸重建模型训练方法、系统及介质 （广州图匠数据科技有限公司）

WO2020165557A1,2020.08.20多分支深度学习的3D人脸重建模型训练方本发明公开了一种多分支深度学习的3D人第一人脸图像输入到人脸识别网络和人脸对齐并将第一身份信息和第一关键点位置信息输入2获取第一人脸图像，将所述第一人脸图像输入份信息，并将所述第一人脸图像输入到预先构建的人脸对齐网络得到第一关键点位置信根据所述第一身份信息确定第一人脸几何形状信息，并将将所述第一关键点位置信息、所述第一人脸几何形状信息以及根据所述第一渲染图像更新所述人脸识别网络、所述人其中，所述生成对抗网络包括生成器和判别器，所述生成器包所述将所述第一关键点位置信息、所述第一人脸几何形状信息以及所述将所述第一关键点位置信息输入到所述纹理生成模块得到第对所述第一纹理贴图进行超分辨率处理得到第二根据所述第二纹理贴图确定纹理法向量，根据所述第一将所述纹理法向量、人脸几何形状法向量以及人脸表情法向量输2.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在3.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在通过主成分分析算法对所述第一人脸图像进行特征提取4.根据权利要求1所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在根据所述损失值通过梯度下降算法和反向传播算法更新所述人脸识35.根据权利要求4所述的一种多分支深度学习的3D人脸重建模型训练方法，其特征在L＝mKLK+mPLP+midLid+人脸几何形状信息及人脸表情信息确定模块，用于根据所述第渲染图像确定模块，用于将所述第一关键点位置信息、所述其中，所述生成对抗网络包括生成器和判别器，所述生成器包将所述第一关键点位置信息输入到所述纹理生成模块得到第对所述第一纹理贴图进行超分辨率处理得到第二根据所述第二纹理贴图确定纹理法向量，根据所述第一将所述纹理法向量、人脸几何形状法向量以及人脸表情法向量输4器可执行的程序在由处理器执行时用于执行如权利要求1至5中任一项所述的一种多分支5人脸的过程即求解一组线性参数的过程，它由形状模型和可选的纹理和颜色模型等组成，分别通过主成分分析法(PrincipalComponentAnalysis，PCA)求得平均3D人脸形状等信6[0009]本发明实施例的另一个目的在于提供一种多分支深度学习的3D人脸重建模型训[0011]第一方面，本发明实施例提供了一种多分支深度学习的3D人脸重建模型训练方[0018]通过主成分分析算法对所述第一人脸图像进行特征提取和降维处理得到降维矩述生成器包括纹理生成模块和渲染模块，所述生成器用于根据所述第一关键点位置信息、7[0033]第二方面，本发明实施例提供了一种多分支深度学习的3D人脸重建模型训练系[0038]第三方面，本发明实施例提供了一种多分支深度学习的3D人脸重建模型训练装8现上述的一种多分支深度学习的3D人脸重份信息和关键点位置信息输入到表情识别网络得到人脸表情信息，再将关键点位置信息、[0046]图1为本发明实施例提供的一种多分支深度学习的3D人脸重建模型训练方法的步[0047]图2为本发明实施例提供的一种多分支深度学习的3D人脸重建模型的训练流程示[0048]图3为本发明实施例提供的一种多分支深度学习的3D人脸重建模型训练系统的结[0049]图4为本发明实施例提供的一种多分支深度学习的3D人脸重建模型训练装置的结施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适93DMM模型的人脸外观模型Smodel和纹理模型Tmodel分t分别表示PCA分析的基子集3DMM与深度学习算法相结合重建出的3D人脸相比仅使用3DMM重建出的人脸可以拥有更多信息的3D人脸重建图像。本发明实施例的每个分支网络用于估计一个单一属性(身份、表[0064]进一步作为可选的实施方式，人脸识别网络为FaceNet网络，人脸对齐网络为[0065]具体地，本发明实施例通过人脸识别网络FaceNet提取输入2D图像的人脸身份信[0066]本发明实施例通过人脸对齐网络MTCNN进行人脸关键点检测，这是一种实时实现[0067]本发明实施例采用的轻量型RingNet网络是在RingNet网络的基础上增加了SE模图用于替代3DMM中的纹理模型。通过具有高分辨率的UV纹理贴图数据集训练MB-GAN网络，纹理贴图组成。此外，MB-GAN网络从AFLW2000-3D数据集的高斯分布中采样相机和照明参识别网络以及生成对抗网络以及最优参数组合得到3真的3D人脸图像，在训练中通过整合各分支网络输出的几何形状和表情等特征，以及MB-人脸图像在经过各分支网络处理后输入到MB-GAN网络可以最终渲染出高保真的3D人脸图算通过FaceNet网络提取的输入图像和渲染后的图像的特征表示的余弦距离，可以得到感e以及wt分别表示几何形状特征、人脸表情特征以及纹理特征的权值，[0101]本发明实施例通过梯度下降算法和反向传播算法同时优化所有分支网络的网络[0102]以上对本发明实施例的方法步骤进行了说明。如图2所示为本发明实施例提供的利用PCA方法获取3DMM的人脸几何形状信息，同时将身份信息和关键点位置信息输入到表2D人脸图像直接输入到该3D人脸重建模型即可渲染出高保真的3D人脸图像。可以认识到，现上述的一种多分支深度学习的3D人脸重种多分支深度学习的3D人脸重建模型训练方法，可执行方法实施例的任意组合实施步骤，[0118]在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提改变以及其中被描述为较大操作的一部分的子操作被说明，上述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(