CN114708586B 一种从图像和视频中提取三维人脸表征的方法 （复旦大学）

WO2021223134A1,2021.11.11一种从图像和视频中提取三维人脸表征的为一种从图像和视频中提取三维人脸表征的方2使用形状编码器Es提取人脸形状编码Cshape，使用材质编码器Et提取人脸材质编码Ctexture情变换模块W使得提取到的人脸表情编码Cexpr影响人脸形状编码Cshape和人脸材质编码编码Cpose合成新的人脸图像i;渲染器R过程包括光照和投影两个根据构建的网络模型，使用约束条件进行优化，以便从编码器提取形状Cshape、材质Ctextureposepose首先，从步骤(1)得到的一系列视频帧中采样人脸形状编码Cshape和人脸材质编码Ctexture，在特征空间中对它们进行平均得到和假设中性表情人脸通过采样3的平均值，同样，第i个形状编码的梯度ΔCshape,i来自一个序列中所有形状编码的梯度的平均值；第i个表情编码的梯度ΔCexpr,换模块W从人脸形状编码Cshape和人脸材质编码Ctexture在同一视频中的变化中学习表情对材4gne),(9)p所述的渲染器R的光照过程，使用简化的Phong光照模型，通过p(f-)表示该点在重建图像i和输入图像I上的像素RGB差值，∑uv∈Ω表示对5f和λi为特征级损失和身份损失的权重；步骤(1)中的编码器得到人脸形状编码Cshape，材质编码Ctexture，光照编码Clight，姿势编码s6t结合之前提取的姿势Cpose和光照Clight信息，深度和材质贴图可以通过渲染器R生成重建的图像i:当完成图像集模型训练时，容易在图像集模型上面添加表情变换模块W和表情7[0003]自监督模型只受到来自样本本身的信息的监督，并学习从数据中提取其内部结[0005]对带材质的3D人脸建模已经研究了很长时间。最广泛使用的方法之一是3D这个问题，但它们需要大量的训练数据[7,8]。最近的一些人脸表征工作使用了3DMM[9,8Ctexture[0012](2)使用表情变换模块W来变换估计的人脸材质与形状；通过表情变换模块W能够使得提取到的人脸表情编码Cexpr影响人脸得提取出来的材质编码和形状编码根据表情不同[0023]步骤(1)中，所述指光照编码器El和姿势编码器Ep是数字编码器pp码Cpose有6个维度，分别是三维坐标的的平移向量和的旋转角；光照编码器El生成的编码9稳定，在训练表情提取时，上述编码器容易失效。因此，本发明采用一个有残差结构的征空间中对它们进行平均得到和假设中性表情人脸可以通过采样序列的平[0029]然后，用获得的人脸表情编码Cexpr作为形状Cshape和材质Ctexture参数的线性偏差，[0036]其中，第i个材质编码的梯度ΔCtexture,i来自一个序列中所有材质编码的梯度的梯度的平均值；第i个表情编码的梯度ΔCexpr,i来自对应的形状编码的梯度情变换模块W从人脸形状编码Cshape和人脸材质编码Ctexture在同一视频中的变化中学习表情gne),(9)pp为该点的置信度，(i-).,表示该点在重建图像和输入图像I上的像素RGB差值，∑uv∈Ω表部分来填补重建图像没有的背景。然后，计算补充图像与原始图像之间的感知相似度[0058](3)损失函数L(i.1)可以表示为光度损失、较低的特征损失和身份损失的线性组[0061](4)本发明还考虑计算左右脸水平翻转的重建图像得到的损失，并和以上损失线中的图像通过步骤(1)中的编码器得到人脸形状编码Cshape，材质编码Ctexture，光照编码[0069]测试时只需要使用编码器提取人脸形状编码Cshape，材质编码Ctexture，光照编码[0074]结合之前提取的姿势Cpose和光照Clight信息，深度和材质贴图可以通过渲染器R生[0076](1)本发明提出了一种新颖的基于3D的无监督人脸表征学习模型框架。该模型可[0077](2)本发明提出了一种新的无监督策略，使用表情变换模块从未注释的视频序列[0078](3)本发明的模型增加了新的几何信息并探索了潜在的环境因素。本发明模型框[0087](1)本发明使用CelebA数据集[15]从图像集中学习，并使用VoxCeleb数据集[16][0088](2)本发明的渲染流程中人脸形状是一个二维的单通道矩阵，它表示人脸的深度虚线表示人脸表情是从视频序列的变化中学习到的。这个框架可以有利于许多下游任务，[0092](6)本发明的表情变换模块结构由图5所示。以材质特征为例，首先将材质编码[0096][1]VolkerBlanzandThomasVetter.1999.Amorphablemodelforthe[0097][2]YuDeng,JiaolongYang,SichengXu,DongChen,YundeJia,andXinTong.2019.Accurate3DFaceReconstructionwithWeakly-SupervisedLearning:FromSingleImagetoImageSet.InIEEEComputerVisionandPWorkshops.ananimatabledetailed3Dfacemodelfromin-the-wildimages.ACMTransactionsonGraphics(T[0099][4]ShangzheWu,C.Rupprecht,andAndreaVedaldi.2020.UnsupervisedLearningofProbablySymmetricDeformable3DObjectsFromImagesintheWild.2020IEEE/CVFConferenceonComputerVisionandPatternRecognition[0100][5]MihirSahasrabudhe,ZhixinShu,EdwardBartrum,RizaAlpGüler,DimitrisSamaras,andIasonasKokkinos.2019.LiftingAutoEncoders:UnsupervisedLearningofaFully-Disentangled3DMorphableModelUsingDeepNon-RigidStructureFromMotion.2019IEEE/CVFInternationalConferenceon[0101][6]YujunShen,JinjinGu,XiaoouTang,andBoleiZhou.2020.InterpretheLatentSpaceofGANsforSemanticFaceEditing.2020IEEE/CVFConference[0102][7]LuanTran,XiYin,andXiaomingLiu.2017.DisentangledRepresentationLearningGANforPose-InvariantFaceRecognition.2017IEEEConferenceon[0103][8]HuiyuanYang,UmurAybarsCiftci,andLijunYin.2018.FacialExpressionRecognitionbyDe-expressionResidueLearning.2018IEEE/CVFConferenceonComputerVisionandPatternRecognition[0104][9]ZhongpaiGao,JuyongZhang,YudongGuo,ChaoMa,GuangtaoZhai,andXiaokangYang.2020.Semi-supervised3DFaceRepresentationLearningfromUnconstrainedPhotoCollections.2020IEEE/CVFConferenceonComputer[0105][10]FengLiu,QijunZhao,XiaomingLiu,andDanZeng.2020.JointFace[0106][11]ThuNguyen-Phuoc,ChuanLi,LucasTheis,ChristianRichardt,andYongliangYang.2019.HoloGAN:UnsupervisedLearningof3DRepresentationsFromNaturalImages.2019IEEE/CVFInternationalConferenceonComputerVision(ICCV)[0107][12]KaimingHe,XiangyuZhang,ShaoqingRen,andJianSun.2016.DeepResidualLearningforImageRecognition.(2016),770–778./10.1109/CVPR.2016.90[0108][13]KarenSimonyanandAndrewZisserman.2015.VeryDeepCNetworksforLarge-ScaleImageRecognition.(2015)./abs/1409.1556[0109][14]RichardZhang,PhillipIsola,AlexeiA.Efros,EliShechtman,andOliverWang.2018.TheUnreasonableEffectivenessofDeepFeaturesasaPerceptualMetric.In2018IEEE/CVFConferenceonComputerVisionandPatternRecognition.586–595./10.1109/CVPR.2018.00068[0110][15]ZiweiLiu,PingLuo,XiaogangWang,andXiaoouTang.2015.DeepLearningFaceAttributesintheWild.In