CN114926581B 二维到三维人脸表情迁移方法、电子装置及存储介质 （中国科学院软件研究所）

号42-53.Character:AHolisticSolutioAutomaticFacialAnimationGenera本发明公开了一种二维到三维人脸表情迁情融合变形系数驱动三维人脸模型生成目标表情表示。本发明能够有效提取人脸表情相关参保证了该方法的广泛适用性。本方法可实现准2获取真实交互场景下的二维人脸图像，作为源表情表示；获取采用预先训练的人脸三维参数提取模型，对所述二维人脸图像进行人脸三维参数提将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估计模将所述融合变形系数输入三维建模软件，驱动所述三维人脸形变模采集虚拟样本训练集，所述虚拟样本训练集包含多组部分随机生成的融合变形系数，将所述虚拟人脸表情参数输入待训练的融合变形系数估计模型，获根据所述部分随机生成的融合变形系数、所述预估的虚拟人脸所述融合变形系数估计模型包含两层全连接层以及一个激活函数获取三维重建渲染器，所述三维重建渲染器能够以可微分的方式采用所述真实样本训练集和所述三维重建渲染器，训练得到所述人脸三将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取模型，3使用所述形变规则库，对所述完全随机生成的多组融合将所述部分随机生成的融合变形系数输入三维建模软件，驱动所述三维人脸形变模将所述虚拟人脸图像输入所述预先训练的人脸三维参数提取模型，数据被设置为运行时执行权利要求1-6中处理器被设置为运行所述计算机程序和数据以执行如权利要求1-6中任一项4[0002]人脸形象在日常生活中起着至关重要的作用，它反映了每个人的基本身份特三维模型的单个网格变形以实现大量预定义形状和任何数量之间一个任务是基于二维真实人脸图像的三维游戏[0006]中国专利申请CN201811556498.4(CN109636886A)中提供了一种图像的处理方法[0007]中国专利申请CN201911014108.5(CN110717977A)中提供了一种游戏角色面部处5[0015]将所述二维人脸图像对应的所述表情参数输入一个预先训练的融合变形系数估[0019]采集真实样本训练集，所述真实样本训练集包含多张真实交互场景内的人脸图[0023]将所述真实样本训练集中的多张真实人脸图像输入待训练的人脸三维参数提取6述处理器被设置为运行所述计算机程序和数据以执行上7[0053]本发明公开了一种二维到三维人脸表情迁移方法，该方法的结构示意图如图1所[0059]在该实施例中，人脸三维参数提取模型的深度残差神经网络中的权重为待优化′8[0066]在该实施例中，通过有权重的相加各项损失函数的方式来计算总体的损失函之对应的虚拟交互场景内的虚拟人脸图像与虚拟[0075]该模型将人脸三维参数中的表情参数变换至虚拟场景下的三维人脸形变模型的9的融合变形系数和数据集中原有的部分随机生成融合变形系数之间的差异，得到损失量，[0079]由上述实施例可知，该实施例将真实场景下二维人脸图像首先映射到三维空间0.090.100.090.09Linear->ReLU->Linear0.08Linear->LeakyReLU->Linear0.07