CN113066156B 表情重定向方法、装置、设备和介质 （广州虎牙科技有限公司）

述个性化表情系数与预先生成的目标个性化虚以驱动与所述目标个性化虚拟形象表情基组对解决主播驱动虚拟形象时虚拟形象表情不自然2实时获取直播视频帧中的人脸图像，并根据标准表确定与所述标准表情系数对应的个性化表情系数，其中，所将所述个性化表情系数使用到所述目标个性化虚拟形象表情标个性化虚拟形象表情基组对应的个性化虚拟形象的获取包括多种面部表情动作的多视角视频数据，并确定所根据所述标准表情基组确定与所述主视角视频数据的每个视频帧中的人脸图像分别根据与所述多视角视频数据对应的三维网格流数据、与所述主视角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数作为训练样本进行3.根据权利要求1所述的方法，其特征在于，在实时获取直播视频帧中的人脸图像之获取包括多种面部表情动作的多视角视频数据中根据与所述多个图像帧对应的三维网格流数据，以及表情将所述标准表情系数输入目标神经网络中，通过所述目标神经所述表情系数训练数据包括：根据所述标准表情基组确定与所述多视角性化虚拟形象表情基组确定的与所述多视角视频数据的每个视频帧中的人脸图像分别对6.根据权利要求1所述的方法，其特征在于，在实时获取直播视频帧中的人脸图像之3标准表情系数确定模块，用于实时获取直播视频帧中的人脸图像，并根个性化表情系数确定模块，用于确定与所述标准表情重定向模块，用于将所述个性化表情系数使用到所述目标个性第一个性化虚拟形象表情基组拆解模块，用于在实时获取所述第一个性化虚拟形象表情基组拆解模块在表情基组模板的基础上，将与多视角视频数据对应的三角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数作为训练样本进行目标4导致将使用驱动模型的表情基组学习到的表情系数迁移到虚拟形象表情基组上时会出现述目标个性化虚拟形象表情基组对应的个性化虚拟形象[0011]个性化表情系数确定模块，用于确定与所述标准表情系数对应的个性化表情系5[0018]在本发明实施例提供的技术方案中，在预先生成的目标个性化虚拟形象表情之化表情系数使用到目标个性化虚拟形象表情基组而得到的虚拟形象表情不会存在不自然[0033]图1是本发明实施例一提供的一种表情重定向方法的流程图，本实施例可适用于6性化虚拟形象表情基组可以在不同的个性化模特的多视角视频数据中拆解得到。情基组中选取与个性化虚拟形象选择请求中携带信息匹配的一个个性化虚拟形象表情基7动与所述目标个性化虚拟形象表情基组对应的个性形象表情基组中各个虚拟形象表情基进行组合，即可生成与人脸图像一致表情的虚拟形[0053]针对实时获取的连续多个直播视频帧中的人脸图像，分别执行生成标准表情系[0054]在本发明实施例提供的技术方案中，在预先生成的目标个性化虚拟形象表情之化表情系数使用到目标个性化虚拟形象表情基组而得到的虚拟形象表情不会存在不自然[0056]图4是本发明实施例二提供的一种表情重定向方法的流程图，本实施例在上述实[0058]根据所述标准表情基组确定与所述主视角视频数据的每个视频帧中的人脸图像8[0062]其中，多视角视频数据是通过多个摄像头在多个角度拍摄个性化模特而生成主视角视频数据是指通过个性化模特正面的摄像头拍摄[0065]对与主视角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数进行标识作为与其对应的个性化虚拟形象表情基组的人脸以对与每个视频帧对应的网格点数适量减少(例如从100万个左右网格点减少到4万左右个主视角视频数据的每个视频帧中的人脸图像分别对应的标准表情系数作为训练样本进行的人脸图像分别对应的标准表情系数作为训练样本进行目标个性化虚拟形象表情基组的学习到与主视角视频序列对应的标准表情系数；将多视角视频序列输入到三维重建模块，得到拓扑一致低面数的3D网格流数据；通过EBFR算法拆解模块在表情基组模板的基础上，9动与所述目标个性化虚拟形象表情基组对应的个性象表情基组上，即可达到主播驱动与目标个性化虚拟形象表情基组对应的虚拟形象的目准表情系数迁移到个性化虚拟形象表情基组上会使虚拟形象表情更加[0086]图7是本发明实施例三提供的一种表情重定向方法的流程图，本实施例在上述实角视频数据中的多个图像帧，得到目标个性化虚拟形象表情基组与标准表情系数并不匹[0105]作为一种可选的实施方式，所述将所述标准表情系数映射成所述个性化表情系象表情基组确定的与所述多视角视频数据的每个视频帧中的人脸图像分别对应的个性化[0107]参照图8，对与多视角视频数据中主视角视频数据的每个视频帧中的人脸图像分学习与主视角视频数据的每个视频帧中的人脸图像分别对标识作为与其对应的个性化虚拟形象表情基组的人脸[0109]对与多视角视频数据中主视角视频数据的每个视频帧中的人脸图像分别对应的化虚拟形象表情基组学习与多视角视频数据的每个视频帧中的人脸图像分别对应的个性[0111]当将根据标准表情基组确定的与实时获取直播视频帧中的人脸图像对应的标准网络进行训练时，也能提高目标神经网络将标准表情系数映射成个性化表情系数的精准动与所述目标个性化虚拟形象表情基组对应的个性个摄像头获取单视角主播图像，并输入到基于3DMM库的表情驱动模块中得到标准表情系需要借助一个基于3DMM库的表情驱动模型获得标准表情系数，通过重定向技术转换接口，可适用于主播在直播间中驱动虚拟形象表情的情况，该装置可以采用软件和/或硬件的方[0123]个性化表情系数确定模块420，用于确定与所述标准表情系数对应的个性化表情[0124]表情重定向模块430，用于将所述个性化表情系数使用到所述目标个性化虚拟形象表情基组上，以驱动与所述目标个性化虚拟形象表情基组对应的个性化虚拟形象的表[0125]在本发明实施例提供的技术方案中，在预先生成的目标个性化虚拟形象表情之化表情系数使用到目标个性化虚拟形象表情基组而得到的虚拟形象表情不会存在不自然基组确定与所述多视角视频数据中主视角视频数据的每个视频帧中的人脸图像分别对应[0132]本发明实施例所提供的表情重定向装置可执行本发明任意实施例所提供的表情述目标个性化虚拟形象表情基组对应的个性化虚拟形象中，如计算机的软盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器