CN115643349B 基于角色化身模型的视频处理方法、系统及相关设备 （粤港澳大湾区数字经济研究院(福田)）

道市花路长富金茂大厦1号楼39楼本发明公开了基于角色化身模型的视频处2获取驱动对象的驱动视频、所述驱动对象的权限验证信息以及根据所述驱动视频获取所述驱动对象对应的多帧脸部几何渲染图根据预设的时间编码计算公式获取各所述脸部几何渲染图像对应依次组成各组待处理数据，并将各组待处理数据依次输入所述角色对应的脸部几何渲染图像中相同的表情和姿态，所述时间编码计算公式为：代表编将各所述被驱动图像按照对应的时间编码依次连接并生成被驱动驱动视频中由所述被驱动对象执行与所述驱动视频中驱动对象相同分别根据各所述驱动图像对应的三维脸部参数获取各所述驱动图像对应的三维脸部对各所述驱动图像对应的三维脸部网格进行渲染获得各所述驱动图像对应的脸部几根据各所述驱动图像对应的三维脸部参数获取各所述驱动图像对应的三维脸部网格之前，基于所述角色化身模型中所述被驱动对象对应的脸部空间位置对所述三维脸部参数3将训练数据中的参考图像、训练脸部几何渲染图像以及该训练脸部根据所述训练被驱动图像和所述训练驱动图像，对所述深度神其中，所述预设训练条件包括所述训练被驱动图像9.一种基于角色化身模型的视频处理系统，其驱动信息获取模块，用于获取驱动对象的驱动视频、所述驱权限验证模块，用于当所述驱动对象的权限验证信息满足所述被驱动对象的驱动视频处理模块，用于根据所述驱动视频获取所述驱动对象对应被驱动视频生成模块，用于根据预设的时间编码计算公式获取各所动对象执行与对应的脸部几何渲染图像中相同的表情和姿态，所述时间编码计算公式为：代表编与所述驱动视频中驱动对象相同的表情和姿4模型的视频处理程序被所述处理器执行时实现如权利要求1_8任意一项所述基于角色化身如权利要求1_8任意一项所述基于角色化身模型5[0007]为了实现上述目的，本发明第一方面提供一种基于角色化身模型的视频处理方脸部几何渲染图像用于体现上述驱动对象对应的表6[0013]可选的，上述根据上述驱动视频获取上述驱动对象对应的多帧脸部几何渲染图[0016]分别根据各上述驱动图像对应的三维脸部参数获取各上述驱动图像对应的三维[0017]对各上述驱动图像对应的三维脸部网格进行渲染获得各上述驱动图像对应的脸[0019]基于上述角色化身模型中上述被驱动对象对应的脸部空间位置对上述三维脸部应的脸部几何渲染图像以及上述参考图像的空7[0030]可选的，上述训练数据由采集的图像数据通过预设数据增强方式进行处理后获上述参考图像、各上述脸部几何渲染图像以及各上述脸部几何渲染图像对应的时间编码，角色化身模型的视频处理程序被上述处理器执行时实现任意一项上述基于角色化身模型行时实现任意一项上述基于角色化身模型的视频处理方情和姿态获得；当上述驱动对象的权限验证信息满足上述被驱动对象的权限验证条件时，后根据驱动视频获取用于体现驱动对象的表情和姿态的脸部几何渲染图像，结合时间编8[0043]图1是本发明实施例提供的一种基于角色化身模型的视频处理方法的流程示意[0044]图2是本发明实施例提供的一种基于用户A的角色化身模型生成被驱动视频的具[0045]图3是本发明实施例提供的一种基于角色化身模型的视频处理系统的组成模块示9如多相机阵列)采集人物形象细节以进行几何形状和纹理的高精度还原，还需要进行人工像的关键点对应关系并将其转化成生成稠密光流场，然后使用光流场对人脸图片进行映后根据驱动视频获取用于体现驱动对象的表情和姿态的脸部几何渲染图像，结合时间编个角色化身模型(例如被驱动对象在特定场景下象在特定场景下说话的视频训练获得的数字人像模型)。被驱动对象是在进行视频处理过根据用户B提供的表情和姿态驱动用户A对应的角色化身模型，使得用户A对应的该角色化对象通过指定对应的被驱动对象来确定需要选择并使用的角色本方案上述角色化身模型也可以用于处理视频中整个人物形象包括头[0073]步骤S300，根据上述驱动视频获取上述驱动对象对应的高视频处理过程中的准确性以及提高最终获得的被驱动视频的真实性和其中表情的灵动可以是一个预先训练的神经网络模型。上述表情系数用于体现驱动对象对应的表情特征，参数中各个系数与被驱动对象的三维脸部参数中各个系数的均值和[0079]获得各个驱动图像对应的三维脸部参数(即个体系数、表情系数和姿态系数)之[0093]具体的，上述训练数据由采集的图像数据通过预设数据增强方式进行处理后获频按帧进行划分的方式是相同的，因此训练过程中也将每一帧对应的时间位置标记为t(t预设的3D人脸模型(可以记为f)计算出对应的训练三维脸部网格，然后基于预设的渲染器具体的，对于同一个角色化身模型，在进行深度[0106]使用和渲染获得用户B对应的脸部渲染几何图像结合时间测已获得对应的被驱动图像，处理过程可以参照上述公式(3)及其具体步骤，在此不再赘色化身模型，只需要由用户A使用日常拍摄设备(如的训练驱动视频(例如一段时长约为2分钟的在一种具体应用场景中，将上述训练驱动视频在训练平台上进行约4个小时的数字化身模型的训练，可以得到用于支持用户A在相同场景(场景一)下任意头部动作和表情的数字化被驱动对象生成的图像与其对应的原始的驱动图像之长相同，图像分辨率都为512*512)训练获得稳定收敛的模型，DVP方案平均需要训练42小SimilarityIndex)和峰值信噪比(PSNR，PeakSignal_to_NoiseRatio)作为重建指标以[0116]权限验证模块520，用于当上述驱动对象的权限验证信息满足上述被驱动对象的[0117]驱动视频处理模块530，用于根据上述驱动视频获取上述驱动对象对应的多帧脸据上述参考图像、各上述脸部几何渲染图像以及各上述脸部几何渲染图像对应的时间编存储器为非易失性存储介质中的操作系统和基于角色化身模型的视频处理程序的运行提型的视频处理程序被处理器执行时实现上述任意一种基于角色化身模型的视频处理方法于角色化身模型的视频处理程序被上述处理器执行时实现本发明实施例提供的任意一种行时实现本发明实施例提供的任意一种基于角色