CN116206607B 一种基于语音驱动的真实感虚拟人生成方法及装置 （北京航空航天大学）

WO2022242381A1,2022.11一种基于语音驱动的真实感虚拟人生成方本发明提出一种基于语音驱动的真实感虚部形状信息以及纹理信息构建虚拟人3DMM模型唇部增强结果图；输入驱动音频的梅尔频谱特2获取源视频和驱动音频，所述源视频为一段人物说话的视频，所述使用所述驱动语音特征，合成与所述驱动音频同步的面部表情参数和眨眼动作信息，引入Wav2Lip模块，将所述虚拟人3DMM模型渲染图的唇部信息进行语音唇形一致性加提取所述源视频的所有RGB图像帧，遮盖所有RGB图像帧中各帧所对应的所述源视频从源视频中提取梅尔频谱特征训练数据，通过与提取驱动音频的梅从源视频中提取唇部增强结果图训练数据，将所述源视频的梅尔频训练条件生成对抗网络cGAN渲染器，输入源视频中某时将所述虚拟人唇部增强结果图、所述参考背景和所述驱动音频的梅利用Deep3DFaceReconstruction从所述源视频的RGB图像中提取源视频中人物面部的使用训练得到的语音一面部动作提取网络，根据所述驱动语音将上述与所述驱动音频同步的面部表情参数，以及从源视频提取3利用音频处理库librosa对所述驱动音频进行处理，将原始音频信号从时域转换至频将驱动音频的梅尔频谱特征和所述虚拟人3DMM模型渲染图输入所述Wav2Lip模块，增通过与提取所述驱动语音特征相同的方式，从所述源视频的音频驱动音频同步的面部的3DMM表情参数和眨眼动作的AU使用训练得到的所述cGAN渲染器，输入需要合成的时刻所对应的唇形增强模块，用于将虚拟人3DMM模型渲染图的唇部信息进行语音唇形一致性加强，机程序被处理器执行时实现如权利要求1_5中任一项所述的基于语音驱动的真实感虚拟人4[0006]根据本发明的第一方面，提供了一种基于语音驱动的真5[0011]引入Wav2Lip模块，将所述虚拟人3DMM模型渲染图的唇部信息进行语音唇形一致[0012]输入所述驱动音频的梅尔频谱特征、所述虚拟人唇部增[0013]根据本发明的第二方面，提供了一种基于语音驱动的真[0023]图1是本发明一个实施例提供的基于语音驱动的真实感虚拟人生成方法的流程示[0027]图5是本发明一个实施例提供的基于语音驱动的真实感虚拟人生成装置的结构示6[0031]图1为本发明一个实施例提供的基于语音驱动的真实感虚拟人生成方法的流程示[0037]输入所述驱动音频的梅尔频谱特征、所述虚拟人唇部增[0039]利用OpenFace检测所述源视频，获得头部姿态和源视频中人物的眨眼动作的AU[0040]利用Deep3DFaceReconstruction从所述源视频的RGB图像中提取源视频中人物面7[0049]将驱动音频的梅尔频谱特征和所述虚拟人3DMM模型渲染图输入已有的经训练的的所述源视频3DMM模型渲染图覆盖的脸部区域，并在脸部区域的周边进行一定的扩充遮其前后各5帧所对应的所述唇部增强结果图组成的图像序列、该时刻的所述参考背景和该[0059]训练条件生成对抗网络cGAN渲染器，输入所述视频中某时刻所对应的1帧及其前明实施例还提供一种基于语音驱动的真实感虚拟人生成装置，图5为根据本申请一个实施例提供的一种基于语音驱动的真实感虚拟人生成方法装置的结构示意图，如图5所示，包8术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结