CN119516063A 一种情感增强的数字人驱动与呈现系统及方法 （浙江大学）

一种情感增强的数字人驱动与呈现系统及本发明公开了一种情感增强的数字人驱动面部表情和手势动作序列进行预测和重构获得动手势生成任务扩展至面部表情和手势动作同极大地提升了数字人面部表情和手势动作的情2所述音频解耦模块包括三个独立的编码器用于将原始音频序列分解为三个独立的特所述潜在扩散模型模块用于通过加噪将原始动作序列转化为高维空所述人体运动先验模块包括运动先验编码器和运动先验解码器，用于3D人运动潜在向量和重构的运动潜在向量作为输入，解码得到预测动作序列和重构动作序列；所述训练模块用于优化潜在扩散模型模块及人体运动先验模块，通过计所述渲染图像生成模块用于根据对齐后的预测动作序列中的面部表情系数和三维人所述内容编码器用于提取与语音节奏和言语相关的信息作为内所述情感编码器用于提取原始音频序列中的情感特征作为情所述个人情感编码器用于提取与个人风格相关的特征作为个人风4.根据权利要求3所述的情感增强的数字人驱动与呈现系统，其特征在于，所述的Transformer块包括两个独立的Transformer块，分别为面部表情Transformer块和手势动先验编码器和运动先验解码器结构相同，均采用以Transformer块作为单元的UNet结构，3点坐标之间的差异，其中将动作序列通过SMPLX模型获得在三维空间下的平均网格形状以所述的KL散度损失用于衡量变分分布和先验分布之间的差异，使变分分所述的对齐重构损失包括姿态参数对齐重构损失和顶点坐标对齐重构损失用于衡量真实顶点坐标和预测顶点坐标之间获得原始音频序列，基于音频解耦模块将原始音频序列解耦为在向量及个人风格潜在向量，结合潜在扩散模型模块转化的运动噪声及扩散时间步编码，将包括面部表情序列和手势动作序列的动作序列，分别通过运动先码器的输入解码得到预测动作序列和重构动作序4联合生成面部运动参数和身体运动参数，并在生成身体运动参数时会参考面部运动参数，5所述音频解耦模块包括三个独立的编码器用于将原始音频序列分解为三个独立所述潜在扩散模型模块用于通过加噪将原始动作序列转化为高维空间的运动噪所述渲染图像生成模块用于根据对齐后的预测动作序列中的面部表情系数和三所述内容编码器用于提取与语音节奏和言语相关的信息作为内所述情感编码器用于提取原始音频序列中的情感特征作为情所述个人情感编码器用于提取与个人风格相关的特征作为个人风6[0015]在一个实施例中，所述的重构损失包括姿态参数重构损构损失用于衡量真实顶点坐标和重构顶点坐标之间的差异，其中将动作序列通过SMPLX模验分布，其中变分分布是基于运动先验编码器输出的均值和协方差矩阵组成的正态分布，所述的对齐重构损失包括姿态参数对齐重构损失和顶点坐标对齐重构损失，其对齐重构损失用于衡量真实顶点坐标和预测顶点坐标之验解码器的输入解码得到预测动作序列和重构动作序列；7块有一个专门的编码器架构，由三个独立的编码器组成。每个编码器专门负责从输入的语感编码器负责提取原始音频序列中的情感特征，风格编码器负责提取与个人风格相关的特分别表示为E。(a)=c,E。(a)=e,E:(a)=s，其中a表示原始音频序列的滤波器组块使用情感语音数据集进行预训练。。8[0029]Hybrid交叉注意力特征融合机制在原扩散模型的Transformer块中引入了交叉注和Bh结构相同，均采用以Transformer块作为单元的类UNet结构，T跳跃连接，它能够帮助网络在解码阶段恢复更多的细节信息。位置编码PE（Position运动潜在向量和重构的运动潜在向量作为记忆（memory）输入到每个交叉注意力Transformer层，利用潜空间的信息解码对预测的运动潜在向量解码获得预测的动作序列i.T，其中，预测的动作序列i.T包括预测的面部表情序列和预测的手势动作序列:T，同样对重构的运动潜在向量解码获得重构动作序列，其中，重构的动作序列包括重构的面部表情序列和重构的手势动作序列。和人体运动先验模块的损失函数，确保在去噪过程中原始音频和运动潜在向量能够对齐，9[0035]具体为，停止运动先验编码器的梯度计算，得到禁用梯度的运动潜在向量于计算扩散模型梯度。点坐标L:上的重构损失，其中将动作序列通过SMPLX模型获得在三维空间下的平均mesh衡量了真实动作序列和重构动作序列之间的差异。顶点坐标重构损失衡量了真。。失Laon衡量了真实动作序列mt-和预测动作序列之间的差异。顶点坐标对齐重构。。是对潜在变量za在扩散时间步(ta)进行去噪。[0045]情感增强的面部表情和手势动作生成网络推理过程使用DDIM通过少量去噪时间za，并与条件潜在向量拼接作为条件噪声。迭代地使用去噪器生成完全去噪后的运动潜在向量，最后通过运动先验解码器Bh将其解码为最终的动作预测序列i.T。[0046]渲染图像生成模块用于根据对齐后的预测动作序列和重构动作序列中的面部表通过Faceverse3DMM模型拟合出面部三维关键点。使用语音驱动生成的SMPLX三维人体参验解码器的输入解码得到预测动作序列和重构动作序列；