CN119418722A 语音驱动3d虚拟人的情绪表达方法、系统及设备 （聚好看科技股份有限公司）

标音频分割后的各音频片段中获取全部表情基习训练的情绪提取模型具有一定的学习能力和对应的情绪，进而提高3D虚拟人情绪表达的精2将所述目标音频按照预设帧率进行分割，并根据分割后的每个音频片段采用所述情绪提取模型，获取所述3D虚拟人在所述文本段落中根据所述目标情绪对对应的表情基集合中与所述目标情绪有关的各核心表情基的第根据所述各核心表情基的第二驱动参数以及其他表情基的第一驱动参若所述关键词存在于训练所述情绪提取模型的数据库中，则根若所述关键词未存在于训练所述情绪提取模型的数据库中，则所述关键词对应的各种情绪，并根据所述各种情绪的概率与预设情绪达标阈值的比较结从所述关键词集合中每个关键词对应的候选情绪中，确定所述3D虚拟统计所述关键词与大于等于所述预设情绪达标阈值的最大概率表示的情绪的对应次若所述对应次数超过预设次数阈值，则将所述关键词与所述最若所述更新次数达到预设更新阈值，则根据更新后的数据库重3为所述目标情绪的强度添加一个控制系数，其述关键词集合对应的各种候选情绪中出现的针对每个核心表情基，分别确定所述控制系数对所述目标情绪的根据所述第一影响值和所述第二影响值进行融合，获得所述核表情基参数估计模块，用于根据分割后的每个音频片段，确定所情绪提取模块，用于采用所述情绪提取模型，获取所述3D虚表情基参数修正模块，用于根据所述目标情绪对对应的表表情基驱动模块，用于根据所述各核心表情基的第二驱动参数以及若所述关键词存在于训练所述情绪提取模型的数据库中，则根若所述关键词未存在于训练所述情绪提取模型的数据库中，则所述关键词对应的各种情绪，并根据所述各种情绪的概率与预设情绪达标阈值的比较结从所述关键词集合中每个关键词对应的候选情绪中，确定所述3D虚拟4所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行5[0010]采用所述情绪提取模型，获取所述3D虚拟人在所述文本所述目标情绪在所述数据库存在或不存在对应的关键[0011]根据所述目标情绪对对应的表情基集合中与所述目标情绪有关的各核心表情基6[0032]统计所述关键词与大于等于所述预设情绪达标阈值的最大概率表示的情绪的对7[0043]通过按照预设帧率分割后的每个音频片段来确定3D虚拟人的所有表情基的第一绪的关键词集合，从而利用关键词集合确定3D虚拟人在每个文本段落中表达的目标情绪，8独构成一个完整技术方案。计算机视觉与计算机图形学的发展，语音驱动技术赋予了3D虚拟人像真人一样说话的能大多数3D虚拟人的语音驱动方案是不带情绪表达的，即3D虚拟人默认是自然状态下的表9拟人过程中情绪跟随语音自适应的动态变化，提高3D虚拟人语音驱动的真实性和自然性。该方法在整个语音驱动过程中仅需要输入一段音频即可，无需额外的图像或视频等参照，[0070]本申请的实施例中，3D虚拟人的头部是由头部参数化模型(如：SkinnedMulti_[0071]本申请实施例提供的一种语音驱动3D虚拟人的情绪表达方法的整体框架图如图3基的运动来展示，实现通过调整核心表情基的驱动参数来调整3D虚拟人情绪表达的效果，[0100]S4052：确定该关键词是否存在于训练情绪提取模型的数据库中，若是，则执行e(vin)表示关键词vin对应情绪e的概率，φ为求最大值对应索引的函数，即输出取最大概率[0109]由于数据库的情绪集合E中包含3D虚拟人的大多数情绪，且训练后的情绪提取模[0116]当情绪提取模型输出的各种情绪的概率存在大于等于预设情绪达标阈值的概率[0130]本申请的实施例中，通过目标情绪反映3D虚拟人在每个[0141]S4063：根据第一影响值和第二影响值进行融合，获得核心表情基的第二驱动参[0147]将各个核心表情基修正后的第二驱动参数以及其他表情基的第一驱动参数进行wn)公式6[0153]如图9所示，为52个表情基构成的自然状态下的基础模型表情迁移后得到48种表[0175]统计所述关键词与大于等于所述预设情绪达标阈值的最大概率表示的情绪的对[0185]在介绍了本申请示例性实施方式的基于主动学习的文本方法和装置之后，接下[0187]与上述方法实施例基于同一发明构思，本申请实施例中1101是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算[0190]处理器1102可以包括一个或多个中央处理单元(centralprocessingunit，序时实现上述任一种语音驱动3D虚拟人的情接介质。本申请实施例在图11中以存储器1101、显示器1103和处理器1102之间通过总线程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功[0198]这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一