CN118535005B 虚拟数字人的交互装置、系统及其方法 （深圳幻影未来信息科技有限公司）

港合作区南山街道梦海大道5188号前2S111、对接收到的环境声音进行降噪预处理，所述降数字人有互动过且存储在存储器中的用户，非目标用户可以定义为首次与虚拟数字人互S113、检测是否存在人声唤醒信号，并将语音特征3所述语音分离网络包括依次连接的混合语音接收模块、STFT语音时频还包括融合模块，所述融合模块的输入分别与所述语音特征提取模块和VGG特征提取所述语音特征包括线性预测系数LPCC和Mel倒谱系数所述语料体系模块包括预训练语料和微调语料，所述预训练语料包括从所述预训练模型为先在大规模训练数据上采用无监督学习方法进行大量通用的训练，以得到通用且强泛化能力的语言模型，所述预训练模型的训练方法至少包括词向量嵌入、所述微调模块包括冻结预训练模型的底层层级与调整上层层级4虚拟人动画控制程序包括语音转表情服务Audio2FaceService和语音转动作服务化为虚拟人的面部表情，所述语音转动作服务Audio2ActionService用于将虚拟人语音信Audio2FaceService为基于BlendShapes方法的语音动画合成模型，所述基于BlendShapes所述基于不同语音情绪的三维人脸控制参数预测模块包括依次连接的语音预处理模所述基于样例表情的表情基构建模块包括依次连接的样例表情模型库所述三维人脸动画合成模块包括依次连接的三维人脸控制参数平滑模画合成模块，所述三维人脸控制参数平滑模块的输入与三维人脸控制参数模块的输出连多模态输入装置，所述多模态输入装置包括4K高清RGB摄像散热装置，所述散热装置用于为实时渲染装置散热，所述散热装存储装置，所述存储装置包括长期存储装置和短期存储装置处理装置，用于处理虚拟数字人和用户的互动数据，所述处理装置所述数据库包括动作库和表情库，所述动作库的每个动作记录均567[0035]所述语音分离网络包括依次连接的混合语音接收模块、STFT语音时频变换模块、[0037]还包括融合模块，所述融合模块的输入分别与所述语音特征提取模块和VGG特征[0040]所述预训练模型为先在大规模训练数据上采用无监督学习方法进行大量通用的对比数据并训练打分模型和针对奖励模型使用强化学习来优化云8记偏好的输出答案和根据采集的数据对预训练模型进行有监督的[0048]进一步，所述步骤S350中，所述虚拟人动画控制程序包括语音转表情服务Audio2FaceService和语音转动作服务Audio2ActionService，所述语音转表情服务Audio2FaceService用于将虚拟人语音信息转化为虚拟人的面部表情，所述语音转动作服务Audio2ActionService用于将虚拟人语音信息转化为虚拟动画合成模型，所述基于BlendShapes方法的语音动画合成模型包括基于不同语音情绪的[0050]所述基于不同语音情绪的三维人脸控制参数预测模块包括依次连接的语音预处9[0066]进一步，所述虚拟人渲染程序包括UE5程序，所述虚拟人渲染程序包括虚拟人渲[0072]图2为本发明实施例中虚拟数字人的交互方法中的语音唤醒流程和视觉唤醒流程[0073]图3为本发明实施例中虚拟数字人的交互方法中的基于大语言提示词工程虚拟数[0085]图15为本发明实施例中基于BlendShapes方法的语音动画合成模型的基本结构示[0088]以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清这种3D虚拟人IP是建立在中之人的个人能力之上的，B站的A_soul出过中之人出走和中之化的向量数据库(Vectordatabase)和关系型数据库让虚拟人拥有长期的记忆力。给虚拟[0106]选用86寸的竖式大屏和86寸透明大屏，让渲染出来的虚拟人可以跟真人一般大致的机身震动影响麦克风阵列内置的问题，我们通过将麦克风与各种传感器集成一个盒行沟通或新建新的用户。征来代表这条语音。语音特征有很多种，包括线性预测系数(LPCC)和Mel倒谱系数(MFCC)耳对语音信号幅度和频率的接受范围有限，对于超过人耳所能接收的语音信号的振幅频[0152]所述语音分离网络包括依次连接的混合语音接收模块、STFT语音时频变换模块、[0154]还包括融合模块，所述融合模块的输入分别与所述语音特征提取模块和VGG特征[0158]所述预训练模型为先在大规模训练数据上采用无监督学习方法进行大量通用的上进行大量通用的训练[0169]进一步，所述步骤S350中，所述虚拟人动画控制程序包括语音转表情服务Audio2FaceService和语音转动作服务Audio2ActionService，所述语音转表情服务Audio2FaceService用于将虚拟人语音信息转化为虚拟人的面部表情，所述语音转动作服务Audio2ActionService用于将虚拟人语音信息转化为虚拟方法的语音动画合成模型，所述基于BlendShapes方法的语音动画合成模型包括基于不同[0171]所述基于不同语音情绪的三维人脸控制参数预测模块包括依次连接的语音预处[0187]进一步，所述虚拟人渲染程序包括UE5程序，所述虚拟人渲染程序包括虚拟人渲存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此