CN119440254A 一种数字人实时交互系统及数字人实时交互方法 （北京鸿联九五信息产业有限公司）

一种数字人实时交互系统及数字人实时交本申请公开了一种数字人实时交互系统及端设备接收用户输入的语音并传输至云端服务音频处理模块对回复语音和连续图像帧进行处2终端设备，包括音频输入模块和视频输出模块，所述终端视频采集与处理模块，适于采集指示数字人形象的对象的原始视频数始视频数据包括所述对象的肢体动作和面部表情，并且生成只包含所述对象的连续图像音频处理模块，适于基于音频视觉同步模型，对所述回复语音视频采集单元，适于获取使用绿幕背景的原始视频数据，并捕捉对象所述音频处理模块还适于训练生成基于神经网络的音频视觉同步模型同步模型适于对输入的所述回复语音进行特征提取，生成所述回复语音对应的频谱特征，训练单元，适于利用所述音频数据及其对应的训练模型，通过训练样本来训练生成音频视觉同步模型，其中所述预训练模型是基于3文本转换语音单元，适于通过神经网络语音合成方法所述智能问答与语音生成模块还适于通过接口接入外部456[0018]根据本申请的又一方面，提供了一种存储一个或多个程序的计算机可读存储介[0021]上述说明仅是本申请技术方案的概述，为了能够更清楚[0022]为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方7个云端服务器120。用户可以通过语音与数字人进行互动。当用户需要发出指示或者提问[0032]云端服务器120负责对用户输入的语音进行实时处理，并通过智能问答引擎生成[0037]终端设备110的配置灵活多样，支持个人电脑、移动设备以及智能终端等多种形终端设备110与云端服务器120的交互通过WebSocket实现双向实时通信，确保音频输入与8设备110还包括音频信号处理模块(未示出)。该音频信号处理模块与音频输入模块112耦质量并为后续处理和分析提供更好的基础。终端设备110将初步处理后的语音发送至云端[0041]数字人实时交互系统100具备高度的灵活性和可扩展性，能够在多种应用场景中品推荐或解答疑问。扩展的多媒体融合功能允许将虚拟人物嵌入动态广告或互动式视频[0046]这种多场景适用性使得该系统100能够灵活适配于各种复杂的交互需求，并具有114。终端设备110经由音频输入模块112接收用户输入的语音，并将其传输至云端服务器[0051]视频采集与处理模块122采集指示数字人形象的对象的原始视频数据，其中原始[0053]音频处理模块126分别耦接到视频采集与处理模块122和智能问答与语音生成模9[0056]视频采集与处理模块122负责数字人形象的初始视频素材采集与预处理，包括耦中常见的锯齿效应(Aliasing)和边缘溢色问题(EdgeBleeding)，得到处理后的透明通道校正时，可以利用基于深度学习的网络模型，例如STTN(Spatial_Te[0059]智能问答与语音生成模块124(即，前文所述的智能问答引擎)集成了多项人工智能技术，包括自动语音识别(AutomaticSpeechRecognition,ASR)、自然语言处理(NaturalLanguageProcessing,NLP)和文本转语音(TexttoSpeech,TTS)。在一些实施对话管理子单元从相关知识库(相关知识库包[0072]音频处理模块126还包括文本转换单元1262和训练单元1264，用来训练生成音频[0076]图3示出了根据本申请一些实施例的训练音频视觉同步模型的示意图。如图3所[0082]在又一些实施例中，图像渲染模块128还支持根据环境光照、用户动作及语音指AdversarialNetwork,GAN)的技术，通过输入音频实时生成与语音完全同步的口型动画。[0088]本系统还通过优化的低延迟渲染引擎(Low_latencyRenderingEngine)，利用[0095]本数字人实时交互系统100具备支持多种虚拟背景的能力，满足不同应用场景的[0100]此外，系统100还具有强大的可扩展性，能够通过插件机制支持第三方服务的集[0108]音频视觉同步模型基于Wav2Lip，Wav2Lip是一种基于卷积神经网络(CNN)的深度数字人形象的对象的原始视频数据，其中原始视频数据包括该对象的肢体动作和面部表过边缘锐化算法(EdgeSharpening)消除边缘锯齿效应，确保该对象的清晰度与自然过渡[0114]本申请的系统100可以通过一台或多台计算设备来实现。计算设备可以是任意具备500不同。实践中用于实施本申请实施例的计算设备可以对图5所示的计算设备500的硬如，可以经由其中在图5中所示出的每个或许多组件可以集成在单个集成电路上的片上系备500的其他组件集成的专用逻辑来对在本申请中所描述的功能进行操作。还可以使用能路或系统中实践本申请的实施例。包括允许与其他计算设备518进行通信的一个或多个通信连接516。合适的通信连接516的存储器或其他磁存储设备、或者可用于存储信息并且可以由计算设备500访问的任何其他[0123]在根据本申请的实施例中，计算设备500被配置为执行根据本申请的数字人实时[0134]本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组组合对本说明书中公