CN119488706A 虚拟角色的交互控制方法、装置、设备及计算机程序产品 （阿里巴巴(上海)有限公司）

本发明实施例提供了一种虚拟角色的交互语音时间戳以及非语言交互标签所对应的触发且能够在一定程度上提高了用户与虚拟角色进2确定所述语音反馈信息中的语音元素所对应的基于所述语音反馈信息、所述标签集合和所述语音时间戳，确定基于所述语音反馈信息、所述语音时间戳以及所述非语言交互确定所述交互意图的第一向量表征以及所述参考情绪基于所述第一向量表征和所述第二向量表征，确定与所述获取所述第一向量表征与所述第二向量表征将所述目标向量表征所对应的参考情绪信息，确定为与所述交互信息在所述交互信息为语音交互信息的情况下，获取至少一个确定所述交互意图的第一向量表征、所述参考情绪信息的基于所述第一向量表征、所述第二向量表征以及第三向量表3获取所述第一向量表征与所述第二向量表征之间的第一相似基于所述第一相似度和所述第二相似度，确定所述语音交互在最大的融合相似度所对应的参考情绪信息，确定为与所述交获取与所述虚拟角色相对应的角色素材库以及场景素材库，所获取所述虚拟角色的角色标识以及所述虚拟角色所将所述语音元素所对应的起始时间戳和结束时间戳，确定为所基于所述标签集合与所述语音反馈信息之间的对应关系、以及12.根据权利要求11所述的方法，其特征在于，获取所述语音反馈信息所对应的时间基于所述字符数量、所述语言类型以及语速信息，生成与所述4基于所述语音反馈信息所对应的语言类型，确定对所述预设语基于所述语音反馈信息、所述语音时间戳以及所述非语言交互将所述语音反馈信息和所述非语言交互数据发送至渲染引擎，以使所第一获取模块，用于响应于针对虚拟角色的交互信息，第一处理模块，用于基于所述语音反馈信息、所述语音时机执行时实现上述权利要求1_14中任意一5[0005]响应于针对虚拟角色的交互信息，生成与所述交互信息6计算机程序使计算机执行时实现上述第一方面中的个处理器执行上述第一方面所示的虚拟角色的交互控制方情之间的割裂问题，并且能够在一定程度上提高用户与虚拟角色之间进行交互的自然程[0021]图3为本发明实施例提供的生成与所述交互信息相对应的语音反馈信息的流程示[0022]图4为本发明实施例提供的基于所述标签集合、所述语音反馈信息和所述语音时[0025]图7为与图6示实施例提供的虚拟角色的交互控制装置对应的电子设备的结构示7[0035]3D虚拟角色的动作与语音输出：是指3D虚拟角色通过骨骼动画和TTS语音生成技[0040](1)语音与表情之间存在割裂：由于语音生成操作与表情渲染操作通常是独立进[0042](3)情感一致性不足：语音内容的语气与3D虚拟角色的表情和动作情绪表达不一8[0053](2)跨模态协同能力弱：不同模态信息之间的协同操作通常通过简单的时间轴映端提供该服务的方式可以是对外提供服务接口，用户调用该服务接口以使用相应的服务。服务接口包括软件开发工具包(SoftwareDevelopmentKit，简称SDK)、应用程序接口9[0057]虚拟角色的交互控制装置200是指可以在网络虚拟环境中实现虚拟角色的交互控[0064]图2为本发明实施例提供的一种虚拟角色的交互控制方法的流程示意图；参考附语音之间在时间维度上实现高度的一致性，在生成与交互信息相对应的语音反馈信息之后，可以对语音反馈信息进行分析处理，以确定语音反馈信息中的语音元素所对应的语音于构成语音反馈信息的单个字符，词组元素可以是指用于构成语音反馈信息的至少两个字符，短句元素可以设置用于构成语音反馈信息的至少五个字符。例如：在语音反馈信息为时间点，这样在一定程度上实现了对语音元素所对应的语音时间戳进行确定的稳定可靠音反馈信息进行分析处理构成影响，还可以先对语音反馈信息与标签集合进行分割处理，而后对分割处理后的语音反馈信息进行分析处理，以确定语音元素所对应的语音时间戳。[0081]由于语音元素所对应的语音时间戳能够控制虚拟角色进行交互时的语音播报时[0086]在另一些实例中，控制虚拟角色的交互操作不仅可以通发送至渲染引擎，以使渲染引擎基于语音反馈信息和非语言交互数据对虚拟角色进行渲色的面部表情和/或身体情感进行限定的表情数据、用于控制虚拟角色执行某些操作的动[0090]图3为本发明实施例提供的生成与交互信息相对应的语音反馈信息的流程示意[0093]在一些实例中，交互意图可以基于交互信息的信息类型以及语义分析技术来确音交互信息的情况下，则可以利用语音识别技术将语音交互信息转换为相对应的文本内[0094]具体的，交互意图不仅可以基于交互信息的信息类型以信息相对应的交互情绪信息，可以先获取用于确定交互情绪信息的至少一个参考情绪信[0100]在另一些实例中，交互情绪信息不仅可以通过预先训练好的深度学习模型来确向量表征与第二向量表征之间的相似度用于标识交互信息与交互情绪信息之间的适配程[0106]在另一些实例中，交互情绪信息不仅可以通过预先训练好的深度学习模型来确[0110]在另一些实例中，语音反馈信息不仅可以通过预先训练好的深度学习模型来确同的角色标识可以对应有不同的角色素材库，不同的场景标识对应有不同的场景素材库，[0123]为了能够在一定程度上保证对语音反馈信息相对应的时间轴进行生成的准确可息可以通过自动语音识别(AutomaticSpeechRecognition，简称ASR)技术对语音反馈信[0124]对于语音反馈信息所对应的语速信息而言，其不仅可以直接通过ASR技术来对语一定程度上保证了对语音反馈信息所对应的语速信息进行获取的准[0133]在交互信息为语音交互信息时，可以利用自动语音识别ASR技术来对语音交互信文件可以包括与意图信息相对应的字段以及与情以将所生成的与各个字符相对应的起始时间戳与语音反馈内容所对应的多模态标签进行来生成3D角色的角色渲染数据，而后可以通过渲染引擎来完成3D虚拟角色的实时渲染操emotion_happy>进行解析操[0149]通过音素同步算法为语音反馈内容中的每个音素生成精确的起始时间戳和结束[0151]基于LLM的标签化内容生成框架来生成相对应的多模态数据标签，具体可以根据用户输入的语义信息和情感信息进行解析操作，并可以通过LLM模型结合时间轴来生成情[0154]另外，该技术方案还能够结合多语言适配模块来生成3D虚拟角色的动作和表具体可以根据不同语言的语速、音调特性动态调整语音生成与动作表情生成的触发逻辑。合高效的实时渲染引擎(Unity)实现了低延迟的多模态信息的输出，进一步优化了渲染性[0158]图6为本发明实施例提供的一种虚拟角色的交互控制装置的结构示意图；参考附[0177]在一个可能的设计中，图6所示虚拟角色的交互控制装置的结构可实现为一电子上述图1图5所示实施例中提供的虚拟角色的交互控制方法的程序，第一处理器21被配置上述图1图5所示方法实施例中的虚拟角色的交互控制方法借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实程或多个流程和/或方框图一个方框或多个方框中指定[0187]这些计算机程序指令也可存储在能引导计算机或其他可编程设备以特定方式工制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框他可编程设备上执行的指令提供用于实现在流程图一个