CN119512407A 虚拟机器人的互动方法装置存储介质及电子设备 （达闼机器人股份有限公司）

201811217722.72018.10.18幢将所述互动信息输入所述虚拟机器人的控制模户输入的互动信息以及主播针对该互动信息的据所述控制模型基于所述互动信息输出的行为公开实施例用于实现虚拟机器人与用户之间的2获取用户输入的偏好信息，从所述虚拟机器人的多种类型将所述获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型所述控制模型包括深度学习网络，所述深度学习网络经过卷积网络以将文本信息和图片信息作为所述目标控制模型的训练输入，将连续图像帧作为人体姿态解析模块的输入，通过卷积神经网首先通过人脸检测模块从主播视频中提取出人脸区域，然后经过深度神经网络学习，首先将一句语音转化成一张图像作为输入，即先对每帧语音进根据视频直播平台上为每一主播呈现的性格标签，表演类型标签等对主播进行分类，7.根据权利要求2至4中任一项所述的方法3根据所述目标控制模型基于所述互动信息输出的行为控制信息，对确定模块，用于从所述虚拟机器人的多种类型的控制模型中，确定模型训练模块，用于将所述获取用户输入的互动信息以及主播针对该控制模块，用于根据所述目标控制模型输出的所述行为控制信息第一获取子模块，用于根据人体姿态解析模块从主播视频中提取主播的肢体动作信第二获取子模块，用于根据人脸表情分析模块从主播视频中提取主播的面部表情信4直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练[0012]从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反应[0013]将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为反5的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的[0019]所述将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应6的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的[0047]本公开实施例第三方面提供一种计算机可读存储介质，7拟机器人的直播间输入的文本信息和/或用户赠送的礼物视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型入的与虚拟机器人交互的互动信息，即可实现对虚拟机器人实时的与用户的互动反应控的基于从视频直播平台新采集的样本对该控制[0075]S21、从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行为8[0077]S22、将从视频直播平台获取用户输入的互动信息以及主播针对该互动信息的行脸表情分析模块从主播视频中提取主播的面部表情信息；和/或根据语音分析模块从主播[0086]下面以用户在视频直播平台输入的所述互动信息包括用户输入到直播聊天室的平台获取用户输入的互动信息以及主播针对该互动信息的行为反应信息作为模型训练样[0090]在本公开实施例的一种可能的实现方式中，用户在与虚9述控制模型是以视频直播平台的用户输入的互动信息以及主播针对该互动信息的行为反互动信息以及主播针对该互动信息的行为反应信息，作为模型训练样本训练得到控制模[0103]本公开实施还提供一种虚拟机器人的训练装置，用于实施图2提供的虚拟机器人信息以及主播针对该互动信息的行为反应信息作为模型训练样本对所述控制模型进行训的所述互动信息包括用户输入到直播聊天室的文本信息和用户赠送给主播的虚拟礼物的被处理器执行时实现上述虚拟机器人的互动互动方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(StaticRandomAccessMemory，简称SRAM)，电可擦除可编程只读存储器(ProgrammableRead_OnlyMemory，简称PROM)，只读存储器(Read_OnlyMemory，简称设备之间进行有线或无线通信。无线通信，例如Wi_Fi，蓝牙，近场通信(NearField[0121]在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、数字信号处理器(Digital的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述虚拟机器人的