CN114821744B 基于表情识别的虚拟人物驱动方法、装置及设备 （阿里巴巴（中国）有限公司）

本申请提供一种基于表情识别的虚拟人物定目标分类属于预设表情分类并且当前满足目据驱动数据和虚拟人物的三维形象渲染模型驱2将所述用户的人脸图像分别输入用于人脸表情识别的基模型和多根据所述第一表情分类结果和所述第二表情分类结果，确定所述若确定所述目标分类属于预设表情分类，并且当前满足所述目标分类的响应触发条打断策略用于打断虚拟人物当前处理，并驱动虚拟人物执行所述打断策略对应的响应行根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人所述根据所述第一表情分类结果和所述第二表情分类结果，确定所根据所述用户当前表情属于每一表情分类的第一置信度和第二置信度，确定若当前的对话状态为虚拟人物输出用户接收的状态，并且所述目预设表情分类，则根据所述用户当前表情属于所述目标分类的置信度和当前的上下文信所述用户当前表情属于所述目标分类的置信度大于或等于所述目标分类对应的置信当前对话轮次与前一次触发打断的对话轮次之间的间隔的轮次数量大于或等于预设3若在第一预设时长内接收到用户的语音输入，并识别出所若在第一预设时长内未接收到所述用户的语音输入，或者无法若当前的对话状态为用户输入虚拟人物接收的状态，并且所述目若确定当前满足所述目标分类对应的承接触发条件，则根据所对应的驱动数据，所述驱动数据用于驱动所述虚拟人物执行至少一种所述承接响应行为，根据用户当前输入的语音数据，识别所述语音数据对应的用户根据所述用户意图信息对应的情感极性和所述承接策略，确定根据所述目标分类对应的承接策略和承接响应行为使用的特定语对应的驱动数据，所述驱动数据用于驱动所述虚拟人物执行如下至少一种承接响应行为：根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人物承接响应行为：播报针对所述用户意图信息对应的情感极性配置的规定语气的承接话术、其中，所述播报针对所述用户意图信息对应的情感极性配置的4获取训练好的用于人脸表情识别的基模型和多对所述基模型和所述多模态对齐模型进行模渲染模型获取模块，用于获取虚拟人物的三维形象渲染模型，以利用虚拟实时数据获取模块，用于在虚拟人物与用户的一轮对话实时表情识别模块，用于将所述用户的人脸图像分别决策驱动模块，用于若确定所述目标分类属于预设表情分设表情分类包括具有对应的打断策略的第一预设表情分类和具有对应的承接策略的第二根据所述驱动数据和虚拟人物的三维形象渲染模型，驱动虚拟人所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1_10中5[0007]将所述用户的人脸图像分别输入用于人脸表情识别的基6[0028]图7为本申请一示例性实施例提供的基于表情识别的虚拟人物驱动装置的结构示7[0036]本申请提供的基于表情识别的虚拟人物驱动方法，涉及计算机技术中的人工智[0039]图1为本申请提供的基于表情识别的虚拟人物驱动方法的系统框架图，如图1所8[0041]下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述[0042]图2为本申请一实施例提供的基于表情识别的虚拟人物驱动方法流程图。本实施例提供的基于表情识别的虚拟人物驱动方法具体可以应用于具有使用虚拟人物实现与人于虚拟人物的三维形象渲染模型可以将虚拟人物的骨骼数据渲染成呈现给用户时展示的9注的训练数据上对预训练的多模态对齐模型进行微调，可以得到训练好的多模态对齐模[0059]示例性地，多模态对齐模型可以采用CoOp(ContextOptimization)、CLIP(ContrastiveLanguage_ImagePre_training)、PromptEnsembling、PET(Pattern_[0061]在分别通过用于人脸表情识别的基模型和多模态对齐模型对用户的人脸图像进[0078]在确定目标分类属于预设表情分类，并且当前满足目标针对用户的面部表情做出及时响应的多模态[0084]在上述步骤S203中，将用户的人脸图像输入训练好的用于人脸表情识别的基模度中同一表情分类对应的第一置信度和第二置信度求均值，作为该表情分类的第三置信采用用于人脸表情识别的DAN模型，多模态对齐模型采用用于人脸表情识别的CoOp模型实文本编码器对模型内置的文本信息进行编码[0092]本实施例中通过结合用于人脸表情识别的基模型和多模态对齐模型进行人脸表输入用于人脸表情识别的基模型和多模态对齐模型，通过基模型确定第一表情分类结果，[0097]图4为本申请另一实施例提供的基于表情识别的虚拟人物驱动方法流程图。在上[0106]第一预设表情分类及每一第一预设表情分类对应的打断策略可以根据实际应用对话轮次之间的间隔的轮次数量大于或等于的对话轮次之间的间隔的轮次数量是否大于或等于对话轮次与前一次触发打断的对话轮次之间的间隔的轮次数量大于或等于预设轮次数量。对应的打断策略包括的打断响应行为的种类和具体内容于虚拟人物的三维形象渲染模型可以将虚拟人物的骨骼数据渲染成呈现给用户时展示的[0143]图5为本申请另一实施例提供的基于表情识别的虚拟人物驱动方法流程图。在上[0152]第二预设表情分类及每一第二预设表情分类对应的承接策略可以根据实际应用[0162]本实施例中，通过设置第二预设表情分类对应的承接触发条件为至少连续N帧图对应的承接策略包括的承接响应行为的种类和具体内容[0175]这一实施方式中，通过识别用户当前语音输入的用户意[0176]需要说明的是，承接策略中播报的承接话于虚拟人物的三维形象渲染模型可以将虚拟人物的骨骼数据渲染成呈现给用户时展示的[0181]图6为本申请另一实施例提供的虚拟人物驱动方法流程图。在上述任一方法实施[0186]步骤S603、当检测到用户输入的语音数据的静默时长大于或等于第二预设时长[0190]具体地，当检测到用户输入的语音数据的静默时长大于对应的承接策略包括的承接响应行为的种类和具体内容可[0207]图7为本申请一示例性实施例提供的基于表情识别的虚拟人物驱动装置的结构示[0210]实时表情识别模块73用于将用户的人脸图像分别输入用于人脸表情识别的基模[0212]本申请实施例提供的装置可以具体用于执行上述图2对应方法实施例所提供的方[0214]在根据第一表情分类结果和第二表情分类结果，确定用户当前表情的目标分类一次触发打断的对话轮次之间的间隔的轮次数量大于或[0225]本申请实施例提供的装置可以具体用于执行上述任一方者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限