CN119473209B 结合图像识别的数字人姿态调整方法及装置 （远古大陆人工智能科技(苏州)有限公司）

道聚茂街185号活力商务广场D栋11层结合图像识别的数字人姿态调整方法及装置本发明公开了结合图像识别的数字人姿态进行面部图像数据采集的过程中同步进行累积据韵律标注序列和适配回应文本进行适配回应术中数字人难以准确感知访客情绪和诉求并进数字人姿态和语音对访客情绪适配性的技术效2在对所述交互对象进行面部图像数据采集的过程中同步进行对所述交互对象进行文本特征数据采集结束后，基于所述文本特征在采用所述情绪姿态序列进行目标数字人的姿态调整过程中，根据所述在对所述交互对象进行面部图像数据采集的过程中同步进行采用摄像头对所述交互对象进行面部图像数据采集的过程中，摄像头以所述所述累积情绪识别模型基于间隔上传的所述多帧图像流进行情绪变化趋势的捕捉更所述累积情绪识别模型包括级联的面部特征识别层、情绪状态更新层交互获得样本情绪特征集，并将所述样本情绪特征集作为通过将训练优化后的所述面部特征识别模型同步至所述面部特征识采用预定义的情绪特征筛选规则构建情绪特征选择门，并通过将情绪融合分析所述适配回应文本和实时交互情绪，输出创建所述多个样本交互情绪节点和多个样本反馈情调用所述多个样本反馈情绪节点的多组样本情绪姿态，述情绪姿态序列由动作姿态情绪和语音姿态情3对所述交互对象进行交互语音数据采集过程中，以所述情绪识别更新采用所述效验交互情绪进行所述实时交互情绪的在完成对所述交互对象的交互语音数据采集后，通过识别转所述累积情绪识别模型在接收到第一多帧图像流后，经由所述面部特所述情绪状态更新层在接收所述第一情绪特征序列后，通过所述情所述情绪状态整合门基于情绪类型对所述主要情绪特征序列进行时序情绪的提取和所述情绪趋势提取层在接收所述第一组情绪变化特征后，采用所述所述情绪输出调节单元根据所述第一组情绪突变节点对所述第一组情绪变化特征进基于滑动时间窗口聚合所述多个情绪趋势向量后根据情绪捕捉时间进行所述K个主导情绪趋势的衰减加权赋值，获得K个情绪关联权采用所述K个情绪关联权重对所述K个主导情绪趋势进行加权求和，获得综合情绪趋采用预设样本情绪权重分配进行所述综合情绪趋势加权求和，获得所述实时交互情5.结合图像识别的数字人姿态调整装置，用于实现如权利要求1_4任一项所述的结合数据采集模块，所述数据采集模块用于在许可交互对象对目标数字人的交互行为后，4实时交互情绪获取模块，所述实时交互情绪获取模块交互诉求摘要获取模块，所述交互诉求摘要获取适配回应文本生成模块，所述适配回应文本生成模块用于根据序列输出模块，所述序列输出模块用于融合分析所述适配回应文本和实时交互情绪，输出情绪姿态序列和韵律标注序列；动态合成播放模块，所述动态合成播放模块用于在采5[0003]现有技术存在数字人难以准确感知访客情绪和诉求并进行适配性姿态和语音调术中数字人难以准确感知访客情绪和诉求并进行适配性姿态和语音调整[0007]在许可交互对象对目标数字人的交互行为后，启动对交互对6[0011]在许可交互对象对目标数字人的交互行为后，启动对交互对可机制触发了整个数据采集流程的启动，识别到交互对象开始与目标数字人产生交互行7等设备记录下交互对象与数字人交流过程中的语音内容；对交互对象的面部图像数据采识别模型是一个复杂且关键的部分，它承担着从图像流中捕捉情绪变化趋势的重要任务，过上述流程，累积情绪识别模型基于间隔上传的多帧图像流不断进行情绪变化趋势的捕8律标注序列。述韵律标注序列和适配回应文本进行适配回应语音的同步动态9图像能够在合适的时间间隔下反映出交互对象面部表情的变化情况，以这个间隔为标准，支持向量机(SVM)进行训练。在训练过程中，模型会学习到语音特征与情绪之间的关联关据输入的语音特征输出相应的情绪预测结果。这些情绪预测结果经过进一步的处理和分过句法分析更深入地理解句子的语义和意图。在完成上述基础的自然语言处理步骤后，开确地概括出交互对象在交互过程中的核心诉求，为后续根据诉求生成适配回应文本提供重要依据。[0056]依据每种情绪设定的作为背景情绪的权重参数范围等预定义的情绪特征筛选规征识别层进行所述第一多帧图像流中多个图像帧的情绪特征识别，获得第一情绪特征序列。[0068]情绪状态整合门在接收到主要情绪特征序列后，会依据情绪类型对其进行处点为中心的前后若干帧图像所对应的情绪特征。对于关注区域内的每一个情绪变化特征，代表的情绪成分进行深入研究。通过比较不同情绪成分的权重或者强度来确定主导情绪。[0079]根据情绪捕捉时间来对K个主导情绪趋势进行衰减加权赋值，情绪捕捉时间是指每个主导情绪趋势在整个交互过程中被捕捉到的时间点或时间段相关的信息。一般来说，到K个情绪关联权重。这些权重值体现了不同主导情绪趋势在综合考虑时间因素后的相对[0084]步骤S520：创建所述多个样本交互情绪节点和多个样本反馈情绪节点的映射关语音姿态情绪中是重点强调的，那么在适配回应文本中相应的词汇就会被标注为重音位得主要情绪特征序列。[0126