CN114779932B 用户姿态识别方法、系统、设备及存储介质 （阿里巴巴（中国）有限公司）

用用户所持传感设备采集的运动传感数据对姿的深度探测精度不高，也能实现精确地姿态估2根据所述运动传感数据，对所述姿态变化估计值进行在线矫正，发送交互指导信息给所述传感设备，接收用户按照所接收用户所持传感设备基于所述图形码发送的登录请求，所述登根据第一用户的每帧深度影像，分别提取第一用户在所述时间段内根据第一用户在所述时间段内的每帧人体骨架图像，计算第一用户的根据所述时间段内的所述肢体运动信息和所述运动传感数据，确计算所述时间段内的肢体运动信息包括的加速度与所述运动传感数据包括的加速度计算所述肢体运动信息包括的角速度与所述运动传感数据包括的角速度之间的第二3若所述第一差值小于第一预设阈值，且所述第二差值小于第一用户的深度影像与所述预设动作对应的根据所述预设动作对应的运动传感数据包括的加速度和角速度，计根据第一用户在所述时间段内的每帧深度影像，分别提取第一用户确定所述第一用户的深度影像与所述预设动作对应的运周期性地确定所述传感设备采集的运动传感数据与所述用户影像编号对应的深度影若所述传感设备采集的运动传感数据与所述用户影像编号对应的深度影像不匹配的若所述传感设备在第二预设时长内未更新其采集的运动传感根据矫正后的姿态变化估计值，通过预先训练的行为意图分类模型识别所确定所述行为意图类别及所述意图强度对应的控制指令，执所述深度采集设备，用于实时采集深度图像，所述深度图像中包括所述显示设备，用于接收所述深度采集设备传输的所述深度图像及所4所述服务器，用于接收所述深度采集设备或所述显示设备发送的所述5[0006]获取深度采集设备实时采集的深度图像，所述深度图像包括目标用户的深度影6[0020]图1示出了本申请一实施例所提供的一种用户姿态识别方法所基于的网络架构的[0023]图4示出了本申请一实施例所提供的一种用户姿态识别方法所基于的网络架构的78[0042]显示设备接收到用户的登录请求时，首先判断当前已登录人数是否小于预设数互指导信息中包括交互功能描述信息与对应的交互动作讲解信息中包括将传感设备采集的运动传感数据与深度采集设备采集的用户的深度影像绑定[0049]该运动传感数据包括用户持有该传感设备的肢体部位每个时刻的加速度、角速[0051]每个用户的传感设备传输运动传感数据给显示设备的同时还传输各自的设备标9一用户在该时间段内的肢体运动信息。根据该时间段内的肢体运动信息和运动传感数据，确定第一用户的深度影像是否与预设动作对应的运[0056]其中，预设的人体姿态估计算法可以包括OpenPose、Hourglass+Associative[0057]人体骨架帧间差值可以用于表达相邻两帧人体骨架图像之间相同的像素点的坐一用户的深度影像与预设动作对应的运动传感[0061]显示设备根据预设动作对应的运动传感数据，确定用户[0066]显示设备还可以在深度采集设备采集的每帧深度图像中该用户对应的深度影像[0067]通过上述步骤S1-S9的操作完成用户准备，在显示设备中存储了用户影像编号与识别的过程均相同。因此本申请实施例以目标用户为例来详细说明用户姿态的识别过程，目标用户可以为当前完成用户准备阶段的每个用户中的任[0075]显示设备根据目标用户的用户影像编号，从深度采集设备采集的每帧深度图像[0080]利用用户所持传感设备实时采集的运动传感数据对基于目标用户的深度影像预[0083]行为意图分类模型的网络结构可以为ResNet、CNN(卷积神经网络)网络等任意能[0085]将步骤103得到的矫正后的姿态变化估计值输入训练好的行为意图分类模型中，[0088]若显示设备确定出用户所持传感设备采集的运动传感数据与该用户对应的用户设备标识与该用户对应的用户影像编号之间的映射[0091]通过上述任一实现方式删除传感设备的设备标识与对应的用户影像编号之间的骤S1-S9的操作完成用户准备阶段。也可以由深度采集设备或显示设备将采集的每帧深度的姿态变化估计值，并基于矫正后的姿态变化估计值识别用户的行为意图类别及意图强[0098]在上述服务器参与的实施方式中，姿态追踪及识别的具体计算过程由服务器实[0105]本申请的上述实施例提供的用户姿态识别系统与本申请实施例提供的用户姿态采集的运动传感数据；提取深度采集设备采集的深度图像中包括的每个用户的深度影像；定第一用户的深度影像与预设动作对应的运动传感数[0115]用户绑定模块，用于根据预设动作对应的运动传感数据号对应的深度影像不匹配的持续时长达到第一预设时长，则删除传感设备对应的映射关[0119]本申请的上述实施例提供的用户姿态识别装置与本申请实施例提供的用户姿态序，所述处理器400运行所述计算机程序时执行本申请前述任一实施方式所提供的用户姿少一个通信接口403(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通方法的各步骤可以通过处理器400中的硬件的集成逻辑电路或者软件形式的指令完成。上[0124]本申请实施例提供的电子设备与本申请实施例提供的用户姿态识别方法出于相[0125]本申请实施方式还提供一种与前述实施方式所提供的用户姿态识别方法对应的[0127]本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的用户姿上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施任何熟悉本技术领域的技术人员在本申请揭露的