CN115439927B 基于机器人的步态监测方法、装置、设备及存储介质 （南方科技大学）

WO2019174439A1,2019.09.19本公开实施例提供一种基于机器人的步态到拍摄视频中人员的人体剪影序列和人体关键2对所述拍摄视频的视频帧进行图像处理，得到所述拍摄视频中人员的通过身份特征提取模型中的剪影特征提取网络，对所述人体剪影序列进行特征提取，通过所述身份特征提取模型中的关键点特征提取网络，对所述人通过所述身份特征提取模型中的多模态特征混合网络，对所述人体剪如果身份识别结果为所述人员属于服务对象，则通过健如果身份识别结果为所述人员属于服务对象，则通过健如果所述身份识别结果为所述人员属于服务对象，则通通过所述情绪识别网络对所述面部特征和所述步态特征进行识别，得到将所述人体剪影序列输入所述空域特征提取网络，在所述空域将所述剪影空域特征输入所述池化网络，通过所述池化网络对所将所述剪影空域特征输入所述时域池化网络，通过所述时域池化网将所述初步池化特征输入所述水平金字塔池化网络，在所述水平金3在所述多模态特征混合网络中，通过与所述人体剪影特征对视频处理单元，用于对所述拍摄视频的视频帧进行图像处理，得到所键点序列；剪影特征提取单元，用于通过身份特征提取模型中的剪影关键点特征提取单元，用于通过所述身份特征提取模型中特征融合单元，用于通过所述身份特征提取模型中的多模态步态状况得到单元，用于如果身份识别结果为所述人员所述步态状况得到单元在通过健康监测网络对所述人体关键点序列进如果所述身份识别结果为所述人员属于服务对象，则通通过所述情绪识别网络对所述面部特征和所述步态特征进行识别，得到所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所器执行如权利要求1至4任一项所述的基于机器7.一种计算机可读存储介质，其特征在于4[0001]本公开实施例涉及人工智能技术领域，尤其涉及一种基于机器人的步态监测方[0017]关键点特征提取单元，用于通过所述身份特征提取模型中的关键点特征提取网56[0039]图1为本公开实施例提供的基于机器人的步态监测方法流程示意图一。如图1所序列和人体关键点序列。息息相关，所以人员的人体剪影序列可以反映出拍摄视频中人员的身体姿态的动态变化，7型的输入数据为人员的人体剪影序列和人体关键点序列，输出数据为该人员的身份特征。合网络的身份特征提取模型，对人体剪影序列和人体关键点序列进行特征提取和特征融8[0069]在一些实施例中，如图3(图3为本申请实施例提供的身体特征提取模型的结构示9[0073]图4为本公开实施例提供的基于机器人的步态监测方法流程示意图二，在本公开块(其中图5以3个卷积块和一个跨层网络连接构成残差块为例)以及作为输出层的二维卷[0083]在一种可能的实现方式中，通过空域特征提取网络对人体剪影序列进行特征提[0088]在一种可能的实现方式中，如图3所示，池化网络包括时域池化(Temporal化网络，在水平金字塔网络中，在空间维度对初步池化特征进行多尺度划分、平均池化[0094]本实施例中，将人体关键点序列输入关键点特征提取网络[0096]一示例中，时域特征提取网络的网络结构可参照空域特个卷积网络，卷积网络用于通过对特征进行空络(比如卷积核尺寸为1*1的卷积层)，通过该两poseposeposeposeposepose[0115]图6为本公开实施例提供的基于机器人的步态监测方法流程示意图三。如图6所体关键点序列，步态健康监测网络中的特征编码网络包括面部编码网络和步态编码网络。在模型训练过程中，可利用步伐健康分类网络的输出数据；再将情绪健康监测网络的输出数据输入至情绪健康分类网络中进行分类，[0149]一示例中，在将面部特征中与情绪相关的特征以及步态特征中与情绪相关的特[0153]在根据人员的步态特征确定人员的情绪类型的过程中，可通过步态情绪识别网步，每个卷积块可包括一维卷积层和泄露线性整流单元(RectifiedLinearUnits，简称如图8所示，在腿型健康监测网络中，可先将步态特征fimayEOC输入至卷积网络[0167](二)根据人员的情绪悲伤或者情绪愤怒，通过机器人对人员的情绪类型进行存[0169]对应于上文实施例的基于机器人的步态监测方法，图9为本公开实施例提供的基果身份识别结果为人员属于服务对象，则通过健康监测网络对人体关键点序列进行识别，编码网络包括面部编码网络和步态编码网络。在如果身份识别结果为人员属于服务对象，[0183]参考图10，其示出了适于用来实现本公开实施例的电子设备话、笔记本电脑、数字广播接收器、个人数字助理(PersonalDigitalAssistant，简称PDA)、平板电脑(PortableAndroidDevice，简称PAD)、便携式多媒体播放器(Portable储装置1008加载到随机访问存储器(RandomAccessMemory，简称RAM)1003中的程序而执施例中，该计算机程序可以通过通信装置1009从网络上被下载和安装，或者从存储装置[0190]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。[0193]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0197]尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应面所描述的特定特征和动作仅仅是实现权利要