CN113963445B 一种基于姿态估计的行人摔倒动作识别方法及设备 （河南理工大学）

一种基于姿态估计的行人摔倒动作识别方本申请提供一种基于姿态估计的行人摔倒2获取原始视频流中多帧图像，对每一帧所述图像进行行人检测和跟踪将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网络结合摔倒动作变化特性，对所述姿态时空联合特所述图卷积神经网络中包括第一时空合并图卷积模块、第二时所述将所述姿态图数据输入图卷积神经网络中，在所述图卷积神经网所述将调整后的姿态图数据输入所述第一时空合并图卷积模块次通过所述序列化组件层中的所述多尺度图卷积和连续两个所述多尺度时间卷积进行特过所述多窗口多尺度3D图卷积层和所述序列化组件层后输出的特征相加后，输入激活函3.根据权利要求1-2任一项所述的方法，其特3基于DeepSort的行人跟踪算法通过计算前后两帧所述图像间所述待跟踪目标的行人基于所述跟踪结果，利用区域多人姿态估计算法对每个所述待跟对所述姿态时空联合特征做全局平均池化处理，将得到的池化结果输入全连接线性结合摔倒动作变化特性，通过分类器输出所述姿态5.一种计算机可读介质，其上存储有计算机4[0002]现有技术中，目前行为识别领域常用的数据模态主要分为原始RGB视频和一系列性不够。2020年有学者提出了一种G3D时空图卷积算子，把时空信息联系在一起做三维卷[0004]因此，解决RGB视频中复杂背景和动作特征提取不充分对摔倒动作识别准确率产5[0011]每个所述时空合并图卷积模块内包括多窗口多尺度的3D图卷积层和序列化组件[0018]分别将所述调整后的姿态图数据输入所述第一时空合并图卷积模块中的所述多[0019]所述调整后的姿态图数据依次通过所述序列化组件层中的所述多尺度图卷积和[0021]将通过所述多窗口多尺度3D图卷积层和所述序列化组件6[0028]基于DeepSort的行人跟踪算法通过计算前后两帧所述图像间所述待跟踪目标的[0040]图1示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法的流[0041]图2示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法中连7[0042]图3示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法中人[0043]图4(a)示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法[0044]图4(b)示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法[0045]图5示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法的中[0046]图6示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法的姿处理器(例如中央处理器(CentralProcessingUnit，CPU)、图形处理器(Graphics[0050]内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(Random闪记忆体或其他内存技术、只读光盘只读存储器(CompactDiscRead-OnlyMemory，CD-信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory[0052]图1示出根据本申请一个方面的一种基于姿态估计的行人摔倒动作识别方法的流8行特征提取得到姿态时空联合特征；在此，所述图卷积神经网络(GraphConvolutionalNetwork，GCN)的本质是基于附近的网络邻居，通过卷积聚合的方式生成关键点的嵌入表[0056]首先初始化第0层的嵌入表示=x,,"表示先前一层关键点v的嵌入表示σ是9[0062]例如，在Le2iFallDetection(LFD)和URFallDetection(URFD)两个摔倒检测数据集上表现良好的算法和本申请所用的算法进行对比。利用本申请方法与使用[0069]每个所述时空合并图卷积模块内包括多窗口多尺度3D图[0076]分别将所述调整后的姿态图数据输入所述第一时空合并图卷积模块中的所述多[0077]所述调整后的姿态图数据依次通过所述序列化组件层中的所述多尺度图卷积和[0079]将通过所述多窗口多尺度3D图卷积层和所述序列化组件[0086]基于DeepSort的行人跟踪算法通过计算前后两帧所述图像间所述待跟踪目标的检测方法中yolo网络凭借其高实时性普遍应用在实际生活场景中。本申请使用基于yolo人边界框特征信息的相似度来进行匹配，时为每一个待跟踪目标分配一个ID(对每帧中轨检测器输出结果和跟踪预测结果进行IOU最优化分配，同时还引入级联匹配和新轨迹确认个体提取关键点坐标。RMPE(RegionalMulti-PersonPoseEstimation)算法思想是检测[0098]结合摔倒动作变化特性，通过softmax分类器输出所述姿态时空联合特征对应的输出特征做全局平均池化，池化结果输入全连接线性层(输入通道384，输出通道为类别[0101]根据本申请的另一个方面，还提供了一种基于姿态估计的行人摔倒动作识别设广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的指