CN110837778A 一种基于骨架关节点序列的交警指挥手势识别方法 （南京信息工程大学）

一种基于骨架关节点序列的交警指挥手势本发明公开了一种基于骨架关节点序列的2(2)基于改进的目标检测算法检测出含有交警的图像，输出包含交警的目标框与坐标(4)使用时空图卷积模型对得到的交警指挥交通时的身体关节点序列进行处理，从而2.根据权利要求1所述的一种基于骨架关节点序列的交警指挥手势识别方法，其特征将从卷积层提取的Conv4_3和Conv7的特征图做转置卷积3.根据权利要求1所述的一种基于骨架关节点序列的交警指挥手势识别方法，其特征(36)计算S,L的预测值与groundtruth(S*,L*)之间的L2范数，S和L的groundtruth从4.根据权利要求1所述的一种基于骨架关节点序列的交警指挥手势识别方法，其特征(41)将步骤(3)得到的交警关节点序列作为输入利用给定的2D坐标系下的交警身体关3(42)对时空图中的关节坐标向量应用多层的时空图卷积操作，生成更高级别的特征5.根据权利要求3所述的一种基于骨架关节点序列的交警指挥手势识别方法，其特征6.根据权利要求3所述的一种基于骨架关节点序列的交警指挥手势识别方法，其特征4具有更加良好的稳定性和不变性，将图卷积网络应用到交警骨架关节点序列的行为识别5[0009](2)基于改进的目标检测算法检测出含有交警的图像，输出包含交警的目标框与[0011](4)使用时空图卷积模型对得到的交警指挥交通时的身体关节点序列进行处理，[0022](34)第一个阶段以特征图F作为输入，得到一组交警部位位置的二维置信度图S1[0023](35)后续的阶段分别以上一个阶段两分支的输出St-1,Lt-1和特征图F融合作为输[0024](36)计算S,L的预测值与groundtruth(S*,L*)之间的L2范数，S和L的个由18个元祖组成的数组,最终输出所有关节点按时间顺序组合得到的[0027](41)将步骤(3)得到的交警关节点序列作为输入利用给定的2D坐标系下的交警身6[0041]从摄像机采集的交警8种指挥手势视频片段中提取视频的帧，在这些帧中随机抽7[0044]将训练所用交警数据转换成VOC2007数据集格式从而制成交警数据集。按照VOC2007数据集的格式对自己的数据集进行预处理；使用labelImg开源工具包对采集的所[0046]本专利用来检测交警的算法是改进的SSD目标检测算法(SingleShotMultiBox比于two-stage方法要先通过启发式方法(selectivesearch)或者CNN网络(RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，one-stage方法整个过程只需要一[0047]建立改进的SSD目标检测模型对交警进行特征提取，测试并利用损失函数优化检8[0053]在⑤中，对低分辨率特征做转置卷积后,其特征图分辨率需与高分辨率特征图一[0055]其中O为转置卷积输出特征图分辨率,S为步长,L为输入特征图分辨率,H为卷积核尺寸,P为边缘补充尺寸。改进后的ssd目标检测网络结构低层高分辨率特征图将获得的信息，增加了低层特征提取能力，同时高层特征拟合能力不变,所以能[0057]建立SSD目标检测模型还需要利用损失函数优化检测模型。损失函数定义为位置[0062]真实框坐标的计算如下，其中d"、dp、d"、分别为先验框的中心点的横纵表示第i个先验框为类别p的置信度。9图和亲和度图进行多阶段预测后，利用PAFs将属于一个人整体的身体部位关节点连接起[0071]根据步骤2用目标检测算法得到的交警的目标框与坐标信息，通过姿态估计算法[0072](1)根据上一阶段用目标定位与检测算法得到的大小为w*h的多帧交警指挥动作[0073](2)图像被一个卷积神经网络处理后生成特征图集F；这里的卷积神经网络是由部位位置的二维置信度图S，进行交警身体部位定位得到人体的关节点，另一个分支指的是一个肢干所连接的两个关节之间会有一系列二维向量从其中一个部位指向另一个[0077](5)后续的阶段分别以上一个阶段两分支的输出St-1,Lt-1和特征图F融合作为输[0078](6)计算S,L的预测值与groundtruth(S*,L*)之间的L2损失函数，S和L的[0079]Branch1的损失函数为Branch2的损失函数为是指Branch1在第t阶段输出的第j个部位置信图上p点的置信值。是指groundtruth的第j个身体部位图上p点的置信值。是指Branch2在第t个阶段输出的第c个部位亲和向量场上p点的向量。是指groundtruth[0080](7)估计每帧图像中交警18个关节点的位置，并将一个骨架帧记录为一个由18个元祖组成的数组,最终输出所有关节点按时间顺序组合得[0085](1)将步骤3用姿态估计算法提取的按时间顺序组合形成的交警关节点序列作为然后随机抽取三个因素的两个组合来产生仿射变换。这种转