CN115100559B 一种基于格点光流的动作预测方法与系统 （浪潮软件集团有限公司）

本发明特别涉及一种基于格点光流的动作2S1、将普通RGB相机作为目标检测器的输入设备，使用目S2、将检测到的单人区域送入人体姿态估计网络所述关节点深度回归网络包括根据图像局部区域深度估计和根据全局关节点深度估为了解决将2D姿态提升到3D姿态时在单视角深度回归网络利用2D关节点和图像身体部位的所述关节点深度回归网络的两个分支分别为人体骨架关节点映射网络和图像Patch所述人体骨架关节点映射网络根据2D关节点学习全局的深度信息，所述图像PatchLSTM网络利用人体各部位的局部图像信息进行学所述人体骨架关节点映射网络和图像PatchLSTM网络的输出通过max-pooling层作为第二级Seq2seq_attention网络的输入，每个关节点的预测深度为第二级Seq2seq_attention网络的隐藏层输出经过全S3、采用基于Lucas-Kanade稀疏光流计算方法计采用自定义的ShuffleNet_CBAM_k5网络对关节点位将ShuffleNetv2卷积神经网络中的3×3深度卷积进行卷积核扩张，替换成5×5深度于Lucas-Kanade稀疏光流计算方法在获得二维关节点位置时，直接确定位置附近边长为所述基于Lucas-Kanade稀疏光流计算方法在每个关节点上设定边长为dmax的候选矩形3遍历全局像素来统计背景中的光流直方图，选取最高频的光流方向作为相机运动方5.根据权利要求1所述的基于格点光流的动作预测方法，其特征在于：所述Seq2seq_在编码阶段编码器encoder对输入的内容进行处理，然后输出成一个向量作为中间表6.根据权利要求5所述的基于格点光流的动作预测方法，其特征在于：所述编码器7.根据权利要求6所述的基于格点光流的动作预测方法，其特征在于：所述Seq2seq_预测便简化为0速度或者接近0速度的预测，在每一个GRU网络的输入和输出上添加一个链9.一种根据权利要求1~8任意一项所述的基于格点光流的动作预测方法的系统，其特将检测到的单人区域送入人体姿态估计网络，提取输入图片中2D人体关节点位置信所述关节点深度回归网络包括根据图像局部区域深度估计和根据全局关节点深度估光流矢量计算模块：负责采用基于Lucas-Kanade稀疏光流计算方法3D位姿预测模块：负责将关节点深度信息和关节光流传递到Seq2seq_attention网络4热力图的表示方式被广泛使用在人体骨架的5[0011]所述关节点深度回归网络包括根据图像局部区域深度估计和根据全局关节点深[0012]S3、采用基于Lucas-Kanade稀疏光流计算方法计算目标人体区域周围的点阵格[0016]将ShuffleNetv2卷积神经网络中的3×3深度卷积进行卷积核扩张，替换成5×5力机制应用到ShuffleNetv2卷积神节点深度回归网络利用2D关节点和图像身体部位[0019]所述关节点深度回归网络的两个分支分别为人体骨架关节点映射网络和图像标作为输入并进行编码，编码模块包含两个残差块，每个残差块中分别由线性层、BN层、[0022]所述人体骨架关节点映射网络和图像PatchLSTM网络的输出通过max-pooling层作为第二级Seq2seq_attention网络的输入，每个关节点的预测深度为第二级Seq2seq_attention网络的隐藏层输出经过全连接[0025]所述基于Lucas-Kanade稀疏光流计算方法在每个关节点上设定边长为dmax的候选6[0028]所述Seq2seq_attention网络基于传统Seq2seq网络结构，由编码器encoder和解[0029]在编码阶段编码器encoder对输入的内容进行处理，然后输出成一个向量作为中[0030]所述编码器encoder采用GRU(GatedRecurrentNeuralNetwork，门控循环神经网络)网络，解码器decoder则采用添加了注意力机制和残差连接的GRU网络；在设置模型隐藏层状态h和向量c得到新的向量之后经过FC层输出；接着在下一个时间节点上继续重[0034]人体姿态估计模块：负载将普通RGB(红绿蓝三色)相机作为目标检测器的输入设[0036]所述关节点深度回归网络包括根据图像局部区域深度估计和根据全局关节点深[0038]3D位姿预测模块：负责将关节点深度信息和关节光流传递到Seq2seq_attention7[0048]所述关节点深度回归网络包括根据图像局部区域深度估计和根据全局关节点深[0049]S3、采用基于Lucas-Kanade稀疏光流计算方法计算目标人体区域周围的点阵格[0053]将ShuffleNetv2卷积神经网络中的3×3深度卷积进行卷积核扩张，替换成5×5力机制应用到ShuffleNetv2卷积神[0054]通过观察ShuffleNetv2的计算量分布，实际上在深度卷积DWConv上的计算量占[0055]相比于SENet只关注通道的注意力机制，注意力模型CBAM模块在带来小幅计算量[0056]所述ShuffleNet_CBAM_k5网络前一部分与ShuffleNetv2相同降采样部分相同，[0057]所述步骤S2中，关节点深度回归网络是一个可端到端进行训练的LSTM(Long8节点深度回归网络利用2D关节点和图像身体部位[0059]所述关节点深度回归网络的两个分支分别为人体骨架关节点映射网络和图像标作为输入并进行编码，编码模块包含两个残差块，每个残差块中分别由线性层、BN层、[0062]所述人体骨架关节点映射网络和图像PatchLSTM网络的输出通过max-pooling层作为第二级Seq2seq_attention网络的输入，每个关节点的预测深度为第二级Seq2seq_attention网络的隐藏层输出经过全连接[0065]所述基于Lucas-Kanade稀疏光流计算方法在每个关节点上设定边长为dmax的候选[0071]所述Seq2seq_attention网络基于传统Seq2seq网络结构，由编码器encoder和解[0072]在编码阶段编码器encoder对输入的内容进行处理，然后输出成一个向量作为中[0073]所述编码器encoder采用GRU(GatedRecurrentNeuralNetwork，门控循环神经网络)网络，解码器decoder则采用添加了注意力机制和残差连接的GRU网络；在设置模型[0074]传统的Seq2seq是只传递最后一个的隐藏层的状态，将注意力机制引入传统9[0077]人体姿态估计模块：负载将普通RGB(红绿蓝三色)相机作为目标检测器的输入