CN114511924B 基于自适应增广与表示学习的半监督骨骼动作识别方法 （南京理工大学）

SupervisedLearningforActionRecognition.ARXIV.2020基于自适应增广与表示学习的半监督骨骼本发明提出一种基于自适应增广与表示学增强模块的增强变换矩阵将其转换为增强骨架分别学习增强骨架序列和原始骨架序列中三类征分别输入到多层感知机MLP获取推拉式对比损对比损失和识别损失相结合作为X-CAR损失，对自适应增强模块和残差图卷积编码器进行学习2步骤2，通过残差卷积编码器中的残差图卷积网络分别学习增强骨架序列和原始骨架步骤3，将增强时空动作特征和原始时空动作特征分别输入步骤4，将推拉式对比损失和识别损失相结合作为X-CA将增强骨架序列和原始骨架序列分别输入至BatchNorm层与所述残差图卷积网络对三将得到的增强和原始骨架序列的数据表示输入多个残差图卷积块2.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其通过剪切增强变换矩阵对旋转增强的骨架序列进行剪切增强，获取剪通过缩放增强变换矩阵对剪切增强的骨架序列进行缩放增强，获取最列S'。3.根据权利要求2所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其3[,y,z]=x,s,z]8(w"OR")其中表示绕坐标轴旋转增强的可学习的控制因素，i是每次训练中的第i个骨架序4.根据权利要求3所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其5.根据权利要求4所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其6.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其多个密集残差连接组成的残差图卷积R-GCN模块，其中时间图卷积网络TGCN为L×1的卷积4化Αj7.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，所8.根据权利要求7所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其特征在于，所述将增强时空动作特征和原始时空动作特征分别输入到MLP模块获取推拉式ji)，为S中不包括si的其他骨架序列的将步骤1中得到原始骨架序列与增强骨架序列分别输入残差卷积编码器中，并重复以∈S'；将步骤2中得到的增强时空动作特征表示fa和原始时空动作特征表示fb输入至全连接其中y为动作的标签，$=softmax(AP(pa+pn)),AP(·)为平均池化操作，pa＝FC59.根据权利要求1所述的基于自适应增广与表示学习的半监督骨骼动作识别方法，其止梯度策略来最小化X-CAR损失更新X-CAR的所有6[0002]人类动作识别是计算机视觉领域的一项基本但具有挑战性的任务，在视频监控、[0003]随着深度学习的发展，基于深度学习的动作识别方法通过使用卷积神经网络[0004]本发明的目的在于提供一种基于自适应增广与表示学习的半监督骨骼动作识别变换矩阵将其转换为增强骨架序列；[0007]步骤2，通过残差卷积编码器中的残差图卷积网络分别学习增强骨架序列和原始7[0013]图3中的(a)为NW-UCLA数据集上原始骨架特征示意图，图3中的(b)为传统对比学[0025]其中w"表示旋转增强的可学习的控制因素，i是每次训练中的第i个骨架序列，[0026]b.使用剪切增强变换矩阵对步骤a所得的骨架序列进行剪切增强，剪切增强变换8[0032]c.使用缩放增强变换矩阵对步骤b所得9[0051]步骤10)、将从步骤7)得到的两组序列表示分别输入步骤9)得到的MLPH(·)和使用均方误差计算表示之间的距离，借助停止梯度策略来学习促进增强与表示的一致性，积编码器函数由上述BatchNorm、残差图卷积网络、融合模块和多个残差图卷积块连接而S中不包括si的$=softmax(AP(pa+pn)),AP(·)为平均池化操作，pa＝FC[0067]步骤15)、在这项发明中，我们通过使用SGD和停止梯度策略来最小化L来更新X-表2为NW-UCLA数据集上不同方法获得的识别准确率(％)，训练集标注数据分别为5