CN115100574B 基于融合图卷积网络与Transformer网络的动作识别方法及系统 （电子科技大学长三角研究院(衢州)）

基于融合图卷积网络与Transformer网络的一种基于融合图卷积网络与Transformer网取空间特征，其局部时空特征建模能力差的问网络和视觉Transformer网络进行融合得到动作序列处理后送入训练好的动作识别模型进行预2S1：对获取的人体骨架序列数据进行预处理，基于S3：构建时空骨架图的自适应时空图卷积单元模S4：通过融合层将时空图卷积网络和对伪图像特S5：将待预测的人体动作骨架序列处理为时间骨骨架序列；是空间中人体的关节点连接的集合，子集Et＝{vtiv(t+1)3单帧下整个人体骨架的所有关节点的坐标位置取均值后得到的坐标位置，rj为关节点j到量EE与空间图卷积层输出特征fout进行相乘之后再与空间图卷积层输出特征fout进行残差2.根据权利要求1所述的一种基于融合图卷积网络与Transformer网络的动作识别方43.根据权利要求2所述的一种基于融合图卷积网络与Transformer网络的动作识别方数据处理模块：对获取的人体骨架序列数据进行预处理，基于预架的帧序列；时空图卷积网络构建模块：构建时空骨架图的自适应时空图卷积单元模块并进行堆融合模块：通过融合层将时空图卷积网络和对伪图像特征图进预测模块：将待预测的人体动作骨架序列处理为时间骨架图后送入训练好的骨架序列；5是空间中人体的关节点连接的集合，子集Et＝{vtiv(t+1)单帧下整个人体骨架的所有关节点的坐标位置取均值后得到的坐标位置，rj为关节点j到N-Σ,,对于同一个数值k，邻接矩阵Bk以Ak进行邻接矩阵量EE与空间图卷积层输出特征fout进行相乘之后再与空间图卷积层输出特征fout进行残差65.根据权利要求4所述的一种基于融合图卷积网络与Transformer网络的动作识别系7[0001]一种基于融合图卷积网络与Transformer网络的动作识别方法及系统，用于动作务中。常见的算法可以分为以下三类：基于循环神经网络(RecurrentNeuralNetwork，RNN)、基于卷积神经网络(ConventionalNeuralNetwork，CNN)和基于图卷积神经网络(GraphConvolutionalNetwork，GCN)的方法，基于GCN的方法按拓扑图结构处理骨架数[0004]现有技术中基于RNN的方法按时间向量处理动作序列，丢失了关节点空间结构信[0005]CN113111760A-基于通道注意力的轻量化图卷积人体骨架动作识别方法虽然利用邻接矩阵以及引入通道注意力机制的残差GCN网络提取骨架序列的空间特征，再对空间特8[0009]针对上述研究的问题，本发明的目的在于提供了一种基于融合图卷积网络与Transformer网络的动作识别方法及系统，解决现有技术只浅层使用图卷积网络提取空间序列；人体骨架序列；9将向量EE与空间图卷积层输出特征fout进行相乘之后再与空间图卷积层输出特征fout进行取并进行动作分类的视觉Transformer网络进行融合，对融合后得到的动作识别模型进行人体骨架序列；将向量EE与空间图卷积层输出特征fout进行相乘之后再与空间图卷积层输出特征fout进行样本数据自适应地依据节点特征计算节点之间的连接关系和连接强弱(邻接矩阵Ck是使用适应的调整连接关系和连接强弱)，通过两个邻接矩阵组合(即邻接矩阵Bk和邻接矩阵Ck的组合)作用实现对每一个样本进行个性化的动作时空特征提取，提高基于骨架数据的动作的重新排列可使连续时刻及不连续时刻实现特征交互，整体提取动作序列长程时间特征，Transformer框架进行长程时间特征提取，整个方法中以较小的计算量实现对局部时空特[0086]图7是本发明融合时空图卷积网络与视觉Transformer网络的动作识别方法结构ChannelAttention代表残差通道注意力层，GAP代表全局均池化，Transformer代表视觉[0087]图8是本发明中所述的ViT模型的结构示意图，其中，LinearProjectionofFlattenPatches代表对展平的图像块进行线性投射，Patch+PositionalEmbedding代表对图像块进行块及位置编码，TransformerEncoder代表编码器，MLPHead代表多层感知[0089]图10是本发明公开方法中Transformer网络使用SwinTransformer结构的动作识序列；将向量EE与空间图卷积层输出特征fout进行相乘之后再与空间图卷积层输出特征fout进行[0126]使用视觉Transformer网络对伪图像特征图进行长程时间特征提取并进行动作分框架中的多个编码器层对时间序列特征进行特征提取，提取后将输出特征送入全连接层，[0127]Transformer框架可使用诸多用于图像分类的视觉Transformer框架，如图8所示型的一个适配，使用一个MLP层(实际为一个组线性层)取代所有在窗口内进行注意力计算[0128]对动作识别模型进行训练过程中采用带有Nesterov动量为0.9的随机梯度下降法别准确率作为评价指标，在跨表演人(x-sub)与跨视角(x-view)基准两个测试基准下进行准确率为87.4％。在x-view测试基准和x-sub测试基准下测试结果的混淆矩阵分别如图11