CN114998525B 基于动态局部-全局图卷积神经网络的动作识别方法 （南京信息工程大学）

基于动态局部-全局图卷积神经网络的动作本发明公开了一种基于动态局部-全局图卷不同的权重参数编码了在空间维度上不同的特过使用改进的Transformer自我注意力来融合局2(1)使用姿态估计算法将视频数据先处理成人体骨骼结构数据，原始的骨架序列是用(4)搭建带有通道注意力的双流动态局部-全局图卷积神经网络模型，并训练看其效3首先分别使用自适应平均池化和自适应最大池化并行操作将输入特征图A⃞=(A8fa)+A1(3)给定一个输入特征图首先分别使用2个二维卷积层将fin映射并重新排列K1是2个卷积层的卷积核权重；C是局部自注意力矩阵；本发明提出了两种将人体骨骼划分为多个身体部位的组合方K2是2个卷积层的卷积核权重；(3.2)搭建动态局部-全局图卷积模块：经过动态局部-全局图卷积层之后是一个批处4的特征信息，时间卷积用1×Kt的卷积核对输入维度Cout×T×N中的T×N二维进行卷积操过时间卷积之后是一个批处理标准化层，一个激活函数层和一个附加的随机丢弃处理层，后使用卷积核大小为5的快速一维卷积来联系每个通道及其相邻通道，以获取跨通道交互ft)=(3.5)搭建带有通道注意力的动态局部-全局图卷积模块：一个基本块是一个动态局行全局平均池化层以将不同样本的特征映射池化为相同大小，最终输出经过SoftMax分类执行时实现如权利要求1-3中任一项所述的一种基于动态局部-全局图卷积神经网络的动述的一种基于动态局部-全局图卷积神经网络的5[0001]本发明涉及图卷积网络，特别是一种基于动态局部-全局图卷积神经网络的动作中基于时空图卷积的动作识别算法取得了较好的效[0004]发明目的：本发明的目的是提供一种基于动态局部-全局图卷积神经网络的动作[0005]技术方案：本发明所述的一种基于动态局部-全局图卷积神经网络的动作识别方维度上不同的特征，增加了在骨骼图中特征建模的表达能力；另外通过使用改进的[0007](1)使用姿态估计算法将视频数据先处理成人体骨骼结构数据，原始的骨架序列6平均池化和自适应最大池化并行操作将输入特征图的维度转化为B×Cin；接着经过一个全7说，给定一个输入特征图首先分别使用2个二维卷积层将fin映射并重新[0022]C是局部自注意力矩阵；本发明提出了两种将人体骨骼划分为多个身体部位的组不动。将N个骨骼节点按照上述两种方案分成α块，关注每块中的N/α个节点之间的空间关[0025](3.2)搭建动态局部-全局图卷积模批处理标准化(BN)层，一个激活函数(ReLU)层和一个附加的随机丢弃处理(Dropout)层，时间维度上的特征信息，时间卷积(TCN)用1×Kt的卷积核对输入维度Cout×T×N中的T×N[0027](3.4)经过步骤(3.2)和步骤(3.3)后得到了提取的空间维度特征和时间维度特征，为了能够获取更好的动作特征表示，搭建了一种用于深层CNN的超强通道注意力模块8通道数为64,64,64,128,128,128,256,256和256；在开始时添加数据BN层以标准化输入数带有通道注意力的动态局部-全局图卷积神经网络中，经过softmax分类器得到预测分数，现上述的一种基于动态局部-全局图卷积神经网络计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于动态局部-全局图卷[0040]1、本发明利用动态邻接矩阵为三种分区策略下的不同样本骨骼图分配不同的权9[0054]一种基于动态局部-全局图卷积神经网络的动作识别方法，创新内容主要是三部于人体骨架是一个拓扑结构，所以用图2的时空图对骨架序列中的关节点在时间和空间维in一个2维卷积改变其通道数得到(B,Cout首先分别使用自适应平均池化和自适应最大池化并行操作将输入特征图的维度转化为B×相加再平均得到最终的动态邻接矩阵根据公式3[0066]A=(Afi)+A⃞1(3)说，给定一个输入特征图首先分别使用2个二维卷积层将fin映射并重新排列重塑为和的矩阵，然后相乘经过一个归一化函数得到B×N×N[0071]C是局部自注意力矩阵。本发明提出了两种将人体骨骼划分为多个身体部位的组时间维度上的特征信息，时间卷积(TCN)用1×Kt的卷积核对输入维度Cout×T×N中的T×N为了能够获取更好的动作特征表示，本发明搭建了一种用于深层CNN的超强通道注意力模每个模块的输出通道数为64,64,64,128,128,128,256,256和256。在开始时添加数据BN层以标准化输入数据，输入数据执行步骤3.5的带有注意力机制的自适应图卷积模块的每个操作，然后执行全局平均池化层(GlobalMaxPooling)以将不同样本的特征映射池化为相间特征和空间特征输入到步骤3所搭建的带有通道注意力的动态局部-全局图卷积神经网强对更重要的特征信息提取能力。带有通道注意力的动态局部-全局图卷积神经网络帮助