CN113657349B 一种基于多尺度时空图卷积神经网络的人体行为识别方法 （重庆邮电大学）

号WO2021129064A1,2021.07.01GraphConvolutionNetworkforSke.2021,全文.一种基于多尺度时空图卷积神经网络的人本发明涉及一种基于多尺度时空图卷积神模块、多时长特征融合模块的深度神经网络模使神经网络模型更好的提取骨骼序列的时空特2首先使用深度相机录制各类动作的视频，包括将数据集中的关节的特征信息中的坐标信息作为第一特征，骨S31：确定所述的深度神经网络模型，以ST-GCN神经网络模型作为主干网络的基础结个并行的图卷积网络支路对应的人体关节连接关系图的骨骼关节点连接矩阵分别为邻接对各支路人体关节连接关系图的骨骼关节点连接矩阵加上单3型已经由H层构成，则第h+1层各分支的输入为上一层的输出且对于每个归一化用Kaiming初始化对W(h+1)进行初始化；定义第一层的输入R-x:最后将四个并行支路的输S33：网络的多时长特征融合模块为四个时间卷积网络并行分支和一个注意力模块支S34：根据所述的多尺度图卷积网络模块和多时长特征模块组成多尺度时空图卷积网2.根据权利要求1所述的一种基于多尺度时空图卷积神经网络的人体行为识别方法，3.根据权利要求2所述的一种基于多尺度时空图卷积神经网络的人体行为识别方法，4提取到具有语义丰富的深层特征。基于卷积神经网络(CNN)的方法可以高效的学习空间特人体本身的拓扑结构信息。基于图卷积神经网络(GCN)的方法能够直接有效的利用骨骼本[0006]一种基于多尺度时空图卷积神经网络的人体行为识别方法，该方法包括以下步5y比骨骼数多1个，在人体骨骼重心处添加一个零向量代表一段骨骼，使关节数与骨骼数相等；最后将骨骼序列的第一特征和第二特征的两个特征张量在张量的通道维度上进行拼络模型已经由H层构成，则第h+1层各分支的输入为上一层的输出且对于每个归6[0028]S33：网络的多时长特征融合模块为四个时间卷积网络并行分支和一个注意力模[0030]其中x(h+1)为输入特征图即第h+1层的多尺度图卷积网络模块的输出，w(x(h+1))表-c)-1,+1))表示时间卷积网络的输出；最后经过1x1卷积、BatchNormalization批标准化层以及[0031]S34：根据所述的多尺度图卷积网络模块和多时长特征模块组成多尺度时空图卷7[0051]本发明实例中采用的数据集进行预处理的步骤为将所述的数据集中的关节的特8[0053]本发明实例中所采用的深度神经网络模型是以ST-GCN神经网络模型作为主干网[0058]=A;+I(3)络模型已经由H层构成，则第h+1层各分支的输入为上一层的输出且对于每个归9征。另外一个注意力模块支路使用了压缩和激励网络(Squeeze-and-ExcitationSoftmax函数输出的概率分别作用到四个时间卷积网络分支上，并将四个支路输出的特征[0064]其中x(h+1)为输入特征图即第h+1层的多尺度图卷积网络模块的输出，w(x(h+1))表+1))表示时间卷积网络的输出。最后经过1x1卷积、BatchNormalization批标准化层以及个多尺度时空图卷积网络模块提取骨骼序列的时空特征信息，通过全连接层后经过种不同划分标准交叉受试者(CrossSubiect)和交叉视角(CrossView)都以行为分类准确81.588.387.094.2[0076]采用多尺度图卷积模