CN116343338B 基于层次时空注意力网络的人体骨架动作识别方法 （西安电子科技大学）

基于层次时空注意力网络的人体骨架动作本发明公开了一种基于层次时空注意力网将训练样本集和测试样本集中的关节点划分为2转化为120帧，将所有帧数小于120的人体骨架序列用上采样方法转化为120帧，再将所有(4)将训练样本集输入到人体骨架动作识别模型，选用Adam优化算法对其进行迭代训(5)将测试样本集输入到训练好的人体骨架动作识别模型中，得到测试样本集的动作2.根据权利要求1所述的方法，其特征在于，步骤(积α;化后人体骨架序列的关节点坐标[x',y',z']的升维[x',y',z',1],其表示为如下四维矩阵TT和所述划分身体部位，是根据人体拓扑和动作识别任务的识别精细3所述层次空间注意力模块，选用现有的注意力模型，且在层次时空注块的深层以身体部位为单位计算空间注意力并以此计算深层次身所述层次时间注意力模块，选用现有的注意力模型，且在层次时空注6.根据权利要求1所述的方法，其特征在于，步骤(4)选用4设第n个关节点在所有t个帧或时间片段的动作特征分别为连接所有根据注意力模型中的三个线性层和W",分别计算关节点查询值Q,=W?X",特征X":设第m个身体部位包含的p个关节点在第pos个帧或时间片段的关节点动作特征分别为连接这些关节点动作特征得到身体部位动作根据注意力模型中三个线性层和",分别计算身体部位查询值身体部位键值和身体部位信息值V,=W,"":设身体部位拓扑矩阵为Em，求身体部位查询值与身体部位键值的相似度并与位动作特征X,":设第pos帧的所有k个关节点或身体部位的动作特征分别为连接这根据注意力模型中的三个线性层和分别计算帧查询值求帧查询值与帧键值的相似度再以此为权重对帧信息值加权求和，得到更5设第设第r个时间片段包含的6个帧的关节点或身体部位动作特征分别为连求时间片段查询值与时间片段键值的相似度再以此为权重对时间片段信息值6[0002]人体骨架动作识别的目的是判定已剪辑好的人体骨架序列中发生的人类动作类当前骨架动作识别的主流方法，但图神经网络对特征的聚合是沿图拓扑结构逐点扩展的，杂度和较好的并行性学习输入数据间的全局依赖关系，从而发掘人类动作中隐含的特征。[0009]有学者在ACMMULTIMEDIA2021发表的STST:Spatial_TemporalSpecializedTransformerforSkeleton_basedActionRecognition，设计了三种自监督学习任务捕[0011]一是没有根据人体运动的过程针对性地选择建模人体动作的最小单位和采样频71的比例划分为训练样本集和测试样本集，并将训练样本集和测试样本集中所有人体骨架[0024](4)将训练样本集输入到人体骨架动作识别模型，选用Adam优化算法对其进行迭[0025](5)将测试样本输入到训练好的动作识别模型中，得到测试样本集的动作识别结8意力，可将在多个关节点上计算注意力的过程转化为在少量身体部位上计算注意力的过且减少了数据中单个关节点噪声对动作识别性人工智能算法捕获骨架序列的时空特征，但是在利用这些算法进行人体骨架动作识别时，[0044]用获取的人体骨架序列组成人体骨架数据库或从网络获取公开的人体骨架数据例对训练样本集和测试样本集中所有人体骨架序列进行关节点坐标视角标准化和位置标9[0047]1.2.1)设人体骨架序列中第n个关节点在第pos帧的坐标为第[0055]本实施例选取了三个主流的骨架动作识别基准数据集进行实验，包括NW_UCLA数[0057]NTU_RGB+D60数据集是一个包含56880个骨架动作序列的大规模人体动作识别数[0058]NTU_RGB+D120数据集是NTU_RGB+D60数据集的扩展，在NTU_RGB+D60的基础上[0062]第一个条件是划分身体部位包含的关节点在人体拓扑结构上仅存在一个连通子[0064]第三个条件是所有身体部位包含关节点数量一致，若不一致可以通过补0或复制[0073]对NTU_RGB+D60和NTU_RGB+D120数据集，根据动作识别任务要求的精细程度将[0087]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为?,,"和W",设第n个关节点在所有t个帧或时间片段的动作特征分别为连接所有查询值关节点键值和关节点信息值V,=W"X":动作特征X,":[0093]将提取关节点动作特征的注意力模型作为以关节点为单位计算空间注意力的层[0095]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为W",W和W",设第m个身体部位包含的p个关节点在第pos个帧或时间片段的关节点动作特征分别为连接这些关节点动作特征得到身体部位动作[0098]设身体部位拓扑矩阵为Em，计算身体部位查询值与身体部位键值的相似度次身体部位动作特征X,":[0101]将用于更新身体部位动作特征的注意力模型作为以关节点为单位计算空间注意[0103]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为和设第pos帧的所有k个关节点或身体部位的动作特征分别为连接和分别计算帧查询值帧键值和帧信息值[0107]求帧查询值与帧键值的相似度再以此为权重对帧信息值加权求和[0110]将用于更新帧动作特征的注意力模型作为以帧为单位计算时间注意力的层次时[0112]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为w",w"和W",设第r个时间片段包含的6个帧的关节点或身体部位动作特征分别为连[0114]将时间片段动作特征X"作为注意力模型的输入，根据注意力模型中的三个线性层和W",分别计算时间片段查询值-W"X",时间片段键值K,=W"X"和时[0115]求时间片段查询值与时间片段键值的相似度再以此为权重对时间片段信[0118]将用于更新时间片段动作特征的注意力模型作为以时间片段为单位计算时间注[0119]3.2.5)将以关节点为单位计算空间注意力的层次空间注意力模块和以帧为单位[0120]3.2.6)将以身体部位为单位计算空间注意力的层次空间注意力模块和以时间片力维度设为128，层次时空注意力模块的浅层和层次时空注意力模块的浅层数量均设为1，[0126]对于NTU_RGB+D60和NTU_RGB+D120数据集，动作识别模型的位置编码维度设为space是所有帧和关节点的空间位置编码；方(gτ)2的加权和；[0147]本发明的仿真试验平台是3.6GHz的IntelCorei7_9700KCPU，显卡为NvidiaRTX2080Ti的PC机，仿真平台为