CN116343338B 基于层次时空注意力网络的人体骨架动作识别方法 （西安电子科技大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN116343338B(65)同一申请的已公布的文献号(73)专利权人西安电子科技大学路2号(72)发明人李睿敏陈栋缑水平李卫斌郑洋逯皓帆黄湖(74)专利代理机构陕西电子工业专利中心专利代理师王品华GO6V40/20(2022.01)审查员蔡世君(54)发明名称基于层次时空注意力网络的人体骨架动作识别方法本发明公开了一种基于层次时空注意力网络的人体骨架动作识别方法，主要解决现有技术混淆时间特征与空间特征，缺乏多层次动作表征的问题。其实现方案是：获取人体骨架序列组成人体骨架数据，构建训练样本集和测试样本集；将训练样本集和测试样本集中的关节点划分为身体部位，人体骨架序列划分为时间片段；构建由位置编码模块、层次时空注意力模块、分类模块组成的人体骨架动作识别模型；用划分后的训练样本集训练人体骨架动作识别模型；将划分后的测试样本集输入训练好的动作识别模型中，得到人体骨架动作识别结果。本发明能提取人体动作的多层次动作特征，且识别精度高，可广泛应获取并标准化人体骨架序列划分时间片段与身体部位构建基于层次时空注意力网络的人体骨架动作识别模型训练并保存动作识别模型测试动作识别模型结束21.一种基于层次时空注意力网络的人体骨架动作识别方法，其特征在于，包括如下步转化为120帧，将所有帧数小于120的人体骨架序列用上采样方法转化为120帧，再将所有(4)将训练样本集输入到人体骨架动作识别模型，选用Adam优化算法对其进行迭代训(5)将测试样本集输入到训练好的人体骨架动作识别模型中，得到测试样本集的动作2.根据权利要求1所述的方法，其特征在于，步骤(1)中将训练样本集和测试样本集中与[x,y,z,1]的乘积：所述划分身体部位，是根据人体拓扑和动作识别任务的识别精细程度将人体关节点聚3所述层次空间注意力模块，选用现有的注意力模型，且在层以关节点为单位计算空间注意力并以此计算深层所述层次时间注意力模块，选用现有的注意力模型，且在层次时空注意力模块的浅层6.根据权利要求1所述的方法，其特征在于，步骤(4)选用Adam优化算法对动作识别模(4a)设学习率1,训练第T轮的累计梯度m及其衰减率β₁,训练第T轮的更新方向v及其(4d)更新v=β₂vr-1+(1-p₂)(g)²;4设第n个关节点在所有t个帧或时间片段的动作特征分别为X,,x2,,…,×Y,,连接所有帧或时间片段的动作特征得到关节点动作特征X”={x1,×2,…,x(;根据注意力模型中的三个线性层W,W和W”,分别计算关节点查询值Qₙ=Wxn,关节点键值K=WKX“和关节点信息值Vₙ=WX”;特征X:设第m个身体部位包含的p个关节点在第pos个帧或时间片段的关节点动作特征分别为Xm,x₂…,.,连接这些关节点动作特征得到身体部位动作特征X={xm,×根据注意力模型中三个线性层W,W和W",分别计算身体部位查询值Qm=Wx,身体部位键值K灬=WKX和身体部位信息值V=WXm;设身体部位拓扑矩阵为E,求身体部位查询值与身体部位键值的相似度,并与位动作特征X:设第pos帧的所有k个关节点或身体部位的动作特征分别为Xos₁,×0s₂…,pox,连接这些关节点或身体部位的动作特征得到帧动作特征Xp={x1,×02.…,×,ok;根据注意力模型中的三个线性层W°,WK和Wo,分别计算帧查询值!求帧查询值与帧键值的相似度5根据注意力模型中的三个线性层W⁰,W和W,",分别计算时间片段查询值6技术领域[0001]本发明属于计算机视觉领域，特别涉及一种人体骨架动作识别方法，可用于视频背景技术[0002]人体骨架动作识别的目的是判定已剪辑好的人体骨架序列中发生的人类动作类型。人体骨架动作识别在视频理解、人机交互、智能监控、医疗康复等领域具有广阔的应用前景。随着姿态估计算法和体感相机技术的进步，以较低的成本准确、快速地获取人体骨架数据已成为可能，其促进了人工智能方法在人体骨架动作识别中的应用。人体骨架序列由人体关节点的二维或三维坐标表示，在低复杂性的同时具有高层次的特征表示，且对背景、光照等外界条件具有鲁棒性，这些优势不断吸引着研究者们开发基于人体骨架序列的动作识别方法。[0003]目前，常用的人体骨架动作识别方法可以分为以下几类：基于手工特征的动作识别，基于卷积神经网络的动作识别，基于长短时记忆网络的动作识别，基于图卷积神经网络的动作识别和基于注意力网络的动作识别，其中：[0004]手工特征包含关节点坐标，关节点坐标变体和统计特征等，这些特征保留了人体骨架序列的全部信息，并具有高度可解释性，在深度学习方法中这些低级特征也可以作为不同的输入流，但这些特征难以反映关节点在动作过程中深层次的联系。[0005]基于卷积神经网络的方法将骨架序列表示为矩阵，再将矩阵量化为图像并输入卷积神经网络模型进行特征提取和动作识别，但卷积神经网络难以处理人体骨架复杂的图拓扑关系。[0006]基于长短时记忆网络的方法适合用于处理时间序列问题，然而由于长短时记忆网络的计算量较大，且不能并行处理，使得长短时记忆网络在骨架动作识别任务中的实际应用价值受到影响。[0007]基于图卷积神经网络的方法克服了卷积神经网络难以处理图拓扑关系的缺陷，是当前骨架动作识别的主流方法，但图神经网络对特征的聚合是沿图拓扑结构逐点扩展的，具有局部性的缺陷，而在人体动作中即使距离很远的关节点也可能具有很强的关联。[0008]基于注意力网络的方法，其核心思想是模拟人类的注意力，能够以较低的计算复杂度和较好的并行性学习输入数据间的全局依赖关系，从而发掘人类动作中隐含的特征。此外，由于这种方法不需要知道数据之间的内在关系，因此它为挖掘人体动作中具有判别性的动作表示提供了更大的灵活性。[0009]有学者在ACMMULTIMEDIA2021发表TransformerforSkeleton-basedActionRecognition,设计了三种自监督学习任务捕获骨架序列的特征以辅助模型训练，但由于其模型设计较为复杂，训练耗时较长。[0010]此外，上述现有的人体骨架动作识别方法还存在如下四个共性问题：[0011]一是没有根据人体运动的过程针对性地选择建模人体动作的最小单位和采样频7率，导致在聚合时空特征时容易受到噪声和冗余数据的干扰，容易产生信息丢失；[0012]二是忽略了人体骨架动作识别问题中的时空差异性，使得人体骨架数据的时间特征与空间特征产生了混淆；[0013]三是仅在关节点层次上处理人体骨架数据，难以反映人体动作深层次特征，且可解释性较差。[0014]四是难以对动作过程中骨架数据的全局相关性进行建模，挖掘的时间特征具有局部性，即模型的一层仅能分析单个帧或几帧内的局部时间关系，难以获得人体骨架动作识别任务中完整序列的全局时间特征。发明内容[0015]本发明的目的在于针对上述现有技术的不足，提出一种基于层次时空注意力网络的人体骨架动作识别方法，以减少冗余数据对聚合时空特征的干扰，避免时间特征与空间特征混淆，能够在减少计算量的同时提取人体动作的多层次特征，提高获得完整人体骨架序列时空特征的能力。[0016]实现上述目的的本发明的技术方案包括如下：[0017](1)获取人体骨架序列，用人体骨架序列组成人体骨架数据，将人体骨架数据按2:1的比例划分为训练样本集和测试样本集，并将训练样本集和测试样本集中所有人体骨架序列进行视角标准化和尺度归一化，得到标准化后的人体骨架序列；[0018](2)将人体关节点划分为身体部位，将所有帧数大于120的人体骨架序列用下采样方法转化为120帧，将所有帧数小于120的人体骨架序列用上采样方法转化为120帧，再将所有120帧的人体骨架序列均匀分割为6帧的时间片段；[0019](3)构建基于层次时空注意力网络的人体骨架动作识别模型：[0020](3a)构建由时间位置编码和空间位置编码级联组成的位置编码模块；[0021](3b)将层次空间注意力模块和层次时间注意力模块级联，并添加层标准化和残差[0022](3c)选用全连接层作为分类模块；[0023](3d)将位置编码模块，层次时空注意力模块和分类模块级联，组成基于层次时空注意力网络的人体骨架动作识别模型；[0024](4)将训练样本集输入到人体骨架动作识别模型，选用Adam优化算法对其进行迭代训练90轮，得到训练好的人体骨架动作识别模型；[0025](5)将测试样本输入到训练好的动作识别模型中，得到测试样本集的动作识别结[0026]本发明与现有技术相比具有如下优点：[0027]1.减少了冗余数据对聚合时空特征的干扰[0028]本发明通过将人体骨架序列分割为时间片段，在层次时空注意力模块的深层用层次时间注意力模块以时间片段为单位计算注意力，从而减少了时间片段内部帧的相似性造成的数据冗余对聚合时空特征的干扰。[0029]2.避免了对时间特征与空间特征的混淆[0030]本发明针对人体骨架动作识别问题中的时空差异性，区分人体骨架动作识别问题8中的时空差异性，构建了层次空间注意力模块和层次时间注意力模块，将空间特征与时间特征的提取过程分离，避免了特征提取过程中对时间特征与空间特征的混淆，提升动作识别准确率。[0031]3.能够在减少计算量的同时提取多层次人体动作特征[0032]相比仅将关节点作为动作识别的最小单位，本发明由于在层次时空注意力模块的浅层以关节点为单位计算注意力，在层次时空注意力模块的深层以身体部位为单位计算注意力，可将在多个关节点上计算注意力的过程转化为在少量身体部位上计算注意力的过程，降低了计算量；同时由于提取了关节点层次的动作特征和身体部位层次的动作特征，并以更符合人类直觉的身体部位作为动作识别单位，不仅使本发明具有更强的可解释性，而且减少了数据中单个关节点噪声对动作识别性能的影响。[0033]4.提高了获得完整人体骨架序列全局时间特征的能力[0034]本发明以注意力模型为基础，利用注意力模型可以建模全局信息的特点在完整人体骨架序列全局地考虑帧间关系，发掘人体动作过程中深层次的时空信息，获取完整人体骨架序列所有帧间的时间关系，解决了已有方法仅能分析单个帧或几帧内的局部时间关系的问题，提高了人体骨架动作识别准确率。附图说明[0035]图1是本发明的实现流程图；[0036]图2是基于层次时空注意力网络的人体骨架动作识别模型的结构示意图。[0037]图3是本发明中层次空间注意力模块的结构示意图。具体实施方式[0038]下面结合附图对本发明的实施步骤做详细描述。[0039]随着科学技术发展，人类对于人体骨架动作识别有了更多的认识，并设计了许多人工智能算法捕获骨架序列的时空特征，但是在利用这些算法进行人体骨架动作识别时，往往由于没有根据数据特点选择合适的数据输入，没有针对性地设计能发掘全局时空特征的算法模型导致分类的准确率与效率不佳；针对现状，本发明经过探索和实验，提出了一种基于层次时空注意力网络的人体骨架动作识别方法，用于人体骨架动作识别。[0040]参见图1,本实例的实现步骤如下：[0043]采用深度相机获取人体骨架序列，或使用姿态估计方法从人体动作视频中提取人体骨架序列；[0044]用获取的人体骨架序列组成人体骨架数据库或从网络获取公开的人体骨架数据库，将人体骨架数据按2:1的比例划分为训练样本集和测试样本集；[0045]1.2)标准化人体骨架序列：[0046]由于获取人体骨架序列的方法会影响人体骨架序列的视角和位置，不能直接输入动作识别模型，因此需要将人体骨架序列进行关节点坐标视角标准化与尺度归一化；本实例对训练样本集和测试样本集中所有人体骨架序列进行关节点坐标视角标准化和位置标9[0047]1.2.1)设人体骨架序列中第n个关节点在第pos帧的坐标为x7O⁵,yP⁵,zO⁵,第值0:[0051]1.2.3)用主成分分析法计算躯干矩阵M的第一主分量并归一化，获得新坐标系下算标准化后人体骨架序列关节点坐标[x',y',z']的升维[x',y',z',1],其表示为如下四维件进行划分：[0062]第一个条件是划分身体部位包含的关节点在人体拓扑结构上仅存在一个连通子[0064]第三个条件是所有身体部位包含关节点数量一致，若不一致可以通过补0或复制120的人体骨架序列，设生成人体骨架序列的第k帧的坐标[xk,yk,zk]由原人体骨架序列的设为16;Xm,xX₂……,.,连接这些关节点动作特征得到身体部位动作特征部位查询值Qm=Wx,身体部位键值K=WKX和身体部位信息值Vm=W"Xi;[0098]设身体部位拓扑矩阵为E,计算身体部位查询值与身体部位键值的相似度次身体部位动作特征X:[0101]将用于更新身体部位动作特征的注意力模型作为以关节点为单位计算空间注意[0103]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为,和Wpos,设第pos帧的所有k个关节点或身体部位的动作特征分别为Xp0os,x2os₂…,.posk,连接这些关节点或身体部位的动作特征得到帧动作特征Xp={x,2…,ok;[0107]求帧查询值与帧键值的相似度,再以此为权重对帧信息值加权求和，得到深层次帧动作特征Xpos:[0110]将用于更新帧动作特征的注意力模型作为以帧为单位计算时间注意力的层次时[0112]选用现有的注意力模型，并设该注意力模型中的三个线性层分别为W°,W,和W,,设第r个时间片段包含的6个帧的关接这些关节点或身体部位的动作特征得到时间片段动作特征X,"={x,x,2…,×,6;层W°,W,和W,,分别计算时间片段查询值Q,=Wxi,”,时间片段键值K,=WX"和时间片段信息值V,=WX,";[0115]求时间片段查询值与时间片段键值的相似度,再以此为权重对时间片段信[0118]将用于更新时间片段动作特征的注意力模型作为以时间片段为单位计算时间注[0119]3.2.5)将以关节点为单位计算空间注意力的层次空间注意力模块和以帧为单位[0120]3.2.6)将以身体部位为单位计算空间注意力的层次空间注意力模块和以时间片力维度设为128,层次时空注意力模块的浅层和层次时空注意力模块的浅层数量均设为1,分类模块维度设为128,dropout设为0.1