CN114944012B 一种基于多模态协同自注意力网络的运动行为识别方法 （常州大学）

一种基于多模态协同自注意力网络的运动一种基于多模态协同自注意力网络的运动行为协同空间特征序列集输入基于Transfomer网络整合注意力机制的深度自注意力子网络进行训练并通过Softmax分类器进行分类；将骨骼序列分类与深度图像分类融合，得到融合后分类结果。本发明在transformer模型基础上使用深度时对各关节点参与运动的贡献程度提出了量化2S1、利用骨骼序列数据和运动协同空间向量算法协同空间特征序列输入基于Transfomer网络的骨骼自注意力子网络，并通过Softmax分类YOZLSLELWLELW和WLH为相应根据所述四个区域的运动协同空间向量和和运S3、将基于骨骼自注意力子网络的骨骼序列分类与2.根据权利要求1所述的基于多模态协同自注意力网络的运动行为识别方法，其特征33.根据权利要求1所述的基于多模态协同自注意力网络的运动行为识别方法，其特征首先，定义三个可学习的权重矩阵和得到Q＝XWQ,K4.根据权利要求1所述的基于多模态协同自注意力网络的运动行为识别方法，其特征5.根据权利要求1所述的基于多模态协同自注意力网络的运动行为识别方法，其特征4构光深度传感器采集的深度图像序列对光照变化不敏感，而且提供了人体行为的深度数[0007]针对现有算法的不足，本发明在transformer模型基础上使用深度数据与骨骼数5[0012]LeftArm区域的运动协同空间向量中共有四个关节点：LeftShoulder(LS左肩)、节点的状态分别由向量表示，将拼接形成一个运[0013]进一步的，分别表示前后两帧图像中描述左手运动状态的协同空[0026]同理，计算出区域RightArm、LeftLeg、RightLeg6T,公式如下：[0029]根据n帧骨骼的运动协同空间向量建立运动协同空间特征序列集(x1,x2,xi，…i为第i帧的运动协同空间向量聚合来自完整输入序列中的全局信息来更新序列的每n个向量之间的交互；首先定义三个可学习的权重矩阵Q和[Z,Z,…Z]eR""并投射到权重矩阵weR";为偏置；7[0044]进一步的，深度自注意力子网络的网络模型首先是输入层，输入的是缩至224×个全连接层产生20个神经元节点(FC-20)输出；同时卷积层和全连接层都采用修正线性单8[0061]Incross-subjectevaluation将40名受试者分为培训组和测试组，每组20名受[0062]Forcross-viewevaluation选择摄像机1的所有样本进行测试，并选择摄像机2[0065]为了评估提取运动协同空间特征不同方法的效果，建立三种不同的模型在UTD-算运动状态衡量系数的运动协同空间特征；模型3为本发明使用运动状态衡量系数处理也上的识别率分别提高了4.2％和7.1运动状态衡量系数的引入使得模型对于各部位对运[0069]模型3在UTD-MHAD上的识别率相对于模型2提高了16.7在NTURGB+D上的识别率分别提高了16.3％和17.5向三个笛卡儿面投影的处理加强了模型对于空间信息的提地提高了运动协同空间特征的识别效果，因此本发明后续实验将采用模型3来提取运动协9[0076]由表2可以看出，加入通道注意力映射模块之后，在UTD-MHAD上的识别率提高了[0083]由表3可看出，融合后的多模态协同自注意力网络在UTD-MHAD上的识别率相对于两个子网分别提高了1.2％和2.4在NTURGB+D上的识别率平均提高了3.8％和4.5证[0084]本发明还与主流方法在在NTURGB+D与UTD-MHAD进行横向比较，结果如表5、6所[0087]由表5可知本发明方法在UTD-MHAD数据集上识别率达到93.9高于所列出的其他方法，识别率至少提高了1.1评价结果证明了该方法在UTD-MHAD数据集上先进的性[0090]由表6可知本发明方法在NTURGB+D数据集上CS识别率