CN114627555B 一种基于分流注意力网络的人体动作识别方法、系统及设备 （淮阴工学院）

convolutionalnetwor576.一种基于分流注意力网络的人体动作识别本发明公开了一种基于分流注意力网络的将人体动作识别数据集中的视频解析成人体动将数据预处理后的T帧序列输入到分流注意力网算量的前提下，进一步提高人体动作识别的精2S2、对解析的人体动作帧序列进行随机的翻转和变S3、将步骤S2中的训练数据集输入到分流注意力主干网络模块中第一残差块的7×7的卷积层提取训练数据集中的人体动作底层特征通道域注意力模块使用空间自适应平均池化顺序推理出一维的通道域注意力掩码Mca；并将一维的通道域注意力掩码Mca和人体动作底层特征R进行相乘再相加得到通道域注意力时空域注意力模块使用通道平均和最大池化顺序推理出一维的时空域注意力掩码对得到的通道域注意力特征Rca和时空域注意力特征Rsta进行相加得到通道域和时空域人体动作的混合特征依次经过1×1卷积层、3×3卷积层和1×1卷S4、将步骤S3得到的人体动作外观特征输入到BiLSTS5、基于步骤S4得到的时差时序特征训测试数据集采样方法为：从预处理后的人体动作帧3其中，k1是一个1×1的2D卷积层，Fr为压缩通道特征，将Fr重塑为S304、使用2D卷积层k3对步骤S303重塑后的交互通道特征F′temp进行解压缩并馈送到ca。；S312、时空域注意力模块使用通道平均池化C为人体动作底层特征的通道数；4，S314、对步骤S313输出的重塑时空注意力平均池化特征和重塑时空注意力最大池sta为一维的时空域注意力掩码；sta为时空域注意力特征；S316、将得到的通道域注意力特征Rca和时空域注意力特征Rsta进行相加得到通道域和S41、BiLSTM循环神经网络从正反两个方向学习人体动作外观特征帧序列间的时序特S42、时差点积自注意力模块将输入的人体动作混合时序特征分别通过三次相同的线S45、对步骤S44中归一化后的权重矩阵做时差特征5数据预处理模块，用于对解析的人体动作帧序列进行随机的翻转数据集划分模块，用于从预处理后的人体动作帧序列中采样特征提取模块，用于将数据集划分模块得到的训练数据集输入到分流注意力网络中，网络和时差点积自注意力模块结合的时序网络模型中，提取出人体动作的时差时序特征；主干网络模块中第一残差块的7×7的卷积层提取训练数据集中的人体动作底层特征通道域注意力模块使用空间自适应平均池化顺序推理出一维的通道域注意力掩码Mca；并将一维的通道域注意力掩码Mca和人体动作底层特征R进行相乘再相加得到通道域注意力时空域注意力模块使用通道平均和最大池化顺序推理出一维的时空域注意力掩码对得到的通道域注意力特征Rca和时空域注意力特征Rsta进行相加得到通道域和时空域人体动作的混合特征依次经过1×1卷积层、3×3卷积层和1×1卷模型测试模块，采用测试数据集测试训练好的人体动作特征模型至少一个处理器执行时实现如权利要求1-5任一项所述的一种基于分流注意力网络的人体6[0003]第一，以RGB特征为基础的3D动作识别方法通过堆叠3D卷积取得了良好的识别效果，如Tran等人提出的3D网络：LearningSpatiotemporalFeatureswith3DConvolutionalNetworks[C]ProceedingsoftheIEEEInternationalConferenceonRepresentationwithPseudo-3DResidualNetworks[C].ProceedingsoftheIEEE构建三维人体骨架，增强动作识别的效果。如Yan等人提出的SpatialTemporalGraphConvolutionalNetworksforSkeleton-basedActionRecognition[C].Thirty-secondAAAIConferenceonArtificialIntelligence.2018.但其对于骨架序列中存在信噪比[0006]本发明的另一个目的是提供一种基于分流注意力网络的人体动作识别系统及设7[0016]主干网络模块中第一残差块的7×7的卷积层提取训练数据集中的人体动作底层[0017]通道域注意力模块使用空间自适应平均池化顺序推理出一维的通道域注意力掩[0018]时空域注意力模块使用通道平均和最大池化顺序推理出一维的时空域注意力掩[0019]对得到的通道域注意力特征Rca和时空域注意力特征Rsta进行[0025]S302、使用2D卷积层k1以比例r来压缩通道域注意力模块的输出特征F的通道数，8；C为人体动作底层特征的通道数；4是一个1×1的3D卷积层，F″avg为时空注意力平均池化特征，9[0056]S316、将得到的通道域注意力特征Rca和时空域注意力特征Rst[0059]S41、BiLSTM循环神经网络从正反两个方向学习人体动作外观特征帧序列间的时[0060]S42、时差点积自注意力模块将输入的人体动作混合时序特征分别通过三次相同数据集中的T帧序列由于输入的时间先后不同得到至少一个处理器执行时实现上述的一种基于分流注意力网络的人体动明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实[0088]从预处理后的人体动作帧序列中随机的选择采样间隔和起始从预处理后的人体动作帧序列中以第一帧开始均匀的采样作为测试数据[0090]本发明实施例中，分流注意力网络包括主干网络模块，主干网络模块采用在差块的7×7的卷积层提取训练数据集中的人体动作底层特征R，并分别输出至通道域注意进行相乘再相加得到时空域注意力特征Rsta；将得到的通道域注意力特征Rca和时空域注意力特征Rsta进行相加得到人体动作的混合特征；最后将人体动作的混合特征依次经过1×1[0091]图2为通道域注意力模块的结构图，其通过压缩空间特征来增强通道域特征的影[0092]S301、对于在ImageNet数据集上预训练的ResNet-50残差网络中第一个残差块的第一残差块的7×7的卷积层提取的人体动作底层特征R，通道域注意力使用空间自适应平[0107]S311、将在ImageNet数据集上预训练的ResNet-50残差网络中第一个残差块的第*F′4是一个1×1的3D卷积层，F″avg为时空注意力平均池化特征[0122]S316、将得到的通道域注意力特征Rca和时空域注意力特征RLSTM向量学习的特征与后向的LSTM向量学习的特征进行拼接后传入时差点积自注意力层，入的训练数据集中的T帧图像序列按时间先后得到不同的权重分配，从而使得注意力关注[0134]S41、将BiLSTM