CN114782992B 一种超关节与多模态网络及其在行为识别方法 （常州大学）

一种超关节与多模态网络及其在行为识别时空特征学习模型，得到静态和动态关节数据和骨架流的分类预测分数相加生成最终的预测2骨架的动态信息被定义为骨架序列上相邻骨架上骨架元素之间3首先，使用卷积块注意力模块对输入网络的张量增加注意力然后，使用卷积核大小为(1×1)的卷积层其中，X表示一个三阶张量φ表示由卷积层结构的函数，σ表示ReLU激活函最后，使用大小为(3×1)的卷积核将骨架关节位置上学习到T4空特征描述符。DongluLi等将深度数据的特性和点云数据结合起来并利用深度信息重建区作为基于骨架的动作描述符HDS-SP去表征[0005](2)基于深度学习的行为识别。基于提取手工特征进行动作识别的方法在实现上融合增强网络(MDFFEN),首先从双流网络的子模块中提取时空特征形成多深度的三维空间结构信息可以大大减少数据采集对象的身高、体型轮廓和着装等因素的影响。5[0017]然后，计算两个相交向量的笛卡尔积得到向量所在平面的法向量n，计算公式如6[0033]进一步的，时空特征学习模块包括节点时序特征学习块[0036]然后，使用卷积核大小为(1×1)的卷积层在网络中自动学习骨架关节的位置特[0042]使用大小为(3×3)的卷积核在网络上自动学习骨架节点在空间域上协同运动的[0048]2、设计了一种新的时空特征学习网络学习骨架序列和骨架节点依赖关系的时空7[0061]为了评估本发明方法的有效性，基于深度图和骨架信息的公共数据集上进行实[0062]本发明是基于PyTorch框架建立的，其中Python版本为3.7.0，pytorch版本为[0063]UTD-MHAD数据集一共包括861个动作样本，并且使用固定位置的采集设备为每个[0064]NTURGB+D属于大型数据集，并且提供更具有挑战性的动作样本和更多的模态信编号为1采集的18960个动作序列作为测8描述符，能够更好地描述动作的变化；人体骨架序列看作函数R'→R":s=f(x,y,z,t),它[0073]然后，计算两个相交向量的笛卡尔积得到向量所在平面的法向量n，计算公式如[0078]由于人体局部姿态描述符和人体局部肢体运动描述符是汇聚相邻关节信息得到看作函数R"→R":s=f(n,9,i);原始骨架序列仅仅表示了人体骨架关节位置在时间维度t=9神经网络的时空特征学习模块用于在骨架数据上人体动原始骨架节点和超关节节点间依赖关系的有效[0092]进一步的，通过节点时序特征学习块(JTFLB)学习人体骨架上的元素在时序上的[0098]进一步的，通过空间全局特征学习块(SGFLB)学习人体骨架上的元素在运动上的是一个三阶张量xeR"",其中，N是构成人体骨架的元素个数，C表示通道数量，T表示[0099]使用大小为(3×3)的卷积核在网络上自动学习骨架节点在空间域上协同运动的[0103]研究骨架序列的长度对识别率的影响，在图7中为使用两种规模数据集的帧数统从图7(b)中看出NTURGB+D数据集主要的帧数分布区间为[25,200]；为了有效探索帧率对度；表2显示了融合前后的识别精度，本发明方法在两个数据集的识别精度都有明显的提[0110]本发明方法在NTURGB+D数据集上也有很好的效果，图9中为实验策略CS上的结[0117]本发明方法和其他方法在UTD-MHAD上的结果如表3所示，本发明方法的识别率最