CN119418399A 一种基于时空Transformer的三维人体姿态估计方法 （重庆邮电大学）

号一种基于时空Transformer的三维人体姿态本发明涉及一种基于时空Transformer的三CPN对输入的人体姿态图像进行二维姿态估计；S2：利用基于Transformer注意力机制的空间变息输入基于Transformer注意力机制的全局时序进行并行建模，利用基于Transformer注意力机2S2：以二维姿态估计出的关节点为输入，利用空间TranS4：在时间维度上对不同的关节进行分离，对不同2.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在S11：将人体姿态图像输入到级联金字塔网络CPNS12：将所述二维关键点坐标CN,T使用由多层全连接网络组成的骨架嵌入模块进行编3.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在然后用位置矩阵ES-poseR""嵌入空间位置信息；然后将第i帧的空间特征pieR"r输入到STB的空间注意机制中，对所有关节间的依赖4.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在Transformer模块的输入，学习一个全局的跨帧时序信息；输出全局的时序特征信息R=R""",将其维度转化为5.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在维度上对不同的关节进行分离，使每个关节的轨迹为一个单独的令牌peR"",并且对人6.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在于：所述全局时序Transformer模块和局部时序Transformer模块均基于Transformer注意3其中线性投影权值为在注意力编码器中，每个关节令牌p∈PN是从二维坐其中Y为关节令牌X的注意力输出，Ui为X通过线性变换映射的矩阵，Wm为关节中查询、7.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在维度；最终使用一个具有层归一化和一个线性层的MLP块返回输出最终的三维姿态坐标RT。8.根据权利要求1所述的基于时空Transformer的三维人体姿态估计方法，其特征在4[0001]本发明属于人体三维姿态估计技术领域，涉及一种基于时空Transformer的三维较大，且存在相邻帧冗余问题。Hassanin等人提出了一种基于Transformer的姿态估计模序列和输出序列之间的一致性。Tang等人提出了时空交错变压器STCFormer(Spatio_TemporalCriss_crossTransformer)，它以双路径方式探索了视频中三维人体姿态估计5[0006]虽然这些方法已经考虑了骨架信息的获取，但对于局部信息的获取仍然存在不[0007]有鉴于此，本发明的目的在于提供一种基于时空Transformer的三维人体姿态估合两种Transformer注意力机制进行多尺度时序特征提取的方法，获得多帧之间的时序特序Transformer模块的输入，学习一个全局的跨帧时序信息。输出全局的时序特征信息6将其维度转化为ReR"。标记，在时间维度上对不同的关节进行分离，使每个关节的轨迹为一个单独的令牌[0026]进一步，所述全局时序Transformer模块和局部时序Transformer模块均基于"eR",同的维度；最终使用一个具有层归一化和一个线性层的MLP块返回输出最终的三维姿态坐7[0044]本发明的有益效果在于：本发明通过融合全局和局部Transformer注意力机制进[0049]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构8[0054]本发明使用现有的二维姿态估计检测器级联金字塔网络(CPN)对图像进行二维姿关键点坐标CN,T使用骨架嵌入模块(由多层全连接网络组成)进行编码得到高维向量后用位置矩阵ES-poseR""嵌入空间位置信息。然后将第i帧的空间特征输入[0058]2)将STB的输出转化为作为全局时序Transformer模块[0060]3)为了将有效的运动轨迹注入到学习到的表示中，考虑每个关节的时间对应关为一个单独的令牌peR",并且对人体的不同关节进行并行建模。从时间维度的角度出[0064]在空间Transformer模块STB和时序Transformer模块中，都采用相同的9息:同的特征维度。最终使用一个具有层归一化和一个线性层的简单MLP块返回输出最终的三[0081]在基于回归的方法中，通常使用估计值与真值之间的均方误差(MSE)作为损失函[0084]对于本方法，采用平均每个关节位置误差MPJPE作为评估3DHPE性能的指标，MPJPE是利用估计的三维关节位置与地面真值位置之间的欧氏距离计算的，MPJPE公式如[0086]在本实施例中采用的实验数据为公开的数据集Human3.6M和MPI_INF_3DHP。Human3.6M是目前最流行的室内3D人体姿势估计基准，它包含11个受试者执行15个典型动[0094]在本实施例中，存储器可能包含随机存取存储器(RandomAccessMemory，简称[0095]上述的处理器可以是通用处理器，包括中央处理器(CentralProce简称CPU)、网络处理器(NetworkProcessor，简称NP