CN119515983A 基于扩散模型和连续帧时频信息融合的3d人体姿态估计方法 （江西财经大学）

基于扩散模型和连续帧时频信息融合的3D本发明提出一种基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法，该方法包列数据利用空间Transformer模块的编码器以及对3D人体骨架的长序列数据利用时间频域融合融合模块中进行机制处理提高姿态估计的准确性。本发明使用初始估计器整合骨骼长度一致2步骤1、基于Transformer架构构建时频特征融合模块，基在空间Transformer模块，通过3D姿态嵌入模型对3D人体骨架的长序列数据依次进行将空间嵌入的特征序列输入至空间Transformer模块的编码器中进行自注意力机制处对保留信息的频域特征进行线性投影操作，得到频率域的特征2.根据权利要求1所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方将初始3D人体姿态输入至扩散模型中给定一个训练样本，得到基于时频特征融合模块，对带噪声的3D人体姿态结合噪声的网络估计分布进行去噪，3.根据权利要求2所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方3;在基于时频特征融合模块，对带噪声的3D人体姿态结合噪声;其中，p()表示条件概率分布，uo(y,t)表示时频特征融合模块预测的协方差，表示时频特征融合模块预测的均值。4.根据权利要求3所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方;5.根据权利要求4所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方;其中，C,表示每个关节的离散余弦变换系数，i表示频域索引，j表示关节索引，f表示时间索引。6.根据权利要求5所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方;其中，表示保留信息的频域特征，Cx表示第j个关节的第k个离散余弦变换系7.根据权利要求6所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方4;8.根据权利要求7所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方;9.根据权利要求8所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方将最终输入特征输入至时频特征融合模块的归一化层进行处理;对自注意力特征和归一化层处理特征依次进行残差连接处理和归一化处;;表示取残差归一化特征的前个元素，表示取残差归一化特征5;其中，表示时间域输出特征和频率域输出特征拼接的特对拼接特征经过归一化层进行回归处理，得到回归处理结果，对10.根据权利要求9所述的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方将时间域的特征输入至频域多层感知机进行离散余弦变换操作，得到分解的频域特;;其中，Time_embedding表示时间步嵌入初始化，sin()表示经过sin函数计算dnw表示嵌入维度，8表示嵌入维度索引；对时间嵌入的特征依次进行时间嵌入的线性变换操作、两层线性层处;6siu()表示;;78在空间Transformer模块，通过3D姿态嵌入模型对3D人体骨架的长序列数据依次将空间嵌入的特征序列输入至空间Transformer模块的编码器中进行自注意力机对频域特征依次进行低通滤波操作以及信息提取操作，得到保留信息的频域特步骤5、将最终输入特征输入至时频特征融合模块进行机制处理，得到输出中心[0008]图1为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0009]图2为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0010]图3为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0011]图4为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法9[0012]图5为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0013]图6为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0014]图7为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0015]图8为本发明提出的基于扩散模型和连续帧时频信息融合的3D人体姿态估计方法[0018]请参阅图1，本发明实施例提出一种基于扩散模型和连续帧时频信息融合的3D人;;;表示时频特征融合模块预测的均值。;;;[0026]在初始估计器提取初始3D人体姿态之后，将初始3D人体在空间Transformer模块，通过3D姿态嵌入模型对3D人体骨架的长序列数据依次将空间嵌入的特征序列输入至空间Transformer模块的编码器中进行自注意力机对频域特征依次进行低通滤波操作以及信息提取操作，得到保留信息的频域特;;C,表示每个关节的离散余弦变换系数，i表示频域索引，j表示关节索引，f表示时间索引。;表示第j个关节的第k个离散余弦变;;[0035]步骤5、将最终输入特征输入至时频特征融合模块进行机制处理，得到输出中心;;;其中，表示第k层的时间域的特征，表示第k层的频率域的特征，表示取残差归一化特征的前个元素，表示取残差归一化特征;;;其中，Time_embedding表示时间步嵌入初始化，sin()表示经过sin函数;siu();其中，Linear3表示第三个线性变化，shirt表示平移参数，scale表示缩放参数，