CN114694261B 一种基于多级监督图卷积的视频三维人体姿态估计方法及系统 （北京戎威数智科技有限公司）

FengHao等.STAFFormer:Sp一种基于多级监督图卷积的视频三维人体于多级监督图卷积的视频三维人体姿态估计方将视频数据输入到训练好的基于多级监督图卷在堆叠的图卷积和时间卷积模块后粗略地得到2基于多级监督图卷积的视频三维人体姿态估计模型的S5：交叉采用自适应图注意力单元和扩张时间2.根据权利要求1所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其使用训练好的CPN检测器对每个视频帧进行二维姿态估计，得到每一帧的人体关节二3.根据权利要求1所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其3得到校正后的二维姿态序列。4.根据权利要求3所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其5.根据权利要求1所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其特征在于，采用自适应图注意力单元提取二维姿态序列的空间特征的过程包括：采用动态6.根据权利要求5所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其卷积核，wc表示变换矩阵W中的第c行向量，Mc表示第c个通道的权重矩阵，ρ和σ分别表示7.根据权利要求1所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其采用批规范化、ReLU激活函数和随机失活对扩张维度后的中间时8.根据权利要求7所述的一种基于多级监督图卷积的视频三维人体姿态估计方法，其9.一种基于多级监督图卷积的视频三维人体姿态4所述二维姿态序列获取模块用于获取输入视频序列中的二维姿态序所述网络模型加载模块包括二维姿态校正模块、动态图注意力模块、扩所述动态图注意力模块用于提取校正后的二维姿态序列所述扩张时间卷积模块用于提取校正后的二维姿态序列所述估计模块根据二维姿态序列的空间特征和二维姿态序列的时间特征得到三维人所述输出模块用于输出人体运动视频的三维人体姿态估5大型公开数据集Human3.6M是在室内受控环境下采集的，其中并不包含一些室外复杂多样6关节坐标得到二维姿态序列；[0018]使用训练好的CPN检测器对每个视频帧进行二维姿态估计，得到每一帧的人体关7[0028]在卷积块中对二维姿态序列执行扩张因子为d＝kT的时间卷积，得到中间时间特[0030]采用批规范化、ReLU激活函数和随机失活对扩张维度后的中间时间特征进行处[0031]进一步的，采用扩张时间卷积模型提取二维姿态序[0042]所述估计模块根据二维姿态序列的空间特征和二维姿态序列的时间特征得到三8关节坐标得到二维姿态序列；9[0063]本发明中基于多级监督图卷积的视频三维人体姿态估计模型的具体训练过程如[0067]使用训练好的CPN检测器对每个视频帧进行二维姿态估计，得到每一帧的人体关中只有一个一阶邻居(其它关节的一阶邻居数都大于等于二)，且往往在末端关节点上会产块，让模型在训练时加强对末端关节的关注；常用的图卷积操作采用的卷积核是图的邻接关节节点连接而成的边集，表示当前帧下N个关节节点[0077]对于常规的图卷积，图的结构可以用表示关节之间存在连接的一阶邻接矩阵A∈RN×N和表示自连接的单位矩阵I∈RN×N进行初始化，h=(A+I)是图的邻接矩阵，并使用[0078]对于第F帧下的某个关节j，使用最近邻算法在关节点特征矩阵JF中寻找它的K个[0079]对于关节点j，在它的k个邻居中生成“构造边”，则“构造图”的邻接矩阵为然后加上单位矩阵I，得到AS=(AS+I),并使用度矩阵进行行Softmax和ReLU非线性激活函数；另外，在每层图卷积后都存在批规范化和非线性激活单依次设置指数性增加的扩张因子d＝kT以实现时间卷积模型对感受野的精确控制；在卷积[0087]将二维姿态序列的时间特征和空间特征融合并输入到全连接层得到三维人体姿[0102]本发明中一种优选实施例的训练流程如图5所示。将二维姿态序列输入到基于多级监督图卷积的视频三维人体姿态估计模型中，在地面真实标注的指导下进行监督训练。将检测器得到的二维人体姿态序列输入到基于多级监督图卷积的视频三维人体姿态估计[0111]所述估计模块根据二维姿态序列的空间特征和二维姿态序列的时间特征得到三[0113]本发明的一个原型系统三维人体姿态估计功能效果如图7所示。从本地路径导入[0122]需要说明的是，在本公开各个实施例中的各功能模块可以集成在一个处理模块做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式