CN117238026B 一种基于骨骼和图像特征的姿态重建交互行为理解方法 （中国矿业大学）

号US2010128954A1,2010.05.27一种基于骨骼和图像特征的姿态重建交互本发明公开了一种基于骨骼和图像特征的提取骨骼特征，增加了输入骨骼点信息的关联2姿态估计实验通过计算预测三维坐标与真实坐标误3在图像特征提取中，每个编码器分别由两个子模块构456[0039]因此，本发明采用上述一种基于骨骼和图像特征的姿态7采样和网络搜集两种途径获得，然后对图片统一缩放至640×480尺寸，每类动作分别采样8[0075]为了保障Human3.6M数据集数据与Open[0078]在获取到二维骨骼数据后，建立非线性模型学习二维数据到三维数据的映射关系。设计非线性网络的输入为二维人体姿态数据xeR2n,网络输出形式为yeR3n,非线性网络的学习函数表达形式为G*:xeR2n→yeR23n,通过优化模型参数，达到最小化网络预[0080]按照Human3.6M数据集官方提供的标准，[0081]世界坐标系与相机坐标系的变换关系，如图4所示。里以Z轴旋转为例。其中O_9预测值与真实值之间的均方误差作为模型的评估标准。其中归一化计算的步骤如下所示，[0093]人体姿态架构具有一定规律性，故可以通过神经网络学0,1]d[0103]生成对抗式插补网络中的判别器网络D用以对抗生成器，但其目标不在于区分样[0116]生成对抗式网络的基础思想在于动态的博弈过程，最终的平衡点为纳什均衡[0120]设置每个非线性模型分别由1024个神经元、BatchNorm归一化、ReLu激活函数和[0126]ΔW=λPΔW'。点进行实验，通过本发明引入人体关联矩阵的生成对抗式插补网络GAIN_Pose与其他算法据缺失分别按照不同缺失数从1至12和不同的动作进行实验对比，评估指标使用均方根误Python3.6.5AMDRyzen74800Hwi[0156]本发明针对人体姿态估计算法中存在的遮挡情况下人体骨骼点数据缺失的问题验表现上相对实验最优算法误差平均减少了13.8验证了改[0173]最后假设图卷积神经网络中第l层提取到的特征为flt1eRKC,这里RK"C表示特征图尺寸为K*C，其训练参数设为weRC-C,将其与图拉普拉斯矩阵的相关矩阵zeRKK进行运算，则可得最终卷积如下所示，这里σ表示激活函数，本模型使用LeakyReLu(Leaky原始的分割人体矩形区域的表达形式可设置为(Xmin,Ymin),(Xmax,Ymax)＝(min(Ix),min多头注意力模块和前馈神经网络模块，其中每个神经网络模块前增加LN(LayerNorm)归一[0185]Wide模块由线性模块y＝wTx+b形式构成，[0193]本部分实验分别采用纯骨骼的人类行为理解算法和纯图像目标检测行为理解算法，用来与本文算法进行效果比对。其中骨骼行为理解算法分别采用了时序模型LSTM、为理解算法采用单阶段的目标检测算法YOLOv5和双阶段目标检测算法FastR_CNN算法与Python3.6.5AMDRyzen74800Hwi形成包含有图像区域和标签信息的Json文件，然后使用YOLOv5等目标检测进行实验评估。[0209]由实验结果分析可知，单纯的依赖于骨骼信息的行为理虑其原因在于其忽略了原始的图像信息，即针对交互行为这种依赖于有效图像信息的行0.0188367274，0.0657692422，0.0883763475，0.0069323099，0.1142232353，[0216]因此，本发明采用上述一种基于骨骼和图像特征的姿态重建交互行为理解方法，构，增加了输入骨骼点信息的关联性，获取了精准的骨骼特征。然后，通过Vision优算法准确率提高了7.2同时速度提高了28验证了本文算法的高效性和精准性，表[0217]最后应说明的是：以上实施例仅用以说明本发明的技术