CN115151944B 用于三维姿态估计的方法、装置和系统 （索尼集团公司）

2022.08.25PCT/IB2021/0576112021.08.18WO2022/043834EN2022.03.03神经网络的最新进展表明了在人体姿态估于人体3D姿态估计的当前学术基准仅考虑其相文描述了从2D姿态输入的有效单目全3D姿态恢2从所述骨长度和所述骨单位向量估计相对姿态，并且以所述骨长度5.根据权利要求1所述的方法，还包括对全局位置和旋转应用自动增强以模拟动态运6.根据权利要求1所述的方法，还包括随机改变各批次样本的相机视场以利用不同的7.根据权利要求1所述的方法，还包括对二维姿态输入执行具有高斯噪声和随机关键从所述骨长度和所述骨单位向量估计相对姿态，并且以所述骨长度3从所述骨长度和所述骨单位向量估计相对姿态，并且以所述骨长度19.根据权利要求15所述的系统，还包括对全局位置和旋转应用自动增强以模拟动态20.根据权利要求15所述的系统，还包括随机改变各批次样本的相机视场以利用不同21.根据权利要求15所述的系统，还包括对二维姿态输入执行具有高斯噪声和随机关键点丢弃的二维姿态的扰动以模拟二维姿态预测的噪声和45机关键点丢弃的二维姿态的扰动以模拟二维姿态预测的噪声和遮设备还被配置为对二维姿态输入执行具有高斯噪声和随机关键点丢弃的二维姿态的扰动[0017]图11表示根据一些实施例的本文描述的Human3.6M加上数据增强方案的结果的表[0019]图13表示根据一些实施例的样本序列的Z轴根位置追踪的可视化以比较使用LSTM[0020]图14A～B表示根据一些实施例的来自YouTube并应用AlphaPose作为2D姿态检测[0021]图15表示根据一些实施例的被配置为实施全骨骼3D姿态恢复方法的示例性计算6[0024]为了解决上述对于将单目人体3D姿态估计应用于运动捕多个帧。VP3D代表VideoPose3D，并且来自/facebookresearch/VideoPose3D.VP3D处的“3DHumanPoseEstimationinVideowithTemporal[0026]为了在统一网络中同时回归根位置和相对姿态，将运动链空间(KCS)用于正则化[0027]由于Human3.6M数据集在3D空间和动作7因此准备和训练时间更短。Human3.6M数据仅仅是与本文估计笛卡尔坐标中的相对姿态的想法。本文描述的模型在如何利用KCS进行优化方面有所8rr9rr2D姿态标注(许多方法都采用这种方式以很好地一般化户外视频和图像)。Human3[0082]forallpcpdo[0088]p'—Rotatey(p-p,u(-x,T))X轴线性旋转：[0102]算法1是用于增强的简化伪码。给定整个数据集P，各批次样本pcp包含长度如VP3D和其他的方法使用2D检测器结果作为包含噪声的2D输入，以将模型训练为防噪声只输出N帧中的一帧的VP3D(243帧对1帧的输出是VP3D的最佳模型)不同，边缘填充应用于估的2个被摄体(S9和S11)。各被摄体执行15个动作，这些动作通过使用四个同步相机以关键点和17个关键点定义来评估Human3.6M。扰动仅应用于对训练数据添加噪声和关键点[0126]已经对具有和不具有KCS的模型以及具有和不具有LSTM的模型执行针对用于消融研究的根姿态的实验。没有KCS的模型通过使用后跟内核大小为1的内核大小为3的1D卷积是121帧。与上述训练过程相比，无论是批量归一化衰减还是使用在VP3D中提出的衰减为[0129]图10表示根据一些实施例的对目标的根位置预测的可视化。Z轴与其他轴相比具帧输入的条件下执行评估，并对中间帧(第121帧)根定位块在这两种方法上也是等效的。MPE性能显示出差异。通过研究训练曲线和验证误对大型网络进行蛮力建模并回归值，本文描述的利用KCS并在归一化空间中形成模型产生[0137]本文描述的方法仅将在UV空间中归一化的2D姿态输入和基本相机参数作为输[0138]图15表示根据一些实施例的被配置为实施全骨骼3D姿态恢复方法的示例性计算施全骨骼3D姿态恢复方法的(一个或多个)全骨骼3D姿态恢复应用1530可能存储在储存装[0139]在一些实施例中，(一个或多个)全骨骼3D姿态恢复应用1530包括若干应用和/或[0141]为了利用本文描述的全骨骼3D姿态恢复方法，使用诸如数字相机/录像机之类的[0153]5.根据条款1所述的方法，还包括[0154]6.根据条款1所述的方法，还包括随[0155]7.根据条款1所述的方法，还包括[0181]19.根据条款15所述的系统，还包括[0182]20.根据条款15所述的系统，还包括随[0183]21.根据条款15所述的系统，还键点丢弃的二维姿态的扰动以模拟二维姿态预测的噪声和原理。本文对特定实施例及其细节的这种提及并不旨在限制本文所附权利要求书的范围。