【《基于MANO模型的3D手部形状和姿态估计分析》10000字（论文）】

②当分别用深度关系向量和关键点相对关系图生成的3D姿态过渡特征时，两种方法在STB数据集上取得相对持平的效果，在RHD数据集上本章姿态估计器的平均关键点误差减小了0.90mm（从12.56mm到11.66mm）。从以上分析表明本章方法在性能上更有优势，证明对第三章姿态估计方法的改进是成功的，另外本章方法所有的网络结构均基于2D卷积网络搭建，在节约计算时间上相对于第三章方法率胜一筹。评估两种3D姿态估计器以相同的数据处理方式、学习率、学习率衰减因子和相同的训练轮数对1.1.2介绍的两种3D姿态估计器进行训练。如表1.1第1和第3行所示，基于3D姿态过渡特征的姿态估计器相比于多任务3D姿态估计器，在STB数据集上平均关键点误差减小了0.03mm（从6.50mm到6.47mm），在RHD数据集上减小了0.29mm（从11.97mm到11.66mm）。由实验结果可知，两种姿态估计器均能取得不错的效果，相对而言基于3D姿态过渡特征的姿态估计器性能稍好，因此在本章选择该姿态估计器展开后续工作，接下来提到3D姿态估计器均为基于3D姿态过渡特征的姿态估计器。验证关键点相对关系图的作用为了说明关键点相对关系图对姿态估计性能的影响，在此处设计了两种基准方法，如图1.7和1.8所示。基准方法一为拆掉3D姿态估计器的关键点相对关系图估计分支；基准方法二在基准方法一的基础上，在2D姿态估计阶段加入2D关键点连接关系置信图估计任务。接下依次分析关键点相对关系图对2D姿态和3D姿态的影响。图1.7基准方法一Fig.1.7Baseline1图1.8基准方法二Fig.1.8Baseline2如表1.2所示，比较了有/无关键点相对关系图对2D姿态性能的影响，由表1.2可以看出，当关键点相对关系图估计作为2D姿态估计任务辅助时，2D姿态估计性能明显提高。在STB数据集上，相比于基准方法一平均关键点误差降低了0.69像素（从5.13像素到1.44像素），相比于基准方法二降低了0.36像素（从1.80像素到1.44像素）。在RHD数据机上也比基准方法一降低了0.73像素，比基准方法二降低了0.14像素。此外，为了定性的展示关键点相对关系图对于2D姿态估计的影响，也给出了如图1.9所示的2D骨架可视化图，其中黄色骨架、粉色骨架、深蓝色骨架和浅蓝色骨架分别为基准方法一、基准方法二、基于3D姿态过渡特征的姿态估计器的输出和真值，前两列为STB数据集中样本，后两列为RHD数据集中样本。由图可见即使在图像缺失（第三列）的情况下，利用关键点相对关系图辅助训练的模型也能推断出准确的2D姿态。表明了关键点相对关系图可以有效的辅助2D姿态估计任务，提高2D姿态估计性能。表1.2关键点相对关系图对2D姿态估计的作用Tab.1.2Performanceof2Dposeestimationwithout/withtherelativerelationshipmapofjoints方法2D平均关键点误差（像素）STBRHD基准方法一5.137.11基准方法二1.806.523D姿态估计器-2D姿态解码器1.446.38图1.9可视化2D姿态估计结果Fig.1.9Visualize2Dposeestimationresults如表1.3所示，比较了有/无关键点相对关系图对3D姿态性能的影响，由表中可知当利用关键点相对关系图生成的3D姿态过渡特征作为3D姿态提升的中间过渡时，3D姿态估计性能有明显的好转。在RHD数据集上相比于基准方法一，平均关键点误差降低了1.77mm（从13.43mm到11.66mm），相比于基准方法二降低了1.13mm（从12.79mm到11.66mm）。在STB数据集上相比于基准方法一降低了0.65mm（从7.12mm到6.47mm），相比于基准方法二降低了0.44mm（从6.91mm到6.47mm）。通过以上实验分析表明，关键点相对关系图可以生成有效的具有深度空间信息的3D姿态过渡特征，有利于缓解深度模糊问题，能够起到提高3D姿态估计性能的作用。表1.3关键点相对关系图对3D姿态估计任务的影响Tab.1.3Theinfluenceoftherelativerelationshipmapofjointsonthetaskof3Dposeestimation方法MPJPE(mm)STBRHD基准方法一7.1213.54基准方法二6.9112.793D姿态估计器6.4711.66通过以上三组自对比实验，表明关键点相对关系图相比于第三章深度关系向量而言，是更有效的缓解深度模糊问题的深度线索，合理的利用关键点相对关系图有利于提高3D姿态估计性能。图1.93D形状重建展示Fig.1.9MeshRecoveryResults1.3.23D形状重建效果评估在这一小节评估1.1.3节介绍的3D手部形状和姿态重建阶段的形状重建能力，以可视化的方式说明本章方法在不同情况下生成的3D手部形状均是鲁棒的。因此从STB、RHD和Freihand数据集中抽取了具有代表性的样本，并从不同视角展示这些样本重建后的3D手部形状，如图1.9所示。其中第二行展示了STB数据集中手部自遮挡严重并做出复杂手姿的样本，从第二行第四列的重建结果可见即使被遮挡的指尖部分也可以被合理的重建。在第三行展示了RHD数据集中图像残缺样本，可见本章方法可以根据部分图像推断出完整的3D手部形状，另外在第五和第六行展示了Freihand数据集中手物交互的样本，在物体遮挡情况下也能获得合理而逼真的3D手部形状。综上所述，可证明本章方法即使在手自遮挡、手物互遮挡、图像分辨率低、手姿复杂或是图像不完整的情况下，也有生成合理而逼真的3D手部形状的能力，证明了本章方法有能力合理的解释手部姿态。1.3.33D形状对3D姿态性能影响评估在本节，以STB和RHD数据集上的3D姿态精度为准，说明3D形状对3D姿态性能的影响。首先需探讨调整层的作用，如图1.10所示，定性的展示了调整层的作用，其中浅蓝色3D骨架表示直接利用关键点回归器从3D手部形状获得的3D姿态，深蓝色3D骨架表示经过调整层的3D姿态，红色3D骨架表示3D姿态真值。由图可见浅蓝色3D骨架与红色3D骨架的整体3D骨架结构基本相同，但是会有一定的整体偏移，这是由于MANO模型与部分数据集的标注方式不同造成的。通过一层简单的全连接调整层后3D姿态与特定数据集就非常吻合了。这种现象说明基于MANO模型生成的3D手部形状可以合理解释手部姿态，从图1.9也能证实这一点，并且有能力提供较为准确的3D姿态。但是由于数据标注方式不同，直接利用MANO模型回归的3D姿态去定位3D空间中手的位置还是有缺陷的。表1.4本章方法不同阶段的3D姿态估计性能Tab.1.4Performanceof3Dposeestimationatdifferentstagesofthemethod方法MPJPE(mm)STBRHD3D姿态估计器输出的3D姿态6.4711.66最终3D姿态6.0711.16如表1.4所示，展示了初始3D估计器输出的姿态和最终3D姿态的平均关键点误差，由表可知经过调整层得到的最终3D姿态性能明显提高，在STB数据集上平均关键点误差下降了0.4mm（从6.47mm到6.07mm），在RHD数据集上下降了0.5mm（从11.66mm到11.16mm）。表明了本章的最初设想，在生成合理而逼真的、可以解释手部姿态的3D形状的同时，能克服不合理结构的影响，从而进一步提高3D姿态估计性能。图1.10定性展示调整层的作用Fig.1.10Qualitativelydemonstratetheroleoftheadjustmentlayer1.3.4与其他方法的互对比实验分析为了对本章方法有一个整体定位，将在STB、RHD和Freihand三个公开数据集上与当前最优的3D手部姿态估计方法进行对比实验。这些方法包括：MUELLER(2018CVPR)REF_Ref14235\r\h[14]、YANG(2019ICCV)REF_Ref16877\r\h[18]、ZIMMERMANN(2019ICCV)REF_Ref16972\r\h[19]、Z&B(2017ICCV)REF_Ref17308\r\h[22]、SPURR(2018CVPR)REF_Ref18354\r\hREF_Ref17798\r\h[27]、IQBAL(2018ECCV)REF_Ref18356\r\h[31]、BOUKHAYMA(2019CVPR)REF_Ref18961\r\h[37]、CHEN(2021CVPR)REF_Ref19006\r\h[40]、ZHOU(2020CVPR)REF_Ref19637\r\h[42]、GE(2019CVPR)REF_Ref20208\r\h[46]、KULON(2020CVPR)REF_Ref20215\r\h[47]、CHOI(2020ECCVREF_Ref20221\r\h[48]、THEODORIDIS(2020CVPR)REF_Ref7847\r\h[67]和HASSON(2019CVPR)REF_Ref6119\r\h[68]。这些方法中有部分未同时在三个数据集上实验，有的方法在评估时只给出了3DPCK和AUC结果。因此分数据集比较平均关键点误差(MPJPE)和AUC，表1.5~表1.7分别展示了在STB、RHD和Freihand数据集上与当前最优方法的互比较。图1.11展示在STB和RHD数据集上不同误差阈值下的3DPCK曲线图。表1.5在STB数据与当前最优方法的比较Tab.1.5Comparisonwithstate-of-the-artmethodsontheSTBdataset方法MPJPE(mm)AUCTHEODORIDIS(2020CVPR)REF_Ref7847\r\h[67]6.930.994ZHOU(2020CVPR)REF_Ref19637\r\h[42]-0.998YANG(2019ICCV)REF_Ref16877\r\h[18]7.020.996GE(2019CVPR)REF_Ref20208\r\h[46]6.370.998SPURR(2018CVPR)REF_Ref18354\r\hREF_Ref17798\r\h[27]8.560.983MUELLER(2018CVPR)REF_Ref14235\r\h[14]-0.965Z&B(2017ICCV)REF_Ref17308\r\h[22]-0.986第三章方法6.420.995本章方法6.070.998表1.6在RHD数据集上与当前最优方法的比较Tab.1.6Comparisonwithstate-of-the-artmethodsontheRHDdataset方法MPJPE(mm)AUCCHEN(2021CVPR)REF_Ref19006\r\h[40]-0.949KULON(2020CVPR)REF_Ref20215\r\h[47]10.920.956ZHOU(2020CVPR)REF_Ref19637\r\h[42]-0.943THEODORIDIS(2020CVPR)REF_Ref7847\r\h[67]15.610.907YANG(2019ICCV)REF_Ref16877\r\h[18]13.140.943IQBAL(2018ECCV)REF_Ref18356\r\h[31]13.410.940SPURR(2018CVPR)REF_Ref18354\r\hREF_Ref17798\r\h[27]17.140.849Z&B(2017ICCV)REF_Ref17308\r\h[22]30.420.675第三章方法12.560.927本章方法11.160.955由表1.5和1.6可看出，本章方法在STB数据集的3D姿态性能优先于当前已发表的最优方法REF_Ref20208\r\h[46,REF_Ref7847\r\h67]，平均关键点误差可到6.07mm，AUC达到了0.998；相比于第三章方法平均关键点误差降低了0.35mm；另外从图1.11（左）也可见本章方法3DPCK曲线已处于最高的水平。在RHD数据集上也取得了不错的效果，平均关键点误差与当前最优的方法仅相差0.24mm，AUC仅相差0.001；相比于第三章方法平均关键点误差降低了1.3mm，进步明显；在图1.11（右）中3DPCK曲线几乎与当前最优方法的3DPCK曲线重合。以上实验分析表明本章方法在重建出合理而逼真的手部形状的同时，也有能力估计出较为准确的3D手部姿态。图1.11在STB（左）和RHD（右）数据集上与当前最优方法的比较Fig.1.11Comparisonwithstate-of-the-artonSTB(left)andRHD(right)datasets表1.7在Freihand数据集上当前最优方法的比较Tab.1.7Comparisonwithstate-of-the-artmethodsontheFreihanddataset方法MPJPE(mm)MVJPE(mm)F@5mmF@15mmCHEN(2021CVPR)REF_Ref19006\r\h[40]6.97.00.7150.977KULON(2020CVPR)REF_Ref20215\r\h[47]8.48.60.6140.966CHOI(2020ECCVREF_Ref20221\r\h[48]7.77.80.6740.969HASSON(2019CVPR)REF_Ref6119\r\h[68]13.313.30.4270.895BOUKHAYMA(2019CVPR)REF_Ref18961\r\h[37]35.013.00.4350.898ZIMMERMANN(2019ICCV)REF_Ref16972\r\h[19]-10.70.5290.935第三章方法9.1本章3D姿态估计器8.5本章方法-没有顶点监督8.38.90.6330.969本章方法-有顶点监督7.88.00.6570.969另外，Freihand