【手部姿态算法的国内外研究现状的文献综述4000字】

的基于视觉的手部姿态估计呈现欣欣向荣景象8。在研究中，手部姿态估计通常指，估计构成抽象手骨架的21个关键点的2D/3D坐标位置。由于深度模糊问题的存在，导致基于彩色图像的3D手部姿态(1)利用深度图辅助的3D手部姿态估计一些工作受基于深度图的3D手部姿态估计方法的启发，尝试借鉴深度图中个网络。CHEN等人11提出了深度图引导GAN(DGGAN),为彩色图像生成“真实”深度图，并将其用来正则化3D手部姿态估计器。YUAN等人12提出了几种(2)利用丰富的彩色数据进行3D手部姿态估计视频序列的手部姿态估计方案，前者利用LSTM从初始姿态编码器中提取特征；后者提出基于CycleGANs¹5的几何一致网络，旨在合成以假乱真的合成图像，在训练过程中用该方式增强数据，提高模型的鲁棒性。YANG等人16同样基于视频序列进行姿态估计，不同的是他们利用手部的关节感知特征对3D姿态估计和手势识别都至关重要这一点，设计了两个任务相互辅助的姿态估计算法。LI点云、热图和3D姿态等数据出发探索共同姿态潜空间。CHRISTIAN等人19攻坚克难，从数据源角度的出发，提出一个大规模的具有3D姿态和形状标注的多视角彩色图像数据集。WU等人201在3D姿态信息指导下合成逼(3)基于单张彩色图像的3D手部姿态估计部分工作更关注于具有挑战的仅利用单张彩色的3D手部姿态估计任务，旨在利用最少的数据，获取最具竞争力的性能表现。因此提出了多种策略尝试在3D手部姿态估计过程中挖掘深度线索。其中部分工作侧重于设计深度卷积神经网络结构，迫使网络强行实现从彩色图像/2D姿态到3D姿态的映射。ZIMMERMANN等人22设计了将手部定位分割、2D姿态估计和3D手部姿态估用于3D手部姿态估计的学生网络和用于纠正角度错误并反馈给学生网络的教师同组特征之间的关系来重建3D姿态。GAO等人[25设计了手部轮廓学习网络，此外，还有一部分工作利用彩色数据、2D姿态和3D姿态等数据构建一个姿态相关的潜空间。SPURR等人[27部署了变分自动编码器(VariationalAutoencoder,VAE)框架，使用跨模态的数据训练能够代表手部姿态的潜空间，将2D姿态、3D姿态甚至是彩色图像都囊括在学习到的手部姿态潜空间中，经由特定的解码器从该潜空间中预测2D姿态、3D姿态。在SPURR等人基础上YANG源。定义了高灵活性的解纠缠变分编码器，该变分编码器可以处理包括彩色手部图像合成、姿态转换和基于彩色图像的3D姿态估计等多个任务。同样利用多模态空间，并依据特定的上下文翻译器实现模态数据之间的转移。ZHAO引用源。用到跨模态数据的知识共享，将元学习(Meta-Learning)方法用于跨数据的知识迁移。还有一部分工作对彩色图像到3D姿态的恢复过程进行了拆分，使得困难的3D姿态估计过程被分解为多个子问题，分别对每个子问题进行优化，在一定程变的2.5D姿态中间表示，将2D姿态到3D姿态的映射划分为”2D→2.5D”和”2.5D→3D”两个子问题来解决。该2.5D姿态由2D姿态和各个关键点的深度值组成，并设计了用于估计该2.5D姿态的卷积神经网络，随后依据相机成像原理进一步的将神经网络预测的姿态限制在生物学可行的3D手部结构范围内。也有工作将多任务整合3D手部姿态估计中，试图利用任务之间的同构性提升姿态估部分割、相对深度、密集匹配(Densematching)和2D手部关键点位置等1.3手部姿态和形状估计建手部网格形状实现手部形状的估计。依据人体网格模型SMPL错误!未找到引用源。的形(HandModelwithArticulatedandNon-rigMANO模型，它一直被广泛应用于手部姿态和形状估计算法中。用M拟合手部形状的关键一步是预测抽象的模型参数(姿态和形状参数),部分工作未找到引用源。则是利用2D热图信息编码MANO模型的模型参数和相机参数，该算法的特点是加入2D热图、相机参数、分割和3D姿态等一系列丰富的损失函数。错误!未找到引用源。介绍了通过2D热图迭代从预测的2D姿态和轮廓中恢复手部网格模型。上述这些模型参数估计方法直接从彩色图像预测MANO模型参数，利用相对准确的3D姿态来估计手部关节的旋转。YANG等人错误!未找到引用源。设计了三阶段多任务的手部姿态和形状估计算法，在2D和3D姿态估计阶段分别用轮廓和深度图构成多任务辅助模式，旨在提高姿态估计的准确率，随后由估计3D姿态预测MANO模型的姿态和形状参数。ZHOU等人错误!未找到引用源。通过联合检测网络从单张彩色图像同时预测2D和3D姿态，拟合MANO模型到预测的3D姿射到MANO模型的姿态和形状参数，不同的是他们提出3D坐标姿态引导的3D关节旋转预测网络。的时间一致性，通过切比雪夫谱图卷积网络重建手部形状。同样用序列数据的网络(GraphCNN)来重建手表面的完整3D网格。而KULON等人错误!未找到引用源。提出将未标注野外数据通过迭代微调的学习方式来拟合MANO模型从而生成形状伪卷积网络的系统实现由粗到细的、从姿态到网格形状的重建，第二种错误!未找到引用源。[1]DOOSTB.Handposeestimation:Asurvey[J].arXivpreprintarXiv[2]YOUNGKYOONJ,Seung-TakN,HyungJinC,etal.3andPositionEstimationunderSelf-OcclusionTransactionsonVisualizationandComputerG[3]SHLIZERMANE,DERYL,SCHOEN2018:7574-7583.[4]YINF,CHAIX,CHENX.IterativereferVision(ECCV),Amsterdam,TheNetherlands,2016:434-450.[5]SRIDHARS,FEITAM,THEOBALTC,etal.InvestigatingthedComputingSystems,Seoul,Korea,2015:[6]HINTONGE,OSINDEROS,TEHY.AFaNeuralComputation,2006,18(7):1527-1554.[7]LECUUY,BOTTOUL,BENrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278-2324.[8]OIKONOMIDISI,KYRIAZISN,ARGYROSAA.EfficiehandarticulationsusingKinect[C].BritishMa[9]RADM,OBERWEGERM,LEPETITV.DomaintransferforcolorimageswithoutmanualaPerth,Australia,2018:69-84.rgbimages[C].EuropeanCo2018:666-682.[11]CHENL,LINS,XIEY,etal.DGGAN:Depth-imagegIEEE/CVFWinterConferenceonApplicationsofCColorado,2020:411-419.[12]YUANS,STENGERB,KIMT.RGB-based3Dhandposeestimatiolearningwithdepthimages[J].arXivpreprintarXihandposeestimation[C].EuropeanConferenceonComputerVision(ECCV),online,2020:127-144.[14]MUELLERF,BERNARDF,SOTNYCHENKOO,etal.GaneratedhandsforrePatternRecognition(CVPR),SaltLakeCity,USA2018:49-59.[15]ZHUJ,PARKT,ISOLAP,etal.Unpairedimage-to-imagecycle-consistentadversariavision(ICCV),Venice,Italy,2017:2223-2232.poseestimationwithmulti-orderfeatureanalysisVision(ECCV),online,2020:769-786.Cameras[C].BritishMachineVisionConference(BMUK,2019,1:2.[18]YANGL,LIestimation[C].IEEE/CVFInternatKorea,2019:2335-2343.captureofhandposeandConferenceonComputerVision(ICCV),Seoul,Korea,2019:813-82[20]WUZ,HOANGD,LINS,etal.MM-Hand:3Multimedia,Seattle,US,2020:2508-2516.handposeestimationfrommonocularRGB[J].arXivpreprimages[C].IEEEinternationalconf2017:4903-4911.[23]ZHANGY,CHENL,LIUY,etal.ExplicitKnowleEstimationfromMonocularRGB[C].BritishMachineVisiManchester,UK,2020.[24]LIM,GAOY,SANGN.ExploitiEstimation[C].AssociationfortheAdvanceofArtificialIntelligence(AAAI),online,2020.rgbimage[J].IEEERoboticsandAutomationLetters,2019,[26]DOOSTIB,NAHAS,MIRBAGHERIM,etal.