【《多视角图像的骨架提取方法研究的国内外文献综述》4100字】

[26]使用卷积神经网络进行由粗到细的端到端预测，并将三维空间进行了网格的划分，采用三维体素来表示三维关节点的位置，输出的是高斯热图。该方法减少了预测的三维骨架点的误差，但对机器的性能要求提高了，并且训练时间较长。(2)两个阶段三维人体骨架提取方法两个阶段骨架提取方法依赖于二维骨架提取方法的不断改进与提升，输入为二维骨架点的向量数据，这些数据通过三维回归模型就可以输出对应的三维骨架。两个阶段方法可以分解为：基于图像的二维骨架提取和基于二维骨架的三维骨架提取。随着深度学习的快速发展，2014年ToshevREF_Ref67550939\r\h[27]等人将卷积神经网络引入到二维骨架的提取中。通过改变误差函数，将之前用于分类的卷积神经网络转换为骨架点坐标回归问题。WeiREF_Ref71311306\r\h[28]等人将CNN用于人体骨架提取中，提出了使用顺序卷积体系来表达空间和纹理信息。NewellREF_Ref71311343\r\h[29]等人提出利用图像多尺度信息，充分考虑多个骨架点间的相互关系的“堆叠沙漏模型”。ChenREF_Ref67550983\r\h[30]等人针对骨架点被遮挡的问题，提出了“级联金字塔网络”来估计易于检测和难以分阶段检测的骨架点，取得了良好的效果。随着NewellREF_Ref71311343\r\h[32]等人在二维人体骨架提取中的突破，通过二维骨架回归获得三维骨架的研究逐渐成为流行的方向，主要的回归模型设计思路是基于深度学习的回归网络。例如，Moreno-NoguerREF_Ref67551014\r\h[31]构建了一个欧氏距离矩阵，将三维人体骨架提取问题转化为两个骨架点之间的距离回归问题。ZhouREF_Ref67551036\r\h[32]等人提出了一种弱监督的学习方法，并且引入了一种三维几何约束，用于优化生成的三维骨架。(3)端到端和两阶段骨架提取方法的优缺点两种骨架提取方法各有优缺点。第一种端到端的方法输入数据为图像矩阵，其中包含较丰富的图像信息，对直接提取三维骨架有一定的帮助。但这种网络训练所需要的数据集采集比较困难，通常使用运动捕捉系统将其收集，而且需要包含三维人体真实关节坐标。因此，端到端网络仅在实验环境中具有较好的性能，不太适用于其他场景的数据集。第二种两阶段法通过二维骨架提取方法获得的二维骨架精度极高，具有普遍的适用性，训练二维模型所需的数据集采集较为容易，数量也很多，采集的场景类型也多，因此二维关节检测可以应用于更多的场景。第二种方法也比第一种在实际活动中更具有兼容性。该方法的缺点是将第一阶段得到的二维坐标信息输入到三维回归模型中，这样做会丢失掉很多图片中有用的信息。尽管该法存在一定的漏洞，但二维骨架提取的方法已经非常成熟了，给后面三维回归奠定了一定的基础，所以两个阶段的方法的准确性和通用性都要高于端到端方法。综上所述，目前基于传统方法的多视角图像序列人体骨架提取已经有很多研究成果，并且有两种模型支持传统方法的骨架提取。但该类方法仍然存在骨架点缺失与位置不准确的问题以及人工干预较多。对于多个角度图像利用深度学习方法进行骨架提取，虽然不存在骨架点个数不准确的问题，但是怎样将多视角图像序列得到一个准确的骨架序列，是本文需要解决的问题。参考文献FurukawaY,PonceJ.Accurate,dense,androbustmultiviewstereopsis[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2010,32(8):1362-1376.DudekCL,MesserCJ,NucklesNB.Incidentdetectiononurbanfreeways[R].WashingtonD.C:TransportationResearchRecord,1974.何豫航,岳俊.基于CMVS/PMVS多视角密集匹配方法的研究与实现[J].测绘地理信息,2013,38(3):20-23.杜小燕,姜晓峰,等.点云模型的双边滤波去噪算法[J].计算机应用与软件,2010,27(7):245-246.LiuY,CaoX,DaiQ,etal.Continuousdepthestimationformulti-viewstereo[C].IEEEConferenceonComputerVision&PatternRecognition.IEEE,2009:2121-2128.张凯.基于泊松方程的三维表面重建算法的研究[D].河北:河北工业大学,2014.FunkhouserT,ShilaneP.Partialmatchingof3Dshapeswithpriority-drivensearch[C].Eur-ographicsSymposiumonGeometryProcessing.2006:131-142.AvronH,SharfA,GreifC,etal.ℓ1-Sparsereconstructionofsharppointsetsurfaces[J].AcmTransactionsonGraphics,2010,29(5):1-12.KazhdanM,HoppeH.ScreenedPoissonsurfacereconstruction[J].AcmTransactionsonGraphics,2013,32(3):1-13.MaC-M,WanS-Y,LeeJ-D.Three-dimensionaltopologypreservingreductiononthe4-subfields[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2002,24(12):1594-605.ZhouY,TogaAW.EfficientSkeletonizationofVolumetricObjects[J].IEEEtransactionsonvisualizationandcomputergraphics,1999,5(3):196-209.S.Schaefer,C.Yuksel.Example-basedskeletonextraction,In:ProceedingsoftheFifthEurographicsSymposiumonGeometryProcessing,2007,pp.153-162.Botsch,M.,Steinberg,S.,Bischoff,s.,Kkobbelt,L.2002.0penMesh-agenericandefficientpolygonmeshdatastructure.In:ProceedingsofOpenSGSymposium.KatzS,TalA.Hierarchicalmeshdecompositionusingfuzzyclusteringandcuts[J].internationalconferenceoncomputergraphicsandinteractivetechniques,2003,22(3):954-961.NealenA,IgarashiT,SorkineO,etal.FiberMesh:designingfreeformsurfaceswith3Dcurves[J].ACMTransactionsonGraphics,2007,26(3):ArticleNo.41AuKC,TaiCL,ChuHK,etal.Skeletonextractionbymeshcontraction[J].AcmTransactionsonGraphics,2008,27(3):1-10.ZhangY,ShenB,WangSF,etal.L0-regularization-basedskeletonoptimizationfromconsecutivepointsetsofkinetichumanbody[J].ISPRSJournalofPhotogrammetryandRemoteSensing,2018,143:124-133.TagliasacchiA,ZhangH,CohenorD.Curveskeletonextractionfromincompletepointcloud[J].AcmTransactionsonGraphics,2009,28(3):1-9.CaoJ,TagliasacchiA,OlsonM,etal.Pointcloudskeletonsvialaplacianbasedcontraction[C]//ShapeModelingInternationalConference.IEEE,2010:187-197.HuangH,WuS,Cohen-OrD,etal.L1-medialskeletonofpointcloud[J].ACMTransactionsonGraphics,2013,32(4):96-96.MoriG,MalikJ.Recovering3DHumanBodyConfigurationsUsingShapeContexts[J].IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE,2006,28(7):1052-1062.AgarwalA,TriggsB.3DHumanPosefromSilhouettesbyRelevanceVectorRegression[C].ComputerSocietyConferenceonComputerVisionandPatternRecognition,2004,2:11882-11888.BoL,SminchisescuC,KanaujiaA,etal.Fastalgorithmsforlargescaleconditional3Dprediction[C].26thIEEE