CN114708380B 一种基于融合多视角特征与深度学习的三维重建方法 （南京大学）

一种基于融合多视角特征与深度学习的三本发明公开了一种基于融合多视角特征与片数据与对应的SDF数据；用卷积网络对输入的合，获取带有点特征信息的全局特征与局部特2步骤1，采集多视角图片数据与对应的带符号的距离方步骤2，用全卷积网络vgg对输入的图片数据进行卷积步骤3，对步骤2中多视角下的全局特征信息进行最步骤6，将步骤5中得到的点特征分别与步骤3中得到的整步骤7，将步骤6中的带有点特征信息的全局特步骤6-2，对步骤4得到n个视角下的局部特征L与步骤5步骤7-1，将步骤6得到的全局特征向量G分别与步骤6得到n个视角下的局部特征L相32.根据权利要求1所述的一种基于融合多视角特征与深度学习的三维重建方法，其特步骤1-1，从Shapenet数据库中获取原始三维数据集D，从33.根据权利要求2所述的一种基于融合多视角特征与深度学习的三维重建方法，其特步骤1-2-1，将三维数据集D归一化，生成数据集N，使得4.根据权利要求3所述的一种基于融合多视角特征与深度学习的三维重建方法，其特步骤2-1，将输入的三维网格模型数据集D＝{DTrain,DTest}等数量随机地划分为训练集好的融合了多视角特征的全卷积网络，同时得到多视角下的多层二维图片特征信息L与一的是训练集DTrain中的第i个模型di的24个视角的相机5.根据权利要求4所述的一种基于融合多视角特征与深度学习的三维重建方法，其特6.根据权利要求5所述的一种基于融合多视角特征与深度学习的三维重建方法，其特将步骤2中得到的全局特征向量G进行最大池化操作，即选择各个7.根据权利要求6所述的一种基于融合多视角特征与深度学习的三维重建方法，其特48.根据权利要求7所述的一种基于融合多视角特征与深度学习的三维重建方法，其特5[0009]无监督的方法，如文献1：FurukawaY,PonceJ.Accurate,Dense,andRobustMultiviewStereopsis[J].PatternAnalysisandMachineIntelligence,IEEEal.HighAccuracyandVisibility-ConsistentDenseMultiviewStereo[J].IEEETransactionsonPatt献3：GallianiS,LasingerK,SchindlerK.MassivelyParallelMultiviewStereopsisbySurfaceNormalDiffusion[C]//IEEEInternationalConferenceonComputeretal.PixelwiseViewSelectionforUnstructuredMulti-ViewStereo[C]//EuropeanConferenceonComputerVision(ECCV).Springer,Cham,2016.等借助于已有6生成模型的效果也有很大的影响，例如在基于单视角图片重建的领域，文献5：XinchenYan,JimeiYang,ErsinYumer,YijieGuo,andHonglakLee.Perspectivetransformernets:Learningsingle-view3dobjectreconstructionwithout3dsupervision.InNeurIPS,2016.使用体素作为模型的表示形式。文献6：ChristianHine,ShubhamTulsiani,andJitendraMalik.Hierarchicalsurfacepredictionfor3dobjectHaoSu,andLeonidasJGuibas.Apointsetgenerationnetworkfor3dobjectreconstructionfromasingleimage.InCVPR,2017.使用点云作为模型的表示prnn:Generatingshapeprimitiveswithrecurrentneuralnetworks.InICCV,2017.使用多面体作为模型的表示形式、文献9：AyanSinha,AsimUnmesh,QixingHuang,andKarthikRamani.Surfnet:Generating3dshapesurfacesusingdeepresidualXiaoguangHan,JunyiPan,KuiJia,andXinapproachforgeneratingmeshesofcomplextopologiesfromsinglergbGroueix,MatthewFisher,VladimirG.Kim,BryanRussell,andMathieuAubry.AtlasNet:APapier-ApproachtoLearning3DSurfaceGeneration.InQ,WangW,CeylanD,etal.DISN:DeepImplicitSurfaceNetworkforHigh-qualitySingle-view3DReconstruction[J].2019.提出了使用隐式场的表示形式作为三维模型个特征相加，得到最终特征向量，用之前的约定的方式下得到的编码作为真值，计算L17Unifyingfeatureandmetriclearningforpatch-basedmatchiDepthInferenceforUnstructuredMulti-viewStereo[J].2018.首先在2D图像上进行LuoZ,LiS,etal.RecurrentMVSNetforHigh-resolutionMulti-viewStereoDepth[0014]步骤1，采集多视角图片数据与对应的带符号的距离方程数据(SignedDistanceR,SuH,MoK,etal.PointNet:DeepLearningonPointSetsfor3DClassificationandSegmentation[C]//2017IEEEConferenceonComputerVisionandPattern8模型(参考：MarchingCube，参考文献：WilliamELorensenandHarveyECline.Marchingcubes:Ahighresolution3dsurfaceconstructionalgorithm.InXu,JunYoungGwak,KevinChen,andSilvioSavarese.3d-r2n2:Aunifiedapproachforsingleandmulti-view3dobjectreconstruction.InECCV,2016.包含二维图片信息ShingSin,DanielSchroeder,andJernejBarbi.c.Vega:non-linearfemdeformableobjectsimulator.InComputerGraphicsForum,volume32,pages36–48.WileyOnlineCline.Marchingcubes:Ahighresolution3dsurfaceconstructionalgorithm.In[0033]步骤2-2，对于训练集DTraiL与一维的全局特征G，其中Pi指的是训练集DTrain中的第i个模型di的24个视角下的投影图i指的是训练集DTrain中的第i个模型di的24个视角的相机参数集。9取图片特征的网络，参考：KarenSimonyanandAndrewZisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:SuH,MoK,etal.PointNet:DeepLearningonPointSetsfor3DClassificationandSegmentation[C]//2017IEEEConferenceonComputerVisionandPattern[0048]步骤7-2，对步骤7-1得到的特征W进行投票操作，最终得到1×256维的特征信息[0055]下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述时获取模型的24个视角的图片以及相应的相机数据；将模型训练集的多视角图片输入到以SDF的方式组织的32768个点的数据，该三维模型s取自包含了16种类型3D模型的ShapeNetCore标准3D模型数据集，并对其进行了归一化以及SDF数据化的处理)和模型s对应的24个视角的图片集p(格式为h5，记录了该图片的图片像素信息，相应的相机数据信点的坐标信息与对应的SDF值的信息写入单个文件fs(格式为.h[0081]步骤2-2，对于训练集DTrai中Pi指的是训练集DTrain中的第i个模型si的24个视角下的投影图集，Ci指的是训练集DTrain的投影图信息集Pi以及相机参数信息集Ci，从中选取n(n取值范围在1到24)个视角的图片[0096]步骤7-1，将步骤6得到的全局特征G分别与步骤6得到n个视角下的局部特征L相[0097]步骤7-2，对步骤7-1得到的特征W进行投票操作，最终得到1×256维的特征信息[0113]步骤(2.1)，将输入的三维数据集D＝{DTrain,DTest}等数量随机地划分为训练集中Pi指的是训练集DTrain中的第i个模型si的24个视角下的投影图集，Ci指的是训练集STrain[0124]步骤(6.2)，对步骤(4)得到n个视角[0138]2)对融合了多视角特征的FCN全卷积网络的训练和测试过程的实验平台参数为一类的数据集的类别名称如表1第一列所示，其中各类别名称含义为Airplane(飞机)、法在ShapeNetCore数据集上IoU统计