CN114445584B 基于彩色点云生成带纹理三维网格模型的方法及装置 （复旦大学）

WO2020174215A1,2020.09基于彩色点云生成带纹理三维网格模型的本发明提供了一种基于彩色点云生成带纹得到稀疏点云坐标二维图像以及稀疏点云色彩输出输入三维几何先验深度网络中优化；步骤时重复步骤S3至步骤S8，判断为是时进入步骤2步骤S1，利用预定的预处理算法对所述彩色三维点步骤S2，搭建三维几何先验深度网络并将所何先验深度网络进行优化得到初代三维网格模型作为当步骤S3，利用预定的三维网格模型展开算法对所述当步骤S4，将所述彩色三维点云数据基于所述三维到二维UV步骤S5，搭建二维几何先验深度网络并将所述稀疏点云维网格模型输入所述二维几何先验深度网络进行优化得到二代三步骤S6，搭建二维纹理先验深度网络并将所述稀疏点云述二维纹理先验深度网络得到所述初代三维网格模步骤S7，将所述二代三维网格模型输入所述三维步骤S8，判断是否达到预定的三维网格迭代次数，判步骤S9，将最后得到的所述当前三维网格模型以及所述步骤S5-3，将所述稀疏点云坐标二维图像以及步骤S5-4，基于所述稀疏点云坐标二维图像以及所述步骤S5-5，基于所述二维几何损失函数对所述二维几何先验深度网络进行迭代更新，将该三维顶点坐标值更新到所述初代三维网格模型中从而得到所述二代三其中，所述二维几何损失函数为所述稀疏点云坐标二维图像以步骤S6-3，将所述稀疏点云色彩二维图像以及3步骤S6-4，基于所述稀疏点云色彩二维图像以及所述纹理先验深度网络的损失函数并设定为二维步骤S6-5，基于所述二维纹理损失函数对所述二维纹理先验深度网络进行迭代更新，其中，所述二维纹理损失函数为所述稀疏点云色彩二维图像以步骤S2-2，利用预定的三维表面处理算法对所述初代三步骤S2-3，将所述均匀三维网格模型输入所述三维几何先验步骤S2-4，基于所述三维网格顶点坐标以及所述彩色三维述三维几何先验深度网络从而得到收敛的三维几步骤S2-5，判断是否达到预定的三维几何迭代次数，判断步骤S2-6，将最后的所述收敛的三维几何先验深度网更新到所述均匀三维网格模型中从而得到所述初代三维网格模型作为所述当前三维网格其中，所述三维几何先验深度网络为节点先减少后增加的由编码器-解码器结构组成其中，所述二维几何先验深度网络以及所述二维纹理45[0003]三维网格模型的一般生成流程为先使用扫描设备或多视角立体匹配算法对需要[0004]传统的三维网格模型生成算法可以结合多种先验知识以及点云数据生成三维网的密度有较高的要求较高，并且生成的三维网格模型对于点云数据中带有的噪声较为敏[3]提供了一种基于形变推断的从多张图片生成三维网格模型的方法。该方法构建了提取导致其性能的好坏过度依赖于输入的三维点云数据的精准度以及[0009][1]AmentaN,BernM.,KamyysselisM.,etal.Anewvoronoi-basedsurfacereconstructionalgorithm[C]//Proceedingsofthe25thannualconferenceonComputergraphicsandinteractivetechniques.1998:415–421.[0010][2]KazhdanM,BolithoM,HoppeH,etal.Poissonsurfacereconstruction[C]//InProceedingsofthefourthEurographicssymposiumonGeometry6[0011][3]WenC,ZhangY,LiZ,andFuY.Pixel2mesh++:Multiview3dmeshgenerationviadeformation[C]//IEEEInternationalConferenceonComputerVision(ICCV).2019.[0012][4]HanockaR,MetzerG,GiryesR,etal.Point2mesh:Aself-priorfordeformablemeshes[J]//SpecialInterestGrouponComputerGraphicsandInteractiveTechniques.2020:volume39.网络并将稀疏点云坐标二维图像以及当前三维网格模型输入二维几何先验深度网络进行该三维几何损失函数训练更新三维几何先验深度网络从而得到收敛的三维几何先验深度三维网格顶点坐标更新到均匀三维网格模型中从而得到初代三维网格模型作为当前三维7坐标二维图像以及稠密点云坐标二维图像构建二维几何先验深度网络的损失函数并设定密点云坐标二维图像中相同点值之间的二阶维图像以及稠密点云色彩二维图像构建二维纹理先验深度网络的损失函数并设定为二维密点云色彩二维图像中相同点值之间的二阶距离小先减少后增加的编码器-解码器结构组成的二维卷积神经网络，该二维卷积神经网络由8[0027]图1为本发明实施例的基于彩色点云生成带纹理三维网格模型的装置的结构框[0029]图3为本发明实施例的基于彩色点云生成带纹理三维网格模型的方法的流程示意[0033]图7为本发明实施例的二维几何先验深度网络以及二维纹理先验深度网络的结构合实施例及附图对本发明的一种基于彩色点云生成带纹理三维网格模型的方法及装置作[0037]本实施例中的基于彩色点云生成带纹理三维网格模型的装置可以对需要建模的[0038]图1为本发明实施例的基于彩色点云生成带纹理三维网格模型的装置的结构框[0039]如图1所示，基于彩色点云生成带纹理三维网格模型的装置10包括点云数据获取[0041]网格模型生成部102利用基于彩色点云生成带纹理三维网格模型的方法生成带纹9[0043]模型输出部103可以输出带纹理三维网格模型从而供建模用户进行查看或是直接[0045]图2为本发明实施例的基于彩色点云生成带纹理三维网格模型的方法的流程图；[0046]图3为本发明实施例的基于彩色点云生成带纹理三维网格模型的方法的流程示意[0047]如图2以及图3所示，基于彩色点云生成带纹理三维网格模型的方法包括如下步验深度网络进行优化得到初代三维网格模型作为当前三维[0055]其中，三维几何先验深度网络为节点先减少后增加的由编码器-解码器结构组成[0064]三维几何先验深度网络根据三维几何损失函数通过反向传播算法与梯度下降算法对三维几何先验深度网络中权重进行迭代更新，从而得到收敛的三维几何先验深度网三维网格模型中从而得到初代三维网格模型作为当前三前三维网格模型表面任意一点到1024×1024大小的二维平面的模型展开算法运行；当畸变值低于4.3时停止三维网格模型展开算法运行从而得到当前三到固定尺寸的二维空间中，从而得到一张大小为1024×1024的包含25000个有效值的稀疏[0076]基于三维到二维UV映射关系将彩色三维点云数据中各个点的彩色值投影到固定尺寸的二维空间中从而得到一张大小为1024×1024的包含25000个有效值的稀疏点云色彩格模型输入二维几何先验深度网络进行优化得到二代三[0081]其中，二维几何先验深度网络为特征大小先减少后增加的编码器-解码器结构组[0082]图7为本发明实施例的二维几何先验深度网络以及二维纹理先验深度网络的结构[0085]整个二维几何先验深度网络为编码器-解码器结构，编码器与解码器相对应的卷将该三维顶点坐标值更新到初代三维网格模型中从而得到二代三格模型输入二维纹理先验深度网络得到初代三维网格模[0100]其中，二维纹理先验深度网络为特征大小先减少后增加的编码器-解码器结构组[0116]为了验证本发明实施例的基于彩色点云生成带纹理三维网格模型的方法的有效和纹理感知质量损失越小则输出的带纹理三维网格模型越优，F-score越大则输出的带纹[0117]本发明的基于彩色点云生成带纹理三维网格模型的方法与泊松表面重建方法、[0118]具体地，泊松表面重建方法的倒角误差、F-score以及纹理感知质量损失分别为[0121]根据上述实施例提供的一种基于彩色点云生成带纹理三维网格模型的方法及装的带纹理三维网格模型，在此过程中不需要彩色三维点云数据中各个点的法向量方向信[0126]在上述实施例中，步骤S1中预处理算法为凸包算法，该凸包算法由开源软件[0127]在上述实施例中，步骤S3中三维网格模型展开算法使用的是开源项目OptCuts提