CN113706714B 基于深度图像和神经辐射场的新视角合成方法 （中科计算技术创新研究院）

EP2808842A2,2014.12.03EP3293705A1,2018.03.14GB202108687D0,2021.08.04WO2020242170A1,2020.12.03ComponentAnalysiswithAtteVISUALIZATIONANDCOMPUTERGRAP基于深度图像和神经辐射场的新视角合成本发明涉及一种基于深度图像和神经辐射于场景多个视角的RGB-D图像生成该场景完整的与RGB-D图像相应位置的颜色对应；基于场景完整的场景彩色点云生成该场景带颜色的三角网图像作为网络真值继续训练所述神经辐射场网络；通过经渲染图像和RGB图像训练的神经辐射2AihuaMao.STD-Net:StructpreservingandTopologDeformationNetworkfor3DReconstBenMildenhall.NeRF:RepScenesasNeuralRadiancR.M.Lacher.Nonrigidreconstruction3基于场景多个视角的RGB-D图像生成该场景完整的场景彩色点云，场景彩色点云中每基于场景完整的场景彩色点云生成该场景带颜色的三通过经渲染图像和RGB图像训练的神经辐射场网络生成指定所述利用所述RGB-D图像对应的真实RGB图像作为网络真值继续训练神经辐射场网络，包5.根据权利要求1～4任意一项所述的基于深度图像和神经辐射场的新视角合成方法，取场景每个体素所包含点云的平均颜色值作为该体素的体素颜色将体素颜色特征Enc(cvoxel)作为条件输入到所述神经辐射场网络的颜色预测网络Fc采用带颜色的迭代最近点算法来对齐不同视角下的点云，对齐后景彩色点云通过泊松表面重建转换为带颜色的三角网4ti场景彩色点云中每个点的颜色值与RGB-D图像相网格生成模块，用于基于场景完整的场景彩色点云生成该场景带颜色的三角网格表继续训练模块，用于利用所述RGB-D图像对应的真实RGB图像作为网新视角合成模块，用于通过经渲染图像和RGB图像训练的神经辐射场网络生成指定新机程序被执行时实现权利要求1～8任意一项所述基于深度图像和神经辐射场的新视角合~8任意一项所述基于深度图像和神经辐射场的新视角合成方法的步骤；5[0004]Mildenhall等人的“Nerf:Representingscenesasneuralradiancefields[0005]LingjieLiu等人的“NeuralSparseVoxelFields”提出使用稀疏体素组织场[0006]AlexYu等人的“pixelNeRF:NeuralRadianceFieldsfromOneorFewImages”[0007]AjayJain等人的“PuttingNeRFonaDiet:SemanticallyConsistentFew-[0008]QianqianWang等人的“IBRNet:LearningMulti-ViewImage-BasedRendering”6[0010]本发明所采用的技术方案是：一种基于深度图像和神经辐射场的新视角合成方[0012]基于场景多个视角的RGB-D图像生成该场景完整的场景彩色点云，场景彩色点云[0016]利用所述RGB-D图像对应的真实RGB图像作为网络真值继续训练所述神经辐射场[0018]所述利用所述RGB-D图像对应的真实RGB图像作为网络真值继续训练神经辐射场[0022]所述生成对抗网络的损失函数Lcaw为：[0025]所述利用所述RGB-D图像对应的真实RGB图像作为网络真值继续训练神经辐射场[0027]将体素颜色特征Enc(cvoxel)作为条件输入到所述神经辐完整的场景彩色点云通过泊松表面重建转换为带颜色的三7ti[0040]点云生成模块，用于基于场景多个视角的RGB-D图像生成该场景完整的场景彩色[0045]新视角合成模块，用于通过经渲染图像和RGB图像训练的神经辐射场网络生成指机程序被执行时实现所述基于深度图像和神经辐射场的新视角合成方法8每个点根据相应RGB图像上相应位置的颜[0067]由于LiDAR相机存在深度估计的问题，重建的点云可能会有一些噪点，本例使用最近点算法(ICP)来对齐不同视角下的点云，对齐后使用盒式网格过滤器将来自不同视角9[0075]本实施例使用八叉树结构来组织场景的体素表示V={V1,…VX},在每个体素顶[0078]本实施例中神经辐射场网络的整个网络架构如图4所示，神经辐射场网络的输入[0080]将输入特征Enc(gi(p))和编码的光线方向Enc(d)输入到另一个全连接(MLP)网络ti场网络的整个全连接(MLP)网络(包括密度预测网络Fσ和颜色预测网络Fc)视为图像生成器抗网络架构。采用基于图像分块的判别器，基于图像分块的判别器全部由图像卷积层组成(具体可参见“High‑ResolutionImageSynthesisandSemanticManipulationwithConditional[0097]生成对抗网络架构可以在采样视角下为网络微调过程提供除了已知视角下RGB损摄的RGB图像和深度图像提供的先验来增强新视角合成结果也是一个可行的思路。目前已的体素颜色特征Enc(cvoxel)被作为条件输入到颜色预测网络Fc中，因此颜色预测网络Fc重码位置特征决定。Enc(Cvoxel)为相应体素中的采样点提供颜色先验，是来自真实场景的先[0104]总训练损失函数是和Lcaw的总和：方法不仅很好地重建了石头的几何和外观，而且在合成新视角时很好地处理了水面的反[0115]其中图像获取模块用于获取场景多个视角的真实RGB-D图像；点云生成模块用于基于场景多个视角的RGB-D图像生成该场景完整的场景彩色点云；网格生成模块用于基于训练所述神经辐射场网络；新视角合成模块用于通过经渲染图像和RGB图像训练的神经辐中基于深度图像和神经辐射场的新视角合成方法的步骤；输入单元用于输入指定新视角；