CN114742966B 一种基于图像的三维场景重建方法及装置（浙江大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114742966B(65)同一申请的已公布的文献号(73)专利权人浙江大学司33200ReconstructionwiththeManhattan-worldAssumption.2022IEEE/CVF(CVPR).2022,全文.审查员刘磊(54)发明名称K本发明公开了一种基于图像的三维场景重建方法及装置，首先利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通过体积渲染技术，将神经网络隐函数渲染为二维图像。然后使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域增加几何约束；最后在三维空间里学习语义场，联合优化21.一种基于图像的三维场景重建方法，其特征在于，所述方法包括：(1)利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通过体积渲染技术，将神经网络隐函数渲染为二维图像；(2)使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域增加几何约束；对于被判断为地面区域像素对应的三维表面点，采用如下损失函数：其中x是相机射线r对应的三维表面点坐标，n(x)是在x_处通过对有向距离场求梯度得到的法向向量，n=<0,0,1>是方向竖直向上的单位向量，用于表示假定的地面区域的法向方向；对于被判断为墙面区域像素对应的三维表面点，采用如下损失函数：其中n是一个可学习的单位向量，被初始化为<1,0,0>,用于表示其中一面墙壁的方向，n能够与网络参数在训练过程中一起联合优化；使用二维语义分割网络在图像空间里预测得到地面和墙面区域的蒙版F和W,定义损失函数为：其中F和W分别表示地面和墙面区域像素对应的相机射线集合；加权求和作为总的损失函数，Limg为通过最小化各帧渲染图像和输入图像之间的误差来优优化神经隐函数，从优化后的神经网络隐函数中提取三维网格模型，得到重建结果；通过以下损失函数进行语义和几何的联合优化：Pf、Pw分别表示语义属于地面、墙面概率；同时使用以下损失函数实现对语义的监督：其中，F和1W分别表示地面和墙面区域像素对应的相机射线集合；Pk(r)是渲染得到的概率，p(r)是二维语义分割网络的预测结果。2.根据权利要求1所述的一种基于图像的三维重建重建方法，其特征在于，步骤(1)中，沿相机投射至像素的射线采样一组三维点，使用神经网络隐函数计算三维点的有向距离和颜色，在射线上通过数值积分计算得到图像像素颜色值。3.根据权利要求1所述的一种基于图像的三维重建重建方法，其特征在于，有向距离场和颜色场由多层感知器实现。4.根据权利要求2所述的一种基于图像的三维重建重建方法，其特征在于，通过最小化3渲染后的二维图像和输入图像之间的像素值和深度值的误差以及有向距离场的模长约束，优化神经网络隐函数表示。5.根据权利要求1所述的一种基于图像的三维重建重建方法，其特征在于，步骤(3)中，使用多层感知器网络学习三维空间中的语义，并使用体积渲染的方法得到图像空间中每个像素的语义，将渲染得到的语义通过softmax标准化得到属于地面、墙面和其他区域的概6.一种基于图像的三维重建重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，实现如权利要求1-5中任一项所述的基于图像的三维重建重建方法。7.一种计算机可读存储介质，其上存储有程序，其特征在于，所述程序被处理器执行时，实现如权利要求1-5中任一项所述的基于图像的三维重建重建方法。4一种基于图像的三维场景重建方法及装置技术领域[0001]本发明涉及场景重建领域，尤其涉及一种基于图像的三维场景重建方法及装置。背景技术[0002]对于基于图像的三维场景重建问题，传统方法使用多视图立体匹配方法，根据光度一致性原理估计每个视角的深度图，然后使用深度图融合技术得到最终重建结果。大多数人造的室内场景都符合曼哈顿假设，也就是地面、墙壁、天花板应当与三个互相垂直的主方向对齐。传统方法对于每个视角深度图使用曼哈顿假设作为约束以改进效果，但是难以保证不同视角之间的一致性，因而重建结果仍然有很大提升空间。本发明将曼哈顿假设应用到基于神经隐函数的重建方法，首先得到地面、墙面等区域的语义，从而可以全局性地约发明内容[0003]本发明目的在于针对现有技术的不足，提出一种基于图像的三维场景重建方法及[0004]本发明的目的是通过以下技术方案来实现的：第一方面，本发明提供了一种基于图像的三维场景重建方法，所述方法包括：[0005](1)利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通过体积渲染技术，将神经网络隐函数渲染为二维图像。[0006](2)使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域增加几何约束；[0007](3)在三维空间里学习语义场，联合优化语义与几何，从优化后的神经网络隐函数中提取三维网格模型，得到重建结果。[0008]进一步地，步骤(1)中，沿相机投射至像素的射线采样一组三维点，使用神经网络隐函数计算三维点的有向距离和颜色，在射线上通过数值积分计算得到图像像素颜色值。[0009]进一步地，有向距离场和颜色场由多层感知器实现。[0010]进一步地，通过最小化渲染后的二维图像和输入图像之间的像素值和深度值的误差以及有向距离场的模长约束，优化神经网络隐函数表示。[0011]进一步地，步骤(2)中，对于被判断为地面区域像素对应的三维表面点，采用如下损失函数：[0013]其中x,是相机射线r对应的三维表面点坐标，n(x,)是在x,处通过对有向距离场求梯度得到的法向向量，n=<0,0,1>是方向竖直向上的单位向量，用于表示假定的地面区域的法向方向；[0014]对于被判断为墙面区域像素对应的三维表面点，采用如下损失函数：5渲染的方法得到图像空间中每个像素的语义，将渲染得到的语义通过softmax标准化得到附图说明增加几何约束。并在三维空间里学习语义场，联合优化语义与6[0033]如图2所示，本发明提出的室内场景重建方法中，构造用于表示场景几何和外观的隐函数的具体步骤为：[0034]1.本发明基于标准坐标系下的模型来表示室内场景。标准坐标系中的模型具体使用连续的有向距离和颜色来表示，其中有向距离场和颜色场由多层感知器实现。本发明将标准坐标系下空间三维点x的有向距离预测表示为如下函数：[0036]其中F是带有8层全连接层的多层感知器网络，d(x)为三维点x的有向距离，z(x)为网络输出的特征向量，包含场景在三维点x的形状信息。[0037]关于颜色函数，本发明三维点x、视角方向v、法向方向n(x)和形[0038]c(x)=F.(x,v[0039]其中F是带有4层全连接层的多层感知器网络，法向方向n(x)是通过对d(x)求梯度得到。[0040]本发明提出的室内场景表示方法中，通过可微分渲染优化神经网络隐函数表示。具体的步骤为：[0041]1.可微分体积渲染：给定一个视角，采用可微分体积渲染器将神经网络隐函数表示转换为二维RGB图像。对于图像的每一个像素，可微分体积渲染器通过积分方程累积相机射线上的体积密度和颜色，得到像素颜色。实际实现中，本发明使用数值积分进行近似。本发明首先使用相机参数计算对应的相机射线r,然后在最近点和最远点之间采样K个三维点{xi}{=10本发明对每个三维点x根据其有向距离d(x)转换得到体素密度σ(x),转换函数如[0043]其中β是一个可学习的参数。基于此可以得到像素的渲染颜色如下：[0045]其中δ=1|x:+1-x:1l₂是相邻采样点的距离，示在该射线上累计的透明度。采用可微分体积渲染，本发明通过最小化各帧渲染图像和输入图像之间的误差来优化神经网络隐函数表示。[0046]2.优化神经网络隐函数表示，具体为：对于输入的单目图像序列，已知相机参数。[0048]其中R是穿过图片像素的相机射线的集合，C(r)7值(通过对相机射线r上采样点的透明度计算积分得到),D(r)是通过基于PatchMatch算法[0061]3.本发明使用二维语义分割网络在图像空间里预测得到地面和墙面区域的蒙版8[0070]本发明将渲染得到的语义logitss通过softmax标准化得到多类别的概率Pf、Pw[0079]本发明基于图像的三维场景重建装置的实施例可以应用在任意具备数据处理能为本发明基于图像的三维场景重建装置所在任意具备数据处理能力的设备的一种硬件结在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，[0080]上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的[0083]所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力9据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。[0084]上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落