CN114742966B 一种基于图像的三维场景重建方法及装置 （浙江大学）

ReconstructionwiththeManhaAssumption.2022IEEE/CComputerVisionandPatternRecogn本发明公开了一种基于图像的三维场景重2(1)利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通过体(2)使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域增加其中xr是相机射线r对应的三维表面点坐标，n(xr)是在xr处通过对有向距离场求梯度w|使用二维语义分割网络在图像空间里预测得到地面和墙面区域的蒙版和W,定义损其中F和w分别表示地面和墙面区域像素对应的相机射线集合；s的加权求和作为总的损失函数，Limg为通过最小化各帧渲染图像和输入图像之间的误差来优k3渲染后的二维图像和输入图像之间的像素值和深度值的误差以及有向距离场的模长约束，像素的语义，将渲染得到的语义通过softmax标准化得到属于地面、墙面和其他区域的概6.一种基于图像的三维重建重建装置，包括存储7.一种计算机可读存储介质，其上存储有4[0005](1)利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通[0006](2)使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域[0013]其中xr是相机射线r对应的三维表面点坐标，n(xr)是在xr处通过对有向距离场求w|5w能够与网络参数在训练过程中一起联合优化。渲染的方法得到图像空间中每个像素的语义，将渲染得到的语义通过softmax标准化得到F和w分别表示地面和墙面区域像素对应的相机射线集合；ie(r)是渲染得[0031](1)利用神经网络隐函数学习有向距离场和颜色场来表示场景的几何和外观，通[0032](2)使用语义分割技术得到墙面和地面区域的蒙版，基于曼哈顿假设对相应区域Marchingcubes算法从优化后的神经网络隐函数中提取三维网格6标准坐标系下空间三维点x的有向距离预测表示[0039]其中Fc是带有4层全连接层的多层感知器网络，法向方向n(x)是通过对d(x)求梯[0040]本发明提出的室内场景表示方法中，通过可微分渲染优化神经网络隐函数表本发明对每个三维点x根据其有向距离d(x)转换得到体素密度σ(x)，转换函数如7[0053]其中D是所有深度图有值(通过对相机射线r上采样点的透明度计算积分得到)，D(r)是通过基于PatchMatch算法[0057]其中xr是相机射线r对应的三维表面点坐标，n(xr)是在xr处通过对有向距离场求w|w可以与网络参数在训练过程中一起联合优化。[0061]3.本发明使用二维语义分割网络在图像空间里预测得到地面和墙面区域的蒙版F和w,定义损失函数为：8[0070]本发明将渲染得到的语义logits通过softmax标准化得到多类别的概率[0079]本发明基于图像的三维场景重建装置的实施例可以应用在任意具备数据处理能为本发明基于图像的三维场景重建装置所在任意具备数据处理能力的设备的一种硬件结在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，[0080]上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的[0083]所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力9据处理能力的设备的外部存储设备，例如所述设