CN114004941B 一种基于神经辐射场的室内场景三维重建系统及方法 （苏州浪潮智能科技有限公司）

US2020312028A1,2020.一种基于神经辐射场的室内场景三维重建本申请提供一种基于神经辐射场的室内场源和渲染速度等因素限制而仅能用于小型物体2所述端设备用于采集当前室内场景的视觉信息，并将所述视觉信息传输到所述云设所述云设备接收到所述视觉信息后，将所述视觉信息输入到预所述边缘设备接收所述隐式三维模型，将所述隐式其中，所述视觉信息包括场景图像和各所述场景图像根据每条射线上的空间点的坐标和对应的观测角度，构建各所述空间点基于各所述空间点对应的高维模型训练向量，对所根据各所述采样点在所述隐式三维模型中的特征信息，对所有所述采样点进行聚类，按照预设的区块划分精度，对各所述目标包围盒将各所述空间点对应的高维模型训练向量输入到所述根据一条射线上的所有空间点的颜色和体密度，估计3利用预设的损失函数，根据所述像素颜色的估其中，ci表示该射线上的第i个空间点的颜色，oi表示所述第i个空间点的体密度，根据各所述场景图像的采集时间、所述相机的运动数将所述视觉信息发送到所述边缘设备，以利用所述边缘将所述视觉信息输入到预设的初始化神经辐射场模型其中，所述视觉信息包括场景图像和各所述场景图像根据每条射线上的空间点的坐标和对应的观测角度，构建各所述空间点基于各所述空间点对应的高维模型训练向量，对所4根据各所述采样点在所述隐式三维模型中的特征信息，对所有所述采样点进行聚类，按照预设的区块划分精度，对各所述目标包围盒所述剔除各所述包围盒中体密度小于1的空间点，以得到各所述物体对应的目标包围所述至少一个处理器执行所述存储器存储的计算8.一种计算机可读存储介质，其特征在于，所述5[0009]所述边缘设备接收所述隐式三维模型，将所述隐式三维模型转换为显式三维模6[0023]其中，ci表示该射线上的第i个空间点的颜色，表示所述第i个空间点的体[0027]剔除各所述包围盒中体密度小于1的空间点，以得到各所述物体对应的目标包围[0035]剔除各所述包围盒中体密度小于1的细采样点，以得到各所述物体对应的目标包7[0045]将所述隐式三维模型转换为显式三维模型，对所述显式三维模型进行显示和交[0059]其中，表示该射线上的第i个空间点的颜色，表示所述第i个空间点的体8[0063]剔除各所述包围盒中体密度小于1的空间点，以得到各所述物体对应的目标包围[0071]剔除各所述包围盒中体密度小于1的细采样点，以得到各所述物体对应的目标包[0081]本申请提供一种基于神经辐射场的室内场景三维重建9[0083]图1为本申请实施例提供的基于神经辐射场的室内场景三维重建系统的交互流程[0086]图4为本申请实施例提供的基于神经辐射场的室内场景三维重建系统的示例性的[0087]图5为本申请实施例提供的基于神经辐射场的室内场景三维重建方法的流程示意[0088]图6为本申请实施例提供的示例性的基于神经辐射场的室内场景三维重建方法的[0093]在现有技术中，被动式的三维重建通常是利用运动恢复结构算法（Structure姿和环境的空间几何关系，再将深度融合成截断带符号距离函数（TruncatedSigned基于深度图融合方式的MVS算法三维重建的准确性依赖于生成的深度图像的精度，这类方[0094]另外，主动式的三维重建通常使用深度传感器来获取目标场景(或物体)的深度[0098]如图1所示，为本申请实施例提供的基于神经辐射场的室内场景三维重建系统的[0101]本申请实施例提供的基于神经辐射场的室内场景三维重建系统可以用于室内场相对位置将各个房间的显式三维模型置至于对应的空间位置并根据场景边缘位置的空间对应的高维模型训练向量输入到初始化神经辐射场模型，以得到各空间点的颜色和体密为输入空间点的体密度和此空间点在当前观测方向的RGB颜色，具体可以表示为。[0111]其中，神经辐射场f()由一个总体10层的全连接神经网络构成。其前8层的输入o:表示第i个空间点的体密度，表示第j个空间点的体密度，表示空间点的l表示当前神经辐射场模型的输出损失，为第i幅场景图像I,中像素对应的射线r从当前神经辐射场模型中查询到空间点的RGB颜色和体密度后，基于上述实施例提供的体渲染方式得到的该射线在该场景图像上的像素颜色的[0119]进一步地，使用后向传播算法计算当前神经辐射场模型每个模型参存储有该叶子节点对应的空间点在不同观测方向下的颜色；基于各物体对应的空间八叉度达到预设最小划分单位为止，其中最小划分单位可以对应一个预设最小像素的空间点，子节点对应的空间点在不同观测方向下的颜色，用于在渲染任意观测方向颜色时插值使N为场景图像的数目，i表示第i张场景图像。同时接收拍摄场景米间隔20厘米作为O点再次进行采集。建任务，进而实现了仅采集场景RGB图像和图像的相机位姿来构建出室内场景的高质量三[0140]如图5所示，为本申请实施例提供的基于神经辐射场的室内场景三维重建方法的[0143]步骤503，将隐式三维模型转换为显式三维模型，对显式三维模型进行显示和交[0148]基于各空间点对应的高维模型训练向量，对初始化神经辐射场模型进行模型训[0153]以减小输出损失为目标，按照反向传播梯度调整当前神经辐射场模型的模型参ci表示该射线上的第i个空间点的颜色，oi表示第i个空间点的体密度，供的基于神经辐射场的室内场景三维重建方法的计算机执行指令，其实现方式与原理相