CN115619951B 基于体素神经隐式表面的稠密同步定位与建图方法 （浙江大学）

TrackingandMappingwith基于体素神经隐式表面的稠密同步定位与本发明公开了一种基于体素神经隐式表面部的几何和纹理信息以特征向量形式存储在体并通过几何解析网络和纹理解析网络两个部分获取符号距离场(SDF)以及对应的颜色。本发明了基于Morton编码的八叉树方法来进一步提升2体素块8个顶点分配定长特征向量，这些定长特征向量用来储存拟构建场景的几何和纹理步骤2：从获取到的图像中随机采样M个像素点，并生成从从关键帧列表中选取若干合适的帧作为关键帧，并与候选关键帧列表中最2.根据权利要求1所述的基于体素神经隐式表面的稠密同步定位与建图的方法，其特征在于，所述的步骤1中的基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对i内的任意三维点相邻的体素块共享4个顶点的特征向量。3.根据权利要求1所述的基于体素神经隐式表面的稠密同步定位与建图的方法，其特从相机中心o沿d方向穿过图像上像素的射线定义为r(t)＝o+dt，t为沿射线方34.根据权利要求1所述的基于体素神经隐式表面的稠密同步定位与建图的方法，其特特征提取函数将三维点p映射到长度为Le的特征向量eeRle;特征提采用多层感知器网络(MLP)来表示几何解析网络Fσ和纹理解析网络Fc；几何解析网络通过p的特征向量e生成它的符号距离场oeR和长度为Lf几何特征向量feR;σ的符号表示p是在表面S的内部还是外部；场景的表面S通过下式提取：5.根据权利要求1所述的基于体素神经隐式表面的稠密同步定位与建图的方法，其特征在于，所述的步骤2中的通过体渲染的方式对射线上的三维点的颜色和深度进行权重累中4[0003]传统的DSLAM方法通常采用基于特征匹配的方式以及最小化能量函数的优化方法[0005]随着神经辐射场技术(NeRF)的兴起，利用MLP网络存储场景信息并在各个视角下5考坐标系，并基于初始三维点云构建多个不重叠且与参考坐标系的坐标轴对齐的体素块；个体素块8个顶点分配定长特征向量，这些定长特征向量用来储存拟构建场景的几何和纹过SDF计算三维点对应的空间密度值，再通过体渲染的方式对射线上的三维点的颜色和深[0015]进一步的，所述的步骤1中的基于初始三维点云构建多个不重叠且与参考坐标系6几何解析网络获取符号距离场(SDF)和中间信息，再将得到的中间信息通过纹理解析网络[0020]特征提取函数将三维点p映射到长度为Le的特征向量络通过p的特征向量e生成它的符号距离场oeR和长度为Lf几何特p所在的射线方向d和p的特征向量e连接起来作为纹理解析网络Fc的输入，得到p处的颜色[0024]进一步的，所述的步骤2中的通过体渲染的方式对射线上的三维点的颜色和深度7考坐标系，并将初始三维点云划分为多个不重叠且与参考坐标系的坐标轴对齐的体素块。码转化为64位的二进制编码信息。每个体素块有8个顶点，顶点中，包含由定长特征向量定长特征向量，这些定长特征向量用来储存拟构建场景的几何和纹理信息，如图2左图所[0041]在与体素块有交集的区域按照均匀概率采样三维点p并通过特征提取函数获取p征向量eeRle特征提取函数通过三线性插值实现，根据p的三维坐标与p所在的体素块[0042]通过几何解析网络获取符号距离场(SDF)和中间信息，再将得到的中间信息通过线上的三维点的颜色和深度进行权重累积，最终得到预测的射线对应像素的