CN119006687B 矿井复杂环境下联合位姿和辐射场优化的4d场景表征方法 （中国矿业大学）

withdecomposedneuralradiancefields.computergraphics》.2representationfordynamicscenes.矿井复杂环境下联合位姿和辐射场优化的一种矿井复杂环境下联合位姿和辐射场优区分采样点为动态或静态后输入到对应的网络数。最后通过体渲染得到期望视角下的场景表2合视图几何原理和重投影优化方法对估计的位姿做进一步优化获得更精确的位姿结果；码器仅提取相邻帧间位于前面帧的上下文特征与相似金字塔提取的特征共同作为解码CNN带时间戳的采样点A=(,y,z,t)可在分解后的特征组合中查询对应的场景特征，对于未在3M表示特征平面；表示当前平面基组合的序号；和M?r分别表示分解在X、Y两个垂直轴的第r个平面和分解在Z、T两个垂直轴和WY分别表示分解在X、Z两个垂直轴的第r个平面和分解在Y、T两个垂直轴和分别表示分解在Y、Z两个垂直轴的第r个平面和分解在X、T两个垂直轴和分别表示采样点在所有个平面上在坐标处索引的所有特征的组合和采样点A在所有Rm个ZT平面上在坐标(a,t)处索引的所有特征的组合；分别表示采样点A在所有Rm个平面上在坐标(x,z)处索引的所有特rr平面上在坐标(y,t)处索引的所有特征的组合；分别表示采样点A在所有Rm个yz平面上在坐标y,z)处索引的所有特征的组合和采样点A在所有Rm个xr平面上在坐标(x,t)处索引的所有特征的组合；8=sigmoid(vm(z,y,z,t))（3）当采样点动静态选择概率的值大于0.5时认为其为动态点，将该采样点输入给时空Mask进行监督优化。2.根据权利要求1所述的一种矿井复杂环境下联合位姿和辐射场优化的4D场景表征方构建空间静态辐射场，由于场景静态部分不随时间合，空间静态辐射场进一步被表示为代表几何信息的静态体密度场和代4表示当前向量平面基中轴上的密度特征向量，表示当前向量平面基中表示当前向量平面基中z轴上的密度特征向量，n"表示当前向量平面基中表示当前向量平面基中x轴上的颜色特征向量，表示当前表示当前向量平面基中z轴上的颜色特征向量，表示当前向量平面基中xr每个静态采样点的体密度的计算使用ReLU激活函数推理所对应静态采样点的颜色特征使用一个静态点颜色解码器MLPSC获得对应采样点的颜色值，构建时空动态辐射场，不同于空间静态辐射场只与空间静态场类似，一个时空动态辐射场根据密度和颜色属性分为动态密度特征场和动态外5dr表示当前分解的平面基的序号；w"和ng分别表示动态密度场在xy和zr维度的密度特征平面，两个平面在特征空和分别表示动态密度场在xz和rr维度的密度特征平面，两个平面在特和分别表示动态密度场在yz和xr维度的密度特征平面，两个平面在特征空动态采样点的颜色特征使用一个动态点颜色解码器获得对应采样点的颜色值，3.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4D场景表征方6引入了三个基于外部先验的损失来更好地模拟动态运动；这三种损失与静态部分相将动态辐射场的梯度与摄像机姿态分离，最后用动态掩膜Mask监督非刚性掩码T(i)表示沿采样射线的累积透光率；4.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4D场景表征方作为新空间前数帧的位姿初值将在新空间空间优化期间继续优化，新空间空75.根据权利要求2所述的一种矿井复杂环境下联合位姿和辐射场优化的4D场景表征方根据步骤S3的动静态采样点选择场的采样和推理过程，获得各个采样点的动态可能,Ti表示沿射线的累积透光率。8但十分具有价值。一般环境下，经典神经辐射场表征方法使用运动结构恢复(Structure_from_Motion,SfM)方法预处理数据获得位姿估计结果作为位姿真值，SfM通过提取图像中[0005]本发明的目的是提供一种矿井复杂环境下联合位姿和辐射场优化的4D场景表征[0015]S2.1：使用运动中恢复结构(StructurefromMo9[0017]S2.3：使用一个预训练的光样的编码器仅提取相邻帧间位于前面帧的上下文特征与相似金字塔提取的特征共同作为Si的训练样本集，视频数据V的每帧数据随机采样m条像素光线，对应m个视角{Vi|i＝1,静态外观场v:,公式表达为：[0052]每个静态采样点的体密度的计算可以使用ReLU激活函数推理所对应的密度特征z))[0054]静态采样点的颜色特征使用一个静态点颜色解码器MLPsc获得对应采样点的颜色空间静态场类似，一个时空动态辐射场根据密度和颜色属性分为动态密度特征场vg和动态外观特征场vg,公式表达为：t))[0067]动态采样点的颜色特征使用一个动态点颜色解码器MLPdc获得对应采样点的颜色[0081]在动态损失构建中引入辅助损失来规范训练，辅助损失包括重投影损失ti)(15)[0087]将动态辐射场的梯度与摄像机姿态分离，最后用动态掩膜Mask监督非刚性掩码[0088]⃞=IIll,(17)位姿作为新空间Si+1前数帧的位姿初值将在新空间Si+1空间优化期间继续优化，新空间Si+1i(r)表示推理获得的期望像素值；静态辐射场和时空动态辐射场模型；将训练样本中的采样点输入到动静态采样点选择场[0120]本发明通过运行数据采集平台采集实地矿井环境的视频数据V和激光雷达扫描数由GPS发出信号脉冲激活相机和激光雷达的时间信号共同对帧和第二帧为例)提取出的特征图做对应位置特征点计算视觉相似性，为了同时关注全局上下文特征与相似性金字塔提取的特征共同作为解码CNN的输入回[0126]将激光雷达扫描数据L中表示距离的激光雷达采样点，首先通过坐标转换从激光[0128]定义一个归一化的场景局部空间Si：由于矿井复杂环境属于大范围的无边界环量和特征矩阵的组合，空间静态辐射场进一步被表示为代表几何信息的静态体密度场和代表外观信息的静态外观场与上述的动静态采样点选择场平面基的每个分量由两个[0143]每个静态采样点的体密度的计算可以使用ReLU激活函数推理所对应的密度特征z))[0145]静态采样点的颜色特征使用一个静态点颜色解码器MLPsc获得对应采样点的颜色特征场vg和动态外观特征场vg,公式表达为：[0152]动态采样点的颜色特征使用一个动态点颜色解码器MLPdc获得对应采样点的颜色[0166]在动态损失构建中引入辅助损失来规范训练，辅助损失包括重投影损失[0172]将动态辐射场的梯度与摄像机姿态分离，最后用动态掩膜Mask监督非刚性掩码ll,(17)