CN119444857A 一种基于神经辐射场的仿生偏振语义slam方法 （北方工业大学）

一种基于神经辐射场的仿生偏振语义SLAM本发明提出一种基于神经辐射场的仿生偏的稠密建图模块和基于仿生偏振红外的语义信状态方程和量测方程，使用因子图优化估计位激光雷达里程计和地图构建的神经隐式表示2生偏振相机以及红外相机数据和基于仿生偏振红外的语义信息定位模块获得的特征图像，子模块利用所述采集的激光雷达数据与最优估计载体位置、姿态训练神经隐式距离函数，步骤4：将步骤1中采集的仿生偏振相机以及红外相于Yolov8的物体识别子模块和基于SegNeXt的图像分割子模块，所述物体识别子模块用于,XK为K时刻的组合导航系统的状态节点，T表示向量的转置，Reso(3)表示K时刻的,f(xx-)表示状态转移函数，Wk-1表示k_1时刻的过程噪声；3到滑动窗口中xk的最优转换：,验信息的海森矩阵，表示视觉残差的先验，表示惯性残差的先验，个特征与第j个关键帧对该特征进行观测的残差，表示k_1预积分值；将添加到因子图中的滑动窗口内第i个关键帧与滑动窗口内先前的第j个关键帧建立,4定义仿生偏振红外视觉惯性里程计因子的边缘残差Iij为：,关键帧的位置，视觉里程计坐标系下的横滚角和俯仰角是由单目视觉惯性里vcam,j表示第j个关键帧航向角，表示世界坐标系到视觉坐标系程计因子；,其中，r-x，r-x和r-x分别表示姿态变化量的误差、位置变化量的误差、速度,别是通过扫描匹配计算得到的旋转和位移，ALij表示匹配到的关键帧i以及当前帧j之间的,5,噪声的协方差，ruo(F,x)表示激光雷达里程计的帧间约束，表示当前帧与先前关键帧i感器的噪声协方差，rij(x)表示视觉里程计在滑动窗口内的第j个关键帧和先前第i个关键帧之间的帧间约束，s表示仿生偏振红外视觉惯性里程计中滑动窗口x内所有边节点的集式距离函数模型Y:R3→R，表示如下：,其中，ps=Ripf，Ri表示仿生偏振导航因子图输出的第i个关键帧插值与激光雷达当将体素嵌入地图与激光雷达扫描关键帧传入NeRF_LOAM模型中的网格重建子模块，利6[0002]神经辐射场是一种利用深度神经网络隐式表示的可微分特性进行优化和渲染三中特征提取稀疏的问题。同步定位与地图构建（SimultaneousLocalizationand[0003]SLAM技术已被广泛使用于航空航天、智能交通、物联网等多领域。神经辐射场于跟踪轨迹的精度，采用滤波器理论，最小化运动体姿态和地图的路标点来估计误差协方差。因此单独使用神经辐射场无法实现最快的轨迹跟踪。将神经辐射场与因子图优化结合使7NeRF_LOAM模型中的网格重建子模块，利用关键帧与神经隐式距离函数模型优化体素嵌入RGB图和红外图输入基于Yolov8的物体识别子模块中，识别物体名称与标注颜色；基于SegNeXt的图像分割子模块对偏振RGB图与红外图进行ORB特征提取获得偏振特征点与红外特征点，关联偏振图与红外图特征点，使用SegNeXt模型中的特征编码与解码进行图像分[0013]步骤5：将所述仿生偏振导航因子图输出的位置与姿态作为载体在三维地图中位刻的旋转矩阵，上标w表示世界坐标系，So(3)表示三维旋转矩阵构成的特殊正交群，表示时刻世界坐标系下载体的位置向量，8表示时刻世界坐标系下载体指向x，y，z三个轴方向的速度，[0019]其中状态转移函数f(xx-)为：[0022]Rar=I+sin(IIll)·H+(1-cos(IIIl))·H2,k_1时刻由惯性测量单元测量的的载体加速度向量，bk-1表示k_1时刻的惯性测量单元偏k-1时刻由惯性测量单元测量的载体角速度向量，)k-1,x，)k-1,y和)k-1,z分[0028]将点云分为边特征点和面特征点,通过匹配k_1到k时刻特征点集合中相对[0030]其中，de表示k-1到k时刻边特征点与其相对应的匹配点距离，dp为面特征点[0032]将由语义信息定位模块提供的偏振RGB图与红外图提取出来的特征点图，关联多9V,k分别是k时刻加速度计和陀螺仪的噪声；[0042]优选地，步骤2所述积分两帧激光雷达间惯性测量单元的角速度量测，获得俯仰[0046]ce[0,1]表示权重，ofuu表示惯性测量单元的方差，表示地磁的方差，k-1到k时刻间惯性测量单元和地磁融合后得到的航向角变化量，Aynux表示k-1到k时间内惯性测量单元角速度积分获得的航向角变化量，Aymk表示k-1到k时-表示惯性测量惯性测量单元量测的集合，表示在第i个关键帧观测到的图像中第个特征与第j个关键滑动窗口内关键帧i添加到因子图中与滑动窗口内先前的关键帧j建立边节点：示第i个关键帧与第j个关键帧之间的位置变换，van.i表示第i个关键帧航向角估计值，表示第j个关键帧航向角估计值，表示第i个关键帧与第j个关键帧之间的航向角变换；,计因子；[0062]利用惯性测量单元的量测结果，载体在时间k-1和k之间的速度DK-1,k、位置Pk-1,k和旋转Rr-1k计算如下：分计算k_1到k时刻获得的速度变化量，表示预积分计算k_1到k时刻获得的位置变[0073]其中，和r-x分别表示姿态变化量的误差、位置变化量的误差、[0078]由惯性测量单元的加速度计计算g，解算横滚角vgeo=arctan(g⃞/g)和俯仰角Bgeo=arcsin(-g⃞/g)。在b系下，磁传感器的输出为，计算磁航向角ym公式如下：使用扫描匹配方法尝试匹配该状态的关键帧与先前的子关键帧{F-a,…,F,…,Rta}，匹磁传感器的噪声协方差，rij(x)表示视觉里程计在滑动窗口内的第j个关键帧和先前第i个关键帧之间的帧间约束，s表示仿生偏振红外视觉惯性里程计中滑动窗口x内所有边节点的采样点，Trilnpo(ps,e,…,en)表示采样点ps被h个相邻体素嵌入所包围的三线性插值，F,表示参数为的神经隐式网络。通过神经隐式距离函数模型获得动态体素生成，[0094]步骤3所述将将体素嵌入地图与关键帧传入NeRF_LOAM模，[0106]ga=-255d2+510d,de[0,1]，[0112]步骤4所述基于SegNeXt的图像分割子模块对偏振RGB图与红外图进行ORB特征提的特征。关联偏振图与红外图特征点，使用SegNeXt模型中的特征编码与解码进行图像分的多分支深度可分离卷积以及建模不同通道之间关系的1x1卷积。解码器则采用轻量级的[0113]优选地，步骤5所述将仿生偏振导航因子图输出的位置与姿态作为载体在三维地创新性引入仿生偏振相机和红外相机进行低光照和低纹理场景下的特征提取，为视觉/雷的稠密深度图与语义信息定位模块提供的偏振RGB图与红外图提取特征融合生成的特征图[0120]基于仿生偏振相机与红外相机的语义信息定位系统接收仿生偏振相机与红外相过语义分割卷积网络架构SegNeXt进行语义分割操作，首先对偏振RGB图和红外图进行ORBSegNeXt的图像分割子模块提供目标的边界，以及基于Yolov8的物体识别子模块识别的目[0121]最终融合仿生偏振导航因子图输出的位置与姿态作为载体在三维地图中位置与架；仿生偏振和红外特征融合的语义信息定位模块输出的语义定位信息投影至三维地图，[0122]请参阅本发明图1示出一种基于神经辐射场的仿生偏振语义SLAM方法流程图，具NeRF_LOAM模型中的网格重建子模块，利用关键帧与神经隐式距离函数模型优化体素嵌入RGB图和红外图输入基于Yolov8的物体识别子模块中，识别物体名称与标注颜色；基于SegNeXt的图像分割子模块对偏振RGB图与红外图进行ORB特征提取获得偏振特征点与红外特征点，关联偏振图与红外图特征点，使用SegNeXt模型中的特征编码与解码进行图像分[0127]步骤5：将所述仿生偏振导航因子图输出的位置与姿态作为载体在三维地图中位[0130]XK表示K时刻的组合导航系统的状态节点，T表示向量的转置，Reso(3)表示K时刻的旋转矩阵，上标w表示世界坐标系，So(3)表示三维旋转矩阵构成的特殊正交群，表示k时刻世界坐标系下载体的位置向量，表示k时刻世界坐标系下载体指向[0136]由激光雷达里程计可获得激光雷达两帧之间的相对变换Alk-1,k。计算滑动窗口x帧激光雷达点云拼接成稠密深度图辅助仿生偏振红外视觉里程计计算相对转换生偏振红外视觉惯性里程计因子的边缘残差Iij,建立仿生偏振红外视觉惯性里程计因子。[0139]地磁航向量测因子通过惯性测量单元的加速度计计算g，解算横滚角ygeo和俯仰[0142]进一步的，步骤3所述的将所述获得的最优估计位置、姿态与采集的激光雷达数