CN115655262B 基于深度学习感知的多层级语义地图构建方法和装置 （广东省科学院智能制造研究所）

基于深度学习感知的多层级语义地图构建本申请涉及一种基于深度学习感知的多层将坐标对齐后的点云地图和物体包络地图融合2获取由多类传感器对当前场景采集的三维点云数将所述三维点云数据投影至所述场景图像对应所在述光束距离表征两个相邻点云点在经过一致性检测验对语义关联后的三维点云数据和所述运动状态数据进行点云配准处理和位姿预测处基于所述语义关联后的三维点云数据和所述多类传感根据所述多类传感器的坐标系外参配置，对所述点云将所述三维点云数据中对应的各点云点反向投影至所述多个分割区域对应所在的图所述对语义关联后的三维点云数据和所述运动状态数据进行点云配准处理和位姿预对所述语义关联后的三维点云数据进行特征提取，得基于所述惯性测量单元采集的所述姿态信息和所述位对所述多张点云帧中对应投影的各所述边缘特征点和所述平面特征点进行点云配准分别对所述增量里程计位姿和所述激光里程计位3在所述语义关联后的三维点云数据中，确定对应的对各所述点云曲线进行一致性检测验算，确定各所述点云曲线对所述光束距离小于预设距离的第一点云点进行特分别将各所述边缘特征点和对应的所述第一最近基于所述第一距离和所述第二类距离所对应的目标函数基于各所述深度图像帧的图像坐标系，对各所述深度基于所述多类传感器的里程计位姿、各所述语义区域中对应的对偶向量和语义信息，基于所述多类传感器的里程计位姿，确定各所基于各所述深度图像帧的重合内点和对应所述外接椭圆的对偶4数据获取单元，被配置为执行获取由多类传感器对当前场特征点和所述平面特征点基于对所述多个点云点中对应光束距离小于预设距离的第一点位姿求解单元，被配置为执行对语义关联后的三维点地图构建单元，被配置为执行基于所述语义关联后的三地图融合单元，被配置为执行根据所述多类传感器的其中，所述处理器被配置为执行所述可执行指令，以10.一种计算机可读存储介质，所述计算机可读存储介质中包括程序数据，其特征在5[0002]地图构建是指通过手持方式或移动设备搭载传感器方式使传感器得以在物理环[0009]对语义关联后的三维点云数据和所述运动状态数据进行点云配准处理和位姿预6[0014]将所述三维点云数据中对应的各点云点反向投影至所述多个分割区域对应所在[0016]所述对语义关联后的三维点云数据和所述运动状态数据进行点云配准处理和位[0019]对所述多张点云帧中对应投影的各所述边缘特征点和所述平面特征点进行点云7[0030]在一示例性实施例中，所述基于所述深度图像和所述多类传椭圆的重合内点；所述重合内点为各所述深度图像帧之间具有相同所述语义信息的像素多类传感器的里程计位姿，对所述深度图像中的各所述语义区域进行外接椭圆拟合处理，8器能够执行如上述任一项所述的基于深度学习感知的[0052]图1是根据一示例性实施例示出的一种基于深度学习感知的多层级语义地图构建[0053]图2是根据一示例性实施例示出的一种基于深度学习感知的多层级语义地图构建9[0055]图4是根据一示例性实施例示出的一种确定多类传感器的里程计位姿步骤的流程[0057]图6是根据一示例性实施例示出的一种确定多线激光雷达的激光里程计位姿步骤[0060]图9是根据一示例性实施例示出的一种基于深度学习感知的多层级语义地图构建[0061]图10是根据一示例性实施例示出的一种用于基于深度学习感知的多层级语义地[0062]图11是根据一示例性实施例示出的一种用于基于深度学习感知的多层级语义地[0063]图12是根据一示例性实施例示出的一种用于基于深度学习感知的多层级语义地或各种应用或各种指令或各种数据)等，不过这些操作(或元件或应用或指令或数据)不应据和运动状态数据进行点云配准处理和位姿预测处理，得到关于多类传感器的里程计位图和物体包络地图融合为语义地图的移动终端，终端102也可以是自动柜员机(Automated齐后的点云地图和物体包络地图融合为语义[0072]在一些实施例中，服务器104运行的数据处理组件可以加载正在被执行的可以包括各种附加服务器应用和/或中间层应用中的任何一种，如包括HTTP(超文本传输协议)、[0073]在一些实施例中，服务器104可以用独立的服务器或者是多个服务器组成的服务[0074]在一些实施例中，服务器104所提供的一个或多个应用服务或软件组件包括一个在前台向用户提供一对一应用服务的门户端口和多个位于后台进行数据处理的业务系统，能够在任何时间任何地点进行基于深度学习感知的多层级[0076]在一些实施例中，用户可以通过终端102中的输入装置向设备端或者客户端输入[0077]在一些实施例中，设备端或者客户端运行的操作系统可以包括各种版本的[0080]在一些实施例中，多类传感器包括多线激光雷达、惯性测量单元(Inertial[0081]在一些实施例中，多线激光雷达实时的向当前场景中的目标物体发射激光束信预设的相机成像模型将三维点云数据按照对应的投影深度反向投影至各个语义区域对应时刻到j时刻的三维点云数据和多张场景图像，将该段时间范围内的三维点云数据按照预[0096]步骤S13，对语义关联后的三维点云数据和运动状态数据进行点云配准处理和位多类传感器的里程计位姿；再基于语义关联后的三维点云数据和多类传感器的里程计位深度图像中的各语义区域进行外接椭圆拟合处理，得到针对于各物体图像的物体包络地数据进行点云配准处理和位姿预测处理，得到关于所述多类传感器的里程计位姿的过程，[0123]在一些实施例中，服务器分别将每一条点云曲线中的每一点云作点为目标点云[0125]在一些实施例中，服务器分别将每一条点云曲线中的每一点云点作为目标点云[0129]在一些实施例中，服务器首先对惯性测量单元采集的姿态信息和位置信息按照。征点和平面特征点进行点云配准处理，得到关于多线激光雷达的激光里程计位姿的过程，[0156]其中，代价函数为根据平面几何公式计算的平面特征点和对应的第三最近。。[0166]其中，表示i到j这个过程中IMU的整个测量数据，即加速度和角速度。xpke[i,jl表示i到j这个过程中IMU的整个估计状态。[0171]最后，服务器利用Levenberg_Maquardt算法对IMU与激光雷达的联合误差方程进。。的对偶向量和语义信息，确定各深度图像帧之间拟合的同一外接椭圆的投影矩阵的过程，图像帧中。接着统计投影后的离散像素点与第i帧中的分割结果数据为{cx,I的重合程[0186]在一实施例中，服务器确定各深度图像帧之间拟合的同一外。利用SVD分解可以对方程组进行求解，则其最小奇异值所对应的奇异向量的前10个元素就。右下角两个点的像素坐标，BBOX(·)函数用于椭球体Qi在j视图上的投影椭圆的2D包络框将三维点云数据与场景图像的像素点进行语义关联，来得到用于后续地图生成的深度图[0200]可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相[0201]图9是本申请实施例提供的一种基于深度学习感知的多层级语义地图构建装置框[0209]将所述三维点云数据中对应的各点云点反向投影至所述多个分割区域对应所在[0213]对所述多张点云帧中对应投影的各所述边缘特征点和所述平面特征点进行点云椭圆的重合内点；所述重合内点为各所述深度图像帧之间具有相同所述语义信息的像素存储的计算机程序可以包括一个或一个以上的每一个对应于一组可执行指令的模块。此SpecificIntegratedCircuit,ASIC）、专用集成电路（ApplicationSpecificIntegratedCircuit,ASIC）、现场可编程门阵列（Field_ProgrammableGateArray,[0243]在本申请各个实施例中的各功能单元集成的单元如果以软