CN116229057B 一种基于深度学习的三维激光雷达点云语义分割的方法和装置 （之江实验室）

US2022214457A1,2022.07.07WO2022147969A1,2022.07.14US2019108639A1,2019.04.11WO2022088676A1,2022.05.05的三维点云识别与分割.光学精密工程.2020,苗晨;李艳梅;陶卫国;罗建;龙彦霖;付婧.一种基于深度学习的三维激光雷达点云语一种基于深度学习的三维激光雷达点云语种基于深度学习的三维激光雷达点云语义分割网络CSPRangeNet跨阶段特征融合的特点，不仅2步骤1所述的轻量级深度全卷积网络包括输入层、1个采用基于跨阶段特征融合策略所述的输入层由卷积层_批标准化层_Mish激活函数层Conv_BN_h(3)-⃞(2)所述的编码器为CSPDarknet，由跨阶段特征融合层和残差网络组成，分为5个子编码3所述的CSPDarknet编码器，包含了5个CSP_Res模块所述的解码器由五个子解码器组成，每个子解码器由上采样模块(US)和残差块Res构个子解码器中的个数依次为[1024,512,256,128,64]，它将骨干编码器提取到上采样，即在W维度上升32倍来还原到原始特征图分辨率HxW，并器的输出与相对应的编码器的输出相加，以恢复在下采样过程中丢失的一些高频边缘信2.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其4(22)将原始激光雷达点云帧中的(x,y,z)经过极坐标系变换得到极坐标系下的空间位3.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其离特征图，并将这些特征图进行拼接和标准化处理，从而得到尺寸为[4XHXW]距离特征(32)对尺寸为4XHXW距离特征图采用标准化处理方式来得到最终的特征图，标准化5索引值，max()为取最大值函数；得到最后的输出结果为映射后的单通道二维语义图 4.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其L1=-⃞-owcylog(:)(11)loss=c1+c2(14)5.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其6.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其7.根据权利要求1所述的一种基于深度学习的三维激光雷达点云语义分割的方法，其6输入模块，用于将原始点云数据进行预处理，并解码模块，用于采用预设数量的解码层对所述中间特征映射进行特征解码及上采样，分类模块，用于将所述解码层生成的中间特征映输出模块，用于将映射模块输出的逐点三维语义标签根所述的轻量级深度全卷积网络包括输入层、1个采用基于跨阶段所述的输入层由卷积层_批标准化层_Mish激活函数层Conv_BN_M组成；Mish激活函数h(3)-⃞(2)所述的编码器为CSPDarknet，由跨阶段特征融合层和残差网络组成，分为5个子编码7所述的CSPDarknet编码器，包含了5个CSP_Res模块所述的解码器由五个子解码器组成，每个子解码器由上采样模块(US)和残差块Res构个子解码器中的个数依次为[1024,512,256,128,64]，它将骨干编码器提取到上采样，即在W维度上升32倍来还原到原始特征图分辨率HxW，并器的输出与相对应的编码器的输出相加，以恢复在下采样过程中丢失的一些高频边缘信8执行权利要求1_7之一所述的基于深度学习的三维激光9[0005]基于体素表示的语义分割法如Kd_Net、MSNet利用原始点云的平均特征来转换成稠密程度自适应地分配计算和内存资源，并对点云空间进行有效划分,而划分结果[0012]步骤4：训练轻量级深度全卷积神经网络；将训练集中的点云特征图作为训练样[0014]步骤6：对二维语义标签后处理优化；使用一种基于二维矩阵的滑动窗口投票机段特征融合策略(CrossStagePartial,简称CSP)和残差结构组成的CSPDarknet编码器、1个基于反卷积结构的解码器、1个用于逐像素分类的分类器，构成点云分割网络，简称码器，每一个编码器都由下采样层(DS)、跨阶段特征融合残差层(CSP_Res)和随机失活层2,8,8,4]，组成的跨阶段特征融合残差层依次为[CSP_Res1,CSP_Res2,CSP_Res8,CSP_r)；[0044]步骤3所述的三维空间特征转换为二维空间特征，生成结构化的四通道距离特征[0050](32)对尺寸为4×H×W距离特征图采用标准化处理方式来得到最终的特征图。标 [0058]步骤4所述的轻量级全卷积神经网络训练的过程，损失函数采用的是权重交叉熵[0062]loss=L1+L2(14)为训练集样本经过模型推理后标签的C的概率估计值，yc为上述样本标签为C的概率真实形处理单元(GraphicsProcessingUnit,简称GPU)进行并行[0070]编码模块，用于采用预设数量的编码层对输入点云特征进行特征提取以及下采器(GPU)集群,实现如权利要求6_9中任一从I/O口读取其内部存储的计算机程序或向其写入待持[0078]本发明还包括一种存储介质可以是前文所述的一种电子设备及介质中所包含的于同类型的模型(RangeNet)参数量减少35模型存储代价更小，也降低了训练和推理过[0084]图2是本发明方法的轻量级深度全卷积神经网络CSPRangeNet网络结构模型示意[0091]如图1所示为本发明实施例提供的基于深度学习的三维激光雷达点云语义分割方[0095]步骤4：训练轻量级深度全卷积神经网络；将训练集中的点云特征图作为训练样[0100]所述步骤2对于原始点云特征变换，通过极坐标系将原始笛卡尔坐标系空间位置下的偏转角，d为点云到雷达坐标系原点的距离特征，经过特征变换后组成四重特征，即[0102]所述步骤4对于轻量级全卷积神经网络训练的过程，损失函数采用的是权重交叉图形处理单元(GraphicsProcessingUnit,简称GPU)进行并行[0106]如图2所示为本发明实施例提供的轻量级深度全卷积神经网络CSPRangeNet网络结构模型示意图。包括1个采用基于跨阶段特征融合策略和残差结构组成的CSPDarknet编[0107]1.输入层由卷积层_批标准化层_Mish激活函数层2,8,8,4]，组成的跨阶段特征融合残差层依次为[CSP_Res1,CSP_Res2,CSP_Res8,CSP_[0113]3.解码器由五个子解码距离特征图，并将这些特征图进行拼接和标准化处理，从而得到尺寸为4×H×W距离特征[0138](24)对尺寸为4×H×W距离特征图采用标准化处理方式来得到最终的特征图。标 [0150]步骤4所述的轻量级全卷积神经网络训练的过程，损失函数采用的是权重交叉熵[0154]loss=L1+L2(14)[0159]编码模块，用于采用预设数量的编码层对输入点云特征进行特征提取以及下采处理器执行所述程序时实现