CN114972763B 激光雷达点云分割方法、装置、设备及存储介质 （香港中文大学(深圳)未来智联网络研究院）

道福田保税区金花路29号华宝一号大一个输出至预设的二维特征提取网络中特征提2US2021146952A1,2021.0XuYan等.2DPASS:2DPriorsA页.C031-426.ZhengzheLiu等.3D-to-2DDiJianghongZhao等.TheFusion第13卷第1-52卷.3获取目标场景的三维点云和二维图像，并对所述从多个所述图像块中随机选择一个输出至预设的转换后的二维特征依次输入至所述二维特征提取网络中的全连接层获得对应的语义分数；获取待分割的场景三维点云，将其输入至所述单模态语义分割模型中进行语义判别，通过所述二维卷积编码器，基于不同尺度对所述二维特征提取多尺度二维特征中属于所述二维卷积编码器中最通过所述全卷积解码器，采用向上采样策略对最后一层基于调整后的多尺度二维特征，利用透视投影法计算其与对应的点云之间的映射关4根据所述点体素映射关系对多尺度三维特征进行随机利用多层感知机制感知所述二维特征对应的采集模块，用于获取目标场景的三维点云和二维图像模型生成模块，用于对所述融合特征进行单向模态保持的蒸馏7.一种电子设备，包括存储器、处理器以8.一种计算机可读存储介质，所述计算机可读存储介5[0005]2）基于融合的方法消耗更多的计算资源，因为它们在运行时同时处理图像和点[0009]从多个所述图像块中随机选择一个输出至预设的二维特征提取6[0016]通过所述二维卷积编码器，基于不同尺度对所述二维特征图[0020]利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计生成多尺度三维特征之后，在所述根据多尺度二维特征和多尺度三维特征进行融合处理，7[0036]将所述融合特征和转换后的二维特征依次输入至所述维特征提取网络中的全连[0052]利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计8[0064]转换单元，用于利用基于GRU启发的融合，将所述点云的三维特征转换为二维特序时实现上述第一方面提供的激光雷达点云9免了在实际应用中额外的计算负担。解决现有的点云数据分割方案对计算资源消耗较大，所以将原始图像发送到多模态管道是很难的。对此本申请提出了一种基于二维先验辅助的种通用的训练方案，以促进点云上的表示学习。所提出的2DPASS算法在训练过程中充分利用了具有丰富外观的2D图像，但在推理阶段却不需要成对的数据作为输入。具体而言，2DPASS算法通过利用一个辅助模态融合模块和多尺度fusion-to-single知识蒸馏[0085]具体的如图1所示，从原始相机图像中随机抽取一个小块(像素分辨率为480×像中的内容进行识别，其中可以通过景深度来识别二维图像中的环境信息和非环境信息，[0095]通过所述二维卷积编码器，基于不同尺度对所述二维特征图[0114]通过所述二维卷积编码器，基于不同尺度对所述二维特征图[0118]利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计[0124]对于二维网络，我们采用FCN解码器对2D多尺度特征编码器中最后一层的特征进的特征图为例，首先进行一个反卷积操作，将其分辨率提升到原始的[0136]其中xeR",分别为相机内参矩阵和外参矩阵。K和T在KITTI数据这里Nimg<N表示包含在mimg中点的个数。[0141]对于三维特征的处理过程比较简单，如图图4（b）所示。具体来说，对于点云[0142]其中ri是第l层的体素化的分辨率。然后，给定来自一个稀疏卷积层的3D特征,根据对原始特征图进行3-NN插值，获得逐点3D特征peRDi将三维点标签投影到相应的图像平面上，得到2Dground-truths。之后，投影得的2D[0145]特征对应关系（FeaturesCorrespondence由于2D和3D特征都使用相同的点与像素映射，所以在任意第l层的2D特征和3D特征都具有数量相同的点以及融合为对应的2D特征是无效的。因此，受到门控循环单元（GateRecurrentUnit,[0152]在本实施例中，上述融合特征实质上是基于3.多尺度融合-单一知识蒸馏分别应用两个独立的分类器(全连接层)获取语义分数和S"，我们选择KL[0168]二维提取模块620，用于从多个所述图像块中随机选择一个输出至预设的二维特免了在实际应用中额外的计算负担。解决现有的点云数据分割方案对计算资源消耗较大，[0178]在本实施例另一实施例中，所述预设的二维特征提取[0181]利用所述二维卷积编码器中的最后一层卷积层，对所述解码特征图进行卷积计[0194]计算拼接单元642，用于利用多层感知机制感知所述二维特征对应的其他卷积层[0197]语义获取单元651，用于将所述融合特征和转换后的二维特征依次输入至所述维[0199]蒸馏单元653，用于根据所述蒸馏损失，对所述融合特征进行单向模态保持的蒸[0201]上面图6和图7从模块化功能实体的角度对本发明实施例中的激光雷达点云分割[0207]所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可