CN116310326B 一种多模态点云分割方法、系统、设备及存储介质 （上海人工智能创新中心）

最终融合的体素特征进行点特征转换；将点特到最终融合特征；将最终融合特征送入任务头2将所述图像特征分别与所述深度图特征、所述体素特征进行融合将所述最终融合的深度图特征、所述最终融合的体素特征进行点特征基于所述参考图像特征，将所述深度图特征与采样的多个35.根据权利要求1所述的多模态点云分割方法，其特征在于，所述转换后的深度图特多视角特征被可学习权重加权后，输入到多层感知机层从各个视角学习全局的信息，将所述全局增强的特征输入到多层感知机去学习不同视角之间将增强的特征分别与所述深度图特征、所述体素特征以残差的方式拼接在所述特征提取模块用于根据点云和多层感知机，得到点特征；通过球体所述可学习跨视图关联模块用于将所述最终融合的深度图特所述任务头模块用于根据所述可学习跨视图关联模块输出的所述最够执行如权利要求1至7中任一所述的多模态点理器执行时实现权利要求1至7中任一所述的多模态点云4结果以帮助下游任务更好的做决策，仅依赖于图像的分割算法无法解决光照等因素影响，5分别表示第m个注意力头中第l个采样图像特征的采样偏移量和注意力权重；i为采样的678过球体投影将点云转换到深度图，深度图输入到深度图的编码器中提取得到深度图特征。征提取模块101、可学习跨模态关联模块102、可学习跨视图关联模块103以及任务头模块在同一网络中实现语义分割（SemanticSegmentation）、全景分割（Panoptic9点转换关系，将深度图特征和体素特征都转换成点分别表示第m个注意力头中第l个采样图像特征的采样偏移量和注意力权重；i为采样的样的图像特征作为key(键)和value(值)。体素特征和被采样的特征被送入到Multi_Head的图像特征会被拼接全0向量确保和图像特征[0057]对于深度图和图像之间的融合，我们基于参考图像特征让深度图特征融合了L个[0064]本申请通过可学习的跨模态关联模块（LMA我们得到了图像增强的体素特征和们利用三线性插值和线性插值分别插值出与点云中点相同数目的体素特征和深度图特征。在我们得到已转换到点云空间上的体素特征fv，深度图特征F，点云特征，我们首先习各个视角之间的权重，多视角特征被可学习权重加权后首先输入到2层多层感知机层MLP,从各个视角学习全局的信息。这个全局增强的特征再输入到一系列的多层感知机体的，本申请通过将增强的特征和原来的特征以残差的方式拼接在一起得到最终融合征，将最终融合特征送入分类器中得到点云语义分割的预测。点云语义分割的预测被送入分割的预测。将多帧的全景分割预测都转换到对应的第一帧坐标系上，然后通过交并比4D全景分割被处理在同一个网络下。最全面的室外点云分割代码库OpenPCSeg。O[0070]本申请提出了新颖的可学习的关联模块(LA)，它包括可学习的跨模态关联模块准矩阵误差的容忍度；本申请提出的可学习的跨视图关联模块（LVA相比SemanticKITTI数据集的点云语义分割，全景分割的榜单中取得了第一的性能，且在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上[0079]本领域的普通技术人员可以理解，上述各实施方式是实现本申请