CN116246070B 基于多源异构数据融合的三维场景分割域迁移方法及装置 （北京大学）

基于多源异构数据融合的三维场景分割域本公开涉及一种基于多源异构数据融合的三维场景分割域迁移方法及装置。所述方法包为具有映射关系的像素特征和不具有映射关系2获取源域和目标域的多模态数据以及源域三维点云数基于二维图像数据和三维点云数据的映射关系，将源域像素特征和目综合跨模态对比学习和监督学习对语义分割模型进行训练，得到训比学习的损失F2D和F3D分别表示对二维图像数据和三维点云数据处理后得到的图像特征和点云特征，N为每个模态中的特征数目，和分别表示一一对应的将目标域中的待分割三维点云数据输入所述训练后的语义分割模型，基于源域模态的三维点云数据和源域模态的二维图像数据映3特征划分为具有映射关系的像素特征和不具有利用Adam优化器对语义分割模型的参数特征提取模块，用于获取源域和目标域的多模态数据以及特征对齐模块，用基于二维图像数据和三维点云数据的映射模型训练模块，用于综合跨模态对比学习和监督学习对语义分割模型进行训督学习是指利用源域三维点云数据的分割标签与源域中二维像素的真实类别标签进行监督训练；所述跨模态对比学习的损失F2D和F3D分别表示对二维图像数据和三维点云数据处理后得到的图像特征和点云特征，N为每个模态中的特征数目，和是以第i个二维特征为中心计算得到的对比学习损失，是以第i个三维特征为中心计算得到的对比学习损失，距离度量函数cos函数为特征和三维特征投影到共享的特征空间中进行语义分割模块，用于将目标域中的待分割三维点云数据输入所述训练4的存储器；所述处理器执行所述计算机程序指令时实现如权利要求1_6任一项所述的基于9.一种计算机可读存储介质，其特征在于，所述程序指令，所述计算机程序指令被处理器执行时实现如权利要求1_6任一项所述的基于多5[0002]三维场景通常是以激光雷达扫描出的LiDAR点云形式进行表示的，三维场景分割[0004]现有的三维场景分割域迁移方法通常采用基于度量学习这些方法只关注于单一的LiDAR点云模态的数据，而忽视了多模态数据的使用以及模态间据分别划分为具有映射关系的像素特征和不具有6所述第一训练数据集由若干个三维点云样本数[0021]进一步地，在源域中，所述对语义分割模型进行跨模态对比学习训练的损失表示源域像素特征和源域点特7[0029]模型训练模块，用于综合跨模态对比学习和监督学习对述监督学习是指利用源域三维点云数据的分割所述处理器执行所述计算机程序指令时实现上述的基于多源异构数据融合的三维场景分[0032]一种计算机可读存储介质，所述计算机可读存储介质上所述计算机程序指令被处理器执行时实现上述的基于多源异构数据融合的三维场景分割[0034]图1为本发明提供的基于多源异构数据融合的三维场景分割域迁移方法的流程对比学习的方式促进跨模态信息融合，通过利用互补的二维图像信息缩小三维LiDAR点云8[0050]其中，F2D和F3D分别表示第一阶段中对输入数据处理后得到的图像特征和点云特征，和分别表示一一对应的二维像素特征和三维点特征，N为每个模态中的特征数负责将二维特征和三维特征投影到共享的特征空[0051]步骤4：利用源域和目标域上的对比学习损失函数以及源域上的监督学习损失函9真实结果之间的交叉熵损失。将计算得到的交叉熵损失与步骤3中的对比学习损失相加作和分别是在源域和目标域中按照步骤3计算得到的对比学习损失，是在源域中利用分割头得到的预测结果与真实结果之间的交叉熵损[0061]模型训练模块，用于综合跨模态对比学习和监督学习对述监督学习是指利用源域三维点云数据的分割[0066]处理器可以是任何常规的处理器。处理器可以包括诸如中央处理器(CentralProcessingUnit，CPU)、图像处理器(GraphicProcessUnit，GPU)、现场可编程门阵列[0070]计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本器(EEPR