CN119495092A 弱监督单目三维目标检测训练处理、标签生成方法及系统 （长春理工大学中山研究院）

本发明实施例提供了一种弱监督单目三维数据的三维深度特性以及已有的配准后的点云2三维多尺度全局特征提取模块，用于对点云数据进行体关键点全局特征编码模块，用于从各个尺度下的全局特征数特征数据合并模块，用于将所述全局特征数据和所述关键点全局特征数据进行拼接，三维深度标签生成模块，用于根据所述点云提案数据生多尺度体素特征提取模块，包括顺序连接的多个三维稀疏卷积层和2D鸟瞰特征处理后通过鸟瞰特征处理层生成第一鸟瞰特征数据作关键点相关的特征数据，并将这些特征数据按照各个尺度与所述关键点特征向量进行编分别获取各个三维稀疏卷积层输出的第一特将提取的多个第二特征提取数据和所述第二鸟瞰特征获取训练数据集，所述训练数据集包括配准后使用具有第一深度标签的第一点云数据对权利要求1至3任一所述的深度标签生成系使用训练后的所述深度标签生成系统，对所述无深度标签的第二点云数据进行处理，使用所述第二深度标签与所述第二点云数据对应的图像数据作为单目三维目标检测3使用所述第一深度标签与所述第一点云数据对应的图像数对点云数据进行体素划分，并提取各个体素的体素特从各个尺度下的全局特征数据中提取与各个关键点根据所述点云提案数据生成包围目标的三维包围框作为用于训练单目目标检测模型通过多个顺序连接的三维稀疏卷积层对所述体素特征7.根据权利要求6所述的方法，所述从各个尺度下的全局特征数据中提取与各个关键分别获取各个三维稀疏卷积层输出的第一特将提取的多个第二特征提取数据和所述第二鸟瞰特征获取训练数据集，所述训练数据集包括配准后使用具有第一深度标签的第一点云数据对权利要求1至3任一所述的深度标签生成系使用训练后的所述深度标签生成系统，对所述无深度标签的第二点云数据进行处理，使用所述第二深度标签和与所述第二点云数据对应的图像数据作为单目三维目标检4一点云数据对应的图像数据，和所述第二深度标签和与所述第二点云数据对应的图像数5[0001]本发明实施例涉及一种弱监督单目三维目标检测训练处理、标签生成方法及系6[0018]使用所述第二深度标签和与所述第二点云数据对应的图像数据作为单目三维目[0027]根据所述点云提案数据生成包围目标的三维包围框作为用于训练单目目标检测[0032]使用所述第二深度标签和与所述第二点云数据对应的图像数据作为单目三维目[0034]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本7[0036]图2为本发明实施例的弱监督的单目三维目标检测的训练处理系统的结构示意[0038]图4为本发明实施例的弱监督的单目三维目标检测的训练处理方法的流程示意8针对体素(Voxel)的稀疏卷积层(图中表示为VoxelLayer1至VoxelLayer3)和一个鸟瞰特[0050]具体来说，首先，关键点周围的点是具有多语义特征的体素，本实施例中，将作为第k级中3D体素向量集(该向量包括了体素的全局特[0054]进一步地，还可以通过将与关键点相关的原始点云特征和2D鸟瞰图特征9t",本发明实施例将关键点pi映射到2D鸟瞰图上，并利用插值法获得与关键点对应的鸟瞰图特征向量这个策略使得最后生成的关键点特全局特征数据)与基于各个关键点而进行编码并且包含了各个尺度的特征的关键点全局特[0063]如图2所示为本发明实施例的弱监督的单目三维目标检测的训练处理系统的结构[0066]使用具有第一深度标签的第一点云数据对前面提到的深度标签生成系统进行训[0069]使用第二深度标签和与第二点云数据对应的图像数据作为单目三维目标检测训[0083]如图4所示，其为本发明实施例的弱监督的单目三维目标检测的训练处理方法的[0088]本发明方法实施例的技术原理以及技术效果与前述系统