CN115063768B 三维目标检测方法、编码器及解码器 （阿里巴巴达摩院(杭州)科技有限公司）

本申请实施例提供了一种三维目标检测方征交互结果获得融合了点云特征的增强图像特请实施例，能够获得高质量的三维目标检测结2获取待检测的三维环境的图像和三维点云，以及所述图像对应的进行所述图像特征图和所述点云特征图之间的特征交互，根据特征基于所述增强图像特征图和所述增强点云特征图，进行所述三维环所述进行所述图像特征图和所述点云特征图之间的特征交互，根据针对所述图像特征图，进行从图像特征到图像特征的第一特针对所述点云特征图，进行从点云特征到点云特征的第三特根据所述鸟瞰图中的像素点的位置，获得所述像素点在所述点云针对所述点云特征图中的某个像素点，获得该像素点在所述点云基于该像素点和所述多个参考像素点的位置，从所述图像特征图将该像素点对应的点云特征和获得的所述多个图像5.根据权利要求4所述的方法，其中，所述基于该像素点和所述多个参考像素点的位基于所述二维坐标，对所述图像特征图进行对应位置的特征采集3对所述增强图像特征图和所述增强点云特征图依次交替进行特在所述对所述增强图像特征图和所述增强点云特征图依次交述方法还包括：分别基于所述点云特征图和所述增强点云特征图进行三维目标位置预测，获得对应的第一预测结果和第二预测结果；根据所述第一预测结果和所述第二预测结果，所述对所述增强图像特征图和所述增强点云特征图依次交替进行特征一预测热图和第二预测热图；所述第一预测热图和所述第二预测热图中的第k个通道表示所述候选预测框的信息包括所述候选预测框对应的点云特征和所述候选预测框对应9.根据权利要求7或8所述的方法，其中，所述对所述在针对增强图像特征图进行特征提取时，获取该增强图像在针对增强点云特征图进行特征提取时，获取该增强点云在针对增强图像特征图进行特征提取之前，对前一增强在针对增强点云特征图进行特征提取之前，对前一增强将所述点云候选预测框放大预设倍数后投影到该增强图4特征交互部分，用于分别针对图像特征图，进行图像特特征融合部分，用于基于第一特征交互结果和第二特征交相邻的解码层用于对不同类型的特征图进行解码，其中，不所述增强图像特征图为：针对待检测的三维环境对应的图像特征图征图通过对所述三维环境对应的图像进行特征提取所述增强点云特征图为：针对待检测的三维环境对应的点云特征图征图通过对所述三维环境对应三维点云进行特征提取56进行特征提取得到。7102可以用于基于待检测的三维环境的图像和三维点云进行三维目标检测。作为可选的示的点云特征图。图1B中示例为通过点云特征提取器对采集的三维点云数据进行特征提取，8[0032]该三维目标检测模型中的解码器能够基于编码器进行了特征交互增强后的增强使具有自动驾驶功能的设备能够基于采集的这两种模态的数据实现对周边环境的感[0038]在获取了三维环境的图像和三维点云这两种模态的数据后，可分别进行特征提9[0048]其中，特征输入部分用于接收前层(前一编码层或者首层编码层之前的特征提取提取器提取两种模态的特征hp和hc，其它的每一个编码层以前一编码层增强后的点云特征[0050]具体地，如图2B中所示，每个编码层包含四种特征交互，可以分别记为φp→c,[0054](1)两种模态内的特征交互φp→p和φc→c均以自身模态下的特征图为输入执行局如鸟瞰BEV特征图中每个像素与图像特征图中一组特征的对应关系。示例性地，如图2D所源，BEV特征图上每个像素作为Q时对应的K和V即为使用上述方式确定的若干个图像特征，合，由此获得的增强图像特征图和增强点云特征图将为后续的三维目标检测提供更为丰[0064]基于增强图像特征图和增强点云特征图，即可采用常规方式进行三维目标检预测结果分别为第一预测热图(heatmap)和第二预测热图，第一预测热图和第二预测热图pp表示当前位置存在第k类物体中心的概率。两个heatmap相加后取其最大的m个位置作为初[0073]该解码器随后的2×N个解码层可以看作由N个级联的基本单元组成，其中每个基法进行规范化(图中示意为MHSA后的Add&Norm)得到更新后的查框bi-1投影到该层对应模态的图像特征图h′上得到在该特征图上的二维预测框，并使用RoIAlign方法(一种将生成的预测框映射成固定大小的特征图featuremap的方法)从中提法进行规范化(图中示意为DynConv后的Add&Norm)形成融合了RoI特征后更新。该更新后的qi-1与前馈神经网络(图2F中示意为FFN)的输入相加并使用LayerNorm方法进行规范化(图中示意为右下角的Add&Norm)后得到该查询-特征动态交互[0081]最后一个查询-特征动态交互层后面的前馈网络解码出的预测框，将被作为最后测损失(如采用高斯焦点损失)以监督查询初始化。最终损失为上述匈牙利损失与heatmap[0096]处理器302可能是CPU，或者是特定集成电路ASIC(ApplicationSpecific[0098]程序310具体可以用于使得处理器302执行前述方法实施例中所描述的三维目标[0099]程序310中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质将通用计算