CN119495068A 三维占据栅格网络感知方法、设备及介质 （上海人工智能创新中心）

本发明涉及一种三维占据栅格网络感知方用卷积神经网络从匹配代价体特征提取含有深2采集车辆自动驾驶拍摄的多目相机图像，将所述多目相机图根据采样点在不同时刻的几何对应关系构建匹配代价，从所述三维采用卷积神经网络从所述匹配代价体特征提取出含有深度修正信息将深度信息修正后的三维体特征输入至占据栅格解码器中，将三维体采集车辆自动驾驶拍摄的多目相机图像其中，表示T时刻第i个3将当前时刻T的所有采样点投影到历史时刻的坐标系中，采样历史时刻中对应位置的将匹配代价体特征输入至卷积神经网络，得到用于辅助修正深度信息的权重W∈RH将监督学习后的权重与当前时刻的三维体特征做元素级乘积，表示三维占据栅格真值中第j个体素被其中一个类别占据。将修正过后的三维体特征VT作为占据栅格解码器的输入，通过反卷积将三维体特征投9.一种电子设备，包括存储器和处理器，所述存储器上存4的图像对数量使得在融合较长的时间跨度时可能导致巨大的计[0008]本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种可实现对自动驾驶周遭环境更加准确高效建模的自动驾驶三5[0017]采集车辆自动驾驶拍摄的多目相机图像其中，表示T时刻[0018]将所述多目相机图像I=,4-…北输入至图像处理主干网络，提取出多规[0019]优选地，对所述二维图像特征进行视角转化，得到三维体特征，具体为：采用[0027]将当前时刻T的所有采样点投影到历史时刻的坐标系中，采样历史时刻中对应位[0030]将匹配代价体特征输入至卷积神经网络，得到用于辅助修正深度信息的权重W∈6[0040](1)本发明通过在三维特征空间中构建匹配代体特征，相比基于坐标系对齐的方[0041](2)本发明利用当前时刻同一视线上多个采样点投影到历史时刻后将不在同一视7时刻编号为i的相机的输入图像记作本实施例中的时序融合要同时用到当前时刻和历[0051]将多目相机图像输入至图像处理主干网络，提取出多规格的[0056]BEVFormer模型基于Transformer及可变注意力机制，利用多相机图像的空时域)信息对自动驾驶车辆周边场景进行统一鸟瞰图BEV表示。通过多目相机图像输入，利用Transformer的注意力机制，将图像空间中的特征转换为BEV空间中的特征。这一过程中，特征信息的有效融合。BEVFormer模型框架主要包括多个编码器层，每个编码器层基于8[0062]3)利用数据集中的投影矩阵将所有历史时刻的三维体特征和当前时刻进行三维[0064]5)将所有时刻的三维体特征在特征维度上拼接得到匹配代价体特征F∈RH。[0066]将匹配代价体特征输入至卷积神经网络，得到用于辅助修正深度信息的权重W∈的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来9~S5的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何[0075]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例集成电路(ASIC)、专用标准产品(ASSP)、芯[0076]用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程