CN119445024A 一种三维栅格占据预测方法、装置和设备 （中国科学技术大学）

所述三维体素特征输入分层Mamba模块，生成具层Mamba模块包括用于处理不同尺度特征的多个Mamba块，用于在多尺度下兼顾全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景的空间结构自适应的有增强空间特征的三维体素特征进行三维栅格2全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景基于所述具有增强空间特征的三维体素特征进行三维栅码器的不同Mamba块之间包括用于多尺度体素特征提取的下采样操作，所述解码器的不同Mamba块之间包括用于多尺度体素特征整合的上采样操作，同尺度的所述编码器的所述Mamba块和所述解码器的所述Mamba块之间跳跃连接，所述Mamba块的输入是由三维体素特获取所述目标场景的二维图像，基于所述二维图像生成所述目标场景的图像体素特获取所述目标场景的点云数据，基于所述点云数据生成所述目标场景的点云体素特融合所述目标场景的图像体素特征和点云体素特征生成所述目标场景的三维体素特基于所述目标场景的场景类型将三维体素特征展开重排形成一维序获取所述目标场景的预测范围和所述目标场景中预测主体的位xy平面的垂直体素序列；所述目标场景的所有三维体素特征生成的所有所述垂直体素序列形成垂直体素序列3所述目标场景的所有三维体素特征生成的所有所述垂直体素序列形成垂直体素序列于在多尺度下兼顾全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景的空间结构自适应的展开重排形成的一维所述处理器，用于当执行所述计算机程序时，实现根据权利要求1_8任一项所述的方4[0002]三维栅格占据预测的目标是利用各种输入信号估计三维空间的占据情况和语义型的基础上集成了选择性机制从而在能够有效捕捉场景信息的同时大幅减少计算复杂度，现有方法主要基于目标场景的空间结构来设计，如果实际场景类型与目标场景类型不同，[0005]本公开实施例提出了一种基于分层Mamba模块的三维栅格占据预测方案，解决了现有基于Mamba网络的三维栅格占据预测方案对复杂场景预测[0008]将所述三维体素特征输入分层Mamba模块，生成具有增强空间特征的三维体素特兼顾全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景的空间结构自适应的展开重排形成的一维序5所述编码器的所述Mamba块和所述解码器的所述Mamba块之间跳跃连接，所述Mamba块的输[0014]融合所述目标场景的图像体素特征和点云体素特征生成所述目标场景的三维体预测范围和所述位姿变化确定所述目标场景成对xy平面的垂直体素序列；[0022]所述目标场景的所有三维体素特征生成的所有所述垂直体素序列形成垂直体素对xy平面的垂直体素序列；[0027]所述目标场景的所有三维体素特征生成的所有所述垂直体素序列形成垂直体素6特征基于所述目标场景的空间结构自适应的展开重排形成的一维维体素特征基于复杂场景的空间结构自适应的展开重排成一维序列以作为Mamba网络的输[0038]图2是根据本公开的一些实施例所示的一种基于Mamba网络的三维栅格占据预测7于基于图像传感器和点云距离传感器产生的目标场景的三维体素特征对目标场景进行三景的三维体素特征，再基于目标场景的三维体素特征对目标场景进行三维栅格占据预测。[0058]所述三维栅格占据预测服务器部署有用于处理不同尺度特征的多个Mamba块，用于在多尺度下兼顾全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景的空间结构自适应的展开重排形成的一维[0059]三维栅格占据预测的目标是利用各种输入信号估计三维空间的占据情况和语义8机视觉领域的突破进展启发，近期的一些工作通过结合transformer网络增强了全局场景络能够有效捕捉全局信息并在线性时间内处理大规模数据，已然成为了替代transformer维空间中相邻体素之间的固有空间关系很可能会丢失，从而导致在一维序列中分离得很[0060]通过将三维体素重排成一维序列时嵌入相邻体素之间固有空间关系的表达可以相邻体素之间的固有空间关系的关联性；同时直接使用Mamba网络处理涉及大规模体素的[0061]为了解决上述问题，本公开提出了一种基于Mamba网络的三维栅格占据预测新方[0062]图3是根据本公开的一些实施例所示的一种三维栅格占据预测方法的流程图。在卷积的激光雷达编码器EL生成激光雷达体素特征类似地，对于RGB通过特征金字塔网络聚合多尺度特征，然后使用二维到三维视图transformer生成图像体9度下兼顾全局信息和局部信息以增强空间特征，所述Mamba块以将三维体素特征基于所述目标场景的空间结构自适应的展开重排形成的一维序够基于各场景下三维栅格占据预测任务中不同的空间结构动态自适应地将三维体素特征每个xy坐标值生成沿z轴方向的垂直序列，然后在xy平面上按照从中心向四周的顺序分层[0070]本公开提出了一种用于在多尺度下兼顾全局信息和局部信息以增强空间特征的操作用于整合多尺度体素特征。图6是根据本公开的一些实施例所示的Mamba块框架示意的重排策略在每层的Mamba块前后都被应用，使得场景特征在下采样和上采样阶段保持三[0076]本公开的一个实施例在OpenOccupancy数据集上对各种三维栅格占据预测方法进不仅设计了分层Mamba模块，还针对该任务设计了一种简单但有效的三维到一维的自适应空间特征的三维体素特征，其中，所述分层Mamba模块包括用于处理不同尺度特征的多个维体素特征基于所述目标场景的空间结构自适应的展开重排形成的一维序列作维体素特征基于复杂场景的空间结构自适应的展开重排成一维序列以作为Mamba网络的输[0086]尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执