CN117036607B 基于隐式神经渲染的自动驾驶场景数据生成方法及系统 （上海人工智能创新中心）

WO2022257801A1,2022.12基于隐式神经渲染的自动驾驶场景数据生种基于隐式神经渲染的自动驾驶场景数据生成供的基于隐式神经渲染的自动驾驶场景数据生2基于传感器数据，构建离线高精地图；所述传感器数据包括激光基于所述离线高精地图，对所述传感器数据进行离线目标检测基于所述离线高精地图、所述目标检测跟踪结果以及路网结构，对车基于所述离线高精地图、所述目标检测跟踪结果、所述场景重所述多车辆决策规划方法的输入包括路网拓扑结构、路线信息、车基于所述离散决策序列，并为每个受控自动驾驶车辆生成连续的运动学上可行的轨2.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在对所述激光雷达点云数据中每一帧点云进行处理，对非地面点进行过3.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在采用两阶段数据关联方法得到多组跟踪轨迹，并通过位4.根据权利要求1所述的基于隐式神经渲染的自动驾驶场景数据生成方法，其特征在3在前景重建的过程中，根据不同时刻运动目标的3D检测框数所述高精地图构建模块用于根据传感器数据，构建离线高精地图所述目标检测和跟踪模块用于根据所述离线高精地图，对所述所述隐式三维重建模块用于采用多视角隐式表面重建的方法对自动驾驶的场景进行所述轨迹编辑与生成模块用于根据所述离线高精地图、所述目标检测所述实时渲染模块用于根据所述离线高精地图、所述目标检测跟踪6.根据权利要求5所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在所述数据预处理模块用于对所述激光雷达点云数据中每一帧点云进行所述图像转换模块用于将所述全场景雷达点云数据转换为俯视图图像，得到道路图7.根据权利要求5所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在4所述物体检测器用于将每五帧点云作为一次检测的输入，进行所述点强度感知模块用于采用原始点特征和体素特征，对所述检测结果进行细化处所述多物体跟踪模块用于根据两阶段数据关联方法，得到多组跟踪8.根据权利要求5所述的基于隐式神经渲染的自动驾驶场景数据生成系统，其特征在所述前景重建模块用于根据不同时刻运动目标的3D检测框数据和前景资产库对前景5[0003]目前常用的仿真器如CARLA，虽然能够提供相对完整的交通流管理和不同传感器[0004]本申请实施例提供一种基于隐式神经渲染的自动驾驶场6结果；隐式三维重建模块用于采用多视角隐式表面重建的方法对自动驾驶的场景进行重7[0013]在一些示例性实施例中，隐式三维重建模块包括背景重建模[0016]本申请实施例提供一种基于隐式神经渲染的自动驾驶场[0019]图1为本申请一实施例提供的一种基于隐式神经渲染的自动驾驶场景数据生成方[0020]图2为本申请一实施例提供的一种基于多视图的隐式表面重建的数据生成系统的[0021]图3为本申请一实施例提供的一种基于多视图的隐式表面重建的数据生成系统的8[0029]神经辐射场(NeuralRadianceField，NeRF)通过隐式表示的方式对场景进行重建并生成新视角下的数据，相较于基于物理模型的仿真器能够合成高保真的传感器数据，执行体渲染，这些方法虽然可以表示复杂的几何形状和外观并且已经实现了真实感渲染，9[0033]参看图1，本申请实施例提供了一种基于隐式神经渲染的自动驾驶场景数据生成为每个受控自动驾驶车辆生成连续的运动学上可行[0051]参看图2，本申请实施例还提供了一种基于隐式神经渲染的自动驾驶场景数据生目标检测跟踪结果；隐式三维重建模块103用于采用多视角隐式表面重建的方法对自动驾[0052]本申请提出了一种全新的基于隐式表面重建的可编辑的自动驾驶场景多传感器[0057]接下来是多物体跟踪，该模块利用两阶段数据关联策略后将这些轨迹通过位置感知相似度匹配分数关输出为原始的自车和他车轨迹以及经过编辑后[0069](1)本发明是一个完整的数据生成系统，只需要提供采集的相机和激光雷达的数[0070](2)本发明在场景数据生成时并不是简单的删除或者插入运动车辆，而是基于路[0071](3)本发明在渲染传感器数据时，可以渲染出16种不同型号的激光雷达和相机数[0072]通过对本发明提供的基于隐式神经渲染的自动驾驶场景数据生成方法及系统进中的算法能够生成在大规模的动态自动驾驶场景中的高度逼真的各类传感器仿传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上得一个设备(可以是单片机，芯片等)或处理器(proces[0080]本领域的普通技术人员可以理解，上述各实施方式是实现本申