0525自动驾驶模块

自动驾驶典型模块严骏驰上海交通大学感知模块–输入输入：多传感器（环视相机+激光雷达+毫米波雷达+自车状态传感器IMU/GPS）+高精地图（可选）传感器输入示意图nuScenes:Amultimodaldatasetforautonomousdriving（CVPR2020）感知模块–输出输出：周围物体的位置与速度（3D目标检测+目标跟踪）3D目标检测3D目标跟踪道路结构认知车道线检测感知模块–传感器融合关键问题-传感器融合：将多传感器信息，根据其时空对应关系，作为一个整体输出前融合：在数据或特征层面将不同传感器的输入融合，根据融合后的特征检测后融合：每个传感器单独进行检测，将检测结果进行互补与去重前融合–特征融合：BEVFusion

优势：无需设计复杂的互补与查重规则，整个系统可导；融合得到特征可供下游多个模块共享使用缺点：训练与特定传感器配置耦合优势：解耦性，鲁棒性，可直接应用已有目标检测方法缺点：基于规则的互补与查重难以发挥大数据优势前融合-数据融合：PointPainting

PointPainting:SequentialFusionfor3DObjectDetection（CVPR2020）BEVFusion:Multi-TaskMulti-SensorFusionwithUnifiedBird’s-EyeViewRepresentation(IROS2022)感知模块–BEV特征融合基于BEV（Bird-Eye-View）的特征融合：将各个传感器输入分别用各自的backbone提取特征，将特征根据几何关系投影鸟瞰图下的栅格Lidar/Radar/高精地图只需将z轴压平即可得到BEV，但相机需要做像素坐标到自车坐标转换转换方法一：2D->3D,即将每个像素投影到3D空间中的对应位置，例如LSS挑战：每个像素对应3D空间中的一条射线，需要估计深度优势：点云辅助下深度分布相对容易生成缺点：深度监督信号稀疏；高速场景点云估计深度误差大；物体边界不易处理Lift,Splat,Shoot:EncodingImagesFromArbitraryCameraRigsbyImplicitlyUnprojectingto3D（ECCV2020）感知模块-

BEV特征融合基于BEV（Bird-Eye-View）的特征融合：将各个传感器输入分别提取特征，将特征根据几何关系投影鸟瞰图下的栅格Lidar/Radar/高精地图只需将z轴压平即可得到BEV，但相机需要做像素到物理空间转换转换方法2：3D->2D,即根据3D空间中的每个位置，查询图片对应位置的特征，例如BEVFormer优势：无需深度估计；易于大规模训练缺点：对数据需求量大；模型计算复杂度高BEVFormer:LearningBird's-Eye-ViewRepresentationfromMulti-CameraImagesviaSpatiotemporalTransformers（ECCV2022）感知模块-车道线联合检测PersFormer:3DLaneDetectionviaPerspectiveTransformerandtheOpenLaneBenchmark,ECCV2022OralPersFormer:将图片特征通过反透视变换得到2D-鸟瞰图的参考点，结合Transformer在3D空间检测车道线在自采数据集与公开数据集均大幅超越已有方法ECCV2022Oral,在一年中获得Github290+star,/OpenDriveLab/PersFormer_3DLane感知模块-车道线检测PersFormer:3DLaneDetectionviaPerspectiveTransformerandtheOpenLaneBenchmark,ECCV2022Oral工业界、学术界第一个大规模3D真实车道线数据集OpenLane:/OpenPerceptionX/OpenLane

感知模块-车道线检测Opendenselane:ADenseLidar-BasedDatasetforHDMapConstruction,

ICME2022LiDAR车道线数据集中规模大，种类全的数据集OpenDenseLane:/Thinklab-SJTU/OpenDenseLane感知模块-道路结构认知RoadGenome:ATopologyReasoningBenchmarkforSceneUnderstandinginAutonomousDriving,

arixv工业界、学术界第一个道路结构认知真实车道线数据集OpenLanev2:/OpenDriveLab/OpenLane-V2预测模块–输入

输入：车辆/行人/自行车等动态物体的历史位置、速度、转向角等，静态障碍物位置，车道线与交通标志的位置与类型等预测模块–输出

输出：场景中动态物体未来时刻的位置（多种未来可能性）指标：平均L2误差，终点L2误差，MissRate预测模块–场景编码关键问题–场景编码：异质、动态、非结构化输入，如何为动态物体进行特征编码方法1–基于Raster的编码：将提取出来的信息，重新“画”到BEV下，使用CNN进行编码优势：可以直接使用成熟的CVbackbone编码缺点：稀疏特征图–效率低；在物理坐标与像素间映射带来误差；难以显式编码不同类型的语义关系前融合-数据融合：PointPainting

ChauffeurNet:LearningtoDrivebyImitatingtheBestandSynthesizingtheWorst,fromWaymo2018预测模块–场景编码关键问题–场景编码：异质、动态、非结构化输入，如何为动态物体进行特征编码方法2–基于Vector的编码：将不同的输入用各自的backbone处理成vector，使用GNN/Transformer优势：直接利用抽象出来的场景元素信息，建模关系缺点：芯片上需实现高效图网络算法VectorNet:EncodingHDMapsandAgentDynamicsfromVectorizedRepresentation,CVPR2020LaneGCN:LearningLaneGraphRepresentationsforMotionForecasting,

ECCV

2020

oralVectorNet-TransformerLaneGCN–4种GCN预测模块–异质图TransformerHeterogeneousDrivingGraphTransformer:驾驶场景中的信息源密集且种类丰富（车辆、行人、车道、交通灯等）->建模为异质图，图上节点为场景中的元素，边代表元素间关系元素在空间中的相对性->节点间的特征的视角转换自动驾驶海量数据->基于Transformer的图网络HDGT:HeterogeneousDrivingGraphTransformerforMulti-AgentTrajectoryPredictionviaSceneEncoding,arxiv预测模块–基于目标的预测TNT:Target-driveNTrajectoryPrediction,

CoRL2020二阶段轨迹预测TNT:先验：驾驶员都有目的地，给定目的地的情况下，具体行进轨迹的波动并不重要一阶段预测目的地来保证多样性，二阶段根据目的地补全轨迹来提高一致性基于L2距离的指标变差，但基于missrate的指标大幅变好->多样性提高预测模块–时间一致性优化TowardsCapturingtheTemporalDynamicsforTrajec