0525自动驾驶端到端

自动驾驶端到端架构严骏驰上海交通大学端到端自动驾驶–分类传统的车端自动驾驶方案系统模块化架构缺陷：信息损失级联误差冗余/重复计算上游任务并未直接优化驾驶目的！（检测到附近的车重要性>>远方的车）端到端自动驾驶：发挥神经网络端到端优化优势，利用海量数据，探索自动驾驶新方案端到端自动驾驶–分类显式端到端：保留传统分工，但中间可导隐式端到端：略过大多数模块直接输出最终结果两大类：显式端到端vs隐式端到端优势：有中间可视化，易debug；易于在规控过程加入规则限制缺点：多任务训练不稳定，多任务模型相比单任务模型仍有性能损失Planning-orientedAutonomousDriving,CVPR2023AwardCandidateTrajectory-guidedControlPredictionforEnd-to-endAutonomousDriving:ASimpleyetStrongBaseline,

NeurIPS

2023优势：端到端优化最终任务缺点：开车出现错误难以debug端到端自动驾驶–显式ST-P3：第一个基于环视相机的，具有显示中间表征结果的端到端自动驾驶框架感知：BEV语义分割–当前时刻车辆/行人+地图预测：未来时刻BEV语义分割–车辆/行人未来位置决策：感知结果+规则+预测结果->粗粒度规控->GRURefine->细粒度规控ST-P3:End-to-endVision-basedAutonomousDrivingviaSpatial-TemporalFeatureLearning,ECCV2022端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：Transformer为媒介，显式的端到端完成大多数自动驾驶任务下游任务的Query，通过与上游任务Query的CrossAttention完成信息交互各项任务全面达到SOTAPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：Planning模块MotionQuery作为先验根据Desire，对BEV特征做AttentionOccupancy+Kinetic约束的OptimizationPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：DemoVideoPlanning-orientedAutonomousDriving,CVPR2023AwardCandidate端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：可视化具备从上游错误中恢复的能力Planning-orientedAutonomousDriving,CVPR2023AwardCandidate端到端自动驾驶–显式UniAD-CVPR2023AwardCandidate(12/9155)：可视化感知长尾问题仍然存在Planning-orientedAutonomousDriving,CVPR2023AwardCandidate端到端自动驾驶–隐式CILRS：挑战：基于行为克隆的规控算法存在因果倒置问题方案：用图片网络的特征来预测车辆当前速度通过鼓励模型从视觉输入中察觉动态信息，避免模型仅仅依赖上一时刻速度做决策一定程度上缓解，但任未解决ExploringtheLimitationsofBehaviorCloningforAutonomousDriving,

ICCV

2019端到端自动驾驶–隐式端到端模型输出形式探索-TCP：挑战：输出控制信号，擅长转弯，但碰撞多；输出轨迹信号，碰撞少，但拐大弯，例如90°直角弯会失败方案：多任务分支，且任务分支间进行特征交互Demo模型仅使用单一单目相机作为输入，发布时在CARLAAutonomousDrivingLeaderboard上取得了第一名的分数，远超其他使用多传感器输入的方法（多相机和激光雷达）Trajectory-guidedControlPredictionforEnd-to-endAutonomousDriving:ASimpleyetStrongBaseline,

NeurIPS2022端到端自动驾驶–预训练自监督预训练for端到端模型-PPGeo：自动驾驶场景下每天有海量无标注的数据被采集，挖掘自监督学习能力至关重要CV领域常用的对比学习、MIM对对于驾驶中的运动先验没有建模方案：一阶段通过前后两帧重建学习Depth、Pose变化、相机内参的三个估计网络（MonoDepth框架），二阶段Freeze训练好的Depth、相机内参网络，用要预训练的backbone代替Pose变化网络，让模型仅通过单帧输入预测下一帧状况，从而鼓励Backbone学习与自车运动相关的信息PPGeo:PolicyPre-trainingforAutonomousDrivingviaSelf-supervisedGeometricModeling,

ICLR2023端到端自动驾驶–预训练自监督预训练for端到端模型-PPGeo：在端到端任务上，PPGeo预训练远超ImageNet预训练，MAE/MoCo自