第7章 端到端算法架构

智能驾驶与计算架构

第7章

端到端算法架构

1端到端概述

2端到端自动驾驶概念3端到端自动驾驶架构4端到端自动驾驶开发5端到端自动驾驶测试6端到端自动驾驶的局限与发展智能驾驶计算概述端到端自动驾驶将感知、预测、规划整合到统一神经网络中，实现信息无损传递和全局优化，是智能驾驶算法架构的革命性方向。本章介绍端到端概述、概念、架构、开发、测试、局限与发展。学习目标：了解端到端算法架构的产生背景及核心模块。了解端到端算法基本架构及4个典型案例。理解端到端智能驾驶算法的相关局限。理解端到端算法架构中核心模块的相互独立及依赖关系。掌握端到端自动驾驶开发及测试的相关原理，以及至少一个端到端算法基本架构。端到端概述——传统模块化问题传统模块化架构在模块间传递结构化信息，存在信息损失和误差累计问题，难以应对复杂长尾场景。传统模块：感知→定位→预测→决策规划→控制。问题：①下游信息缺失；②误差无法通过梯度回传上游；③系统复杂度高，开发维护代价大。端到端优势：①传递隐式高维信息；②规划层误差可回传感知层；③减少模块数。算法架构进化智能驾驶算法架构从2D图像感知到BEV感知预测一体，再到端到端，深度学习覆盖范围持续扩大。第一代：2D图像检测/分割+几何后处理转换到3D空间。第二代：BEV感知（BEVFormer等）+Transformer空间转换。第三代：端到端（感知到规划）。分为两类方案：①快慢系统（系统1直觉+系统2LLM/VLM推理）；②模仿学习（开环仿真训练）。端到端概念辨析端到端的核心定义是"感知信息无损传递和全局优化"，需与决策规划模型化、大模型、世界模型、纯视觉传感器等概念区分。端到端vs决策规划模型化：决策规划模型化只是端到端的必要非充分条件。端到端vs大模型：两者不必然相关，车端"大模型"通常<10亿参数。端到端vs世界模型：世界模型可作数据生成器，或通过微小调整实现OneModel端到端。端到端vs纯视觉：端到端对传感器无特殊要求。端到端架构——商业实践DAVE-2、Wayve和OpenPilot代表了端到端自动驾驶从学术探索到商业化落地的三个里程碑。DAVE-2（2016，英伟达）：基于CNN，输入前方图像直接输出转向角度。Wayve（2018）：结合深度强化学习，系统可在一天内适应复杂城市环境。OpenPilot（comma.ai）：首个大规模商业化的端到端产品，Supercombo模型（EfficientNet+GRU），输出5种轨迹置信度。UniADUniAD是2023年CVPR最佳论文，将检测、跟踪、建图、轨迹预测、占据预测和规划六个子任务整合到统一Transformer框架中。Backbone：BEVFormer提取BEV特征B。Perception：TrackFormer（目标检测+跟踪）+MapFormer（全景分割建图）。Prediction：MotionFormer（联合轨迹预测）+OccFormer（场景占据预测）。Planning：利用自车查询预测规划轨迹，并远离占据区域以避免碰撞。VAD&SparseDriveVAD基于矢量场景表征（非栅格化）大幅提升推理效率；SparseDrive基于稀疏场景表示，性能显著优于UniAD。-**VAD（ICCV2023）**：BEVEncoder→VectorizedMotionTransformer+VectorizedMapTransformer→PlanningTransformer。VADv2采用概率性规划。-**SparseDrive（2024）**：对称稀疏感知模块+并行运动规划器。性能：3D检测mAP+11.6%，规划L2误差降低19.4%。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。VAD（ICCV2023）：BEVEncoder→VectorizedMotionTransformer+VectorizedMapTransformer→PlanningTransformer。VADv2采用概率性规划。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。SparseDrive（2024）：对称稀疏感知模块+并行运动规划器。性能：3D检测mAP+11.6%，规划L2误差降低19.4%。PARA-DrivePARA-Drive通过模块放置、信息流和模块必要性的系统实验，提出并行化模块化自动驾驶堆栈，性能显著优于先前工作。关键发现：①删除某些模块间连接可显著提升性能；②移除任何辅助任务都会降低规划性能；③高维潜在查询传递比紧凑BEV特征带来更强性能提升。架构：在线建图+跟踪与运动预测+占据预测+运动规划。模型设计与模仿学习端到端模型设计需整合感知和规划子模型，模仿学习是主要训练方式，但面临因果混淆和误差累积问题。模型设计：感知子模型（复用现有多任务感知模型）+规划子模型（含时序融合的Transformer）。模仿学习（IL）：通过行为克隆（BC）监督学习专家轨迹。因果混淆：模型学到"惯性外推"策略（copycat）。缓解方法：减弱感知时序融合、DAgger、dropout历史信息、分离惯性分量。误差累积：模型偏差持续放大。缓解方法：数据增强、DAgger。强化学习、数据工程与辅助监督强化学习可通过仿真环境训练但成本高；数据工程（DAgger）和辅助监督对提升端到端模型性能至关重要。强化学习：在仿真环境（CARLA）中通过试错学习策略。改进：多阶段训练、RL作为IL的"教练"（ROACH）。数据工程：①数据收集需"好驾驶员"；②标签构建（场景/天气/自车意图）；③DAgger；④数据集构建需管理丰富度和难例比例。辅助监督：感知真值监督、自车意图预测、其他智能体轨迹预测、安全性碰撞损失（IoU）。端到端测试、局限与发展端到端开环测试效率高但易受惯性外推影响，闭环测试更真实但成本高；端到端仍面临可解释性、长程规划、数据和算力需求等局限。开环测试：回放录制数据，评价轨迹精度。问题：易受惯性外推影响。闭环测试：系统输出实时影响输入。方法：传统仿真器（