智能驾驶与计算架构全套课件

智能驾驶与计算架构

第1章

智能驾驶计算概述

智能驾驶教学团队1智能驾驶

2智能驾驶计算智能驾驶计算概述计算是智能驾驶的基石，贯穿传感器数据处理、决策控制、算法研发及车云协同全链条。本章作为导论章节，将详细介绍智能驾驶相关概念及智能驾驶中所涉及的计算，进而引出计算平台的概念。学习目标：了解智能座舱、自动驾驶、辅助驾驶及智能泊车的区别与联系；理解自动驾驶等级分类；掌握智能驾驶计算的基本类型及混合计算中的关键环节。智能座舱智能座舱集成了信息娱乐、人机交互和传感器技术，为驾乘人员提供智能化、舒适化、安全化的车内环境。智能座舱是指集成了多种先进技术和功能，为驾乘人员提供更加智能化、舒适化、安全化的车内环境的汽车座舱系统。核心技术：信息娱乐系统（高清显示屏、音频、导航）、人机交互技术（语音识别、手势控制、触摸操作）、传感器技术（摄像头、毫米波雷达、超声波传感器）。功能特点：智能化（计算和处理能力）、舒适化（座椅加热/通风/按摩、自动空调）、安全化（碰撞预警、自动紧急制动、疲劳驾驶监测）。驾驶自动化分级我国《汽车驾驶自动化分级标准》将驾驶自动化分为0~5级，L3级是驾驶员与系统责任转移的重要分水岭。0级（应急辅助）：仅提供车道偏离预警、前碰撞预警、AEB等应急辅助功能。1级（部分驾驶辅助）：驾驶员和系统共同掌握驾驶权，系统对横向或纵向进行控制（如ACC）。2级（组合驾驶辅助）：系统对横向和纵向进行控制（如ACC+LKA）。3级（有条件自动驾驶）：在设计运行条件下，系统完成全部动态驾驶任务，系统无法应对时由用户接管。4级（高度自动驾驶）：在设计运行条件下，系统完成全部驾驶任务并执行接管，无需驾驶员干预。5级（完全自动驾驶）：系统在任何条件下完成全部动态驾驶任务，无设计运行条件限制。智能驾驶汽车的组成智能驾驶汽车作为一个可被控制的人工系统，由硬件、软件和算法与模型三大部分构成。硬件：传感器（摄像头、激光雷达、毫米波雷达）、V2V通信、执行器（发动机、方向盘等），以及GPS+IMU定位系统。软件：感知模块（传感器数据融合、障碍物识别、高精度定位）、规划模块（任务规划、行为规划、动作规划）、控制模块（反馈控制）。算法与模型：感知模块涉及深度学习、SLAM、多传感器融合；规划模块涉及图搜索、有限状态机、路径规划；控制模块涉及PID、MPC。辅助驾驶——纵向与侧向功能辅助驾驶的目标是减少驾驶疲劳和提升安全性，通过纵向和侧向功能的组合解决"鬼探头"和"换道盲区"等痛点。纵向功能（速度控制）：FCW（前向碰撞预警）、RCW（后向碰撞预警）、AEB（自动紧急制动）、ACC（自适应巡航控制）、AMAP（加速踏板防误踩）。侧向功能（转向控制）：LDW（车道偏离预警）、LCW（变道碰撞预警）、BSD（盲区监测）、LKA（车道保持辅助）。ADAS——信息辅助与控制辅助ADAS分为信息辅助类和控制辅助类，共包含数十项功能，覆盖行车监控、危险预警、驾驶便利、紧急应对、车道保持和智能灯光等场景。信息辅助（IA）：行车监控类（TSR、ISLI、AVM等）、危险预警类（DFM、FCW、LDW等）、驾驶便利类（HUD、NV、RCA等）。ADAS——信息辅助与控制辅助ADAS分为信息辅助类和控制辅助类，共包含数十项功能，覆盖行车监控、危险预警、驾驶便利、紧急应对、车道保持和智能灯光等场景。控制辅助（CA）：紧急应对类（AEB、EBA、AES等）、驾驶便利类（ISLC、ACC、IPA等）、车道保持类（LKA、LCC、LDP）、智能灯光类（ADB、AFL）。智能驾驶现状泊车场景用户痛点深、技术难度中等、量产落地机会大，是主机厂和供应商的兵家必争之地。AVM（L0）：环视摄像头拼接鸟瞰图，显示障碍物距离和雷达报警。APA（L2）：系统控制车辆按照选择的轨迹泊入/泊出，驾驶员随时准备接管。RPA（L2）：驾驶员在车外通过手机App/车钥匙控制泊入泊出。HPA（L3）：车辆学习并记忆用户常用路线，自主泊入/泊出，用户可在车外监控。AVP（L4）：基于高精地图，车辆自动搜索车位、泊入/泊出及远程接驾，支持闸机通行、路口通行等功能。智能驾驶计算——计算类型智能驾驶是典型的混合计算载体，涵盖标量计算、矢量计算、矩阵/张量计算和安全控制计算四种类型。标量计算（CPU）：路径规划、决策、卡尔曼滤波等。矢量计算（DSP/GPU）：图像处理、视频拼接等。矩阵/张量计算（NPU）：卷积运算、深度学习推理等。安全控制计算（MCU）：面向控制，要求ASIL-D级别。标量计算和安全控制计算是规则驱动的逻辑计算，矢量与矩阵/张量计算统称为智能计算。智能计算的发展智能计算从传统算法演进到端到端深度神经网络，对算力的需求呈指数级增长。VaMoRs（1987）：基于4D动态视觉模型和卡尔曼滤波，用多个Intel8086处理器实现高速自动驾驶。ALVINN（1989）：首辆运用神经网络控制的自动驾驶汽车，通过观察人类驾驶学习，但受限于当时硬件算力。Cybercab（2024）：特斯拉推出的无人驾驶出租车，基于FSDV12端到端神经网络，无方向盘和踏板，是L5自动驾驶雏形。逻辑计算与混合计算逻辑计算基于规则和推理，而智能驾驶的感知、决策和控制三个核心模块均为典型的混合计算。逻辑计算：使用逻辑规则和推理处理信息，包括真值表、逻辑表达式树、流程图、状态转移图等。环境感知计算：视觉感知（深度学习）、雷达感知（信号处理）、多传感器融合（数据对齐/特征融合）的混合。决策规划计算：行为决策（规则/机器学习/强化学习）与路径规划（全局/局部）的混合。控制执行计算：车辆动力学控制（PID/MPC）与执行器控制的混合。谢谢大家！

36/36智能驾驶与计算架构

第2章

智能驾驶计算架构

智能驾驶教学团队1计算架构分类

2核心计算架构3关键计算性能指标智能驾驶计算概述智能驾驶计算架构是支撑智驾功能的软硬件体系结构，包含芯片、硬件、软件、云端及算法五大核心模块。智能驾驶计算架构是一个复杂的系统工程，需要硬件和软件的协同发展，以及跨学科的技术创新。本章将系统学习智能驾驶计算架构分类、核心架构概念及评价指标，是后续第3~7章的导论。学习目标：了解智能驾驶计算架构的标准范式及相关案例。了解芯片、硬件、软件、云端及算法架构的相关组成部分。理解芯片、硬件、软件、云端及算法的关系及架构融合方法。掌握智能驾驶计算架构的常见性能指标及评价方法。计算架构分类现代计算架构趋向于集成不同类型的计算单元（CPU、GPU、NPU），形成强大的系统级芯片（SoC）。核心模块：处理器架构（CPU、GPU、DSP、NPU）、存储架构（RAM、ROM、缓存层次）、总线与互联架构、软件架构、硬件架构。全栈计算架构范式（7层）：云端平台→算法应用→基础库（框架）→系统软件（中间件/内核/BSP）→系统硬件（MCU/MPU）→外围硬件（传感器/域控制器）→车辆平台。计算架构分类厂商案例：特斯拉、蔚来、华为、集度各有特色的计算架构。产业协作模式智能驾驶产业链从垂直链状走向融合网状，域控制器设计与生产存在五种业务模式。五种业务模式：模式一（主机厂委托代工）、模式二（Tier1提供域控制器，最普遍）、模式三（Tier1.5主攻基础软件平台）、模式四（Tier0.5源于主机厂全栈自研诉求）、模式五（系统集成商委托ODM/OEM代工）。三种合作方式：白盒模式（OEM掌握应用层）、灰盒模式（OEM提出定制需求）、黑盒模式（Tier1掌握话语权）。产业关联方：OEM、Tier1、软件Tier1、Tier2、芯片供应商、算法公司、内容生态提供商。核心计算架构芯片内计算架构按应用适应性可分为通用、专用、并行和分布式架构，NPU已成为智能驾驶时代的关键计算架构。计算架构分类：通用计算（x86）、专用计算（DSA/ASIC/FPGA）、并行计算（GPU）、分布式计算（云计算）。架构发展：个人计算机时代（x86）→智能手机时代（ARM）→AI与云计算时代（GPU应用拓展）→智能驾驶时代（NPU涌现）。-针对特定领域量身定制架构可大幅提升效率（矩阵乘示例：从Python到硬件加速可提升6万多倍）。-全球约100家组织推出或研发AI专用推理芯片。硬件架构域控制器（DCU）是汽车电子电气架构集中化发展的结果，负责传感器融合、环境感知、决策规划和车辆控制。DCU主要功能：传感器融合（多传感器数据融合）、环境感知（识别道路/交通标志/行人）、决策规划、车辆控制。DCU硬件架构：由三大类型芯片组成——AI芯片（GPU/NPU，大算力并行计算）、CPU（ARM架构，逻辑运算和决策控制）、MCU（功能安全，ASIL-D，如英飞凌TC297/TC397）。架构趋势：单MCU→MCU+多高性能MPU；TriCore/PowerPC→ARM/MIPS/DSP/GPU多核异构；算力指数级增长。量产解决方案围绕场景开发自动驾驶成为主流，行泊一体域控从轻量级向大算力演进，L3/L4域控需满足失效可操作冗余要求。三个阶段：ADAS（碎片化辅助驾驶）→NOA行泊一体（过渡阶段）→全场景FSD。L2+行泊一体：轻量级（TDA4/地平线J3，10~20TOPS，10~20万车型）和大算力（OrinX/昇腾610，200+TOPS，高端车型）。L3/L4域控冗余三种策略：故障转移机制（Doer+Fallback）、双系统混合架构（主ASIL通道+辅助ASIL通道）、多级安全路径（主安全路径+二级安全路径）。软件架构软件架构是智能驾驶的"灵魂"，中间件的出现使软硬件解耦成为可能，推动汽车软件走向独立价值创造。软件基础架构五大组成部分：车用操作系统、智能驾驶算法、算法工具链、算法基础设施、智能驾驶/自动驾驶策略。车用操作系统功能：任务管理、内存管理、设备驱动、通信管理、安全管理、工具链体系、安全车控。软件架构软件架构是智能驾驶的"灵魂"，中间件的出现使软硬件解耦成为可能，推动汽车软件走向独立价值创造。中间件（Middleware）：上连整车厂和Tier1的软件，下连Tier2的硬件。实现软硬件解耦，降低架构复杂度。AUTOSAR：CP（ClassicPlatform，静态架构，高实时性）和AP（AdaptivePlatform，动态架构，支持POSIX兼容OS如Linux）。智能驾驶现状舱驾融合是智能驾驶计算平台的未来发展方向，需要多操作系统、多安全等级、多种加速IP异构的超算芯片支撑。舱驾融合功能：智能座舱功能+智能驾驶功能+舱驾融合功能（语音/触摸/手势交互+信息共享和协同控制）。关键软件组成部分：Microkernel微内核、Hypervisor虚拟化引擎（QNXHypervisor可达ASIL-D）、SafetyRTOS/Linux、BSP、AUTOSARAP、ROS2/Dataflow、通信模块、感知模块等。软件供应商格局：EB、Vector、TATA、Mentor等传统ECU软件平台供应商，以及TTTech、映驰科技、东软睿驰等后来者。云端架构云端架构通过端云结合的数据闭环，为智能驾驶提供数据标注、模型训练、仿真测试等全链路支持。核心功能：高效难倒场景挖掘迭代、全自动数据闭环工作流、量产研发经验沉淀。关键组成（以地平线艾迪AIDI为例）**：AIDI-Data（数据入库/检索/自动化处理）、AIDI-Label（数据标注系统）、AIDI-Model（模型训练/评测/管理/编译）、AIDI-Eval（智能驾驶评测系统）、AIDI-Issue（问题数据管理）。云端架构优化方案：SoC性能评估、软硬件协同设计、功能安全验证、内存配置评估。标量计算和安全控制计算是规则驱动的逻辑计算，矢量与矩阵/张量计算统称为智能计算。多任务架构多任务模型通过共享网络结构，可在节省存储算力的同时输出多个任务的预测结果，是量产中的主流方案。单任务模型：参数独享、优化目标单一、用途单一；多任务场景下需分别运行多个模型，算力开销大。多任务模型分类：弱参数共享（激活值共享）和强参数共享（共用Backbone，主流）。考虑因素：融合可行性、子任务权重设置、硬件I/O及算力分配、模型输入形式统一。训练方法：Loss加权法、动态任务优先级法。典型方案：OmniDet（环视鱼眼多任务）、YOLOP（目标检测+可行驶区域分割+车道线分割）。逻辑计算与混合计算端到端架构将所有模块基于神经网络设计，传递高维特征信息，实现全局联合优化，代表了智能计算架构2.0的设计范式。传统模块化架构问题：模块间传递结构化信息，信息损失严重；误差无法回传，陷入局部最优。BEV感知架构：将图像视角特征转到BEV空间，统一特征空间下融合，再进行目标检测。端到端架构（UniAD）：将感知、预测、规划等六大子任务整合到统一网络框架下，实现全栈关键任务驾驶通用模型，所有任务达到SOTA。关键计算性能指标智能驾驶计算芯片的性能由TOPS×利用率×每TOPS完成的工作共同决定，真实性能需要硬件+软件+算法一同发力。车规级芯片标准：温度-40~155℃，15年使用寿命，零缺陷率（AEC-Q100）。PPAvsAI时代：传统PPA（功耗、性能、面积）被TOPS取代，但TOPS不能反映真实AI性能，还需考虑利用率和DPS/TOPS。性能指标分类：性能相关（算力TOPS、推理时间、时延、帧率）、准确性相关（计算精度、准确率、召回率、F1）、资源利用（功耗、能耗比、内存带宽）、其他（安全性、可靠性、开放性）。谢谢大家！

36/36智能驾驶与计算架构

第3章

智能驾驶计算芯片

智能驾驶教学团队1芯片技术的演化与发展

2计算芯片分类3计算芯片架构4计算芯片设计智能驾驶计算芯片计算芯片是智能汽车的"数字发动机"，其架构直接决定了智能驾驶硬件和软件的性能上限。本章聚焦智能驾驶计算芯片，介绍芯片技术演化、分类、架构及设计方法学。智能算法演进周期（约14个月计算效率翻倍）与芯片开发周期（3年）之间的矛盾，要求芯片架构必须根据算法特点进行特定优化。学习目标：了解芯片制造的基本流程及相关制程使用场景。了解芯处制造的基本流程、芯片分类的基本逻辑，特别是CPU与GPU的架构异同点。理解SoC的架构演进及其与智能驾驶的关系。理解智能驾驶软硬协同设计的基本概念及相关案例。掌握智能驾驶计算芯片的典型架构，及其对应的基本计算单元、编程模型及指令集概念。芯片技术的演化与发展芯片制造包含设计、晶圆生产、封装和测试四大流程，车载计算芯片已超越手机芯片成为半导体技术的引领者。芯片制造流程：芯片设计（GDSII版图）→晶圆生产（光刻、离子注入）→芯片封装（切Die、基板安装）→芯片测试（FT流程）。摩尔定律：晶体管集成度每18个月增加1倍，但进入后摩尔时代。芯片技术的演化与发展芯片制造包含设计、晶圆生产、封装和测试四大流程，车载计算芯片已超越手机芯片成为半导体技术的引领者。制程选择：车规级芯片一般选择最先进工艺（如7nm/5nm），以满足高算力需求。芯片开发模式：IDM（整合器件制造商）→Fabless+Foundry+OSAT→IP+Fabless+Foundry+OSAT。计算芯片分类——GPU与SoCGPU擅长大规模并行计算，适合深度学习训练与推理；SoC将多种处理器集成在一颗芯片上，成为智能驾驶主流计算芯片形态。CPUvsGPU：CPU擅长复杂逻辑控制（延迟敏感），GPU擅长大规模并发计算（吞吐量敏感）。GPU包含CUDACore、TensorCore（深度学习加速）、RTCore（光线追踪）。SoC（片上系统）：将CPU、GPU、DSP、NPU、调制解调器等集成在一颗芯片上，基于IP设计模式，软硬件协同设计。常见混淆概念：MPU（增强版CPU）、MCU（单片机）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）。典型SoC架构典型智能驾驶SoC采用异构多核架构，包含CPU（逻辑计算）、NPU（智能计算）、GPU（图形处理）、ISP（图像处理）等组件。CPU：大小核设计，运行操作系统、调度任务和处理逻辑控制。NPU：执行深度学习推理，是实现智能驾驶核心算法的关键。GPU：处理图形和图像相关计算，也可用于深度学习推理。ISP：处理图像原始数据（预处理、色彩增强、格式转换），对智能驾驶至关重要。其他组件：SafetyIsland（安全岛）、HSM（硬件安全模块）、NoC（片上网络）。向量计算单元与MAC阵列矩阵计算占据神经网络90%以上的计算量，MAC阵列是NPU加速矩阵运算的核心单元。计算精度裁剪：神经网络鲁棒性高，可通过量化（INT8/INT4）降低计算精度，减少成本。MAC阵列：一个MAC对应一个乘加单元。算力计算公式：TOPS=Freq×MAC_Count×2/1000。存储瓶颈：算力提升后，DDR带宽可能成为瓶颈，需采用多级存储结构（L0/L1缓存）缓解。编程模型与指令集统一编程模型（如CUDA）能高效支撑上层算法开发，而指令集的可扩展性决定了芯片对算法演进的适应能力。编程模型：连接算法和处理器架构，逼近性能极限。英伟达CUDA是最知名的编程模型，拥有400万开发者。编程模型与指令集特斯拉FSD指令集：仅8条指令（DMARead/Write、Convolution、Deconvolution、Inner-product、Scale、Eltwidth、Stop），针对神经网络操作极致优化。开源指令集RISC-V：模块化设计、开放免费，适用于碎片化和可定制化场景（如智能驾驶）。特斯拉Dojo和MobileyeEyeQUltra均采用RISC-V。编程模型与指令集开源指令集RISC-V：模块化设计、开放免费，适用于碎片化和可定制化场景（如智能驾驶）。特斯拉Dojo和MobileyeEyeQUltra均采用RISC-V。英伟达GPU与地平线BPU计算芯片架构在应用场景和算法需求的驱动下不断演进，英伟达GPU从Kepler到Blackwell，地平线BPU从伯努利到纳什。英伟达GPU演进：Kepler（2012）→Maxwell（2014）→Pascal（2016，首个考虑深度学习的架构）→Turing（2018，引入RTCore）→Ampere（2020，TensorCore升级）→Blackwell（2024，引入FP4/FP6）。地平线BPU演进：伯努利（Bernoulli，针对MobileNet/Depthwise优化）→贝叶斯（Bayes，针对Transformer/BEV/LSTM优化）→纳什（Nash，针对端到端/大规模Transformer/交互博弈优化）。存算一体架构存算一体技术将计算单元与存储单元融合，从根本上缓解冯·诺依曼架构的"存储墙"和"功耗墙"问题。冯·诺依曼瓶颈：处理器和存储器之间频繁数据搬运，消耗大量功耗和延迟（智能计算超过50%的功耗来自数据搬运）。存算一体原理：将运算器和存储器集成在一起，数据在存储位置直接计算，能效比相比GPU提升一至两个数量级。产业进展：特斯拉Dojo、后摩智能（鸿途H30，256TOPS，35W）等已推出存算一体芯片。计算芯片设计面向智能驾驶的计算芯片设计需在高性能、异构计算、高能效比、软硬协同和安全可靠性之间取得平衡。软硬协同设计（以Transformer优化为例）：乘加单元（MAC）设计、FC层优化（利用稀疏特性）、卷积设计（针对ViT的Conv4×4优化）、Integer-Only逼近计算。计算芯片设计面向智能驾驶的计算芯片设计需在高性能、异构计算、高能效比、软硬协同和安全可靠性之间取得平衡。互联与存储设计：内存带宽是制约有效算力的关键因素，NVLink（最高900GB/s）和HBM3e（4.8TB/s）不断提升片间通信带宽。安全设计：车规安全（AEC-Q100）、功能安全（ISO26262，ASIL-B及以上）、信息安全（ISO21434）。采用锁步核、冗余执行、安全岛（FSI）、硬件安全模块（HSM）等措施。谢谢大家！

36/36智能驾驶与计算架构

第4章

智能驾驶硬件平台

智能驾驶教学团队1智能驾驶基础硬件平台_x0008_

2硬件平台设计方案3硬件平台设计规范4案例：典型计算平台智能驾驶计算概述智能驾驶硬件平台包括传感器、计算平台、通信和定位系统等多个关键部分，共同实现感知、决策和控制功能。本章在第3章芯片基础上，学习硬件平台基础架构、不同等级下的设计方案，以及典型计算平台案例。学习目标：了解智能驾驶硬件平台常见主流计算架构。了解不同等级下的智能驾驶硬件设计方案及典型案例。理解智能驾驶硬件设计规则中的安全性要求基本原理。掌握智能驾驶硬件平台常见传感器及其布局。硬件单元摄像头是智能驾驶最核心的传感器，按镜头和布置方式分为单目、双目、三目和环视四种类型。单目：算法成熟，但视野与远距离不可兼得，测距精度低。双目：通过像素偏移量和基线计算深度，但标定要求高。三目：三个不同焦距摄像头（窄视野250m、主视野150m、宽视野60m），弥补视野与距离矛盾。环视：鱼眼镜头，安装于前后保险杠和左右后视镜，拼接成俯视图（AVM），用于5~10m内障碍物检测和泊车。传感器布局传感器布局与智能驾驶功能等级密切相关，L2以朝前为主，L2+需要360°覆盖，泊车场景依赖鱼眼摄像头。L2：面向高速，传感器以朝前为主（摄像头、毫米波雷达、固态激光雷达覆盖前视）。L2+：面向城区，前视采用中远近三目（最远250m），周视采用多个窄角摄像头构成360°覆盖。泊车：4颗鱼眼摄像头（安装位置低）+超声波传感器+角雷达，覆盖20m内近距离环境。真实案例：小鹏XPILOT3.0（13摄像头、5毫米波雷达、12超声波）；小马智行第六代（23个传感器，含4个固态激光雷达）。激光雷达激光雷达具有测距精度高（毫米级）、探测距离远（最远300m）的特点，但成本高且易受雨雪天气影响。工作原理：发射激光脉冲，接收反射信号，获取距离、方位、高度、速度等参数。激光雷达激光雷达具有测距精度高（毫米级）、探测距离远（最远300m）的特点，但成本高且易受雨雪天气影响。点云数据处理：数据预处理→聚类（距离/反射强度）→特征提取→分类。应用：障碍物检测与分割、可通行空间检测、高精地图制图与定位、障碍物轨迹预测。控制单元与ECU演进域控制器（DCU）将分散的ECU集中化，是汽车电子电气架构从分布式向中央计算演进的关键。ECU分类：传感器ECU（识别环境）、主ECU（数据处理和判断）、执行元件ECU（驾驶操作）。域型vs区型：域型按功能分组（ADAS/座舱/底盘），区型按车身位置集中，中央计算机统一处理。控制单元与ECU演进域控制器（DCU）将分散的ECU集中化，是汽车电子电气架构从分布式向中央计算演进的关键。DCU优势：整合多个ECU，实现信息互联互通和资源共享，软件可升级，降低线束复杂度。EEA演进：分布式（L0~L2）→域集中式（L3开始）→中央计算（特斯拉Model3）。GPS与IMUGPS+IMU是自动驾驶领域的"黄金搭档"，GPS提供全局修正，IMU提供高频位姿推算。GPS：三角定位法，差分GPS可将精度从10m提升至米级。高楼环境存在遮挡和多路径信号问题，频率仅10Hz。IMU：以牛顿力学定律为基础，测量加速度和角速度，积分得速度和位置。频率>100Hz，短期精度高但累积误差大。融合机制：每100ms用GPS修正，中间IMU预测9次，实现100Hz高频稳定定位输出。硬件平台设计方案自动驾驶分级（NHTSA/SAE/国内）从L0到L5，L3是驾驶员与系统责任转移的重要分水岭。NHTSA（4级）：L0无自动化、L1特定功能、L2组合功能、L3有限度自动驾驶、L4全自动驾驶。SAE（6级）：L0无自动化、L1驾驶辅助、L2部分自动化、L3有条件自动化、L4高度自动化、L5完全自动化。国内（GB/T40429—2021）：0级应急辅助、1级部分驾驶辅助、2级组合驾驶辅助、3级有条件自动驾驶、4级高度自动驾驶、5级完全自动驾驶。不同等级硬件设计方案L2+行泊一体方案追求高性价比，而全场景智能驾驶方案（SuperDrive）追求拟人化体验和端到端技术。HorizonMono2（高性价比）：单颗征程2芯片处理单目前视摄像头，实现FCW、LDW、AEB、ACC、LKA、TJA等ADAS基础功能。不同等级硬件设计方案L2+行泊一体方案追求高性价比，而全场景智能驾驶方案（SuperDrive）追求拟人化体验和端到端技术。HorizonMono3（高性能）：单颗征程3芯片处理前视摄像头+多模态融合，支持RampMI/O、CAA、CIP、ISR、LLN、VFP等高级功能，并支持行泊一体。不同等级硬件设计方案L2+行泊一体方案追求高性价比，而全场景智能驾驶方案（SuperDrive）追求拟人化体验和端到端技术。HorizonSuperDrive：全场景智能驾驶方案，动态/静态/Occupancy三网合一的端到端感知架构，搭配征程6芯片，支持城区NOA。硬件平台设计规范高级别自动驾驶域控制器硬件通用设计规范》从电源、通信、计算、存储、散热、结构、安全与冗余等方面给出了通用设计建议。异构硬件总体设计：电源单元、低速通信单元（CAN/LIN/DSI3）、高速通信单元（MIPI/以太网）、异构分布式计算单元（SoC+MCU）、存储单元（DDR/eMMC/UFS）、散热单元、结构单元、安全与冗余单元。功能安全：需满足ISO26262ASIL等级要求，采用多通道设计、故障检测回路、冗余设计等。ASIL等级确定：考虑严重度（S）、暴露概率（E）和可控性（C）。硬件平台设计规范高级别自动驾驶域控制器硬件通用设计规范》从电源、通信、计算、存储、散热、结构、安全与冗余等方面给出了通用设计建议。功能安全：需满足ISO26262ASIL等级要求，采用多通道设计、故障检测回路、冗余设计等。ASIL等级确定：考虑严重度（S）、暴露概率（E）和可控性（C）。典型计算平台特斯拉Hardware和英伟达DrivePX系列代表了智能驾驶计算平台的两大技术路线——全栈自研与平台赋能。TeslaHW3.0：双FSD芯片（14nm），每颗含2个NPU，总算力144TOPS，72W功耗，支持8摄像头+12超声波+雷达。HW4.0升级为7nm工艺，算力提升3倍。NVIDIADrivePX2：双Tegra+双PascalGPU，8TFLOPS，支持L3/L4。DrivePXXavier：30TOPS，30W，支持L4/L5。DrivePXPegasus：320TOPS，支持L5。DriveOrin：254TOPS，ARMHerculesCPU+AmpereGPU+深度学习加速器。典型计算平台MobileyeEyeQ系列从EyeQ1到EyeQUltra，算力从0.0044TOPS提升至176TOPS，覆盖L1到L5级自动驾驶。EyeQ1（2004）：0.0044TOPS，基础ADAS。EyeQ3（2014）：0.256TOPS，支持ACC、自动泊车，TeslaAP1.0搭载。EyeQ4（2018）：2.5TOPS，支持L2+（全自动泊车、TJA、LKA）。EyeQ5（2020）：16TOPS，支持L4/L5，多传感器融合。EyeQ6（2024）：34TOPS，分High（自动驾驶）和Lite（智能座舱）版本。EyeQUltra（2025预计）：176TOPS，专为L4/L5设计。谢谢大家！

36/36智能驾驶与计算架构

第5章

智能驾驶软件平台

智能驾驶教学团队1软件平台分类

2嵌入式底层软件3算法工具链4智能驾驶应用开发套件智能驾驶计算概述软件平台是在传感器、控制器和整车系统上的横向整合与纵向划分，包含感知、决策、执行、通信、平台管理等多个层次。本章介绍软件平台分类、嵌入式底层软件、功能安全、算法工具链、嵌入式应用开发平台。学习目标：了解嵌入式底软的常见模块及模块间关系，详细了解BSP关键技术内容。理解功能安全产生的原因，了解功能安全开发流程、开发工具及相关架构。掌握模型压缩及编译基本原理，并了解常见方法。掌握训练后量化（PTQ）及量化感知训练（QAT）基本原理，并实现工具链实操。智能座舱智能驾驶软件开发面临"V模型"过程重和"原型迁移"一致性难的双重挑战，需从横向解耦和纵向分层两方面应对。"V"模型挑战：需求/设计/开发分离；多次分解易变形；集成成本高。原型系统迁移挑战：原型与量产架构差异大；迁移过程重；性能优化成本高。解决方案：横向——架构解耦（SOA），简化分工界面；纵向——分层简化认知，开发者只关注所在层。智能座舱智能驾驶软件开发面临"V模型"过程重和"原型迁移"一致性难的双重挑战，需从横向解耦和纵向分层两方面应对。解决方案：横向——架构解耦（SOA），简化分工界面；纵向——分层简化认知，开发者只关注所在层。嵌入式底层软件车载操作系统是软件中枢，管控硬件能力，为应用提供运行环境，智能座舱和智能驾驶对操作系统的需求有显著差异。智能座舱OS需求：多媒体处理、用户界面交互、个性化服务、设备集成、网络连接。智能驾驶OS需求：实时性和可靠性、高级数据处理、安全防护、冗余设计、OTA更新、功能安全认证（ISO26262）。嵌入式底层软件车载操作系统是软件中枢，管控硬件能力，为应用提供运行环境，智能座舱和智能驾驶对操作系统的需求有显著差异。常见座舱OS：AndroidAutomotiveOS、QNX、AGL、TeslaOS。常见智驾OS：QNXOS、VxWorks、SafetyEnhancedLinux。AUTOSAR：CP（静态架构，高实时性）和AP（动态架构，支持POSIX）。驱动与固件智能驾驶系统依赖多种总线驱动（UART/SPI/I2C/USB/MIPI/CAN/以太网等）和固件（MCU/DDR/Camera/DSP/NPU等）实现硬件功能。常见总线：UART（调试/GPS）、SPI（MCU通信）、I2C（图像传感器）、USB（存储/调试）、MIPI（摄像头/显示）、CAN（车身控制）、以太网（芯片间通信）、EMMC/UFS（存储）、PCIe（芯片互联）。固件：MCU固件、DDR固件、Camera固件、EMMC固件、DSP固件、NPU固件、安全固件。固件中的OS：FreeRTOS、OP-TEEOS、ThreadX、RT-Thread。BSP关键技术板级支持包（BSP）是连接硬件和操作系统的关键软件层，涉及安全启动、虚拟化、功能安全、性能优化等核心技术。安全启动：通过芯片内置密钥和ROM代码，逐级校验启动代码，防止篡改和回滚。虚拟化技术：在同一硬件上虚拟多个虚拟机（ASIL-D/ASIL-B/QM），实现不同安全等级应用隔离。BSP关键技术板级支持包（BSP）是连接硬件和操作系统的关键软件层，涉及安全启动、虚拟化、功能安全、性能优化等核心技术。容器技术：轻量级虚拟化（Docker），共用HostOS内核，隔离应用环境。跟踪与调试：JTAG（下载/调试/边界扫描）、TRACE32、DS5、LinuxKDB/KGDB。性能优化：perf工具分析热点火焰图，优化性能瓶颈。功能安全功能安全ISO26262通过V模型开发流程和ASIL等级确保系统在故障时安全响应，E-Gas三层监控架构是功能安全的经典实现。ISO26262关键内容：风险分析和管理、系统性和随机性硬件故障、功能安全评估、ASIL等级（A-D）、安全生命周期。SOTIF（ISO/PAS21448）：处理无硬件故障时因功能不足导致的不安全性，与ISO26262互补。E-Gas三层架构：Level1（功能实现层，QM开发）、Level2（功能监控层，监控Level1）、Level3（控制器监控层，硬件诊断+独立监控+程序流检查）。算法工具链工具链是算法与芯片的桥梁，通过模型量化、图优化和编译，使模型在芯片上高效运行。模型量化：PTQ（训练后量化）和QAT（量化感知训练），将FP32模型转为INT8。模型图优化：算子融合、层合并。模型编译：将模型转换为推理芯片可识别的指令与数据，需合理设计各层特征图尺寸。模型压缩方法：知识蒸馏（KD）、轻量化模型架构、剪枝（结构化/非结构化）、量化。算法工具链工具链是算法与芯片的桥梁，通过模型量化、图优化和编译，使模型在芯片上高效运行。模型编译：将模型转换为推理芯片可识别的指令与数据，需合理设计各层特征图尺寸。模型压缩方法：知识蒸馏（KD）、轻量化模型架构、剪枝（结构化/非结构化）、量化。统一异构计算架构统一异构计算架构（UCP）通过统一的编程接口，实现对CPU、GPU、NPU、DSP等异构计算资源的统一调度和管理。UCP构成：前端API（视觉处理VP、神经网络NN、高性能库HPL、插件）、执行服务（任务调度、引擎管理）、后端（DSP/BPU/Stitch/Pyramid/GDC/JPU/VPU）统一异构计算架构统一异构计算架构（UCP）通过统一的编程接口，实现对CPU、GPU、NPU、DSP等异构计算资源的统一调度和管理。VP模块：作用于模型前后处理，封装图像处理硬件调用，通过设置Backend选择不同硬件方案。算子执行流程：准备输入输出→创建算子任务→提交任务（指定Backend）→等待任务完成→销毁任务。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。浮点模型准备：导出为ONNX中间格式。模型检查：通过工具检查算子是否符合约束表。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。模型转换：输入数据处理、模型优化编译（解析→优化→校准→量化→编译）。性能评估：通过hb_perf或静态评估文件（model.html）分析FPS。精度调优：调整校准方法（kl/max/mse/percentile/mix）、调整计算精度（int8/int16/float16/float32）。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。模型转换：输入数据处理、模型优化编译（解析→优化→校准→量化→编译）。性能评估：通过hb_perf或静态评估文件（model.html）分析FPS。精度调优：调整校准方法（kl/max/mse/percentile/mix）

调整计算精度（int8/int16/float16/float32）。量化感知训练（QAT）实践QAT通过在浮点模型中插入伪量化节点模拟量化误差，通过训练使模型在量化后保持高精度。浮点模型要求：必须可正确完成symbolic_trace，避免量化不友好操作（softmax/layernorm、共享算子多次调用等）。QConfig：设置input/weight/output的量化配置（FakeQuantize/FakeCast）。量化感知训练（QAT）实践QAT通过在浮点模型中插入伪量化节点模拟量化误差，通过训练使模型在量化后保持高精度。prepare流程：算子替换、算子融合、算子转换、模型结构检查。Calibration：确定量化参数（min_max/percentile/mse/kl/mix），需10~100step校准数据。混合精度调优：int8→int8/int16→int16/fp16→int8/int16/fp16，逐步增加高精度算子比例。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。准备浮点模型：使用torchvision导出resnet18.onnx。校准集准备：从ImageNet取100张图片，进行resize(256)→center_crop(224)→归一化→转为NCHW格式。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。生成板端模型：命令行方式（hb_compile+yaml）或PTQAPI方式。构建板端示例：准备依赖库→开发推理代码→交叉编译生成可执行程序。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。板端运行：将程序、模型、输入数据、依赖库整合到板端，配置LD_LIBRARY_PATH并运行。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。核心基座：应用开发框架与服务、开发与验证工具、标准化接口与协议。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。传感器接入框架：插件化管理，支持Camera/Lidar/Radar/GPS/IMU等。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。通信框架：支持多种协议和通信模式（Publish/Subscribe、Client/Service、Action）。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。数据流开发框架：支持Node和Module编程接口，提供四种调度器。统一异构加速库：提供CV算子的硬件加速。量产基础设施：时间同步、UCM升级、诊断管理等。谢谢大家！

36/36智能驾驶与计算架构

第6章

智能驾驶云端平台

智能驾驶教学团队1云端平台架构

2数据闭环3云端开发流程4面向智能驾驶的数字孪生智能驾驶计算概述云端平台是智能驾驶算法研发的基础平台，覆盖数据管理、标注、模型训练、测试仿真全流程，驱动算法快速迭代。本章从云端平台架构出发，详细介绍数据闭环、算法研发、车云协同及数字孪生等核心技术。学习目标：了解云端架构的基本模块及与智能驾驶车云协同方法。理解数据闭环在智能驾驶开发及OTA中的关键作用。理解数据采集、标注、训练及评测仿真中的关键步骤及闭环关系。掌握智能驾驶云端开发流程以及关键环节的相互依赖关系。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。基础设施平台：计算平台（GPU/CPU集群调度）、存储平台（分布式文件系统/对象存储）、湖仓平台（融合数据湖灵活性+数据仓库结构化）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。基础设施平台：计算平台（GPU/CPU集群调度）、存储平台（分布式文件系统/对象存储）、湖仓平台（融合数据湖灵活性+数据仓库结构化）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。基础设施平台：计算平台（GPU/CPU集群调度）、存储平台（分布式文件系统/对象存储）、湖仓平台（融合数据湖灵活性+数据仓库结构化）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。自动驾驶中台：车云系统（车辆管理/数据上传/OTA下发）、数据处理（入库/检索/标签挖掘）、数据标注（工具/项目管理）、模型训练（实验/评测/发布）、测评仿真（回灌/仿真/评价）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。自动驾驶中台：车云系统（车辆管理/数据上传/OTA下发）、数据处理（入库/检索/标签挖掘）、数据标注（工具/项目管理）、模型训练（实验/评测/发布）、测评仿真（回灌/仿真/评价）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。自动驾驶中台：车云系统（车辆管理/数据上传/OTA下发）、数据处理（入库/检索/标签挖掘）、数据标注（工具/项目管理）、模型训练（实验/评测/发布）、测评仿真（回灌/仿真/评价）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。自动驾驶中台：车云系统（车辆管理/数据上传/OTA下发）、数据处理（入库/检索/标签挖掘）、数据标注（工具/项目管理）、模型训练（实验/评测/发布）、测评仿真（回灌/仿真/评价）。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。自动驾驶中台：车云系统（车辆管理/数据上传/OTA下发）、数据处理（入库/检索/标签挖掘）、数据标注（工具/项目管理）、模型训练（实验/评测/发布）、测评仿真（回灌/仿真/评价）。云端计算芯片云端训练用芯片以NVIDIAGPU为主（H100/A100），推理回灌可用车用芯片（如J5）构建物理集群，更贴近端侧真实情况。NVIDIAH100（Hopper架构）：800亿晶体管，Transformer引擎（FP8/FP16混合精度），第四代NVLink（900GB/s），机密计算，MIG多实例，DPX动态编程指令（比CPU快40倍）。J5-PCIE回灌模式：通过PCIE将J5芯片插入主机主板，构建车载芯片物理/虚拟集群，用于回灌测试。车云协同与OTA车云协同通过4G/5G和影子模式实现数据采集与算法迭代，OTA是智能驾驶持续进化的关键基础设施。车云连接技术：HTTP/HTTPS、MQTT、WebSocket。影子模式：自动驾驶系统与人类驾驶员并行决策，虚拟执行并记录差异，用于事后分析和算法改进。OTA升级：FOTA（固件升级，完整镜像）和SOTA（软件升级，增量补丁）。端云安全通信需加密、签名、安全芯片校验。OTA架构：OTAManager（管理更新过程）+UpdateAgent（适配不同ECU接口）。数据闭环概述数据闭环是"采、存、筛、标、训、测、发"七环节的持续循环，是智能驾驶系统持续进化的核心范式。采：车端采集特定场景数据（Trigger机制）。存：存储数据，保证安全、质量和规模。筛：建立训练集和评测集，分类badcase。标：2D/4D标注，或基于LiDAR真值生成。训/测：模型训练、评测和badcase回归。发：发布验证的软件版本（OTA）。数据闭环云端平台地平线艾迪（AIDI）平台是端到端的数据驱动与闭环迭代解决方案，包含数据、标注、模型、问题、感知、车云和仿真七大系统。AIDI-Data：数据入库、检索、管理，支持标签挖掘。AIDI-Label：数据标注系统，支持2D/3D/4D/视频/语音标注。AIDI-Model：模型训练、评测、编译和发版。AIDI-Issue：问题数据管理、场景集管理、回灌回归测试。AIDI-Eval：感知评测系统，支持端云一致的板端回灌仿真。AIDI-Fleet：车云系统，支持数据上云和软件下发。数据采集与入库数据采集通过FleetSDK将车端数据上传云端，入库时自动解析、抽帧和标签挖掘，为后续检索和标注奠定基础。采集方式：硬盘上传（采集车）或自动Trigger回传（量产车）。创建车型与车辆录入：录入车型参数和车辆信息。数据入库：自动定时扫描或手动创建任务，通过pipeline解析原始数据。数据抽帧：内置2D/3D抽帧算法，将视频转为图片。数据采集与入库数据采集通过FleetSDK将车端数据上传云端，入库时自动解析、抽帧和标签挖掘，为后续检索和标注奠定基础。采集方式：硬盘上传（采集车）或自动Trigger回传（量产车）。创建车型与车辆录入：录入车型参数和车辆信息。数据入库：自动定时扫描或手动创建任务，通过pipeline解析原始数据。数据抽帧：内置2D/3D抽帧算法，将视频转为图片。数据标签与检索通过Tagging为数据添加语义描述（tags），支持通过SDK或Web进行高效检索，快速定位特定场景数据。Tagging流程：Pack入库→抽帧→刷库→回灌→生成tags→存入数据库。Tag格式：image/packtag、adaspackcliptag（含时间片段）、mergedadaspackcliptag。数据检索：支持语句检索和图文检索数据标签与检索通过Tagging为数据添加语义描述（tags），支持通过SDK或Web进行高效检索，快速定位特定场景数据。Tagging流程：Pack入库→抽帧→刷库→回灌→生成tags→存入数据库。Tag格式：image/packtag、adaspackcliptag（含时间片段）、mergedadaspackcliptag。数据检索：支持语句检索和图文检索数据标注与模型训练数据标注是模型训练的基础，AIDI-Label提供10种标注工具，AIDI-Model支持大规模分布式训练和多机训练。标注流程：创建送标任务→关联标注项目→分配标注资源→标注+质检→验收→复盘。标注工具：2D多图元标注、框点、区域分割、分类、文本、语音、3D点云追逐/分割、视频标注、4D标注。模型训练：支持PyTorch/TensorFlow，通过DAG任务流管理，支持多机多卡训练。模型评测：支持准确率、召回率、精度等指标，支持多次预测结果对比可视化。模型编译与发版：支持剪枝、量化、蒸馏优化，转换为板端hbm模型。数据标注与模型训练数据标注是模型训练的基础，AIDI-Label提供10种标注工具，AIDI-Model支持大规模分布式训练和多机训练。标注流程：创建送标任务→关联标注项目→分配标注资源→标注+质检→验收→复盘。标注工具：2D多图元标注、框点、区域分割、分类、文本、语音、3D点云追逐/分割、视频标注、4D标注。模型训练：支持PyTorch/TensorFlow，通过DAG任务流管理，支持多机多卡训练。模型评测：支持准确率、召回率、精度等指标，支持多次预测结果对比可视化。模型编译与发版：支持剪枝、量化、蒸馏优化，转换为板端hbm模型。测评仿真处理器在环（PIL）回灌测试是量产项目验证的重要手段，大幅降低测试成本和时间，提升软件可靠性。回灌流程：创建回灌任务（选择业务项目、设备类型J5、输入数据、软件包）→运行回灌→产出感知/规控结果。仿真测试：基于自研工具+外采工具（51SimOne），以SIL形态服务规控评测。评价服务：基于不同软件版本在回灌/仿真中生成的新数据，与真值进行关联对比，输出统计报表。测评仿真处理器在环（PIL）回灌测试是量产项目验证的重要手段，大幅降低测试成本和时间，提升软件可靠性。回灌流程：创建回灌任务（选择业务项目、设备类型J5、输入数据、软件包）→运行回灌→产出感知/规控结果。仿真测试：基于自研工具+外采工具（51SimOne），以SIL形态服务规控评测。评价服务：基于不同软件版本在回灌/仿真中生成的新数据，与真值进行关联对比，输出统计报表。测评仿真处理器在环（PIL）回灌测试是量产项目验证的重要手段，大幅降低测试成本和时间，提升软件可靠性。回灌流程：创建回灌任务（选择业务项目、设备类型J5、输入数据、软件包）→运行回灌→产出感知/规控结果。仿真测试：基于自研工具+外采工具（51SimOne），以SIL形态服务规控评测。评价服务：基于不同软件版本在回灌/仿真中生成的新数据，与真值进行关联对比，输出统计报表。面向智能驾驶的数字孪生数字孪生通过场景库素材重建、场景合成与仿真三个环节，高效生成极端场景和长尾训练数据，降低测试成本。组成要素：物理实体、虚拟模型（3D/数学模型）、数据连接、功能模块。关键技术：建模技术、传感器技术、数据融合、仿真技术、AI技术。技术挑战：实时性、准确性、数据融合、模型复杂度。价值：降低测试成本、高效提供训练数据（长尾场景）、支持算法原型验证。谢谢大家！

36/36智能驾驶与计算架构

第7章

端到端算法架构

智能驾驶教学团队1端到端概述

2端到端自动驾驶概念3端到端自动驾驶架构4端到端自动驾驶开发5端到端自动驾驶测试6端到端自动驾驶的局限与发展智能驾驶计算概述端到端自动驾驶将感知、预测、规划整合到统一神经网络中，实现信息无损传递和全局优化，是智能驾驶算法架构的革命性方向。本章介绍端到端概述、概念、架构、开发、测试、局限与发展。学习目标：了解端到端算法架构的产生背景及核心模块。了解端到端算法基本架构及4个典型案例。理解端到端智能驾驶算法的相关局限。理解端到端算法架构中核心模块的相互独立及依赖关系。掌握端到端自动驾驶开发及测试的相关原理，以及至少一个端到端算法基本架构。端到端概述——传统模块化问题传统模块化架构在模块间传递结构化信息，存在信息损失和误差累计问题，难以应对复杂长尾场景。传统模块：感知→定位→预测→决策规划→控制。问题：①下游信息缺失；②误差无法通过梯度回传上游；③系统复杂度高，开发维护代价大。端到端优势：①传递隐式高维信息；②规划层误差可回传感知层；③减少模块数。算法架构进化智能驾驶算法架构从2D图像感知到BEV感知预测一体，再到端到端，深度学习覆盖范围持续扩大。第一代：2D图像检测/分割+几何后处理转换到3D空间。第二代：BEV感知（BEVFormer等）+Transformer空间转换。第三代：端到端（感知到规划）。分为两类方案：①快慢系统（系统1直觉+系统2LLM/VLM推理）；②模仿学习（开环仿真训练）。端到端概念辨析端到端的核心定义是"感知信息无损传递和全局优化"，需与决策规划模型化、大模型、世界模型、纯视觉传感器等概念区分。端到端vs决策规划模型化：决策规划模型化只是端到端的必要非充分条件。端到端vs大模型：两者不必然相关，车端"大模型"通常<10亿参数。端到端vs世界模型：世界模型可作数据生成器，或通过微小调整实现OneModel端到端。端到端vs纯视觉：端到端对传感器无特殊要求。端到端架构——商业实践DAVE-2、Wayve和OpenPilot代表了端到端自动驾驶从学术探索到商业化落地的三个里程碑。DAVE-2（2016，英伟达）：基于CNN，输入前方图像直接输出转向角度。Wayve（2018）：结合深度强化学习，系统可在一天内适应复杂城市环境。OpenPilot（comma.ai）：首个大规模商业化的端到端产品，Supercombo模型（EfficientNet+GRU），输出5种轨迹置信度。UniADUniAD是2023年CVPR最佳论文，将检测、跟踪、建图、轨迹预测、占据预测和规划六个子任务整合到统一Transformer框架中。Backbone：BEVFormer提取BEV特征B。Perception：TrackFormer（目标检测+跟踪）+MapFormer（全景分割建图）。Prediction：MotionFormer（联合轨迹预测）+OccFormer（场景占据预测）。Planning：利用自车查询预测规划轨迹，并远离占据区域以避免碰撞。VAD&SparseDriveVAD基于矢量场景表征（非栅格化）大幅提升推理效率；SparseDrive基于稀疏场景表示，性能显著优于UniAD。-**VAD（ICCV2023）**：BEVEncoder→VectorizedMotionTransformer+VectorizedMapTransformer→PlanningTransformer。VADv2采用概率性规划。-**SparseDrive（2024）**：对称稀疏感知模块+并行运动规划器。性能：3D检测mAP+11.6%，规划L2误差降低19.4%。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。VAD（ICCV2023）：BEVEncoder→VectorizedMotionTransformer+VectorizedMapTransformer→PlanningTransformer。VADv2采用概率性规划。智能座舱智能驾驶云端平台分为基础设施平台和自动驾驶中台，提供计算、存储、湖仓和数据标注、训练、仿真等全链路能力。SparseDrive（2024）：对称稀疏感知模块+并行运动规划器。性能：3D检测mAP+11.6%，规划L2误差降低19.4%。PARA-DrivePARA-Drive通过模块放置、信息流和模块必要性的系统实验，提出并行化模块化自动驾驶堆栈，性能显著优于先前工作。关键发现：①删除某些模块间连接可显著提升性能；②移除任何辅助任务都会降低规划性能；③高维潜在查询传递比紧凑BEV特征带来更强性能提升。架构：在线建图+跟踪与运动预测+占据预测+运动规划。模型设计与模仿学习端到端模型设计需整合感知和规划子模型，模仿学习是主要训练方式，但面临因果混淆和误差累积问题。模型设计：感知子模型（复用现有多任务感知模型）+规划子模型（含时序融合的Transformer）。模仿学习（IL）：通过行为克隆（BC）监督学习专家轨迹。因果混淆：模型学到"惯性外推"策略（copycat）。缓解方法：减弱感知时序融合、DAgger、dropout历史信息、分离惯性分量。误差累积：模型偏差持续放大。缓解方法：数据增强、DAgger。强化学习、数据工程与辅助监督强化学习可通过仿真环境训练但成本高；数据工程（DAgger）和辅助监督对提升端到端模型性能至关重要。强化学习：在仿真环境（CARLA）中通过试错学习策略。改进：多阶段训练、RL作为IL的"教练"（ROACH）。数据工程：①数据收集需"好驾驶员"；②标签构建（场景/天气/自车意图）；③DAgger；④数据集构建需管理丰富度和难例比例。辅助监督：感知真值监督、自车意图预测、其他智能体轨迹预测、安全性碰撞损失（IoU）。端到端测试、局限与发展端到端开环测试效率高但易受惯性外推影响，闭环测试更真实但成本高；端到端仍面临可解释性、长程规划、数据和算力需求等局限。开环测试：回放录制数据，评价轨迹精度。问题：易受惯性外推影响。闭环测试：系统输出实时影响输入。方法：传统仿真器（CARLA）、图像Warp、场景重建（3DGS）、生成式世界模型。局限：①可解释性低；②不具备长程规划能力；③不具备复杂博弈能力；④数据和计算需求过高。