智能驾驶与计算架构（上篇共上中下3篇）

智能驾驶与计算架构

第1章

智能驾驶计算概述

智能驾驶教学团队1智能驾驶

2智能驾驶计算智能驾驶计算概述计算是智能驾驶的基石，贯穿传感器数据处理、决策控制、算法研发及车云协同全链条。本章作为导论章节，将详细介绍智能驾驶相关概念及智能驾驶中所涉及的计算，进而引出计算平台的概念。学习目标：了解智能座舱、自动驾驶、辅助驾驶及智能泊车的区别与联系；理解自动驾驶等级分类；掌握智能驾驶计算的基本类型及混合计算中的关键环节。智能座舱智能座舱集成了信息娱乐、人机交互和传感器技术，为驾乘人员提供智能化、舒适化、安全化的车内环境。智能座舱是指集成了多种先进技术和功能，为驾乘人员提供更加智能化、舒适化、安全化的车内环境的汽车座舱系统。核心技术：信息娱乐系统（高清显示屏、音频、导航）、人机交互技术（语音识别、手势控制、触摸操作）、传感器技术（摄像头、毫米波雷达、超声波传感器）。功能特点：智能化（计算和处理能力）、舒适化（座椅加热/通风/按摩、自动空调）、安全化（碰撞预警、自动紧急制动、疲劳驾驶监测）。驾驶自动化分级我国《汽车驾驶自动化分级标准》将驾驶自动化分为0~5级，L3级是驾驶员与系统责任转移的重要分水岭。0级（应急辅助）：仅提供车道偏离预警、前碰撞预警、AEB等应急辅助功能。1级（部分驾驶辅助）：驾驶员和系统共同掌握驾驶权，系统对横向或纵向进行控制（如ACC）。2级（组合驾驶辅助）：系统对横向和纵向进行控制（如ACC+LKA）。3级（有条件自动驾驶）：在设计运行条件下，系统完成全部动态驾驶任务，系统无法应对时由用户接管。4级（高度自动驾驶）：在设计运行条件下，系统完成全部驾驶任务并执行接管，无需驾驶员干预。5级（完全自动驾驶）：系统在任何条件下完成全部动态驾驶任务，无设计运行条件限制。智能驾驶汽车的组成智能驾驶汽车作为一个可被控制的人工系统，由硬件、软件和算法与模型三大部分构成。硬件：传感器（摄像头、激光雷达、毫米波雷达）、V2V通信、执行器（发动机、方向盘等），以及GPS+IMU定位系统。软件：感知模块（传感器数据融合、障碍物识别、高精度定位）、规划模块（任务规划、行为规划、动作规划）、控制模块（反馈控制）。算法与模型：感知模块涉及深度学习、SLAM、多传感器融合；规划模块涉及图搜索、有限状态机、路径规划；控制模块涉及PID、MPC。辅助驾驶——纵向与侧向功能辅助驾驶的目标是减少驾驶疲劳和提升安全性，通过纵向和侧向功能的组合解决"鬼探头"和"换道盲区"等痛点。纵向功能（速度控制）：FCW（前向碰撞预警）、RCW（后向碰撞预警）、AEB（自动紧急制动）、ACC（自适应巡航控制）、AMAP（加速踏板防误踩）。侧向功能（转向控制）：LDW（车道偏离预警）、LCW（变道碰撞预警）、BSD（盲区监测）、LKA（车道保持辅助）。ADAS——信息辅助与控制辅助ADAS分为信息辅助类和控制辅助类，共包含数十项功能，覆盖行车监控、危险预警、驾驶便利、紧急应对、车道保持和智能灯光等场景。信息辅助（IA）：行车监控类（TSR、ISLI、AVM等）、危险预警类（DFM、FCW、LDW等）、驾驶便利类（HUD、NV、RCA等）。ADAS——信息辅助与控制辅助ADAS分为信息辅助类和控制辅助类，共包含数十项功能，覆盖行车监控、危险预警、驾驶便利、紧急应对、车道保持和智能灯光等场景。控制辅助（CA）：紧急应对类（AEB、EBA、AES等）、驾驶便利类（ISLC、ACC、IPA等）、车道保持类（LKA、LCC、LDP）、智能灯光类（ADB、AFL）。智能驾驶现状泊车场景用户痛点深、技术难度中等、量产落地机会大，是主机厂和供应商的兵家必争之地。AVM（L0）：环视摄像头拼接鸟瞰图，显示障碍物距离和雷达报警。APA（L2）：系统控制车辆按照选择的轨迹泊入/泊出，驾驶员随时准备接管。RPA（L2）：驾驶员在车外通过手机App/车钥匙控制泊入泊出。HPA（L3）：车辆学习并记忆用户常用路线，自主泊入/泊出，用户可在车外监控。AVP（L4）：基于高精地图，车辆自动搜索车位、泊入/泊出及远程接驾，支持闸机通行、路口通行等功能。智能驾驶计算——计算类型智能驾驶是典型的混合计算载体，涵盖标量计算、矢量计算、矩阵/张量计算和安全控制计算四种类型。标量计算（CPU）：路径规划、决策、卡尔曼滤波等。矢量计算（DSP/GPU）：图像处理、视频拼接等。矩阵/张量计算（NPU）：卷积运算、深度学习推理等。安全控制计算（MCU）：面向控制，要求ASIL-D级别。标量计算和安全控制计算是规则驱动的逻辑计算，矢量与矩阵/张量计算统称为智能计算。智能计算的发展智能计算从传统算法演进到端到端深度神经网络，对算力的需求呈指数级增长。VaMoRs（1987）：基于4D动态视觉模型和卡尔曼滤波，用多个Intel8086处理器实现高速自动驾驶。ALVINN（1989）：首辆运用神经网络控制的自动驾驶汽车，通过观察人类驾驶学习，但受限于当时硬件算力。Cybercab（2024）：特斯拉推出的无人驾驶出租车，基于FSDV12端到端神经网络，无方向盘和踏板，是L5自动驾驶雏形。逻辑计算与混合计算逻辑计算基于规则和推理，而智能驾驶的感知、决策和控制三个核心模块均为典型的混合计算。逻辑计算：使用逻辑规则和推理处理信息，包括真值表、逻辑表达式树、流程图、状态转移图等。环境感知计算：视觉感知（深度学习）、雷达感知（信号处理）、多传感器融合（数据对齐/特征融合）的混合。决策规划计算：行为决策（规则/机器学习/强化学习）与路径规划（全局/局部）的混合。控制执行计算：车辆动力学控制（PID/MPC）与执行器控制的混合。谢谢大家！

36/36智能驾驶与计算架构

第2章

智能驾驶计算架构

智能驾驶教学团队1计算架构分类

2核心计算架构3关键计算性能指标智能驾驶计算概述智能驾驶计算架构是支撑智驾功能的软硬件体系结构，包含芯片、硬件、软件、云端及算法五大核心模块。智能驾驶计算架构是一个复杂的系统工程，需要硬件和软件的协同发展，以及跨学科的技术创新。本章将系统学习智能驾驶计算架构分类、核心架构概念及评价指标，是后续第3~7章的导论。学习目标：了解智能驾驶计算架构的标准范式及相关案例。了解芯片、硬件、软件、云端及算法架构的相关组成部分。理解芯片、硬件、软件、云端及算法的关系及架构融合方法。掌握智能驾驶计算架构的常见性能指标及评价方法。计算架构分类现代计算架构趋向于集成不同类型的计算单元（CPU、GPU、NPU），形成强大的系统级芯片（SoC）。核心模块：处理器架构（CPU、GPU、DSP、NPU）、存储架构（RAM、ROM、缓存层次）、总线与互联架构、软件架构、硬件架构。全栈计算架构范式（7层）：云端平台→算法应用→基础库（框架）→系统软件（中间件/内核/BSP）→系统硬件（MCU/MPU）→外围硬件（传感器/域控制器）→车辆平台。计算架构分类厂商案例：特斯拉、蔚来、华为、集度各有特色的计算架构。产业协作模式智能驾驶产业链从垂直链状走向融合网状，域控制器设计与生产存在五种业务模式。五种业务模式：模式一（主机厂委托代工）、模式二（Tier1提供域控制器，最普遍）、模式三（Tier1.5主攻基础软件平台）、模式四（Tier0.5源于主机厂全栈自研诉求）、模式五（系统集成商委托ODM/OEM代工）。三种合作方式：白盒模式（OEM掌握应用层）、灰盒模式（OEM提出定制需求）、黑盒模式（Tier1掌握话语权）。产业关联方：OEM、Tier1、软件Tier1、Tier2、芯片供应商、算法公司、内容生态提供商。核心计算架构芯片内计算架构按应用适应性可分为通用、专用、并行和分布式架构，NPU已成为智能驾驶时代的关键计算架构。计算架构分类：通用计算（x86）、专用计算（DSA/ASIC/FPGA）、并行计算（GPU）、分布式计算（云计算）。架构发展：个人计算机时代（x86）→智能手机时代（ARM）→AI与云计算时代（GPU应用拓展）→智能驾驶时代（NPU涌现）。-针对特定领域量身定制架构可大幅提升效率（矩阵乘示例：从Python到硬件加速可提升6万多倍）。-全球约100家组织推出或研发AI专用推理芯片。硬件架构域控制器（DCU）是汽车电子电气架构集中化发展的结果，负责传感器融合、环境感知、决策规划和车辆控制。DCU主要功能：传感器融合（多传感器数据融合）、环境感知（识别道路/交通标志/行人）、决策规划、车辆控制。DCU硬件架构：由三大类型芯片组成——AI芯片（GPU/NPU，大算力并行计算）、CPU（ARM架构，逻辑运算和决策控制）、MCU（功能安全，ASIL-D，如英飞凌TC297/TC397）。架构趋势：单MCU→MCU+多高性能MPU；TriCore/PowerPC→ARM/MIPS/DSP/GPU多核异构；算力指数级增长。量产解决方案围绕场景开发自动驾驶成为主流，行泊一体域控从轻量级向大算力演进，L3/L4域控需满足失效可操作冗余要求。三个阶段：ADAS（碎片化辅助驾驶）→NOA行泊一体（过渡阶段）→全场景FSD。L2+行泊一体：轻量级（TDA4/地平线J3，10~20TOPS，10~20万车型）和大算力（OrinX/昇腾610，200+TOPS，高端车型）。L3/L4域控冗余三种策略：故障转移机制（Doer+Fallback）、双系统混合架构（主ASIL通道+辅助ASIL通道）、多级安全路径（主安全路径+二级安全路径）。软件架构软件架构是智能驾驶的"灵魂"，中间件的出现使软硬件解耦成为可能，推动汽车软件走向独立价值创造。软件基础架构五大组成部分：车用操作系统、智能驾驶算法、算法工具链、算法基础设施、智能驾驶/自动驾驶策略。车用操作系统功能：任务管理、内存管理、设备驱动、通信管理、安全管理、工具链体系、安全车控。软件架构软件架构是智能驾驶的"灵魂"，中间件的出现使软硬件解耦成为可能，推动汽车软件走向独立价值创造。中间件（Middleware）：上连整车厂和Tier1的软件，下连Tier2的硬件。实现软硬件解耦，降低架构复杂度。AUTOSAR：CP（ClassicPlatform，静态架构，高实时性）和AP（AdaptivePlatform，动态架构，支持POSIX兼容OS如Linux）。智能驾驶现状舱驾融合是智能驾驶计算平台的未来发展方向，需要多操作系统、多安全等级、多种加速IP异构的超算芯片支撑。舱驾融合功能：智能座舱功能+智能驾驶功能+舱驾融合功能（语音/触摸/手势交互+信息共享和协同控制）。关键软件组成部分：Microkernel微内核、Hypervisor虚拟化引擎（QNXHypervisor可达ASIL-D）、SafetyRTOS/Linux、BSP、AUTOSARAP、ROS2/Dataflow、通信模块、感知模块等。软件供应商格局：EB、Vector、TATA、Mentor等传统ECU软件平台供应商，以及TTTech、映驰科技、东软睿驰等后来者。云端架构云端架构通过端云结合的数据闭环，为智能驾驶提供数据标注、模型训练、仿真测试等全链路支持。核心功能：高效难倒场景挖掘迭代、全自动数据闭环工作流、量产研发经验沉淀。关键组成（以地平线艾迪AIDI为例）**：AIDI-Data（数据入库/检索/自动化处理）、AIDI-Label（数据标注系统）、AIDI-Model（模型训练/评测/管理/编译）、AIDI-Eval（智能驾驶评测系统）、AIDI-Issue（问题数据管理）。云端架构优化方案：SoC性能评估、软硬件协同设计、功能安全验证、内存配置评估。标量计算和安全控制计算是规则驱动的逻辑计算，矢量与矩阵/张量计算统称为智能计算。多任务架构多任务模型通过共享网络结构，可在节省存储算力的同时输出多个任务的预测结果，是量产中的主流方案。单任务模型：参数独享、优化目标单一、用途单一；多任务场景下需分别运行多个模型，算力开销大。多任务模型分类：弱参数共享（激活值共享）和强参数共享（共用Backbone，主流）。考虑因素：融合可行性、子任务权重设置、硬件I/O及算力分配、模型输入形式统一。训练方法：Loss加权法、动态任务优先级法。典型方案：OmniDet（环视鱼眼多任务）、YOLOP（目标检测+可行驶区域分割+车道线分割）。逻辑计算与混合计算端到端架构将所有模块基于神经网络设计，传递高维特征信息，实现全局联合优化，代表了智能计算架构2.0的设计范式。传统模块化架构问题：模块间传递结构化信息，信息损失严重；误差无法回传，陷入局部最优。BEV感知架构：将图像视角特征转到BEV空间，统一特征空间下融合，再进行目标检测。端到端架构（UniAD）：将感知、预测、规划等六大子任务整合到统一网络框架下，实现全栈关键任务驾驶通用模型，所有任务达到SOTA。关键计算性能指标智能驾驶计算芯片的性能由TOPS×利用率×每TOPS完成的工作共同决定，真实性能需要硬件+软件+算法一同发力。车规级芯片标准：温度-40~155℃，15年使用寿命，零缺陷率（AEC-Q100）。PPAvsAI时代：传统PPA（功耗、性能、面积）被TOPS取代，但TOPS不能反映真实AI性能，还需考虑利用率和DPS/TOPS。性能指标分类：性能相关（算力TOPS、推理时间、时延、帧率）、准确性相关（计算精度、准确率、召回率、F1）、资源利用（功耗、能耗比、内存带宽）、其他（安全性、可靠性、开放性）。谢谢大家！

36/36智能驾驶与计算架构

第3章

智能驾驶计算芯片

智能驾驶教学团队1芯片技术的演化与发展

2计算芯片分类3计算芯片架构4计算芯片设计智能驾驶计算芯片计算芯片是智能汽车的"数字发动机"，其架构直接决定了智能驾驶硬件和软件的性能上限。本章聚焦智能驾驶计算芯片，介绍芯片技术演化、分类、架构及设计方法学。智能算法演进周期（约14个月计算效率翻倍）与芯片开发周期（3年）之间的矛盾，要求芯片架构必须根据算法特点进行特定优化。学习目标：了解芯片制造的基本流程及相关制程使用场景。了解芯处制造的基本流程、芯片分类的基本逻辑，特别是CPU与GPU的架构异同点。理解SoC的架构演进及其与智能驾驶的关系。理解智能驾驶软硬协同设计的基本概念及相关案例。掌握智能驾驶计算芯片的典型架构，及其对应的基本计算单元、编程模型及指令集概念。芯片技术的演化与发展芯片制造包含设计、晶圆生产、封装和测试四大流程，车载计算芯片已超越手机芯片成为半导体技术的引领者。芯片制造流程：芯片设计（GDSII版图）→晶圆生产（光刻、离子注入）→芯片封装（切Die、基板安装）→芯片测试（FT流程）。摩尔定律：晶体管集成度每18个月增加1倍，但进入后摩尔时代。芯片技术的演化与发展芯片制造包含设计、晶圆生产、封装和测试四大流程，车载计算芯片已超越手机芯片成为半导体技术的引领者。制程选择：车规级芯片一般选择最先进工艺（如7nm/5nm），以满足高算力需求。芯片开发模式：IDM（整合器件制造商）→Fabless+Foundry+OSAT→IP+Fabless+Foundry+OSAT。计算芯片分类——GPU与SoCGPU擅长大规模并行计算，适合深度学习训练与推理；SoC将多种处理器集成在一颗芯片上，成为智能驾驶主流计算芯片形态。CPUvsGPU：CPU擅长复杂逻辑控制（延迟敏感），GPU擅长大规模并发计算（吞吐量敏感）。GPU包含CUDACore、TensorCore（深度学习加速）、RTCore（光线追踪）。SoC（片上系统）：将CPU、GPU、DSP、NPU、调制解调器等集成在一颗芯片上，基于IP设计模式，软硬件协同设计。常见混淆概念：MPU（增强版CPU）、MCU（单片机）、DSP（数字信号处理器）、FPGA（现场可编程门阵列）。典型SoC架构典型智能驾驶SoC采用异构多核架构，包含CPU（逻辑计算）、NPU（智能计算）、GPU（图形处理）、ISP（图像处理）等组件。CPU：大小核设计，运行操作系统、调度任务和处理逻辑控制。NPU：执行深度学习推理，是实现智能驾驶核心算法的关键。GPU：处理图形和图像相关计算，也可用于深度学习推理。ISP：处理图像原始数据（预处理、色彩增强、格式转换），对智能驾驶至关重要。其他组件：SafetyIsland（安全岛）、HSM（硬件安全模块）、NoC（片上网络）。向量计算单元与MAC阵列矩阵计算占据神经网络90%以上的计算量，MAC阵列是NPU加速矩阵运算的核心单元。计算精度裁剪：神经网络鲁棒性高，可通过量化（INT8/INT4）降低计算精度，减少成本。MAC阵列：一个MAC对应一个乘加单元。算力计算公式：TOPS=Freq×MAC_Count×2/1000。存储瓶颈：算力提升后，DDR带宽可能成为瓶颈，需采用多级存储结构（L0/L1缓存）缓解。编程模型与指令集统一编程模型（如CUDA）能高效支撑上层算法开发，而指令集的可扩展性决定了芯片对算法演进的适应能力。编程模型：连接算法和处理器架构，逼近性能极限。英伟达CUDA是最知名的编程模型，拥有400万开发者。编程模型与指令集特斯拉FSD指令集：仅8条指令（DMARead/Write、Convolution、Deconvolution、Inner-product、Scale、Eltwidth、Stop），针对神经网络操作极致优化。开源指令集RISC-V：模块化设计、开放免费，适用于碎片化和可定制化场景（如智能驾驶）。特斯拉Dojo和MobileyeEyeQUltra均采用RISC-V。编程模型与指令集开源指令集RISC-V：模块化设计、开放免费，适用于碎片化和可定制化场景（如智能驾驶）。特斯拉Dojo和MobileyeEyeQUltra均采用RISC-V。英伟达GPU与地平线BPU计算芯片架构在应用场景和算法需求的驱动下不断演进，英伟达GPU从Kepler到Blackwell，地平线BPU从伯努利到纳什。英伟达GPU演进：Keple