第5章 智能驾驶软件平台

智能驾驶与计算架构

第5章

智能驾驶软件平台

1软件平台分类

2嵌入式底层软件3算法工具链4智能驾驶应用开发套件智能驾驶计算概述软件平台是在传感器、控制器和整车系统上的横向整合与纵向划分，包含感知、决策、执行、通信、平台管理等多个层次。本章介绍软件平台分类、嵌入式底层软件、功能安全、算法工具链、嵌入式应用开发平台。学习目标：了解嵌入式底软的常见模块及模块间关系，详细了解BSP关键技术内容。理解功能安全产生的原因，了解功能安全开发流程、开发工具及相关架构。掌握模型压缩及编译基本原理，并了解常见方法。掌握训练后量化（PTQ）及量化感知训练（QAT）基本原理，并实现工具链实操。智能座舱智能驾驶软件开发面临"V模型"过程重和"原型迁移"一致性难的双重挑战，需从横向解耦和纵向分层两方面应对。"V"模型挑战：需求/设计/开发分离；多次分解易变形；集成成本高。原型系统迁移挑战：原型与量产架构差异大；迁移过程重；性能优化成本高。解决方案：横向——架构解耦（SOA），简化分工界面；纵向——分层简化认知，开发者只关注所在层。智能座舱智能驾驶软件开发面临"V模型"过程重和"原型迁移"一致性难的双重挑战，需从横向解耦和纵向分层两方面应对。解决方案：横向——架构解耦（SOA），简化分工界面；纵向——分层简化认知，开发者只关注所在层。嵌入式底层软件车载操作系统是软件中枢，管控硬件能力，为应用提供运行环境，智能座舱和智能驾驶对操作系统的需求有显著差异。智能座舱OS需求：多媒体处理、用户界面交互、个性化服务、设备集成、网络连接。智能驾驶OS需求：实时性和可靠性、高级数据处理、安全防护、冗余设计、OTA更新、功能安全认证（ISO26262）。嵌入式底层软件车载操作系统是软件中枢，管控硬件能力，为应用提供运行环境，智能座舱和智能驾驶对操作系统的需求有显著差异。常见座舱OS：AndroidAutomotiveOS、QNX、AGL、TeslaOS。常见智驾OS：QNXOS、VxWorks、SafetyEnhancedLinux。AUTOSAR：CP（静态架构，高实时性）和AP（动态架构，支持POSIX）。驱动与固件智能驾驶系统依赖多种总线驱动（UART/SPI/I2C/USB/MIPI/CAN/以太网等）和固件（MCU/DDR/Camera/DSP/NPU等）实现硬件功能。常见总线：UART（调试/GPS）、SPI（MCU通信）、I2C（图像传感器）、USB（存储/调试）、MIPI（摄像头/显示）、CAN（车身控制）、以太网（芯片间通信）、EMMC/UFS（存储）、PCIe（芯片互联）。固件：MCU固件、DDR固件、Camera固件、EMMC固件、DSP固件、NPU固件、安全固件。固件中的OS：FreeRTOS、OP-TEEOS、ThreadX、RT-Thread。BSP关键技术板级支持包（BSP）是连接硬件和操作系统的关键软件层，涉及安全启动、虚拟化、功能安全、性能优化等核心技术。安全启动：通过芯片内置密钥和ROM代码，逐级校验启动代码，防止篡改和回滚。虚拟化技术：在同一硬件上虚拟多个虚拟机（ASIL-D/ASIL-B/QM），实现不同安全等级应用隔离。BSP关键技术板级支持包（BSP）是连接硬件和操作系统的关键软件层，涉及安全启动、虚拟化、功能安全、性能优化等核心技术。容器技术：轻量级虚拟化（Docker），共用HostOS内核，隔离应用环境。跟踪与调试：JTAG（下载/调试/边界扫描）、TRACE32、DS5、LinuxKDB/KGDB。性能优化：perf工具分析热点火焰图，优化性能瓶颈。功能安全功能安全ISO26262通过V模型开发流程和ASIL等级确保系统在故障时安全响应，E-Gas三层监控架构是功能安全的经典实现。ISO26262关键内容：风险分析和管理、系统性和随机性硬件故障、功能安全评估、ASIL等级（A-D）、安全生命周期。SOTIF（ISO/PAS21448）：处理无硬件故障时因功能不足导致的不安全性，与ISO26262互补。E-Gas三层架构：Level1（功能实现层，QM开发）、Level2（功能监控层，监控Level1）、Level3（控制器监控层，硬件诊断+独立监控+程序流检查）。算法工具链工具链是算法与芯片的桥梁，通过模型量化、图优化和编译，使模型在芯片上高效运行。模型量化：PTQ（训练后量化）和QAT（量化感知训练），将FP32模型转为INT8。模型图优化：算子融合、层合并。模型编译：将模型转换为推理芯片可识别的指令与数据，需合理设计各层特征图尺寸。模型压缩方法：知识蒸馏（KD）、轻量化模型架构、剪枝（结构化/非结构化）、量化。算法工具链工具链是算法与芯片的桥梁，通过模型量化、图优化和编译，使模型在芯片上高效运行。模型编译：将模型转换为推理芯片可识别的指令与数据，需合理设计各层特征图尺寸。模型压缩方法：知识蒸馏（KD）、轻量化模型架构、剪枝（结构化/非结构化）、量化。统一异构计算架构统一异构计算架构（UCP）通过统一的编程接口，实现对CPU、GPU、NPU、DSP等异构计算资源的统一调度和管理。UCP构成：前端API（视觉处理VP、神经网络NN、高性能库HPL、插件）、执行服务（任务调度、引擎管理）、后端（DSP/BPU/Stitch/Pyramid/GDC/JPU/VPU）统一异构计算架构统一异构计算架构（UCP）通过统一的编程接口，实现对CPU、GPU、NPU、DSP等异构计算资源的统一调度和管理。VP模块：作用于模型前后处理，封装图像处理硬件调用，通过设置Backend选择不同硬件方案。算子执行流程：准备输入输出→创建算子任务→提交任务（指定Backend）→等待任务完成→销毁任务。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。浮点模型准备：导出为ONNX中间格式。模型检查：通过工具检查算子是否符合约束表。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。模型转换：输入数据处理、模型优化编译（解析→优化→校准→量化→编译）。性能评估：通过hb_perf或静态评估文件（model.html）分析FPS。精度调优：调整校准方法（kl/max/mse/percentile/mix）、调整计算精度（int8/int16/float16/float32）。训练后量化（PTQ）实践PTQ将浮点模型转换为混合异构模型，经过浮点模型准备、模型检查、模型转换、性能评估和精度评估五个阶段。模型转换：输入数据处理、模型优化编译（解析→优化→校准→量化→编译）。性能评估：通过hb_perf或静态评估文件（model.html）分析FPS。精度调优：调整校准方法（kl/max/mse/percentile/mix）

调整计算精度（int8/int16/float16/float32）。量化感知训练（QAT）实践QAT通过在浮点模型中插入伪量化节点模拟量化误差，通过训练使模型在量化后保持高精度。浮点模型要求：必须可正确完成symbolic_trace，避免量化不友好操作（softmax/layernorm、共享算子多次调用等）。QConfig：设置input/weight/output的量化配置（FakeQuantize/FakeCast）。量化感知训练（QAT）实践QAT通过在浮点模型中插入伪量化节点模拟量化误差，通过训练使模型在量化后保持高精度。prepare流程：算子替换、算子融合、算子转换、模型结构检查。Calibration：确定量化参数（min_max/percentile/mse/kl/mix），需10~100step校准数据。混合精度调优：int8→int8/int16→int16/fp16→int8/int16/fp16，逐步增加高精度算子比例。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。准备浮点模型：使用torchvision导出resnet18.onnx。校准集准备：从ImageNet取100张图片，进行resize(256)→center_crop(224)→归一化→转为NCHW格式。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。生成板端模型：命令行方式（hb_compile+yaml）或PTQAPI方式。构建板端示例：准备依赖库→开发推理代码→交叉编译生成可执行程序。模型部署与推理以ResNet18为例，通过准备浮点模型、校准集、生成板端模型、构建板端示例、交叉编译和板端运行，完成全流程部署。板端运行：将程序、模型、输入数据、依赖库整合到板端，配置LD_LIBRARY_PATH并运行。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。核心基座：应用开发框架与服务、开发与验证工具、标准化接口与协议。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新迭代效率。传感器接入框架：插件化管理，支持Camera/Lidar/Radar/GPS/IMU等。智能驾驶应用开发套件应用开发套件集成开发框架、服务、工具链和参考设计，目标是通过开放统一降低量产交付成本，提高创新