《人工智能基础与应用（第二版）》课件 项目5-辅助驾驶实践

L2辅助驾驶驾驶员监督人工智能基础与应用｜第二版项目5辅助驾驶实践感知—决策—控制：AI负责聪明，规则守住底线感知决策控制监督物联网工程学院（信息安全学院）

平震宇前言项目导入：校门口的一次自动刹停1看见摄像头、雷达采集2识别AI识别行人、预测意图3决策规划判断必须停车4执行控制制动系统问题一车辆怎样“看见”学生？多传感器+融合感知问题二一秒内经历了哪些步骤？感知→预测→规划→控制问题三AI失误谁负责？驾驶员监督+企业责任+法规本项目讨论的是辅助驾驶，不是无人驾驶；L2阶段驾驶员仍须全程监督。2前言三层认识：概念、范式、责任第一层概念与边界多模态、MLLM、VLA、自动驾驶系统技术思想相通，但不是同一个系统不把实验室研究与量产系统混为一谈第二层通用范式感知—决策—控制—安全兜底可迁移到医疗、仓储、农业会分析、会测试、会评估风险第三层责任与监督AI负责智能规则负责底线人类负责监督与最终责任智能驾驶测试工程师智能网联汽车检测与运维AI产品技术支持数据标注与场景分析这些岗位不要求精通神经网络训练，但要求：看得懂系统、测得出好坏、说得清风险。3前言学习目标：知识、技能、素质三位一体知识目标理解与辨析多模态AI、MLLM、VLM、VLA感知—决策—控制流程AI模型与安全规则协同端到端、数据闭环、仿真测试L0—L5分级与L2监督技能目标分析与测试用多模态AI分析道路图像并复核设计结构化提示词依据测试数据写分析报告设计传感器、AI逻辑与安全约束方案素质目标安全与责任人主导、AI辅助不夸大L2能力采集图像先遮挡人脸车牌能说明技术边界与责任边界贯穿全项目的一句话：AI负责智能，规则负责底线，人类负责监督。4前言项目结构：从看懂到测试5.1多模态大模型多模态、MLLM、VLA、概念辨析5.2VLA在辅助驾驶中的应用原理、感知执行、提示词、规则混合、少样本5.3AI在交通领域ITS、亦庄、智慧停车、路侧感知5.4辅助驾驶实施方案特斯拉、华为、Momenta；两个维度5.5Apollo平台实战DreamView、数据回放、路线规划、定速巡航实训三项岗位化实战场景分析、测试报告、风险评估测试项目测试与小结概念、计算、情境与责任55.1SECTION多模态大模型让车辆“看懂”世界，但看懂不等于会开车。多模态AI：文本、图像、音频、传感器一起理解MLLM：能看懂并描述VLA：理解之后还能输出动作项目5｜辅助驾驶实践5.1多模态大模型多模态AI：像人一样综合多种信息1单模态只处理一种信息文本或图像2多模态同时理解多种信息图文、音视频3多模态大模型海量多模态数据训练通用理解与生成4具身智能理解+物理行动机器人、车辆辅助驾驶是多模态典型场景摄像头+雷达+导航+语言指令单一文本模型无法理解“杯子掉落会碎”这类常识，因为缺少视觉、触觉的信息来源；多模态让系统能同时看、听、读、定位。课堂任务5-1：举一个日常多模态AI应用，说明用到哪几种信息，与纯文本对话相比体验有何不同。75.1多模态大模型MLLM与VLM：能看懂，也能说清楚结构视觉编码器+大语言模型图像/视频→视觉编码器→视觉令牌视觉令牌与文本令牌一起送入大模型输出描述、问答、分析、结构化结果应用座舱、长尾、回溯座舱交互：用自然语言问车、控车长尾场景：规则难覆盖的罕见场景解读事后回溯：事故或接管片段的分析MLLM也会“幻觉”：把白色货车车厢误认成天空。能描述不等于判断可靠，必须人机复核。MLLM负责“看懂并描述”；它不直接承担车辆控制。85.1多模态大模型VLA：从“看懂”到“输出动作”1V｜视觉看见场景与物体2L｜语言理解目标与约束3A｜动作输出轨迹/控制指令例子机械臂抓取红色杯子看见：桌面、杯子、箱子理解：“把红色杯子放进箱子”动作：抓取、移动、放置的连续指令意义具身智能的“身体”不再只输出文字，而是输出行动环境变化时有一定泛化能力RT-2能理解“把恐龙放进垃圾桶”课堂任务5-2：V、L、A分别对应哪个环节？与只会“说”的语音助手有何区别？95.1多模态大模型关键辨析：MLLM、VLA与自动驾驶系统概念核心输入核心输出在系统中的角色MLLM图像/视频+文本描述、问答、分析看懂并说清楚VLA视觉+语言+状态动作/轨迹/控制指令理解并行动自动驾驶系统多传感器+地图+车辆状态转向、加速、制动完整工程体系，含安全冗余技术思想相通，但不是同一个系统；不要用“VLA”一个词替代整个自动驾驶工程。议一议5-1：遇到“某系统是VLA”的说法，追问三件事：输入是什么？输出是建议还是控制？安全仲裁层是否保留？105.2SECTIONVLA大模型在辅助驾驶中的应用从物理场景到动作令牌，再到安全规则兜底。VLA原理：视觉令牌+语言令牌→动作令牌感知与执行：传感器、算力、线控规则混合：AI负责聪明，规则守底线项目5｜辅助驾驶实践5.2VLA大模型在辅助驾驶中的应用VLA辅助驾驶工作原理：从场景到动作令牌1物理场景摄像头、雷达、车辆状态2视觉令牌视觉编码器提取3语言令牌导航、规则、偏好4世界模型多模态融合与预训练5动作令牌转向、加速、制动优势自然语言约束+少样本学习“有易碎物品，请开平稳些”→降低急加速/急刹语言可约束驾驶策略少量示范即可学习新技能风险内部决策更难解释端到端输出难以逐条追溯必须保留独立的安全规则层不能把“能输出动作”当成“可以独立驾驶”“世界模型”不是物理世界的真实复制，而是模型学到的统计规律；动作令牌必须经过规则层。125.2VLA大模型在辅助驾驶中的应用感知与执行模块集成：算力、时延与线控1传感器摄像头/雷达/激光雷达2计算平台NPU/GPU，毫秒级推理3决策规划预测、路径、动作4线控执行转向/制动/驱动5车辆反馈横摆、加速度、轮速算力数据量大、时延敏感多路摄像头+雷达点云每秒可达数GB数据必须在毫秒级完成感知与推理执行线控底盘车载以太网/CANFD线控转向、线控制动执行指令要可诊断、可回退闭环反馈校正轮胎、路面、载重影响效果底盘反馈横摆/加速度/轮速上层持续修正控制量VLA的“动作令牌”只有落到可执行、可反馈、可诊断的底盘上，才真正变成车辆动作。135.2VLA大模型在辅助驾驶中的应用提示词约束的动作策略：用语言给驾驶“加条件”自然语言约束示例“车上有易碎物品，请平稳驾驶；前方学校区域，提前减速；除非必要，不要急加速和急刹。”提示词要写清目标、约束、优先级目标：安全、平稳、按时到达约束：限速、车道、学校区域优先级：安全>法规>舒适>效率冲突时：规则层否决，驾驶员接管语言约束能影响“怎么开”，但不能替代“必须守”的规则；安全仲裁层始终保留。教材强调：提示词约束的是动作策略，不是安全责任。145.2VLA大模型在辅助驾驶中的应用规则与VLA混合控制：AI负责聪明，规则守底线AI模型层理解环境、预测风险、生成候选方案安全规则层物理约束、交通法规、否决危险指令控制执行层转向、制动、加速AI负责聪明·规则负责底线·控制负责落地议一议5-3：AI方案与规则层冲突时，最终否决权属于谁？对医疗、工业机器人有什么启示？155.2VLA大模型在辅助驾驶中的应用少样本示教：从几次示范中学会新场景1示范人类驾驶几次2学习模仿动作序列3泛化迁移到相似场景4验证仿真/场地/实车适合狭窄乡间路会车规则难穷举的交互场景需要柔和、经验性的动作示范能表达“先慢后让”的策略边界示范不等于安全示范者习惯可能不安全少量样本可能学偏场景分布变化后必须重新验证少样本示教是“学得像人”，不是“天然比人更安全”。165.2VLA大模型在辅助驾驶中的应用传感器：车辆的“眼睛”和“耳朵”摄像头车道线、标志、行人、车辆信息丰富；怕强光/雨雾毫米波雷达距离、相对速度全天候；分辨率有限激光雷达高精度三维点云精度高；成本较高超声波雷达近距离障碍物泊车常用；距离短GNSS+IMU定位、姿态、加速度路径规划的基础没有一种传感器全能：多传感器融合才是现代辅助驾驶的常态。175.2VLA大模型在辅助驾驶中的应用多传感器融合：BEV与Occupancy让系统“看见空间”融合多源异构数据互补摄像头：是什么、车道线、标志毫米波雷达：距离、速度、全天候激光雷达：三维点云、异形障碍物融合后比单一传感器更可靠代价：标定、时间同步、算力BEV鸟瞰图：统一俯视表征多摄像头画面转换融合，便于判断车辆与行人的位置关系。Occupancy占用网络：先发现“有东西”判断三维空间每个位置是否被占据；没见过的异形障碍物也能先发现。议一议5-2：浓雾中摄像头失真，哪些传感器仍可能有效？为什么融合更安全？185.2VLA大模型在辅助驾驶中的应用决策：从路线到行为再到轨迹路线规划宏观从A到B走哪条路导航、地图行为决策中观跟车/变道/超车/让行规则、预测运动规划微观平滑轨迹、速度、转角优化、约束安全>效率>舒适：三个层面的目标冲突时，优先级必须明确。195.2VLA大模型在辅助驾驶中的应用控制：把决策变成转向、加速、制动算法PID/MPCPID：按误差比例、积分、微分修正MPC：预测未来、滚动优化通识：理解角色，不推公式执行线控底盘车载以太网/CANFD线控转向、线控制动指令要可诊断、可回退反馈高频闭环横摆角速度、纵向加速度、轮速轮胎/路面/载重影响效果上层持续修正控制量规划速度与实际速度的差距，往往反映控制环节的执行精度，这也是5.5测试的重点。205.2VLA大模型在辅助驾驶中的应用核心理念：AI模型与安全规则协同聪明AI模型层理解、预测、生成候选方案底线安全规则层物理约束、交通法规、否决落地控制执行层转向、制动、加速例一躲异物的过大转向规则层依据车速和轮胎侧偏极限判断会失控，限制转角，必要时触发AEB。例二误判红灯想加速信号拦截规则直接切断动力输出，不等待模型“想明白”。AI负责创新与效率，规则引擎负责守住底线，控制系统负责把动作做出来。215.2VLA大模型在辅助驾驶中的应用多模态AI辅助决策分析：五步框架1环境识别参与者、标志、道路结构、潜在风险2风险识别风险点、位置、来源3意图分析行人/车辆接下来可能做什么4建议动作减速、让行、变道等，仅供参考5规则检查是否符合交规与安全边界AI给的是建议，规则层做检查；最终动作不由一段文字描述直接决定。225.2VLA大模型在辅助驾驶中的应用范式迁移：感知—决策—控制+安全兜底医疗监护心率、血氧、血压异常判断、报警输液/报警医护复核感知决策控制兜底智能仓储摄像头、AGV传感器拣货/搬运路径AGV、机械臂急停、围栏感知决策控制兜底智慧农业多光谱、土壤传感器病虫害/缺水飞行、变量喷洒禁飞区、地勤感知决策控制兜底议一议5-4：任选本专业场景，仿照这张表填四个环节，说明AI负责什么、人必须把关什么。235.3SECTION人工智能在交通领域的典型应用从单车智能到“车—路—云”协同。ITS：动态信号、路况预测、智能监控亦庄：300多个智能路口，灯看车路侧感知：摄像头+雷达+边缘计算项目5｜辅助驾驶实践5.3人工智能在交通领域的典型应用智能交通管理系统：让路网“动态调度”应用一智能交通管理实时分析路口车流动态调整信号配时匝道、公交专用道、限速数据源：摄像头/地磁/雷达应用二路况预测与优化预测拥堵趋势补全上下游路口数据提前发布诱导信息输出：拥堵指数/诱导信息应用三智能交通监控计算机视觉辅助执法识别违停、逆行、闯红灯减少人工巡查输出：事件告警/证据链应用四智慧停车识别车位占用电子计费提高路侧周转率输出：占用状态/计费记录共同点实时数据→模型判断→执行/建议四个应用都依赖数据采集、模型判断和行动闭环；区别在输出是信号、信息还是执法/计费动作。落地条件设备覆盖、数据质量、接口、权限没有稳定数据和系统接口，模型判断落不了地；涉及执法/计费还要权限与审计。ITS的核心不是“多装摄像头”，而是用数据动态配置路网资源。255.3人工智能在交通领域的典型应用亦庄实践：从“车看灯”到“灯看车”300+智能路口15%—30%通行效率提升28.48%车均延误下降99.97%高位视频识别准确率亦庄多源时空数据+动态信号潮汐车流、大型运输车、混行补全上下游路口缺失数据信号配时动态优化从“车看灯”到“灯看车”智慧停车高位视频+电子计费多车遮挡下保持识别准确率一套设施兼顾违停、共享单车、头盔识别提高路侧周转率与流畅度数据来自政府或企业公开材料，受统计口径影响；课堂重点看技术思路，不要求记数字。265.3人工智能在交通领域的典型应用交通智能体与L4示范：两类不同产品数据采集摄像头、浮动车、天气、事件分析智能体拥堵、事故征兆、违规决策智能体法规、调度目标、管理建议输出信号配时、诱导信息、执法提醒广州L4示范限定区域的自动驾驶巴士激光雷达+摄像头+毫米波雷达+GNSS/IMUV2X获取路侧信息限定区域、限定路线运营截至2024年7月：服务超108万人次、里程超179万公里与私家车L2辅助驾驶是两类产品课堂任务5-4：分析Agent、决策Agent分别对应智能体五环节的哪一步？275.3人工智能在交通领域的典型应用路侧感知与设备布点：先找风险最高的位置1划重点区域校门口、斑马线、支路、遮挡处2定覆盖范围重点区域无盲区，必要时多设备补位3选设备组合摄像头看清、雷达测准4核对安装条件避开眩光、预留供电/网络/检修高清摄像头杆件，俯视来车毫米波雷达杆件中部，正对车道激光雷达条件允许时装顶部边缘计算杆件箱体内本地处理方案不必追求设备越多越好：按无盲区、可维护、成本合理取舍。285.4SECTION辅助驾驶实施方案解析技术路线没有绝对优劣，只有不同的工程权衡。特斯拉：视觉为核心+端到端华为：多传感器融合+BEV/障碍物检测Momenta：数据闭环+影子模式项目5｜辅助驾驶实践5.4辅助驾驶实施方案解析特斯拉：视觉为核心，数据规模驱动感知方案摄像头为核心多摄像头+深度神经网络端到端探索：输入图像→驾驶动作量产车数据规模大OTA持续更新边界不是“无人驾驶”强光、逆光、雨雾可能影响感知“纯视觉”是相对说法，多数仍配雷达官方明确需驾驶员主动监控不能把营销名称当成能力等级看技术路线时，先问：传感器组合、输出是什么、谁负责监督、安全冗余在哪。305.4辅助驾驶实施方案解析华为乾崑智驾：多传感器融合与安全冗余激光雷达三维点云、异形障碍物毫米波雷达距离、速度、全天候摄像头语义、车道线、标志BEV网络统一俯视表征通用障碍物检测锥桶、水马、土堆、碎石工程权衡冗余与成本优势：冗余度高、环境适应性强优势：异形障碍物识别能力强局限：硬件成本较高、集成复杂数据多为企业宣称，需独立验证议一议5-5：如何理解“技术路线没有绝对优劣，只有不同的工程权衡”？从成本、冗余、数据规模、安全验证说明。315.4辅助驾驶实施方案解析Momenta：数据闭环与影子模式采集训练验证部署再采集数据飞轮自动筛选“错题”量产车真实道路数据回传难例自动筛选、标注、训练、验证更新后OTA到所有车辆影子模式AI预测vs人的操作未开启辅助驾驶也后台运行不一致=有价值的学习场景脱敏后上传训练目标：从“人车共驾”到“人机共驾”影子模式不是“偷偷控制车辆”，而是只比较、不执行。325.4辅助驾驶实施方案解析两个维度：感知方案与研发范式感知方案研发范式视觉为核心多传感器融合纯视觉是相对说法模块化规则数据闭环驱动影子模式可组合不能把“视觉/融合/数据闭环”并列成三选一：它们是不同维度，可以组合。335.5SECTIONApollo自动驾驶平台实战仿真不是玩游戏：设定目标、记录数据、形成结论。DreamView、数据回放、通道监控路线规划与定速巡航仿真ACC纸面测试与统一报告模板项目5｜辅助驾驶实践5.5Apollo自动驾驶平台实战Apollo平台与自动驾驶开发流程1数据采集传感器、路测数据2标注目标、车道、场景3训练模型与规则4仿真场景回放、路线5场地/路测安全验证6部署迭代OTA、数据闭环模块Planning路径、速度、行为决策输入：目标/地图；输出：轨迹模块Prediction预测他车/行人输入：感知；输出：轨迹预测模块Control转向、加速、制动输入：轨迹；输出：控制量模块CyberMonitorChannel数据通信输入：Channel；输出：状态平台界面和命令更新较快，课堂以官方文档和教师演示为准。355.5Apollo自动驾驶平台实战DreamView数据回放：先看系统怎样跑起来1启动环境终端启动DreamView2选择模式PnC+Record3下载数据包离线数据回放4监控通道CyberMonitor5看速度曲线规划vs实际看什么三个监控点Planning：规划速度、路径、行为决策Prediction：他车/行人预测轨迹Control：实际控制量与车辆响应CyberMonitor：Channel是否全绿速度差异大→先查算法/配置/数据回放不是“看动画”：每个通道、每条曲线都要能对应到模块。365.5Apollo自动驾驶平台实战路线规划仿真：从起点到终点1改Sim_Control切换到仿真控制2开启模块Planning+Prediction3选VirtualMap虚拟地图4设起点/途经/终点至少两个途经点5观察路径连续性、避障、贴车道检查路径质量是否连续、无跳变是否避开障碍与路沿是否贴车道中心是否绕远或出现急弯排查路径不对先看什么地图/坐标系是否正确起点终点是否落在可行驶区域Planning/Prediction是否开启Channel是否正常路线规划是“走哪条路”；下一步定速巡航才看“速度跟得准不准”。375.5Apollo自动驾驶平台实战定速巡航仿真：看速度跟踪误差步骤设定速度→运行→记录设置目标速度（如60km/h）启动仿真，等待速度稳定记录设定值、实际值、误差观察加速/减速过程是否平滑注意没有前车，不算THW/TTC定速巡航只考察速度跟踪车头时距、TTC需要前车误差阈值按任务给定持续偏差→控制/模型/配置同一套指标不能乱套场景：没有前车，就没有跟驰距离与碰撞时间。385.5Apollo自动驾驶平台实战ACC纸面测试：先分清CC与ACC功能是否识别前车是否自动跟车驾驶员角色CC定速巡航不识别不跟车遇前车自行处理ACC自适应巡航识别自动加减速仍需监督1获取数据教师下发表2逐行计算误差/THW/TTC3判读读数找出异常4架构归因感知/决策/控制5写报告结论与建议正常跟车减速不是控制误差：规划与实际同时下降，属于ACC正常行为。395.5Apollo自动驾驶平台实战样例数据与核心指标时刻规划实际前车距离THWTTC系统动作0s808060401.812.0巡航10s727260201.06.0ACC减速20s808660351.510.5加速公式THW与TTCTHW=距离÷本车速度（s）TTC=距离÷接近速度（s）前车更快/同速：无碰撞风险，记“—”阈值3km/h/2s/3s速度误差>3km/h：执行偏差THW<1.5s：跟车过近报警TTC<3s：碰撞预警/制动各时刻为示意快照，不要求严格连续；正式数据以教师下发为准。405.5Apollo自动驾驶平台实战判读两个关键读数：同一张表，两种归因第10秒THW=1.0s，TTC≈6.0s72km/h=20m/sTHW=20÷20=1.0s（过近）TTC=20÷3.33≈6.0s（未到预警）规划=实际，减速是ACC正常跟车第20秒速度误差6km/h规划80，实际86|86-80|=6>3km/h规划正确、执行偏差归因到控制环节排查第10秒归因先查感知与规划测距是否准确？目标时距设定是否合理？不要先怪控制。记录：距离、相对速度、时距设定第20秒归因控制环节控制参数、车辆模型、执行延迟、仿真配置逐项排查。记录：参数、延迟、配置、复测结果结论：同一张表里，第10秒是“跟车过近”，第20秒是“执行偏差”，不能用同一套话解释。415.5Apollo自动驾驶平台实战统一测试报告模板：五部分1测试环境数据来源、平台版本、测试模式2测试步骤启动、配置、回放/运行3测试数据速度记录表、关键指标4异常分析偏离、归因到感知/决策/控制5改进建议下一轮优先改进什么报告不是操作截图：环境、步骤、数据、归因、建议，缺一项都不完整。案例演示5-1/5-2：ACC数据判读+脱敏街景的五步提示词分析，必须附人工复核意见。425.6SECTION三项岗位化实战把“看懂、测出、说清风险”变成可交付成果。场景分析：多模态AI+人工复核测试工程：纸面或Apollo仿真安全评估：学校门口五类异常场景项目5｜辅助驾驶实践综合实训与安全三项实战：场景分析、测试报告、风险评估实战1场景分析岗脱敏街景→结构化提示词→多模态识别→人工复核《多模态AI交通场景分析报告》实战2测试工程师岗ACC纸面测试或Apollo仿真→计算→归因《自动驾驶测试报告》实战3安全评估岗学校门口五类异常→布点、逻辑、安全约束《智慧交通优化与风险评估报告》三份成果都要有人工复核与《AI使用声明》；不能只交AI原始输出或操作截图。44综合实训与安全实战3：学校门口智慧交通优化与风险评估行人突然横穿预测意图、遮挡关键：遮挡与意图前车突然急刹TTC、跟驰关键：TTC与距离施工改道地图/标志变化关键：地图更新标志被遮挡感知失效关键：多源感知暴雨大雾传感器退化关键：融合冗余方案传感器布点+AI逻辑+安全约束重点区域：校门口、斑马线、支路、遮挡处摄像头看清、雷达测距、边缘计算本地处理逻辑示例：行人驻留>20人且红灯已满30s→延长绿灯并提醒来车安全约束：规则可兜底，异常转人工风险分析每类场景写“问题—影响—建议”问题：AI在哪一步可能误判影响：对学生/交通流的影响建议：布点、规则、人工审核平衡：学生安全vs主干道效率方案要能落地：谁维护、数据存哪、异常谁处理、如何验收。455.7SECTION安全、伦理与法律技术越强，越要讲清边界和责任。能力边界：误识别、漏检、幻觉、长尾失效L0—L5分级：L2驾驶员仍须监督人机共驾：责任不因AI介入而消失项目5｜辅助驾驶实践综合实训与安全能力边界：AI不是“绝对可靠的事实判断系统”1视觉误识别把货车车厢误认成天空2目标漏检行人、异形障碍物3错误分类交通标志/车道线4理解错误复杂交互场景5模型幻觉编造不存在的内容6长尾失效罕见场景性能下降感知AI→风险评估→规则约束→安全仲裁→控制执行→驾驶员监督任何单一环节都不应被赋予不受制约的最终决策权。47综合实训与安全驾驶自动化分级：L2不是自动驾驶等级名称系统做什么驾驶员角色L0应急辅助预警/瞬时辅助完全驾驶L1部分驾驶辅助单一维度（横或纵）持续监督L2组合驾驶辅助横向+纵向同时辅助持续监督、随时接管L3有条件自动驾驶特定条件完整驾驶系统请求时接管L4高度自动驾驶特定区域无需介入无需（限定区域）L5完全自动驾驶全场景无需L2=组合驾驶辅助，不是自动驾驶；脱手、看手机、把L2当L