无人驾驶汽车技术与应用 课件汇 第1-7章 无人驾驶汽车概述 -无人驾驶汽车的应用场景

第1章无人驾驶汽车概述演讲人导读：无人驾驶汽车是一种能够在没有人工干预的情况下自主驾驶的汽车。这项技术融合了人工智能、传感器技术、数据处理和机器学习等前沿科技，旨在提高交通安全、减少交通拥堵并提升出行效率。本章介绍了无人驾驶的概念、分级、发展现状和关键技术。学习目标：1.了解无人驾驶汽车发展现状。2.掌握无人驾驶汽车定义与分级。3.掌握无人驾驶汽车关键技术。1.1无人驾驶汽车定义与分级1.1.1无人驾驶汽车的定义自动驾驶汽车是指那些能够在没有人工干预的情况下自动控制自身行驶的车辆。这种技术融合了多种先进技术和系统，旨在提高交通安全性、减少驾驶负担，并在长期内改变交通方式。自动驾驶汽车的核心技术包括传感器系统、数据融合和处理、决策和控制系统、定位与地图等。自动驾驶汽车依赖于多种传感器来感知环境。常见的传感器包括摄像头、雷达、激光雷达（LIDAR）和超声波传感器。摄像头用于捕捉道路标志、交通信号和行人等信息；雷达和LIDAR可以检测车辆周围的物体距离和速度；超声波传感器常用于近距离探测，如泊车辅助。传感器收集的数据需要通过高级算法进行处理和融合。数据融合技术将来自不同传感器的信息综合起来，提供一个全面的环境视图。处理系统通常包括计算机视觉、机器学习和人工智能算法，用于识别物体、预测行为和制定驾驶决策。1.1无人驾驶汽车定义与分级1.1.1无人驾驶汽车的定义logo无人驾驶代表的是更高级别的自动驾驶技术，能够在特定的工况乃至全部工况下完成全部的驾驶目标。1.1无人驾驶汽车定义与分级1.1.1无人驾驶汽车的定义与智能汽车相比，无人驾驶汽车需要具有更先进的环境感知系统、中央决策系统以及底层控制系统。无人驾驶汽车的核心在于其感知系统，这些系统通过各种传感器来收集和理解周围环境的信息，利用多种车载传感器完整感知车辆周围的动态环境信息，这些信息包括车辆前方、侧面和后方的视觉信息等，1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分（1）美国国家公路交通安全管理局（NHTSA）的划分标准

2013年，美国国家公路交通安全管理局（NHTSA）率先发布了自动驾驶的分级标准，自动化分为以下四个级别：1）特定功能自动驾驶。车辆具备一个或多个自动控制功能，如电子稳定性控制（ESC）或自动紧急制动（AEB），可协助驾驶员控制车辆或更快停车。2）复合功能自动驾驶。该级别系统整合至少两个控制功能（如自适应巡航和车道保持），无需驾驶员手动控制，但驾驶员需始终监控系统，并在紧急情况下接管车辆。1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分3）有限条件无人驾驶车辆可在特定驾驶环境下实现自动驾驶。驾驶员无需操作或持续监控系统，但在环境变化时，系统会判断是否需要交由驾驶员控制。目前，谷歌的无人驾驶汽车大致处于这一阶段。4）全工况无人驾驶。车辆在任何环境下均可实现全自动控制，完全由系统检测并应对交通环境，乘客只需输入目的地，无需任何手动干预。该级别可称为“全自动驾驶”或“无人驾驶”。1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分级别自动化等级驾驶员责任示例0级无自动化驾驶员完全负责没有任何辅助系统的基础车辆1级驾驶辅助驾驶员控制车辆并得到辅助自适应巡航或车道保持辅助2级部分自动化驾驶员监控系统，车辆提供部分辅助车道保持与自适应巡航的结合3级有条件自动化系统在特定条件下驾驶，驾驶员可接管高速公路上的自动驾驶，必要时交给驾驶员4级高度自动化系统在定义的区域内驾驶，不需要驾驶员干预特定区域或条件下的自动驾驶（如无人出租车）5级完全自动化系统完全自主驾驶驾驶员不需要参与在所有条件下完全自主驾驶的车辆(如未来的自动驾驶车辆1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分（2）国际自动化工程师协会（SAE）的划分标准2014年，SAE(SAEInternational，SocietyofAutomotiveEngineers国际自动机工程师学会，原译为美国汽车工程师学会)也制定了一套自动驾驶汽车分级标准SAEJ3016《标准道路机动车驾驶自动化系统分类与定义》，其对自动化的描述分为5个等级。1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分L0：驾驶员完全掌控车辆。L1：自动系统偶尔能帮助驾驶员完成部分驾驶任务。L2：自动系统可以完成部分驾驶任务，但驾驶员仍需监控驾驶环境，并在必要时接管。在此级别，系统的感知或判断错误需由驾驶员及时纠正。大多数车企已提供L2级别的自动系统，并根据不同使用场景（如低速拥堵、快速行驶和自动泊车）进行分割。L3：自动系统不仅能执行部分驾驶任务，还能在某些情况下监控环境，但驾驶员需随时准备接管。当系统请求时，驾驶员必须重新控制车辆，因此驾驶员仍无法完全放松或睡觉。L3是车企在L2基础上深入研究的领域。L4：在特定环境和条件下，自动系统可以完全负责驾驶和环境监控。在这些情况下，所有驾驶任务都由系统执行，驾驶员无需干预。L5：自动系统能够在任何条件下完成所有驾驶任务，无需人类参与。1.1无人驾驶汽车定义与分级1.1.2国际无人驾驶汽车等级划分表SAE自动驾驶分级分级名称车辆横向和纵向运行动控制目标和事件探测与响应动态驾驶任务接管0级应急辅助驾驶员驾驶员及系统驾驶员1级部分驾驶辅助驾驶员和系统驾驶员及系统驾驶员2级组合驾驶辅助系统驾驶员及系统驾驶员3级有条件自动驾驶系统系统动态驾驶任务接管用户4级高度自动驾驶系统系统系统5级完全自动驾驶系统系统系统1.1无人驾驶汽车定义与分级1.1.2中国无人驾驶汽车等级划分中国对无人驾驶汽车的分级首次出现在《中国制造2025》重点领域技术路线图中，将汽车按智能化和网联化两个发展方向进行分级。与SAE自动驾驶分级基本保持对应，SAE-China将自动驾驶汽车分为DA、PA、CA、HA、FA5个等级

1级驾驶辅助系统包括自适应巡航控制、车道偏离预警、车道保持、盲区监测、自动制动和辅助泊车等功能，帮助驾驶员在某些情况下更轻松安全地操作车辆。2级部分自动驾驶系统能够实现车道内自动驾驶、换道辅助以及全自动泊车等功能，系统在一定程度上能够控制车辆，但驾驶员仍需随时接管。1无人驾驶汽车定义与分级中国无人驾驶汽车等级划分3级有条件自动驾驶系统可在特定条件下，如高速公路或城郊公路，实现自动驾驶。此级别的系统还能支持协同式队列行驶和交叉口通行辅助，但驾驶员仍需在系统请求时随时准备接管车辆。4级高度自动驾驶系统在特定条件下可完全控制车辆，功能包括堵车辅助、高速公路自动驾驶和泊车引导系统等。目前，4级技术尚未在量产车型中广泛应用，但未来几年内部分技术可能实现量产。5级完全自动驾驶意味着车辆能够在任何条件下完全自主行驶，无需驾驶员干预。这将彻底解放驾驶员，使他们可以在车上从事其他活动，如上网、办公、娱乐或休息。1.2无人驾驶汽车发展现状1.2.1无人驾驶汽车发展现状自动驾驶是一个复杂的软硬件结合系统，主要包括三个核心技术模块：感知定位、决策规划和控制执行。感知定位模块：通过摄像头、雷达等高精度传感器获取车辆周围的环境信息，确保系统对车辆位置及周边物体的精准感知，为自动驾驶提供基础数据支持。决策规划模块：根据感知系统提供的车辆定位和周边环境数据，使用适当的算法和模型进行路径规划和决策，决定车辆的行驶路线和策略。控制执行模块：采用自适应控制和协同控制方式，将决策模块的输出转化为具体的操作命令，驱动车辆执行相应的动作，确保车辆按照预定路线安全行驶。2无人驾驶汽车发展现状2.1无人驾驶汽车发展现状logo图

自动驾驶系统架构框图1.2无人驾驶汽车发展现状1.环境感知环境感知与识别系统一般由三个子系统组成：传感器系统、传感器数据处理和多传感器数据融合。（1）传感器系统传感器系统通常采用摄像机、激光雷达、超声传感器、毫米波雷达、全球导航卫星系统（GNSS）、里程计和磁罗盘等车载传感器感知环境。视觉传感器包括单目和多目彩色摄像机，而距离探测设备如声呐、毫米波雷达和激光雷达可以获取目标的相对速度和三维点云数据。1.2无人驾驶汽车发展现状1.环境感知（2）数据处理传感器采集到的信息进行分析和处理，提取有用信息并理解环境变化。（3）多传感器数据融合将来自不同传感器的数据整合，提升环境感知的精度和可靠性。激光雷达和毫米波雷达通过三维点云数据提供精确的物体检测，里程计和惯性传感器则用于估计车辆的运动状态，帮助提高感知系统的整体性能。1.2无人驾驶汽车发展现状2.决策规划（1）路由寻径路由寻径模块相当于无人车内部的导航系统，负责宏观层面上规划从起点到终点的最佳行驶路径。与传统导航不同，路由寻径高度依赖高精地图来为无人车提供精确的路线指引。高精地图为无人车提供了更详细的道路信息，使其在复杂路况下能够更精准地规划行驶路径。路由寻径模块产生的路径信息，直接被下游的行为决策模块所使用。1.2无人驾驶汽车发展现状2.决策规划（2）行为决策行为决策基于路由寻径结果，同时结合环境感知数据和地图信息，宏观上决定无人车的行驶策略。（3）动作规划动作规划则处理车辆的具体操作，是整个机器人领域中的相对简单问题。由于车辆的轨迹在二维平面上运行，动作规划需要优化车辆的行驶轨迹，使其在方向盘和油门的操控下，沿着平滑、连续的路径行驶。1.2无人驾驶汽车发展现状3.控制执行控制执行模块位于自动驾驶架构的最底层，是与车辆底层控制接口（如CANBUS）直接对接的关键模块。其核心任务是接收上层动作规划模块生成的轨迹点，并通过一系列基于车身属性和外部物理环境的动力学计算，转换为具体的车辆操作命令。控制执行模块的主要子模块包括：（1）纵向控制模块负责车辆的加速和减速控制，涵盖油门和刹车的精确调节。（2）横向控制模块负责车辆的转向控制，确保车辆沿规划轨迹精确行驶。（3）动力学模型计算模块结合车辆的动力学特性，计算出合理的控制信号。（4）稳定性控制模块保证车辆在复杂路况或极端操控情况下的行驶稳定性。1.2无人驾驶汽车发展现状3.控制执行（5）底层控制接口模块与车辆硬件（如ECU）进行通信，通常通过CAN总线。（6）执行器控制模块负责对具体执行器（如油门、刹车、转向系统等）的操作。1.2无人驾驶汽车发展现状1.2.2无人驾驶汽车发展前景目前，全球智能无人驾驶汽车的前景非常乐观，尤其在就业领域潜力巨大。根据《中国无人驾驶汽车行业发展前景预测与投资战略规划分析报告》显示，智能无人驾驶汽车的发展规模已超出市场预期。随着智能互联网技术的进步和5G网络的普及，越来越多的互联网公司纷纷加入无人驾驶汽车行业，推动该产业的快速发展。

1.2无人驾驶汽车发展现状1.2.2无人驾驶汽车发展前景在中国，无人驾驶汽车的需求也在不断上升，部分原因是中国的交通事故率较高，而汽车保有量的快速增长进一步增加了交通事故的风险。5G网络的全面商用化加速了无人驾驶技术的发展。5G不仅为手机通信带来了革命性的改变，还将其高速、低延迟的特点应用于无人驾驶汽车，使智能化深入融入人们的日常生活。目前，中国多地已推出智能网联汽车测试管理政策，包括北京、上海、深圳、天津、杭州、长沙和河南省等地区。1.3无人驾驶汽车关键技术自动驾驶汽车技术架构较为复杂，涉及了多领域的交叉互容，例如汽车、交通、通信等，基于自动驾驶相关的软硬件、辅助开发工具、行业标准等各方面关键问题1.3无人驾驶汽车关键技术（1）环境感知技术自动驾驶汽车必须具备实时且高质量的环境感知能力，这为其安全行驶提供基础支持。环境感知依赖于多种核心技术，其中包括基于计算机视觉的图像处理技术，用于识别和分析车辆周围的视觉信息。（2）智能决策技术智能决策系统是自动驾驶汽车在行驶过程中充当“指挥者”的角色。它需要处理包括突发危险情况的应对、优先级判别、场景特征分析、运动规划等多个方面的复杂问题。1.3无人驾驶汽车关键技术（3）控制执行技术基于汽车作为轮式机器人的独特结构和动力学特性，自动驾驶系统需要根据智能决策模块生成的目标行为与轨迹，精准地控制车辆的横向与纵向运动。（4）V2X通信技术实现自动驾驶的高效协同和安全运行，需依赖车辆专用通信系统，以确保车间信息共享和协同控制的通信保障。1.3无人驾驶汽车关键技术（5）云平台与大数据技术实现智能网联汽车的高效运行和管理，需要依托云平台架构与数据交互标准。这些技术构成了智能网联汽车的核心支撑体系，具体包括：云平台架构与数据交互标准：智能网联汽车通过云平台架构实现数据的共享与管理，数据交互标准确保不同车辆、设备和系统之间的数据通信和协同操作。1.3无人驾驶汽车关键技术（6）信息安全技术为了保障智能网联汽车的信息安全，必须建立完善的安全体系，涵盖以下关键技术和机制：汽车信息安全建模技术：通过构建详细的安全模型，模拟可能出现的安全威胁与风险，帮助预测和防范潜在的攻击路径，确保系统的整体安全性。3无人驾驶汽车关键技术（7）高精地图与高精度定位技术为了支持自动驾驶和智能网联汽车的精准导航和定位，以下关键技术至关重要：高精地图数据模型与采集式样：标准化的高精地图数据模型用于定义地图信息的结构和内容，确保数据采集的精确性和一致性，以便自动驾驶车辆能够准确识别道路特征和环境细节。1.3无人驾驶汽车关键技术（8）标准法规为了推动智能网联汽车（ICV）的全面发展，需要建立一个完善的ICV整体标准体系，并涵盖汽车、交通、通信等多个领域的关键技术标准。具体包括：ICV整体标准体系：该体系为智能网联汽车提供统一的技术框架和规范，确保车辆、道路基础设施、通信网络和云平台之间的无缝衔接与协同工作。1.3无人驾驶汽车关键技术（9）测试评价为了推动智能网联汽车（ICV）的发展，建立完善的测试评价方法和测试环境建设至关重要。以下是关键要素：ICV测试评价方法：制定系统化的测试评价标准，涵盖车辆的安全性、可靠性、智能化程度及通信能力等方面。1.3无人驾驶汽车关键技术依据上面对自动驾驶关键技术的解析，自动驾驶汽车的核心体系又可分为感知系统、决策系统、执行系统3个层次。其产业链涉及汽车、电子、通信、互联网、交通等多个领域。1.3无人驾驶汽车关键技术

自动驾驶技术层级谢谢

第2章无人驾驶汽车环境感知技术

01无人驾驶汽车环境感知技术导读环境感知技术与无人驾驶环境感知技术是无人驾驶汽车的核心组成部分，决定了车辆如何理解和应对其周围环境。这一技术通过摄像头、超声波、毫米波、激光雷达等传感器和复杂的算法，使汽车能够实时分析周围的道路状况、交通参与者及其他重要信息，从而安全、有效地进行自主驾驶。本章介绍了无人驾驶常用的传感器及环境感知与识别的算法学习目标

了解环境感知与识别原理、数据融合与处理

了解无人驾驶汽车环境感知与识别的算法

掌握各传感器的在无人驾驶中的应用、各自的优缺点2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍01环境感知的重要性环境感知是自动驾驶汽车实现自主驾驶的基础环节，它指的是车辆通过传感器收集周围环境和车内的相关数据，并对这些数据进行处理与分析，以确保车辆在行驶过程中能做出正确的决策和反应。

02传感器与环境感知无人驾驶车辆依赖多种传感器来感知外界环境，不同的传感器具有各自的优缺点，它们通过各自采集到的不同类型的数据，为环境感知提供支撑。环境感知的内容涵盖了对路面、静态物体（如建筑物、路障）以及动态物体（如车辆和行人）的检测。动态物体的感知不仅限于位置的确定，还需要对其轨迹进行跟踪，并预测其未来的移动位置。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用深度学习是近年来人工智能中的一项重要技术，作为第三代神经网络的代表，模拟了大脑的认知机制，广泛应用于语音识别、自然语言处理、计算机视觉等领域。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用

在环境感知的传感技术中，卷积神经网络发挥了关键作用。典型的卷积神经网络包括输入层、卷积层、池化层和输出层，这些层次根据任务的不同可以多达十几层甚至上百层。一般来说，网络的层数越多，性能越好，因为层数和节点的增加能够捕捉到更丰富、更细致的特征。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用

随着深度学习的不断发展，研究者们已经开始超越传统的图像、声音和文本数据，将其应用到更复杂的几何对象如点云、曲面等领域，这被称为几何深度学习。新的技术如图卷积神经网络（GCN）和PointNet为智能驾驶中的感知技术拓展了新的应用场景。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍基于深度学习的感知技术的局限性尽管基于深度学习的感知技术取得了显著进展，但它并非没有局限性，仍面临许多挑战，尤其是复杂的交通环境对于视觉感知技术提出了严峻的挑战。

2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

2.1.2无人驾驶环境感知系统组成简介环境感知是一个复杂的系统，依赖于多种车载传感器实时获取周围环境信息，并通过多种算法对原始数据进行处理与分析，从而做出合理决策。因此，环境感知是硬件设备（即感知设备）与软件算法（即感知技术）的结合。硬件部分主要指各种车载传感器，包括激光雷达、毫米波雷达、机器视觉系统、红外传感器、超声波传感器、惯性系统等。这些传感器为环境感知提供了物理基础。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

车载传感器及其作用传感器是环境感知的基础，它们实时采集车辆周围的环境信息。根据传感器类型的不同，所收集的数据也各有侧重，主要分为以下几类（1）摄像头（机器视觉系统）视觉是人类驾驶获取环境信息的主要手段之一，与其他传感器相比，摄像头提供的信息更加直观且接近人类视觉，能够捕捉丰富的细节，如交通标志、信号灯和道路标志等，这些信息为驾驶决策提供了重要依据。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（2）激光雷达激光雷达通过电磁波来获取目标的位置、速度信息以及周围环境的三维特征。其工作原理相对简单，激光雷达向目标发射激光信号，并通过分析返回的反射信号来获取所需信息。基于目标的密度数据，激光雷达能够有效识别常见的道路目标，如车辆、行人、障碍物、树木和路灯等，因此它在各种环境下都能广泛使用。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（3）毫米波雷达毫米波雷达是自动驾驶中不可或缺的一种传感器，其独特之处在于能够全天候工作。毫米波雷达具备体积小、角分辨率高、频带宽、探测距离远以及抗干扰能力强等优点。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（4）惯性导航系统（INS）上述介绍的传感器都是闭环系统，即它们通过从周围环境获取信息，传输至车载处理器，处理器再根据这些信息作出决策并提供反馈。而惯性导航系统则不同，它不依赖外部信息，而是通过陀螺仪和加速度计作为感知器件来进行导航参数的计算。该系统基于陀螺仪的输出建立导航坐标系，并根据加速度计的输出计算载体在导航坐标系中的速度和位置。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介多传感器融合技术

传感器融合的核心目的在于整合不同传感器的数据，通过组合后的信息更精确地感知环境。目前，传感器融合主要分为三种方式：数据级、特征级和决策级融合。数据级融合，也称像素融合，通过整合像素层面的图像数据来增强细节，如边缘和纹理。虽然实现相对简单，但计算量大，对数据格式要求较高。特征级融合是对提取的特征向量进行整合，相比数据级融合，特征级融合效果更好。决策级融合则基于多个传感器对同一目标的观察结果进行特征提取和逻辑运算，最终作出高级决策2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

传感器标定与数据融合数据融合的前提是各传感器之间的标定，目的是将不同传感器的数据转换到同一个时空参考系中，确保各个传感器的坐标系能够相互转换。传感器标定是实现数据融合的基础，涉及对每个传感器的独立标定以及它们之间的坐标转换关系。以激光雷达和摄像头的标定为例，激光雷达的标定是将其坐标系映射到统一的车体坐标系中，便于处理数据。由于激光雷达与车辆之间通常保持固定的相对位置，可以先获取激光雷达的外部参数，再通过激光雷达的极坐标进行数据映射，最终完成多个激光雷达的数据整合。摄像头标定则是将图像中的像素点坐标与实际环境中的位置对应起来，实现图像与真实世界的映射2.2无人驾驶汽车感知传感器

自动驾驶汽车的环境感知技术自动驾驶汽车是一种依靠车载计算机系统实现无人驾驶的智能交通工具，而环境感知是其关键基础。通过多种车载传感器，自动驾驶汽车能够获取周围环境的必要信息。这些传感器相当于车辆的“眼睛”

2.2无人驾驶汽车感知传感器：2.2.1摄像头

概述摄像头能够采集车辆周围的图像信息，其工作方式最接近人类视觉。凭借较大的垂直视场角和高纵向分辨率，摄像头还可以提供颜色和纹理等丰富信息。这些数据对自动驾驶系统在行人检测、车辆识别和交通标志识别等高层次语义任务中起到重要作用。摄像头通过图像或图像序列的采集，结合计算机处理，可以识别出如行人、自行车、机动车、道路轨迹、路牌和信号灯等环境信息。

2.2无人驾驶汽车感知传感器：2.2.1摄像头

工作原理车载摄像头主要由CMOS镜头（包括镜头和光感芯片）、芯片和其他物料（如内存、SIM卡、外壳）组成。基于摄像头的视觉传感系统的工作原理如下（1）图像处理，将图像转化为二维数据（2）模式识别，通过图像匹配技术识别车辆、行人、车道线和交通标志等目标（3）距离测量，利用物体的运动轨迹或双目定位估算目标与车辆的相对距离和速度，完成测距功能2.2无人驾驶汽车感知传感器：2.2.1摄像头

优缺点车载摄像头具有技术成熟、成本低和信息采集丰富的优点，能够捕捉到接近人类视觉的语义信息。然而，它的缺点在于易受光照和环境的影响，难以在全天候条件下工作，尤其在黑夜、雨雪、大雾等低能见度情况下，识别能力会大幅下降。此外，摄像头缺乏深度感知能力，难以提供三维空间的立体信息2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用车载摄像头在自动驾驶领域应用广泛，且技术较为成熟，成本相对低廉。作为高级驾驶辅助系统（ADAS）的主要视觉传感器，摄像头在众多预警和识别类功能中发挥着关键作用。摄像头通过镜头采集图像，利用内部的感光组件和控制组件将图像处理为计算机可识别的数字信号，从而实现对车辆周围路况的感知，并辅助实现前向碰撞预警、车道偏离报警、行人检测等功能。ADAS功能使用摄像头功能简介车道偏离预警（LDW）前视当前摄像头检测到车辆即将偏离车道线时，就会报警前向碰撞预警（FCW）前视当摄像头检测到与前车距离过近，可能发生追尾时，会发出警报交通标志识别（TSR）前视、侧视识别并读取前方道路两侧的交通标志车道保持辅助（LKA）前视当检测到车辆偏离车道时，系统会自动调整方向，帮助保持在车道中行人碰撞预警（PCW）前视当摄像头检测到前方行人并存在碰撞风险时，系统会发出碰撞预警盲点监测（BSD）侧视利用侧视摄像头监测车辆盲区，并在驾驶员视线盲区中显示警示信息全景泊车（SVP）前视、侧视、后视摄像头提供车辆周围的全景影像，帮助驾驶员更好地进行泊车操作泊车辅助（PA）后视后视摄像头将车辆后方影像显示在屏幕上，标记障碍物并辅助停车驾驶员注意力监测内置内置摄像头用于监测驾驶员的注意力状态，防止疲劳驾驶等风险2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用

不同ADAS功能对摄像头的安装位置有不同要求，通常分为前视、后视、侧视和内置四类。其中，前视摄像头使用频率最高，能够实现多项功能，如行车记录、车道偏离预警、前向碰撞预警和行人识别等。根据系统有效距离的需求，前视摄像头可以选择长焦镜头或广角镜头，安装位置通常在后视镜旁或前挡风玻璃的上方。侧视摄像头作为后视镜的替代品已成趋势。由于后视镜存在盲区，驾驶员难以发现斜后方车辆，增加了事故风险。而加装侧视摄像头可以有效覆盖盲区，当有车辆进入盲区时，系统会自动提醒驾驶员

2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用车载摄像头通常分为单目、双目和多目摄像头，单目摄像头预计仍将是未来的主流。随着360°全景泊车和环视系统的发展，未来一辆车可能配备六个以上的摄像头，包括前视、后视和四个侧视。全景泊车系统通过多个超广角摄像头采集车辆四周的影像，经过图像处理后，形成车辆周围的全景图并显示在中控屏上，帮助驾驶员直观查看车辆位置及障碍物。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

概述调查数据显示，15%的汽车碰撞事故是由于倒车时视野不佳引起的。为此，提升汽车后视能力、开发能检测后方障碍物的倒车雷达成为近年来的研究重点。要安全避免碰撞，关键在于快速准确地测量汽车与障碍物之间的距离。超声波无接触测距技术的倒车雷达系统因此成为自动驾驶汽车的必备配置2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

概述超声波雷达通过发射和接收40kHz的超声波，根据时间差计算出障碍物的距离，测距精度约为1～3厘米。其传感器主要分为等方性和异方性两种类型。等方性传感器的水平和垂直角度相同，但由于垂直照射角过大，容易探测到地面，导致无法测量较远的距离。异方性传感器则水平和垂直角度不同2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

工作原理超声波具有强指向性、能量消耗低、遇到障碍物反射效率高的特点，是理想的测距工具。测距过程由安装在同一位置的超声波发射器和接收器共同完成，并通过定时器计时。发射器向特定方向发射超声波的同时启动定时器，当超声波遇到障碍物反射回来并被接收器捕捉时，定时器停止计时。这样，定时器记录了超声波从发射到接收的往返时间t（秒）。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

工作原理α为超声波雷达的探测角，一般UPA的探测角为120°左右，APA的探测角较小，为80°左右；β为超声波雷达检测宽度范围的影响元素之一，该角度一般较小，一般UPA的角度为20°左右，APA的较为特殊，为0°2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

优点在实际应用中，超声波具有能量消耗低、防水防尘的特点，即使有少量泥沙遮挡也不受影响。其在介质中的传播距离较远，穿透力强，测距方法简单且成本低。此外，超声波雷达不受光线条件的限制，因此在短距离测量中具有显著优势2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

缺点（1）对温度敏感超声波的波速受温度影响，进而影响测量精度。若测距精度要求达到1mm，则需考虑环境温度。此外，超声波传播速度较慢，若车辆行驶速度过快，超声波测距可能无法实时跟上车距变化，导致误差增加（2）散射角大，方向性差超声波的散射角较大，方向性较弱，难以精确确定障碍物的位置。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波测距原理简单、成本低、制作方便，但其传输速度易受天气影响，精度有限。此外，超声波能量随距离平方衰减，灵敏度随距离增加而降低。因此，超声波雷达在自动驾驶汽车中主要用于泊车系统和辅助刹车等场景。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波雷达最基础的应用是倒车辅助。超声波传感器通常与控制器和显示器配合使用，通过声音或显示告知驾驶员周围障碍物的情况，解决驾驶员在泊车、倒车和启动车辆时的视野死角和视线模糊问题，从而提升驾驶安全性。除了障碍物检测，超声波雷达还具备更强大的功能，例如泊车位检测和高速横向辅助。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波雷达的主要生产商包括国外的博世、法雷奥、村田、尼塞拉、电装、三菱、松下等，以及国内的同致电子、深圳航盛电子、深圳豪恩、辉创、上富、奥迪威等。传统上，超声波雷达主要用于倒车雷达，博世（Bosch）、法雷奥（Valeo）、村田（Murata）等国际厂商占据了大部分市场，而国内厂商虽多，但能够进入前装市场的并不多。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

概述毫米波雷达是一种工作在毫米波频段的雷达，类似于普通雷达，通过发射无线电信号并接收反射信号来测定与物体之间的距离。其频率范围通常在30～300GHz（波长1～10毫米），位于厘米波和光波之间，兼具微波雷达和光电雷达的优点，因此非常适合用于自动驾驶汽车领域。毫米波雷达穿透性强，能够轻松穿透汽车保险杠的塑料，因此常安装在保险杠内部2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

工作原理毫米波雷达的工作原理与其他雷达系统类似，利用电磁波反射探测和测量目标物的位置和速度。其主要组成部分包括：发射机（产生并发射高频电磁波）、接收机（接收反射波并转换为电信号）、信号处理器（分析信号以提取位置信息）。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

优缺点毫米波雷达具有以下几个优点（1）高分辨率和小尺寸毫米波雷达的天线和微波元器件尺寸与频率相关，其天线和元器件都较小，较小的天线可以获得更窄的波束，从而提高分辨率（2）强穿透力相比于红外、激光、电视等光学导引系统，毫米波雷达在穿透雾、烟、灰尘等环境时表现更好，且其测距精度不易受天气和环境因素的影响，这保证了车辆在各种日常气候下能够正常运行（3）直接测量距离和速度与常用于比较的红外系统不同，毫米波雷达能够直接测量物体的距离和速度信息，这是其一大优势2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

优缺点毫米波雷达的主要缺点包括（1）与微波雷达相比，毫米波雷达的发射功率较低，且波导器件损耗较大（2）行人后向散射截面较小，若要探测行人，雷达的探测阈值需要设定较低，但这可能会导致更多虚假目标的出现（3）高频毫米波雷达的制造成本较高，尤其是在高精度需求的情况下，天线和处理单元的成本会增加，影响其大规模应用2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

毫米波雷达在自动驾驶汽车中的应用毫米波雷达的诸多优势使其能够精确测量自动驾驶汽车与周围车辆的距离，支持变道辅助、速度自主控制、碰撞预警等功能，从而实现自适应巡航，提高驾驶舒适性并减少事故发生率。根据目前市场的主流分类，自动驾驶汽车上使用的毫米波雷达主要分为24GHz和77GHz两种频率。其中，24GHz频段的雷达主要用于感知车辆周围障碍物，为变道提供感知信息，适用于盲点监测和变道辅助等ADAS功能。77GHz频段的雷达波长较短，设备体积更小，且其性能出色，最大探测距离可超过160米，因此常安装在前保险杠上，正对汽车行驶方向。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

毫米波雷达在自动驾驶汽车中的应用毫米波雷达实现自适应巡航等功能的关键在于目标识别与追踪。接收天线接收到雷达回波并完成解调后，控制器对模拟信号进行数字采样和滤波处理。随后，利用快速傅里叶变换（FFT）将信号转换至频域，提取距离、速度和角度信息，并通过设定阈值过滤掉噪声，保留能量峰值。目前，车载毫米波雷达市场主要由德国、美国和日本的厂商垄断，领先企业包括大陆集团、博世、电装、奥托立夫和安波福（前德尔福）。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

概述激光雷达（LiDAR，LightDetectionandRanging）是一种通过发射激光束来探测目标位置、速度等特征的雷达系统。其工作原理是向目标发射激光信号，并接收从目标反射回来的回波信号。通过将反射信号与发射信号进行对比和处理，可以获取目标的相关信息，如距离、方位、高度、速度、姿态以及形状等参数。这使得激光雷达能够对障碍物、移动物体等进行精确的探测、追踪和识别2.2无人驾驶汽车感知传感器：2.2.4激光雷达

工作原理激光扫描测量通过激光扫描器和距离传感器获取目标表面的形态信息。激光扫描器通常由激光发射器、接收器、时间计数器和微计算机等组成。激光脉冲发射器周期性驱动激光二极管发射脉冲信号，接收透镜则接收从目标表面反射回来的信号，生成接收信号。通过石英时钟精确记录发射与接收之间的时间差，微计算机对数据进行处理，输出目标的距离和角度信息，并与距离传感器的数据匹配。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

优点（1）高分辨率与高精度激光雷达可以实现非常高的角度和距离分辨率。其角分辨率可达0.1°，能够区分3公里外相距5米的两个目标，这是微波雷达难以做到的，并且还能同时跟踪多个目标；距离分辨率可达到0.1米。高分辨率是激光雷达最显著的优势，许多应用依赖于此（2）强抗有源干扰能力与微波雷达易受自然电磁波干扰不同，能对激光雷达产生干扰的自然信号源极少，因此其抗有源干扰能力非常强（3）丰富的信息获取激光雷达可以直接获取目标的距离、角度、反射强度、速度等信息，生成目标的多维图像，为系统提供更加丰富的数据支持2.2无人驾驶汽车感知传感器：2.2.4激光雷达

缺点（1）天气影响大在雨雪、雾霾等恶劣天气条件下，激光雷达的精度会显著下降。激光在晴朗天气下衰减较小，传播距离较远，但在大雨或浓雾中，衰减急剧增加，严重影响其探测范围（2）难以识别交通标志和红绿灯激光雷达无法准确识别交通标志的含义或红绿灯的颜色，因此自动驾驶系统需要借助其他传感器（如摄像头）来辅助进行车辆与环境的交互（3）易受光线干扰由于接收光信号，激光雷达容易受到太阳光或其他车辆的激光雷达的干扰。此外，大气环流可能导致激光束的畸变或抖动，从而影响测量精度（4）成本较高目前激光雷达的价格仍然较高，限制了其大规模应用2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用未来，以激光雷达为代表的先进技术将在实时获取多层次三维空间目标方面取得重要突破。将激光雷达嵌入车载或移动系统中，可用于城市道路、堤坝、隧道及大型建筑等复杂三维空间的实时监测和建模。

2012年5月，谷歌研发的自动驾驶汽车成功获得了美国内华达州车辆管理局（DMV）颁发的执照，这是自动驾驶汽车首次获得美国许可，同时也是激光雷达首次在自动驾驶汽车上展现其潜力。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用根据线束数量，激光雷达可以分为单线束和多线束两类。传统的单线束激光雷达已被广泛应用，例如在扫地机器人中。单线束激光雷达每次扫描只产生一条扫描线，能获取二维信息，但无法获取高度数据，生成的仅是平面图像。

迄今为止，机械式激光雷达是激光雷达中最成熟且应用最广泛的形式。机械式激光雷达的发射和接收系统通过物理旋转来工作，通过旋转发射头将激光从“线”扩展为“面”，并在竖直方向上排布多束激光（如32线、64线等），从而实现动态三维扫描并接收信息。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用如今，激光雷达领域的企业正致力于开发轻量化、低成本的新型产品，其中固态激光雷达和混合固态激光雷达是其代表。固态激光雷达取消了机械式雷达中的机械旋转部件，采用电子方案实现全方位探测，体积更小，易于集成在车身内部，系统可靠性提高，Velodyne是激光雷达行业的先驱之一，广泛应用于自动驾驶汽车、机器人、无人机等领域。其旋转式多线束激光雷达（VelodyneHDL-64E）在自动驾驶测试中被广泛使用。RoboSense是中国领先的激光雷达公司之一，专注于为自动驾驶和ADAS系统提供高性能传感器。此外，Luminar，以色列的Innoviz，德国的Valeo，国内有禾赛光电科技、速腾聚创RoboSense、光珀智能、北醒光子等公司在自动驾驶、机器人、无人机和智能城市等应用中扮演着关键角色，推动了激光雷达技术的快速发展2.2无人驾驶汽车感知传感器：2.2.5惯性导航概述

惯性导航系统（InertialNavigationSystem，INS）是一种无需外部信息支持，也不向外辐射能量的自主式导航系统，依赖陀螺仪和加速度计等敏感器件来解算导航参数。通过陀螺仪的输出建立导航坐标系，再根据加速度计的输出计算运载体的速度和位置。惯性导航系统通常由计算机和含有加速度计、陀螺仪或其他运动传感器的平台或模块组成。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

工作原理惯性导航的基本工作原理是基于牛顿力学定律，通过测量载体在惯性参考系中的加速度，并对其进行积分，将结果转换到导航坐标系中，从而获得速度、偏航角和位置等信息。惯性导航系统是一种不依赖外部参考系的自主导航系统。陀螺仪用于测量物体的角速度，通过四元数角度解算建立自主导航坐标系，计算出物体的航向和姿态角。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

工作原理在实际应用中，GPS或其他外部系统提供物体的初始位置和速度，惯性导航系统通过陀螺仪和加速度计的解算结果，实时更新速度和位移信息，从而不断更新物体的当前位置。与天文导航、卫星导航和无线电导航等其他系统相比，惯性导航系统是唯一具备自主导航能力的系统。它无需向外辐射信号，也不依赖连续的外部信号接收，因此具有良好的隐蔽性，能够在复杂电磁环境和外界干扰下保持正常工作，并实现精确定位2.2无人驾驶汽车感知传感器：2.2.5惯性导航

优点（1）自主导航不依赖外部参考，只需初始值和运动传感器数据即可计算出当前位置和速度（2）强环境适应性无需依赖外部信息或发射能量，能够在复杂电磁环境以及极端气象和地理条件下稳定工作，适用于空中、地面和水下的全天候操作（3）低延迟导航通过陀螺仪和加速度计实时解算速度和位移，持续更新位置、速度、航向和姿态角，提供高精度和高频率的数据更新，确保系统稳定2.2无人驾驶汽车感知传感器：2.2.5惯性导航

缺点（1）长期精度下降由于惯性导航通过一次和二次积分计算运动信息，误差会随着时间累积，因此需依靠外部信息进行修正以确保精度和可靠性（2）初始校准耗时较长每次使用前都需要较长时间进行初始校准，影响系统的快速启动（3）设备成本较高与其他导航系统相比，惯性导航系统的设备成本较为昂贵（4）缺乏时间信息惯性导航系统无法提供精确的时间信息，需要与其他系统配合使用才能获取全面的导航数据2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用1）辅助全球卫星导航系统（GNSS）实现高精度定位，在复杂的城市环境中至关重要。由于高层建筑物的遮挡，卫星信号无法覆盖所有区域。在全球卫星导航系统信号较弱或丢失的情况下（如隧道、高架桥、地下车库等），惯性导航系统（INS）可以作为车辆的“眼睛”临时接管，不依赖外部信息，利用自身的运动传感器和运动方程计算出精确的位置和速度，弥补信号缺失带来的影响。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用2）配合激光雷达进行定位时，组合惯导系统为激光雷达提供高精度的位置信息和脉冲发射的姿态，帮助建立云点的三维坐标系。在实际应用中，自动驾驶系统首先通过全球卫星导航系统获取初始位置信息，随后通过惯性导航与车辆编码器的配合确定车辆的初始位置。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用3）辅助主动车距控制巡航系统（ACC）进行路径预测时，惯性导航系统与ACC结合，实现主动车距控制，并将预测路径与障碍物检测相结合。尤其是在坡道上，惯性导航还能对车辆姿态进行控制。该系统通过低重力传感器利用重力方向来确定坡度，确保车辆在上坡时不会后滑，从而提高自动驾驶车辆在爬坡时的稳定性2.3无人驾驶汽车环境感知与识别环境感知关键技术探讨环境感知对象主要包括行驶路径、周边物体、驾驶状态、驾驶环境。其中行驶路径主要包括结构化道路和非结构化道路两大块，其中结构化道路包括车道线、道路边缘、道路隔离物、恶劣路况的识别，非结构化道路包括可行驶路径的确认和前方路面环境的识别。周边物体主要包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止障碍物的识别及各种交通标志的识别。本章重点讨论行驶路径部分的车道线检测以及周边物体中的障碍物检测、红绿灯检测车载传感器环境感知技术环境感知与识别传感器系统通常采用摄像头、激光雷达、毫米波雷达等多种车载传感器来感知环境。就三种传感器的应用特点来讲，摄像头和激光雷达都可用于进行车道线检测。对红绿灯的识别，主要还是用摄像头来完成。而对障碍物的识别，摄像头可以通过深度学习把障碍物进行细致分类，激光雷达只能分一些大类，但能完成对物体距离的准确定位；毫米波雷达则完成障碍物运动速度、方位等识别2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

2.3.1障碍物检测车辆行驶道路上的障碍物检测是无人驾驶汽车环境感知模块中的重要组成部分。准确的障碍物检测决定着无人驾驶汽车行驶的安全性。目前障碍物检测技术主要包括以下基于图像的障碍物检测、基于激光雷达的障碍物检测、基于视觉和激光雷达融合的障碍物检测三种方法2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测基于图像的障碍物检测算法已经得到了较为成熟的发展，通常分为两大类：一阶段检测算法和二阶段检测算法。一阶段检测算法的典型代表有YOLO（YouOnlyLookOnce）和SSD（SingleShotMultiboxDetector），而二阶段检测算法主要以RCNN（Region-basedConvolutionalNeuralNetwork）为代表。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（1）一阶段检测算法YOLO系列作为一阶段检测算法的代表，与RCNN系列有显著的不同。YOLO将物体检测任务视为一个回归问题，直接从原始图像生成物体的类别和位置。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测1）网络定义。YOLO检测网络由24个卷积层和2个全连接层组成，卷积层用于提取图像特征，全连接层则用于预测物体位置和类别概率。YOLO网络参考了GoogleNet的分类网络结构，但并未使用Inception模块，而是采用了1×1卷积层（用于整合跨通道信息）和3×3卷积层来进行替代。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测2）输出表达（representation）定义。YOLO将输入图像划分为S×S个格子，每个格子负责检测落入其区域内的物体。当某个物体的中心点位于某个格子内时，该格子便负责检测该物体。例如，图中，狗的中心点（红色原点）位于第5行第2列的格子内，因此该格子负责预测物体狗的存在2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测每个格子输出B个标注框（即包含物体的矩形区域）信息，以及C个类别概率信息。标注框包含5个数据：x、y、w、h和confidence。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测3）损失（loss）函数定义。YOLO采用均方误差作为损失函数来优化模型参数，即将网络输出的S×S×（B×5+C）维向量与真实图像对应的S×S×（B×5+C）维向量进行均方误差计算。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测1）为了区分位置相关误差（坐标误差和IOU误差）与分类误差对loss的不同贡献，YOLO在计算loss时引入了系数coord=5来调整coordError2）在计算IOU误差时，包含物体的格子与不包含物体的格子对loss的贡献不同。如果对二者使用相同权重，则不包含物体的格子confidence值接近0，这会放大包含物体格子的confidence误差在梯度计算中的影响。3）对于相同的误差值，大物体误差对检测的影响应小于小物体的误差，因为相同的位置偏差在大物体中所占比例小于小物体中的比例。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（2）二阶段检测算法二阶段检测算法最初由RCNN开创，RCNN通过先生成候选区域（即可能包含物体的矩形区域），再对这些区域进行分类来确定物体类别。RCNN的主要步骤如下1）使用选择性搜索算法在图像中生成一系列候选区域2）对每个候选区域进行卷积特征提取3）使用分类器对这些特征进行分类，确定物体的类别2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（3）二阶段检测算法与一阶段检测算法的区别

与RCNN系列相比，YOLO具有网络结构简单、检测效率高的优点。1）YOLO训练和检测均是在一个单独网络中进行，没有显式地求取区域候选框的过程，这是它相比基于候选框方法的优势。而RCNN/FastRCNN采用分离的模块（独立于网络之外的选择性搜索方法）求取候选框（可能会包含物体的矩形区域），训练过程因此也是分成多个模块进行。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测2）YOLO输入图像经过一次推理，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。而RCNN/FastRCNN/FasterRCNN将检测结果分为两部分求解：物体类别（分类问题）和物体位置，即标注框（boundingbox）。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测（1）基于几何特征和网格几何特征包括直线、圆形和矩形等形状。基于几何特征的检测方法首先对激光雷达数据进行处理，通过聚类算法将数据聚类并与障碍物的几何特征进行对比，从而完成检测和分类。这类方法在无人驾驶中应用较广。为了提高对不同点云数据的检测可靠性，几何特征还可以与光谱特征结合，综合考虑几何和影像特征，同时引入权重系数，以反映不同特征对识别结果的影响2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测（2）VoxelNet障碍物检测为方便进行障碍物检测，激光雷达数据通常需要经过人工整理，尤其是对于距离较远的物体，其轮廓信息在网络识别时效果可能不理想，因此需要更多人工处理激光雷达数据。为了解决这一问题并减少人力，VoxelNet研究中提出了一种端到端的三维检测网络，消除了手动提取点云特征的步骤2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测特征学习网络将点云划分为体素（Voxel）形式，通过VFE层提取特征，得到体素级特征向量，具体过程包括以下几步：1）体素划分

给定输入的点云，将空间均匀划分为体素。

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测2）分组

根据点云的空间位置，将其划分到对应的体素中。

3）随机抽样

激光雷达采集的点云数量庞大，直接处理会增加计算和内存负担。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测4）堆叠体素特征编码通过多层VFE实现点特征与局部特征的融合

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测5）稀疏张量表示

在体素划分过程中，大多数体素（超过90%）是空的，因此只需对非空体素进行VFE处理，将其表示为稀疏张量，以此来节省计算资源。

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测3．基于视觉和激光雷达融合的障碍物检测2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于视觉和激光雷达融合的障碍物检测（1）空间融合建立雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的精确坐标转换关系，是实现多传感器数据空间融合的关键。雷达和视觉传感器的空间融合，就是将不同传感器坐标系下的测量数据转换到同一坐标系中。（2）时间融合除了在空间上进行融合外，雷达和视觉信息还需要在时间上同步采集数据，实现时间上的融合。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测2.3.2车道线检测

01车道线是用于管制和引导交通的标线，通常由绘制在路面上的线条、箭头、文字、标记及轮廓标识等构成。根据《道路交通标志和标线国家标准》（GB5768-1999），我国的道路交通标线分为指示标线、禁止标线和警告标线。

02车道线检测是智能驾驶辅助系统中至关重要的一部分，快速准确地检测车道线对路径规划和偏离预警具有重要作用。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法（1）基于颜色特征的检测方法基于灰度特征的检测方法主要通过提取图像的灰度信息来识别道路边界和标识。该方法可以直接处理灰度图像，或将原始图像转换为灰度图进行分析。常用的边缘检测算子包括Sobel算子、Prewitt算子、Log算子和Canny算子2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法颜色空间是一种使用数值来描述图像信息的抽象模型，通常采用三个数字表示。常见的颜色空间包括RGB、HSI和CIELab等。以RGB空间为例，图像通过红、绿、蓝三原色来表示，其中R、G、B分别表示红、绿、蓝的亮度值，范围为0到1。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法（2）基于纹理特征的检测方法基于纹理特征的检测方法通过计算区域内像素的纹理强度和方向来检测车道线。这种方法在抗噪性能方面表现较好。

（3）基于多特征融合的检测方法针对单一特征提取方法的局限性，基于多特征融合的检测方法通过结合多种道路特征来进行车道线检测，从而提升检测效果。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路模型的检测方法（1）直线模型直线模型主要建立在车道线为直线的假设基础上，直线模型的数学表达式如下

（2）双曲线道路模型

该算法首先利用Canny算子检测道路边缘，通过Hough变换提取道路边界点，并结合扩展的Kalman滤波进行预测跟踪，以减少道路的扫描范围。随后，将左右车道边界参数与双曲线模型参数匹配，运用最小二乘法求解模型参数，重建车道边界。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

3．基于深度学习的车道线检测传统的车道线检测方法依赖人工提取道路场景特征并建立模型，然而由于车道线类型繁多、道路结构复杂，传统方法工作量大且健壮性不足。随着深度学习的兴起，CNN在视觉理解上取得了突破性进展。将车道线检测视为分割或分类问题，并通过神经网络代替传统手动调整滤波算子的方式逐渐得到应用。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于深度学习的车道线检测SCNN与MRF/CRF在信息传递上的主要区别在于方向性。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测基于激光雷达的车道线检测

激光雷达具有更远的检测距离和更多的采样点，且能穿透水面，基本解决了传统视觉方法中的大部分问题。然而，基于激光雷达的检测方法仍存在一个明显的硬伤：成本较高。

在激光雷达获取的点云中，利用反射强度值能够区分道路与车道线。在三维点云中，检测每个激光层采集到的可行驶区域的回波强度变化，若出现变化，则提取并标记变化点。2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

2.3.3红绿灯检测红绿灯检测是无人驾驶技术中的关键环节，主要任务是获取红绿灯在图像中的坐标及其类别。无人驾驶汽车根据检测结果做出相应决策：如果识别到红灯，则在路口等待；如果检测到绿灯，则安全通过。因此，能否准确判断红绿灯状态直接影响无人驾驶汽车的安全性近年来，随着深度学习技术在计算机视觉领域的广泛应用，目标检测的准确性和速度得到了显著提升。目前，大多数目标检测方法都基于FasterRCNN、YOLO和SSD，但这些方法在小目标检测上表现不佳。2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

2.3.3红绿灯检测目前，对小目标检测算法的改进主要集中在优化特征提取网络，使得提取的特征更适应小目标检测，常见的改进方法有以下几种1）图像金字塔：

2）逐层预测：3）特征金字塔：

4）空洞卷积：5）RNN思想2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

基于传统视觉方法的红绿灯检测（1）基于颜色和边缘信息该方法的具体步骤为：①获取图像；②进行预处理，将RGB图像转换为CIELab颜色空间，增强红绿颜色差异并填充空洞；③检测候选区域，使用径向对称检测和最大最小值定位；④验证候选区域，通过时空持续性进行验证。2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

基于传统视觉方法的红绿灯检测（2）基于背景抑制基于背景抑制的方法通过处理图像的浅层特征来区分前景与背景，从而实现背景抑制并提取红绿灯的候选区域。2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

基于深度学习的红绿灯检测（1）特征金字塔网络（FPN）红绿灯检测在传统图像处理方法中，金字塔是一种常用的技术，比如SIFT（尺度不变特征变换）算法通过金字塔进行多层特征提取。2.3无人驾驶汽车环境感知与识别：2.3.3红绿灯检测

基于深度学习的红绿灯检测（2）特征融合SSD红绿灯检测

该方法通过多尺度特征融合将上下文信息引入SSD，以提升像红绿灯这样的小目标的检测效果。2.3无人驾驶汽车环境感知与识别：2.3.4红绿灯检测

高精地图结合高精地图是指具有分米级别精度的地图，能够精确区分各个车道。随着定位技术的发展，精确的定位技术已经成为现实。同时，高精地图不仅具备高度精确的空间定位能力，还能存储和定义多种交通要素，如道路网、车道网络、车道线以及交通标志等THEEND谢谢第4章无人驾驶汽车规划与决策系统导读

无人驾驶汽车决策系统解析无人驾驶汽车的规划与决策系统是其核心功能之一，负责在动态环境中为车辆制定安全、高效的行驶路径和行为策略。这一系统的设计与实现直接关系到自动驾驶的安全性、舒适性和效率。本章介绍了无人驾驶汽车路径规划的基础知识及规划算法，在此基础上介绍了无人驾驶汽车行为决策和运动规划学习目标

了解无人驾驶汽车路径规划算法发展历程

掌握无人驾驶汽车路径规划算法

掌握无人驾驶汽车行为决策

掌握无人驾驶汽车运动规划4.1无人驾驶汽车路径规划：4.1.1路径规划概述

路径规划关键于自动驾驶路径规划是自动驾驶汽车的核心关键任务之一。该模块汇集了来自定位、传感和数据库等多个基本模块的数据，并对这些数据进行评估，以便在受限条件下提供最佳路径规划解决方案。作为驾驶决策和进一步行动的基础，路径规划是自动驾驶系统整体框架中不可或缺的关键部分

自动驾驶路径规划技术解析路径规划，即基于给定的环境模型，在特定约束下规划一条连接汽车当前位置和目标位置的路径，而不会发生碰撞。自动驾驶汽车的路径规划按功能可分为全局路径规划和局部路径规划。简而言之，自动驾驶汽车的全球路径规划可以理解为自动驾驶汽车软件系统内导航功能的实现，即在宏观层面引导自动驾驶汽车系统的控制规划模块沿着哪条道路行驶，然后引导汽车从起点到达目的地。需要注意的是，尽管这里的全球路径规划在一定程度上与传统导航相似，但它与传统导航有着根本的不同，因为它在细节上密切依赖于专门为自动驾驶汽车导航绘制的高精度地图4.1无人驾驶汽车路径规划：4.1.1路径规划概述全局路径规划关键作用与标准全局路径规划的目的是使用路径搜索算法，基于已知的电子地图和关于起点和终点的信息，生成最优化的全局期望路径。这样的计划既可以在行驶前离线进行，也可以在行驶中继续重新计划。以中国国家自然科学基金会（NSFC）主办的“中国智能汽车未来挑战”为例，大会主办方将在大会前提供大会道路网络定义文件（RNDF），让各队根据RNDF规划全球希望路径。在全局路径规划中，由于所规划的路径以全局大地坐标系为基准，所以全局希望路径也以全局坐标的形式表示。全球路径规划的作用是生成全球路径来引导汽车的方向，防止汽车胡乱探索环境。关于全球路径规划，如果环境不同，偏好往往不同。在平坦的环境中，最短路径的长度和时间通常被视为最佳标准，城市环境中的全球路径规划甚至需要考虑道路建设、拥堵、天气等因素。在越野环境中，全局路径规划往往以“安全性”为标准进行优化，为确保车辆安全，考虑可实现的路径宽度和路面光滑度4.1无人驾驶汽车路径规划：4.1.1路径规划概述

自动驾驶行为决策模块解析全局路径规划产生的路径信息，直接被下游的行为决策模块所使用。这里的行为决策模块，可以直观地理解成自动驾驶汽车的“副驾驶”。行为决策接收全局路径规划的结果，同时也接收感知、预测和地图信息。综合这些输人信息，行为决策模块在宏观上决定了自动驾驶汽车如何行驶。这些行为层面的决策包括在道路上的正常跟车或者变道、在遇到交通灯和行人时的等待避让，以及在路口和其他汽车的交互通过等。例如，全局路径模块要求自动驾驶汽车保持在当前车道(Lane)行驶，当感知到前方有一辆正常行驶的汽车时，行为决策的一个决定便很可能是下达跟车(Follow)命令。行为决策模块根据具体实现不同，在宏观上定义的输出指令集合也多种多样4.1无人驾驶汽车路径规划：4.1.2路径规划算法

路径规划流程路线规划实际上是在旅行开始前或旅行中帮助驾驶员规划行驶路线的过程。该过程是汽车导航领域中的一个基本挑战，是实现导航功能所必需的。其最终目标是使无驾驶员智能车辆能够在障碍物较多的环境中快速、准确地找到完全无碰撞的路径，并最终到达目标地点。一种是用于大型车辆调度和交通控制的多车辆路径规划，另一种是各种汽车导航系统中常用的单车辆路径规划，包括在单车辆路径规划中。这主要解决在道路网络中搜索从起点到目标地点的最佳路径的问题。根据应用的需要，许多优化标准可应用于汽车路径规划，例如最小移动成本、最小移动时间、最小移动距离等。最优路径规划问题基本上是在所定义的道路网络中根据一个最优准则找到最优路径的问题，而不管所使用的准则如何在进行路径规划之前首先要确定路径规划的模型，然后收集各种信息数据，但是这些数据并非全部都是与解决问题有关的。提取数据就是从收集的信息数据中提取那些对解决问题有用的信息，抛弃无用的、不相关的信息。在数学模型的约束条件下对提取后的信息数据进行计算，进而得到所需要的路径4.1无人驾驶汽车路径规划：4.1.2路径规划算法

路线规划分类路径规划可分为两类：静态路径规划和动态路径规划。其中，主要依赖于静态道路交通信息的路径规划被定义为静态路径规划，而动态路径规划主要依赖于动态交通信息来确定通行权的大小，它遵循使起点和终点之间的交通阻抗最小化的标准，然后确定路径规划成本最低的路线。交通阻抗的定义将基于不同的应用场景，并选择不同的阻抗标准，如最短行驶距离、最短行驶时间、最小通行费等。4.1无人驾驶汽车路径规划：4.1.2路径规划算法

路线规划分类自动驾驶汽车全局路径规划问题本质是在已知地图或未知地图前提下的最优路径规划问题。一般来说，在全局路径规划的框架下，主要讨论地图已知的情形，即在规划前就已有规划范围的基本信息。4.1无人驾驶汽车路径规划：4.1.2路径规划算法

路线规划分类自动驾驶汽车全局路径规划问题本质是在已知地图或未知地图前提下的最优路径规划问题。一般来说，在全局路径规划的框架下，主要讨论地图已知的情形，即在规划前就已有规划范围的基本信息。当下，有许多成熟的算法可以解决自动驾驶汽车的全局路径规划问题。较为常见的算法涵盖了Dijkstra算法、Floyd算法以及诸如A*算法之类的启发式搜索算法等。Dijkstra算法作为求解最优路径问题最为经典的算法，然而它属于一种盲目搜索算法。在多年的研究历程中，各国学者持续对其进行改进，使得该算法的求解速度获得了显著提升。A算法作为启发式搜索算法的典型代表，其在搜索进程中能够缩减网络图的搜索空间，进而节省了搜索所需的时间，故而计算效率颇高4.1无人驾驶汽车路径规划：4.1.2路径规划算法

路线规划分类此外，针对高维度的路径规划问题。在1998年，LaValle首次提出了快速扩展随机树（RapidlyExploringRandomTree，RRT）算法，这是一种具备采样概率完备性的路径规划算法。作为一个运用树形结构的规划算法，快速扩展随机树能够用于处理高维度空间中的路径规划问题，其核心思想是以给定的起始点作为该树的根结点，从根结点起始依次向状态空间中扩展子结点，而子结点的获取方式皆是通过在状态空间内随机采样的形式达成的。除了上述算法外，还存在一种间接规划算法，即基于经验的规划算法。这是一种存储先前规划的路径、构建知识库并依赖于过去规划经验的方法。这种方法牺牲了一些空间成本，从而实现了速度和完整性的优势。就广义Voronoi图而言，还有快速行进规划，类似于Dijkstra规划和势场的融合，能够完美地规划位于道路中心且远离障碍物的路径4.1无人驾驶汽车路径规划：4.1.2路径规划算法

常用路径规划算法（1）Dijkstra算法荷兰数学家E.W.Dijkstra在1959年提出了Dijkstra算法，这是一种适用于非负权值网络的单源最短路算法，亦是当下求解最短路问题在理论层面最为完备、应用范围最为广泛的算法。它能够给出从特定结点到图中其他所有结点的最短路径，以及任意两点之间的最短路径。Dijkstra算法属于一种基于贪心策略的最短路径算法4.1无人驾驶汽车路径规划：4.1.2路径规划算法

常用路径规划算法Dijkstra算法的执行由三个循环组成。第一个循环的时间复杂度为O（n），第二个和第三个循环是嵌套循环，导致总时间复杂度达到O（n²）。序号集合

Sn集合T所选顶点最短距离1P0P1,P2,P3,P4,P5P2∞,10,∞,30,1002P0,P2P1,P3,P4,P5P4∞,0,60,30,1003Po,P2,P4P1,P3,P5P3∞,0,50,0,904P0,P2,P4,P3P1,P3P5∞,0,0,0,905P0,P2,P4,P3,P5P1P1∞,0,0,0,06P0,P2,P4,P3,P5,P1

0,0,0,0,04.1无人驾驶汽车路径规划：4.1.2路径规划算法

常用路径规划算法（2）Floyd算法1962年，Floyd提出了一种求解加权图中所有节点对之间最短路径的算法，称为Floyd算法，也称为插值法。该算法在求解过程中重复Dijkstra算法N次，依次将每个节点作为原始节点。基本原理是借助图的权重矩阵，找到图中每两点之间的最短路径矩阵4.1无人驾驶汽车路径规划：4.1.2路径规划算法

启发式搜索是在状态空间中搜索时，将与问题相关的启发式方法纳入搜索过程，以引导搜索朝着最佳方向进行的实践。此方法评估每个结