人工智能与未来 课件 10.3 智能驾驶的关键技术

2035EmbodiedIntelligence第10章

智能驾驶吴宁10.110.210.310.4智能驾驶那些事智能驾驶概述智能驾驶的关键技术扩展：无人飞行器目录CONTENTS智能驾驶的关键技术前面我们了解智能驾驶汽车的智能系统架构的三大模块环境感知决策规划控制执行多种传感器以及定位系统等获取数据，并进行计算（1）车辆进行精确定位（2）并周围环境进行理解（3）做出准判断和规划（4）选择合理路径指令转化为具体的车辆操作确保车辆能够完成行驶任务环境状态

环境感知计算

激光雷达毫米波雷达超声波雷达视觉传感器计算芯片导航算法传感器算法融合算法多种传感器以及定位系统等获取数据，并进行计算环境状态

环境感知决策系统

决策规划计算

认知理解

激光雷达毫米波雷达超声波雷达视觉传感器路由寻径行为决策轨迹规划计算芯片导航算法传感器算法融合算法车辆定位车辆情况环境理解

多种传感器以及定位系统等获取数据，并进行计算（1）车辆进行精确定位（2）并周围环境进行理解（3）做出准判断和规划（4）选择合理路径环境状态

环境感知决策系统

决策规划底盘及附件

控制执行计算

认知理解

激光雷达毫米波雷达超声波雷达视觉传感器路由寻径行为决策轨迹规划轨迹跟踪横向控制纵向控制计算芯片导航算法传感器算法融合算法车辆定位车辆情况环境理解

多种传感器以及定位系统等获取数据，并进行计算（1）车辆进行精确定位（2）并周围环境进行理解（3）做出准判断和规划（4）选择合理路径指令转化为具体的车辆操作确保车辆能够完成行驶任务10.3.1环境感知10.3.2定位系统10.3.3决策规划10.3.4控制执行

目前我们整体上了解智能驾驶的关键技术：环境感知、决策规划和控制执行。但实际上我们在环境感知部分，还需要定位系统来帮助我们进行车辆定位，下面讲详细介绍这些内容。10.3.1环境感知环境感知激光雷达毫米波雷达超声波雷达摄像头等传感器对象识别场景理解环境重建状态监测感知任务

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。你了解的智能汽车上面主要有哪些感知信息的设备？获取如上面(上一页)的信息分别需要哪些设备？摄像头是智能驾驶中最常用的传感器之一，能够实时获取车辆周围的图像信息。通过计算机视觉算法，摄像头可以识别车道线、交通标志、行人、车辆等目标，为自动驾驶系统提供决策依据。主要安装在车辆前、后、左、右方向，完成物体发现、识别、追踪等任务。可分为单目摄像头、双目摄像头、多目摄像头等。10.3.1环境感知:摄像头激光雷达通过发射激光束并测量反射光的时间，能够精确获取车辆周围的三维点云数据。10.3.1环境感知：激光雷达指工作频段在毫米波频段的雷达，测距原理跟一般雷达一样，把无线电波（雷达波）发出去，然后接收回波，根据收发之间的时间差测得目标的位置数据。主流产品为24

GHz

（近距离）和77

GHz

（远距离）两种规格。10.3.1环境感知：毫米波雷达

在惯性传感器中测量角度的仪器称为陀螺仪。测量直线加速度仪器称为加速度计。基于惯性传感器的定位方法通过利用角速度变化和加速度等传感器的信息，推算出车辆相对于起始点的位置。惯性直线加速度角加速度陀螺仪加速度计电机电机平台电机陀螺仪加速度计10.3.1环境感知：惯性测量单元道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测摄像头10.3.1环境感知-常见场景采集道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测激光雷达10.3.1环境感知-常见场景采集道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测毫米波雷达10.3.1环境感知-常见场景采集道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测惯性测量单元10.3.1环境感知-常见场景采集道路标识（如车道线、交通标志、道路边缘、隔离物等）。建筑物、路肩、绿化带等。车辆、行人、自行车等。识别交通信号灯。区分结构化道路（如高速公路、城市道路）。判断周围车辆的行驶轨迹、速度分布。根据识别的交通标志和道路标识，确定当前的交通规则。

通过构建精确的三维环境模型，车辆可以更准确地计算行驶

路径，优化行驶轨迹。车辆自身状态检测。

周围车辆状态检测。环境感知对象识别场景理解环境重建状态监测摄像头+激光雷达10.3.1环境感知-常见场景采集

定位系统的主要目的是实现智能驾驶汽车精确的定位。定位主要采用全球定位系统、惯性测量单元等传感器，为智能驾驶车辆提供速度、位置、姿态等信息。环境感知与定位系统共同为智能驾驶的决策层提供所需的所有信息。10.3.2定位系统定位系统所需的位置定位信息车辆自身定位周围物体定位

通过集成全球导航卫星系统、惯性测量单元等传感器，结合高精地图，实现车辆在全球坐标系下的精确定位。10.3.2定位系统:

1.车辆自身定位加速度、角速度定位信息地图数据惯性测量单元全球导航卫星系统高精地图传感器融合算法精确定位

高精地图是服务于自动驾驶系统的专题地图，具有高精度、高鲜度、高丰富度等特点。

高精地图数据来源为专业采集车数据采集。经过数据采集、数据处理、元素识别、人工验证制造而成。

若将定位比作拼图，则无人车需要迅速知道自己处于拼图的哪一块。10.3.2定位系统:

1.车辆自身定位数据采集与预处理多传感器融合定位高精地图辅组定位定位修正与优化输出与反馈全球导航卫星系统数据：接收卫星信号，获取车辆在地球坐标系下的初始位置（经纬度、海拔）和速度信息。惯性测量单元数据：通过加速度计和陀螺仪测量车辆的加速度、角速度，推算短时内的运动轨迹（航向、位移）。高精度地图匹配：将车辆传感器数据与预先构建的高精度地图（包含车道级道路信息、地标特征等）进行比对，提供辅助定位参考。10.3.2定位系统:

1.车辆自身定位数据采集与预处理多传感器融合定位高精地图辅组定位定位修正与优化输出与反馈全球导航卫星系统定位有效开始全球导航卫星系统定位模式定位数据全球导航卫星系统定位有效惯性导航定位模式否是10.3.2定位系统:

1.车辆自身定位数据采集与预处理多传感器融合定位高精地图辅组定位定位修正与优化输出与反馈特征匹配：将激光雷达或摄像头获取的实时环境特征（如车道线、路沿、交通标志）与高精度地图中的特征进行匹配，修正定位偏差。10.3.2定位系统:

1.车辆自身定位数据采集与预处理多传感器融合定位高精地图辅组定位定位修正与优化输出与反馈误差补偿：针对全球导航卫星系统的多路径效应、惯性测量单元的漂移误差，通过算法（如零速修正、航迹推算）进行动态补偿。环境感知融合：结合摄像头、雷达等传感器数据，进一步验证和修正定位结果，提升复杂环境下的定位精度。10.3.2定位系统:

1.车辆自身定位数据采集与预处理多传感器融合定位高精地图辅组定位定位修正与优化输出与反馈全局定位结果：输出车辆在全球坐标系下的精确位置（经纬度、海拔）、姿态（航向角、俯仰角、横滚角）和速度信息。10.3.2定位系统:

1.车辆自身定位

利用激光雷达、摄像头和毫米波雷达的数据，结合多传感器融合算法，确定周围物体的位置、大小、形状等信息。10.3.2定位系统:2.周围物体定位结合多传感器融合算法周围物体位置大小形状等信息激光雷达，可以提供障碍物的精确距离和形状信息，摄像头可以识别物体的类型和特征，毫米波雷达则可以测量物体的速度和相对距离。

决策规划模块主要是为智能驾驶汽车规划出一条安全、舒适的轨迹，并在合理的时间内到达规划的目的地。从功能上说，规划主要实现了三个功能：路由寻径、行为决策和轨迹规划。10.3.3决策规划环境感知路由寻径行为决策轨迹规划控制执行1.路由寻径

路由寻径是在宏观层面上为车辆规划出一条从起点到终点的行车路线。可根据已知电子地图和起点终点信息，采用路径搜索算法（如A*算法或Dijkstra算法）搜索出一条最优化的全局期望路径。这种最优化可以是基于时间最短、路径长度最短等标准。10.3.3决策规划环境感知路由寻径行为决策轨迹规划控制执行2.行为决策

行为决策是在微观层面上进行的，它根据车辆当前的位置、速度、周围环境以及驾驶目标，决定车辆应该采取何种行驶方式。这些行驶方式可能包括绕行以避开拥堵、换道以超越慢车、减速以让行人或其他车辆等。行为决策是车辆行驶过程中的“大脑”，它根据实时情况做出决策，指导车辆安全、高效地行驶。10.3.3决策规划环境感知路由寻径行为决策轨迹规划控制执行①②3.轨迹规划

轨迹规划则是根据行为决策的结果，在微观层面上生成一条符合决策要求的时空连续轨迹。这条轨迹不仅考虑了车辆的位置和速度，还考虑了时间因素，确保车辆能够按照计划的时间节点到达指定的位置。10.3.3决策规划环境感知路由寻径行为决策轨迹规划控制执行

与行为决策相比，轨迹规划的输出信息更加具体和详细，它直接对应着车辆的具体运动过程，包括车辆在每个时刻的位置、速度和加速度等。

轨迹规划是车辆行驶过程中的“执行者”，它将行为决策的意图转化为具体的运动轨迹，指导车辆实现安全、顺畅的行驶。10.3.3决策规划

车辆的控制模块需要整合其他三部分的信息：规划部分提供的导航运动轨迹信息，定位系统给出的实时车辆位置信息，以及车辆底盘反馈的状态信息。控制模块在获取这些上游数据后，通过相应的算法，计算出车辆应如何转动方向盘、如何踩踏油门或刹车。10.3.4控制执行规划定位控制地盘车辆通信导航运