清华大学-自动驾驶技术概论第五章

智能驾驶丛书（第一册）

智能驾驶技术丛书（第一册）自动驾驶技术概论本书思维导图Chapter5

Apollo平台介绍

OutlineApollo平台概述Apollo车辆要求Apollo支持的传感器Apollo平台的安装与使用开放数据集5.1Apollo平台概述1.Apollo平台发展Apollo1.0Apollo1.5Apollo2.0Apollo2.5Apollo3.0Apollo3.5ApolloEnterprise2017年7月2017年9月2018年1月2018年4月2018年7月2019年1月·具有在封闭区域循迹自动驾驶、自定位能力·降低了自动驾驶准入门槛·固定车道循迹驾驶·新开放障碍物感知、决策规划、云端仿真、高精地图、端到端深度学习算法，实现无人驾驶完整框架·昼夜简单城市道路自动驾驶·开放产品安全服务·能力加强：红绿灯有效识别、变道功能等·云端仿真能力加强·阿波龙——平台正式落地·限定区域视觉高速自动驾驶，开放视觉感知、实时相对地图、高速规划与控制能力·开发支持一体化传感器，极大地降低成本·ApolloEnterprise：商业解决方案·Apollo3.5更新了计算单元、GPS/IMU导航系统、摄像头、雷达和激光雷达；同时新增了两个新的硬件模块：Apollo扩展单元和车路协同V2XOBU·发布高性能开源计算框架——ApolloCyberRT·L4级别量产自动驾驶巴士下线·新增量产解决方案：自主泊车、无人作业小车及自动接驳巴士·公布参考车辆标准、参考传感器单元政府颁发路测牌照5.1Apollo平台概述2.Apollo平台技术框架如表所示，技术框架自下而上由4层组成：参考车辆平台参考硬件平台开放软件平台云端服务平台5.1Apollo平台概述2.Apollo平台技术框架参考车辆平台

参考车辆平台指的是一辆能够受电子信号控制、经由百度认证的完整乘用车。现阶段经百度认证，与Apollo平台兼容的开放车型有以下四款：

林肯MKZ、PolarisGEM、广汽GE3、长城WEYVV65.1Apollo平台概述2.Apollo平台技术框架参考车辆平台

林肯MKZ PolarisGEM5.1Apollo平台概述2.Apollo平台技术框架参考车辆平台

广汽GE3 长城WEYVV65.1Apollo平台概述2.Apollo平台技术框架开放软件平台 开放软件平台包括实时操作系统、承载所有模块的框架层、高精地图与定位模块、感知模块、决策规划模块、控制模块。

·高精地图主要应用在高精定位、环境感知、决策规划、仿真运行四大场景，帮助解决林荫道路GNSS信号弱、红绿灯的定位与感知以及十字路口复杂等导航难题。

·定位模块采用多传感器融合定位方案。以RTK定位为基础，辅以IMU惯性导航、点云地图和实时数据的采集分析车辆位置，从而达到厘米级精度。5.1Apollo平台概述2.Apollo平台技术框架开放软件平台 开放软件平台包括实时操作系统、承载所有模块的框架层、高精地图与定位模块、感知模块、决策规划模块、控制模块。

·感知模块采用多传感器融合实现。通过对障碍物的识别、分类和目标跟踪，自动驾驶车辆可以精确感知周围的环境。

·规划模块将GNSS和IMU提供的信息作为输入，处理后生成规划信息，包括路径和速度信息，提供给控制模块使用。当车辆收到控制信号之后，Apollo系统通过CANBUS通讯协议中的DBCfile将信号传递给线控单元，从而实现精确控制。5.1Apollo平台概述2.Apollo平台技术框架参考硬件平台

参考硬件平台包括计算单元、GNSS/IMU、Camera、激光雷达、毫米波雷达、人机交互设备、BlackBox等硬件。云端服务平台

云端服务平台包括高精地图、模拟驾驶的仿真服务、数据平台、安全和OTA服务等。 Apollo仿真平台内置高精地图的仿真场景，支持感知、规划、控制多算法模块验证。5.2Apollo车辆要求1.车辆功能要求必需车辆功能要求：控制接口要求计算平台及传感器供电功能车辆状态整车故障紧急退出按钮可选车辆功能要求：动力学模型电池续航里程（电动车）线控安全等级5.2Apollo车辆要求2.车辆线控要求Apollo开放平台对车辆的线控要求：线控转向功能线控驱动功能线控档位功能线控驻车功能线控灯光功能5.2Apollo车辆要求2.车辆线控要求线控转向功能子功能

信号描述

优先级转向控制

使能

总线控制转向系统从人工驾驶状态切换到自动驾驶状态的标志位必需

与前轮转角成线性关系的信号值总线控制转向系统转动的目标角度目标前轮转速

总线控制转向系统的目标转动速度（deg/s）

转向反馈

前轮转角

前轮转角(deg)前轮转速

前轮转动速度(deg/s)转向驾驶模式

转向系统的驾驶模式信息故障信息

转向系统的故障信息

越界处理

越界拒绝执行，并退出自动驾驶模式子功能

信号描述

优先级驱动控制

使能

总线控制驱动系统从人工驾驶状态切换到自动驾驶状态的标志位必需车辆目标纵向加速度

（可选）

目标车辆加速度(m/s2)虚拟目标加速踏板位置目标加速踏板的位置（%）

驱动反馈

驾驶模式驱动系统的驾驶模式纵向加速度

（可选）

车辆实际纵向加速度(m/s2)车速

车辆实际纵向车速（kph）轮速

（可选）

车辆实际轮速（rad/s）

可选故障信息

驱动系统的故障信息

必需人工接管

加速人工指令覆盖当驾驶员驱动加速踏板，踏板请求可以覆盖总线控制指令请求

越界处理

越界拒绝执行，并退出自动驾驶模式

5.2Apollo车辆要求2.车辆线控要求线控驱动功能5.2Apollo车辆要求2.车辆线控要求线控档位功能子功能

信号描述

优先级档位控制

档位控制使能

档位系统从人工驾驶状态切换到自动驾驶状态的请求标志位必需目标档位

目标档位P/R/N/D档位反馈

档位信息

当前档位状态

故障信息

变速箱的故障信息

5.2Apollo车辆要求2.车辆线控要求线控驻车功能线控灯光功能子功能

信号描述

优先级驻车控制

驻车控制使能

驻车系统从人工驾驶状态切换到自动驾驶状态的请求标志位

推荐驻车请求

驻车控制的请求位驻车反馈驻车状态反馈

当前的驻车状态

驻车系统故障反馈

反馈驻车系统的故障情况

子功能

信号描述

优先级灯光控制

转向灯控制（可选）

转向灯控制信号推荐灯光反馈转向灯状态（可选）

转向灯状态

5.3Apollo支持的传感器Apollo硬件参考平台主要分为：激光雷达毫米波雷达摄像头导航模块工控机CAN卡Apollo传感器单元5.3Apollo支持的传感器激光雷达——VLS-128VLS-128能够提供细节丰富的成像，无需额外的传感器融合，可提高车辆计算的安全性和冗余度，降低总体计算复杂度VLS-128采集原始数据，减少数据处理时间提升行车安全。具有如下特性：频道数：128范围：300米出点数：每秒八百八十万水平视场：360°垂直视场：40°分辨率：0.2°x0.1°具备感知意识的动态智能发射5.3Apollo支持的传感器激光雷达——HDL-64ES3HDL-64ES3以自动驾驶车辆进行障碍物检测和导航为目的，采用激光阵列，使导航和感知测绘系统能够较好地观察车身周围的环境。具有如下特性：频道数：64范围：120米出点数：每秒二百二十万水平视场：360°垂直视场：26.9°角分辨率：0.08°垂直分辨率：~0.4°精确度：<2cm用户可选择的帧速率5.3Apollo支持的传感器激光雷达——ULTRAPuckVLP-32CULTRAPuckVLP-32C将性能与外形尺寸做了很好地平衡，既具有低成本效益，又确保可靠性，同时提供市场所需的性能。VLP-32C具备360°环绕视角和实时3D数据获取等3D激光雷达的创新突破，并且具有随旋转角度测量的距离和校准反射率等功能。具有如下特性：频道数：64范围：最高200米出点数：每秒一百二十万水平视场：360°垂直视场：+15°~-25°双回程低功耗设计防护设计连接端口：RJ45/M125.3Apollo支持的传感器激光雷达——PuckVLP-16PuckVLP-16激光雷达传感器具备的关键功能有：实时周边环境数据获取、360°环绕视角、3D距离和校准反射率测量等。具有如下特性：频道数：16范围：100米出点数：每秒六十万水平视场：360°垂直视场：±15°双回程低功耗设计仅重830g坚固防护设计5.3Apollo支持的传感器激光雷达——PandoraPandora集激光雷达、摄像头以及识别算法为一体，其激光雷达和摄像头在出厂时已经做好同步和校准，无需二次标定。激光雷达部分具有如下特性：扫描原理：旋转电机频道数：40范围：0.3~200米(20%反射率)扫描频率：720kHz水平视场：360°垂直视场：+7°~-16°水平角分辨率：0.2°,0.4°垂直角分辨率：0.33°(-6°到+2°范围)；1°(-16°到-6°，+2°到+7°范围)测量精度：±5cm(0.3m~0.5m),±2cm(0.5m~200m)5.3Apollo支持的传感器激光雷达——PandoraPandora集激光雷达、摄像头以及识别算法为一体，其激光雷达和摄像头在出厂时已经做好同步和校准，无需二次标定。摄像头部分具有如下特性：彩色摄像头：分辨率：1280*720视场角：52°(H),28.6°(V),61°(D)焦距：5.47mm畸变率：<-14.2%黑白摄像头：分辨率：1280*720视场角：129°(H),81.8°(V),142.4°(D)焦距：1.65mm畸变率：<-44.2%5.3Apollo支持的传感器激光雷达——Innovusion激光雷达5.3Apollo支持的传感器毫米波雷达——ARS408-21ARS408实现了开阔的视角和远距离检测的功能。因此，自适应巡航控制、前方碰撞警告和紧急辅助刹车都得以较简单地实现。并且它还可以独立侦测静止物体。5.3Apollo支持的传感器毫米波雷达——B01HCB01HC为77GHz毫米波汽车防撞雷达，采用了MIMO虚拟孔径技术，实现了更好的精度、更高的角度分辨率，更小的体积，并兼容了近远距探测功能，可在全工况条件下，对车辆行驶环境和其他车辆目标进行实时探测，是无人驾驶及ADAS系统的核心传感器。5.3Apollo支持的传感器摄像头——LI-USB30-AR023ZWDRLI-USB30-AR023ZWDR采用标准USB3.0，该系列产品基于AZ023Z1080P传感器和安森美半导体的AP0202ISP，支持外部触发和软件触发。该摄像头可通过USB3.0电缆连接到IPC，用于电源和数据通信。外部触发信号可通过HR25-7TP-8P（72）连接器发送到摄像头。5.3Apollo支持的传感器摄像头——ArgusArgus摄像头具有高动态范围（HDR120dB），内部/外部触发和OTA固件更新。该系列产品基于安森美半导体的AR2301080P传感器和AP0202ISP。该摄像机可通过FAKRA连接器连接到Apollo传感器单元，以进行数据传输、触发和OTA固件更新。5.3Apollo支持的传感器摄像头——WissenCameraWissen摄像头具有高动态范围（HDR120dB），内部/外部触发和OTA固件更新。该摄像机可通过FAKRA连接器连接到Apollo传感器单元，以进行数据传输、触发和OTA固件更新。5.3Apollo支持的传感器摄像头——交通灯检测交通灯检测：在Apollo平台上，建议采用3个摄像头，两个带有6mm镜头和一个带有25mm镜头，以达到交通灯检测应用所需的性能。5.3Apollo支持的传感器导航模块——Propak6独立的GNSS接收器（如图一所示，NovAtelProPak6）

与独立的IMU（惯性计算单元，如：IMU-IGM-A1）协同工作提供定位功能。其使用的天线/接收器如图二所示：NovAtelGPS-703-GGG-HV。

图一NovAtel

ProPak6图二NovAtel

GPS-703-GGG-HV5.3Apollo支持的传感器导航模块——SPAN-IGM-A1如图一所示，NovAtelSPAN-IGM-A1是一个集成的单盒，并且紧密耦合了全球卫星导航系统和惯性导航系统，以NovAtelOEM615接收器为特点的方案。如图二所示，其使用的GNSS接收器/天线是NovAtelGPS-703-GGG-HV。

图一NovAtel

SPAN-IGM-A1图二NovAtel

GPS-703-GGG-HV5.3Apollo支持的传感器导航模块——NV-GI120NV-GI120集成了高精度GNSS板卡和高精度MEMS陀螺，具备实时姿态和位置解析能力，并能传输传感器和板卡的原始数据以供高精度分辨率的后处理动作。NV-GI120将GNSS接收器和MEMSIMU设备集成进一个小型的紧凑装置中，以提供高精度的定位结果。它支持双重天线配置和多频段频率的接收。5.3Apollo支持的传感器工控机——Nuvo-6108GCNuvo-6018gc是支持高端显卡GPU的工业级计算机，为新兴的GPU加速应用（如人工智能、VR、自动驾驶和CUDA计算）提供计算平台。其参考配置如下：·华硕GTX1080GPU-A8G-Gaming显卡·32GBDDR4内存·PO-280W-OW280WAC/DC电源适配器·2.5"SATA磁盘1TB7200转/秒5.3Apollo支持的传感器CAN卡——CAN-PCIe/402-B4CAN-PCIe/402-B4规格如下：·4CANInterfaces·1xDSUB37·电气隔离设计5.3Apollo支持的传感器Apollo传感器单元Apollo传感器单元（ASU）被设计为和工业级PC（IPC）协同工作以实现在Apollo自动驾驶平台上的传感器数据融合、车辆控制和网络访问。ASU系统提供多种接口以收集来自不同传感器的数据。ASU系统使用GNSS接收器的秒脉冲（PPS）和GPRMC语句实现摄像机和激光雷达的数据收集同步。ASU和IPC的通讯通过PCIExpress接口。IPC通过ASU发送基于CAN协议的车辆控制指令。5.4Apollo平台的安装与使用1.Apollo内核的编译Apollo内核是基于官方Linux内核4.4.32并进行了一些修改，为运行Apollo软件堆栈提供必要的内核级支持下载发布包，并按下述命令解压缩至当前目录：tarzxvflinux-4.4.32-apollo-1.0.0.tar.gzcdinstallsudo./install_kernel.sh如果系统硬件中安装有ESDCAN卡，则需要添加ESDCAN驱动程序才能使ESDCAN卡运行Apollo软件。构建更改后的内核命令：sudo./build.sh——基于Ubuntu14.04系统5.4Apollo平台的安装与使用2.构建docker容器使用docker容器是为Apollo项目设置构建环境的最简单方法参考官方指南安装docker-ce，安装完成后注销当前用户，重新登录系统以启用docker。确定当前内核是否为apollo内核：uname-r如果在安装Apollo内核之前已安装docker，请在/etc/default/docker中添加以下行：DOCKER_OPTS="-soverlay"——基于Ubuntu14.04系统5.4Apollo平台的安装与使用3.编译Apollo源代码下载ApolloSource。可从github网站下载Apollo源代码并查看正确的分支：gitclonegit@:ApolloAuto/apollo.gitcd$APOLLO_HOME启动docker容器，拉取镜像文件（假设Apollo目录位于$APOLLO_HOME）：bashdocker/scripts/dev_start.sh进入容器bashdocker/scripts/dev_into.sh正式编译apollo：cd$APOLLO_HOMEbashapollo.shbuild编译成功显示：[OK]Buildpassed!——基于Ubuntu14.04系统5.4Apollo平台的安装与使用4.启动并运行Apollo平台启动人机交互界面（HMI）：bashscripts/bootstrap.sh访问人机交互界面：浏览器输入网址：http://localhost:8888——基于Ubuntu14.04系统5.4Apollo平台的安装与使用4.启动并运行Apollo平台从第一栏的下拉框里选择Navigation模式——基于Ubuntu14.04系统5.4Apollo平台的安装与使用4.启动并运行Apollo平台通过如下命令播放演示rosbag：bash./docs/demo_guide/rosbag_helper.shdownload#downloadrosbagrosbagplay-l./docs/demo_guide/demo_2.5.bag——基于Ubuntu14.04系统5.5开放数据集仿真场景数据标注数据演示数据开发者可以使用开放的整套自动驾驶相关数据集，训练机器学习算法并在线验证，以达到研发目的。开放数据集主要有以下几类：5.5开放数据集仿真场景数据仿真场景数据包括人工编辑以及真实采集的场景，覆盖多种路型、障碍物类型以及道路环境；同时开放云端仿真平台，支持算法模块在多场景中并发在线验证，以加速算法迭代速度。自动驾驶虚拟场景实际道路场景自动驾驶虚拟场景实际道路场景来源人工编辑真实道路采集场景数据路口右转（9个）路口左转（18个）直路直行（29个）路口直行（17个）直路变道（19个）路口掉头（9个）路口右转（1个）路口左转（27个）直路直行（42个）路口直行（25个）直路变道（5个）5.5开放数据集标注数据标注数据是为了满足深度学习训练需求，经人工标注而生成的数据。目前百度开放了多种标注数据，同时在云端配套提供相应的计算能力，供开发者在云端训练算法，提升算法迭代效率。激光点云障碍物检测分类红绿灯检测RoadHackers基于图像的障碍物检测分类障碍物轨迹预测场景解析5.5开放数据集标注数据激光点云障碍物检测分类·数据集提供20,000帧三维点云标注数据。·数据集全部为真实路面场景，标注包括：行人（红色）、机动车（绿色）、非机动车（蓝色）以及其他（黄色）。·标注覆盖了场景360°内0~60米的所有障碍物·本数据集可用于障碍物检测算法和障碍物分类算法的研发和评测。5.5开放数据集标注数据红绿灯检测数据集提供20,000帧图像数据覆盖场景广数据覆盖多种天气状况（晴天、阴天、雾天、雨天等）和光照条件（白天、傍晚和夜晚）。标注信息丰富数据标注包括：红绿灯的位置，亮灯颜色（红、黄、绿、黑），亮灯形状（圆饼、箭头等），灯组类别（横式、竖式、方形等）等信息。5.5开放数据集标注数据RoadHackers包含两种主要类型数据：街景图像和车辆运动状态街景图像提供车前图像；车辆运动状态数据提供车辆的当前速度和轨迹曲率。通过百度地