AI概论及应用 课件 12.2 无人驾驶车Apollo RT6

第十二章案例应用12.2无人驾驶车ApolloRT6目录/CONTENTS01ApolloRT6进化史02ApolloRT6无人驾驶车工作原理03ApolloRT6无人驾驶车整车全冗余系统技术04Apollo星河平台技术05案例--采用YOLO算法检测小轿车ApolloRT6进化史01项目启动2013年，百度公司启动无人驾驶汽车项目，开启智能交通探索之旅。阿波龙落地2018年10月，首台阿波龙无人驾驶小巴在武汉龙灵山公园投入运营，迈出商业化第一步。技术迭代2019年8月，第二代阿波龙亮相重庆智博会，2021年2月，广州黄埔区推出自动驾驶MaaS平台，技术不断升级。RT6发布2022年7月，第六代无人车ApolloRT6(如右图所示)发布，成本仅25万元，刷新量产无人车成本纪录，开启大规模商用新阶段。从阿波龙到RT6的六年跃迁ApolloRT6无人驾驶车工作原理02和国外的自动驾驶车相比，ApolloRT6无人驾驶车最大的特点在于自身可以智能感知周围环境并做出相应的精确反应，最终完成自动到达目的地的使命。ApolloRT6无人驾驶车完成无人驾驶行为，需要经过高精定位、智能感知、决策规划、执行控制四个步骤，如图1所示。ApolloRT6无人驾驶车工作原理图1百度ApolloRT6无人驾驶汽车工作原理示意图ApolloRT6无人驾驶车整车全冗余系统技术03ApolloRT6无人驾驶车整车全冗余系统技术作为Apollo最新一代无人驾驶系统，ApolloRT6具备更强的4级——高级自动驾驶能力，全车配备了38个车外传感器，包含8个激光雷达、6个毫米波雷达、12个超声波雷达、12个摄像头等设备。百度ApolloRT6无人驾驶汽车如图2所示。图2百度ApolloRT6无人驾驶汽车ApolloRT6无人驾驶车整车全冗余系统技术为了支撑这些传感器设备，百度ApolloRT6提升了算力水平，匹配算力达到1

200tops(TeraOperationsPerSecond，处理器运算能力单位)。在多传感器融合、高计算力的背后，百度的核心目标是真正实现无人驾驶车量产。为了保证整车安全，ApolloRT6主要从硬件和软件两个层面来实现整车全冗余。①硬件方面有七重全冗余整车系统，包括架构冗余、传感器冗余、计算单元冗余、制动系统冗余、转向系统冗余、电源冗余及行业首创的双5G通信冗余。②软件方面搭载了整车+自动驾驶系统一体的故障诊断及风险降级体系。Apollo星河平台架构04平台理念星河平台将人工智能、自动驾驶技术与车辆工程深度融合，涵盖线控底盘、域控制器、传感器套件及软件栈。快速研发支持快速衍生不同场景车型，通过模块化设计缩短研发周期、降低边际成本，推动无人驾驶商业化。Apollo星河平台架构图3星河平台整体框架图YOLO算法检测案例05YOLO算法原理简介YOLO(YouOnlyLookOnce)是目标检测的主流算法，即只需要看一次图像就可以识别出图像中的物体类别和位置信息。经过美国UItralytics公司的深入研究和不断更新，YOLO算法已升级到YOLOv8版本，并于2023年1月10日发布，它可以完成图像分类、物体检测、实例分割等任务。YOLO算法也是基于监督学习算法，每张图像的监督信息是它所包含的每个物体的5个特征值，包括物体的中心位置(x,y)、高(h)、宽(w)及物体类别信息。YOLO算法的检测是基于整张图像的，并且会一次性输出所有检测到的目标类别、目标位置等信息。而在YOLO之前，常用的算法是先通过不同尺寸大小的窗口在图像上进行滑动，对每个物体进行检测和识别，通过设计不同大小的窗口，让这些窗口按照最小的步长滑动，把窗口里所有的图像放到分类器中一一进行检测。YOLO算法工作原理第1步：分割图像。将图像分割为aa个格子(grid)，每个格子的大小尺寸都是相等的。第2步：每个格子生成一个边界框(boundingbox)。让aa个格子都检测出B个边界框，每个边界框都有5个特征值，分别为物体的中心位置x坐标值、y坐标值、高(h)、宽(w)及这次预测的置信度。每个格子有多个边界框，但只能识别出一个物体，因此每个格子需要预测物体的类别，而边界框不需要。详细地说，我们现有aa个格子，每个格子有B个边界框，如果分类器可以识别出A种不同物体，那么整个图像的真实数据(groundtruth)为aa(B5+A)个。图4和图5是一张720像素1280像素的图像，把其分成66的格子，每个小方格尺寸为120213，小车的尺寸为121142，展示了计算x,y,w,h的真实数据的过程。YOLO算法工作原理图4YOLO划分格子、检测小车图(1)图5YOLO划分格子、检测小车图(2)YOLO算法工作原理图6YOLO算法检测小轿车原理图YOLO算法检测小轿车的工作原理如图6所示。BDD100K数据集简介2018年，美国加州大学伯克利分校AI实验室发布了计算机视觉领域到目前为止规模最大、最多样化的开源视频数据集——BDD100K数据集。该数据集由10万个视频组成，每个视频大约长40s，分辨率为720P，帧速率为30fps，总时长超过1100小时。视频序列还包括GPS位置、IMU数据和时间戳，视频带有由手机记录的GPS/IMU信息，以显示粗略的驾驶轨迹。这些视频来自美国不同地区、不同的天气状况、不同时间段的场景。该实验室还对每个视频第10s的关键视频帧进行采样，得到10万张图片(图片尺寸为1280像素720像素)，并对每张图片标注被检测对象中心x坐标、y坐标、高度、宽度和置信度特征值。BDD100K数据集中的12张数据图如图7所示，数据集与当前主流数据集的对比详见表1。BDD100K数据集简介图7BDD100K数据集中的12张数据图表1显示了BDD100K数据集和当前主流数据集的对比结果YOLO算法检测小车案例考虑到该数据集数据量巨大、需要较高的计算机配置等因素，特从该数据集中选取1000张图像数据，按照7∶2∶1的比例进行训练、验证和测试实验。其中，700张图像数据作为训练数据集，200张图像数据作为验证数据集，100张图像数据作为测试样本集。YOLO夜晚场景小车检测实景如图8所示。

图8YOLO夜晚场景小车检测实景图YOLO算法检测小车案例小车检测详细步骤如下:第1步：随机选取1

000张图像数据，分配700张图像作为训练数据集，选取200张图像作为验证数据集，剩下100张图像作为测试样本集。第2步：对700张图像数据进行训练，训练