自动驾驶多传感器深度融合技术应用介绍

自动驾驶多传感器深度融合技术应用介绍1自动驾驶多传感器深度融合技术应用介绍5/9/2024目录一、常用传感器种类及其优缺点二、多传感器深度融合的先决条件三、如何实现多传感器深度融合2自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:

自动驾驶技术涉及的环境感知传感器主要包括视觉类摄像机（包括单目、双目立体视觉、全景视觉及红外相机）和雷达类测距传感器（激光雷达、毫米波雷达、超声波雷达等）。3自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:

摄像头：就像人的视觉一样，摄像头的作用主要就是记录图像，然后发送给自动驾驶系统的计算机，计算机通过图像识别技术分析数据，进而判断车辆周围状况，摄像头由于开发较早，开发人员也比较多，现今技术已经比较成熟，成本也降到了相当低的程度。应用中摄像头形式包括单目、双目和三目，根据摄像头安装的位置分为前视、后视、环视和车内监控摄像头。4自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:

摄像头可以实现众多如预警、识别等ADAS功能，是视觉影像处理系统的基础，此外，影像信息对于乘客来说更为直观，在处理意外情况时，是必不可少的。其优缺点如下：优点：成本低，技术成熟，而且能够识别路牌、交通灯甚至是一些文字信息。缺点：◆没有深度信息（距离信息）。◆视场角有限，所以传感器配置需要比较多的摄像头，上图展示了6个摄像头覆盖了270°的视场角。◆摄像头受外界条件的影响也比较大，这是当车行驶到桥下时（上图右下方），由于背光，且光线变化比较大，导致无法识别正前方的交通灯。5自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:激光雷达是目前公认的自动驾驶传感器最佳的技术路线。激光雷达主要通过向目标物体发射激光束，然后通过计算从目标反射回的脉冲飞行时间来测量距离，以此来测算目标的位置、速度等特征量，感知车辆周围环境，并形成精度高达厘米级的3D环境地图，为下一步的车辆操控建立决策依据。激光雷达多安装在车顶，通过高速旋转，实现360度无死角监控，获得周围空间的点云数据，实时绘制出车辆周边的三维空间地图。同时，激光雷达还可以测量出周边其他车辆在三个方向上的距离、速度、加速度、角速度等信息，再结合GPS地图计算出车辆的位置，这些庞大丰富的数据信息传输给ECU分析处理后，以供车辆快速做出判断。

6自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:激光雷达优缺点如下：优点：1、分辨率高。激光雷达可以获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。2、精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低，因此激光雷达的精度很高。3、抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多，因此激光雷达抗有源干扰的能力很强。缺点：1、激光可视范围内如果有遮挡，例如有树、垃圾桶等遮挡，就无法进行识别；2、由于激光波束靠反射来识别，所以无法识别颜色图案、文字等标识；3、激光雷达的成本相对来说依然很高，一个64线激光雷达成本超过几十万；4、激光雷达对环境的敏感度也是比较大的，往往会导致出现虚拟噪点的Case（情况）。下方右图里其他车辆行驶时溅起来的水花、左图里车前的扬起的尘土，反映在激光雷达数据上都可能会产生噪点。如何去除这样的噪点，也就是感知系统面对的挑战。7自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:激光雷达优缺点如下：优点：1、分辨率高。激光雷达可以获得极高的角度、距离和速度分辨率，这意味着激光雷达可以利用多普勒成像技术获得非常清晰的图像。2、精度高。激光直线传播、方向性好、光束非常窄，弥散性非常低，因此激光雷达的精度很高。3、抗有源干扰能力强。与微波、毫米波雷达易受自然界广泛存在的电磁波影响的情况不同，自然界中能对激光雷达起干扰作用的信号源不多，因此激光雷达抗有源干扰的能力很强。缺点：1、激光可视范围内如果有遮挡，例如有树、垃圾桶等遮挡，就无法进行识别；2、由于激光波束靠反射来识别，所以无法识别颜色图案、文字等标识；3、激光雷达的成本相对来说依然很高，一个64线激光雷达成本超过几十万；4、激光雷达对环境的敏感度也是比较大的，往往会导致出现虚拟噪点的Case（情况）。下方右图里其他车辆行驶时溅起来的水花、左图里车前的扬起的尘土，反映在激光雷达数据上都可能会产生噪点。如何去除这样的噪点，也就是感知系统面对的挑战。8自动驾驶多传感器深度融合技术应用介绍5/9/2024一、常用传感器种类及其优缺点:优点：1、毫米波的波长短，毫米波雷达具有体积小、质量轻和空间分辨率高的特点；2、毫米波导引头穿透雾、烟、灰尘的能力强，传输距离远，具有全天候全天时的特点；3、性能稳定，不受目标物体形状、颜色等干扰。缺点：难以对目标进行识别；探测角度比较小，由于受自身性能所限，它的局限是无法反馈高度信息。毫米波雷达能告诉你所探测物体在哪个位置，但却不知道物体多高。举个例子，道路前面有一个比较高的指路牌，毫米波雷达能够探测到此处存在障碍物，但是不知道路牌是悬在道路上方的。其对目标识别通常需要多个雷达来完成一个探测任务。9自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件：

由于单一传感器在自动驾驶中存在挑战，通过多传感器深度融合，传感器之间便能够取长补短，帮助整个感知系统效果的提升。下面展示的是多传感器深度融合是如何提升感知的探测距离。当障碍物距离自动驾驶车150m左右时，激光雷达的反射点已经比较少了（如下图1），但是这时毫米波雷达和照相机数检测还是非常稳定的。当障碍物驶出200m范围时，基本上没有任何的激光雷达反射点了。然而自动驾驶的感知距离与自动驾驶车辆自身车速紧密相关，当车速较快时，超过200m的感知距离是非常必要的。此时只能通过毫米波雷达和摄像头，来确保感知系统对障碍物的感知距离，从下图可以看到系统稳定识别出来前方车辆（下图2）图1图210自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—运动补偿先决条件一：运动补偿首先，多传感器深度融合为什么需要做运动补偿？因为，在自动驾驶感知过程中，传感器采集数据一般都不是瞬时发生的。以激光雷达为例，采集一圈数据需要0.1s，在这0.1s内，自动驾驶车会发生一定的位移，障碍物也会发生一定的位移，如果我们不考虑这些位移，感知系统检测出来的位置则不准确。运动补偿主要分为如下两种1）自我运动的运动补偿位移有两种，第一种就是车自身的位移（Egomotion）。如果我们不对车自身运动的进行补偿，静止的障碍物在2帧之间，测量的局部坐标是不一样的，这就会产生错误的速度。因此，我们需要基于车自身运动进行运动补偿。这个问题解决起来比较简单，因为自动驾驶车拥有比较准确的实时定位信息，它可提供T和T+1两个时刻内，车本身的姿态差距，利用姿态差，我们就可以比较容易补偿自身移动了多少，也就能得出结论——静态障碍物其实是没有移动的。11自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—运动补偿2）被检测物体的运动补偿第二种要考虑的是被检测的运动物体在传感器采集的时间段内发生的位移，相对于自身运动补偿，这是一个更难的case（情况）。因为，快速移动的物体很可能会被激光雷达扫到两次。上图的红圈内，被检测车辆的尾部出现了拖影。如何消除周围车辆的Motion（运动），对其进行运动补偿呢？其实解决的方式有很多，目前激光雷达从自身硬件上已经有些相关配置来缓解此类现象。简单解释下，一辆自动驾驶车上采用多个激光雷达时，当激光雷达的激光按照同样的方式旋转来探测周围，那么在某一个特定的时段和方向，这些激光雷达应该扫到相同的物体，一定程度上这能够来减少快速移动的物体产生拖影的问题。12自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—时间同步目前，自动驾驶车辆传感器大部分支持GPS时间戳的时间同步方法。这个方法比较简单，如果传感器硬件支持这个时间同步法，其给出的传感器数据包便会包含全局的时间戳，这些时间戳以GPS为基准，非常方便。但是，时间戳查询数据存在一个比较明显的问题。举个例子，上图了包含来自三个传感器的三种数据。由于不同传感器是以不同频率来采集数据，以传感器2为例，在T1时刻，传感器2产生了一个数据，如果要进行时间同步，我们需要查找对应时刻的传感器1和传感器3的数据，而实际查找的方式就是找出与传感器2时间差最近的其他传感器数据包。这种方法会受所查数据包的时间戳和传感器2数据包的时间戳之间差距的影响，如果差距比较大，障碍物又都是在移动的，会导致时间同步的误差会比较大。13自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—时间同步于是就有了第二种时间同步的方法，以缓解刚刚说的误差现象——也就是主动数据同步方法。该方法可以以激光雷达作为触发其它传感器的源头，当激光雷达转到某个角度时，才触发该角度的摄像头，这可以大大减少时间差的问题。如果把这套时间同步方案做到硬件中，便可产生较低的误差，对齐效果也会更好如上图所示，运用这种方法，激光雷达的数据和摄像头的数据很好的结合在一起。除此之外，还可以借助激光雷达自身的功能减少多个传感器对同一物体检测的时间差问题。比如大部分的激光雷达可以支持一种叫做PhaseLock的功能，它能够保证在某一时刻，所有的激光雷达根据PhaseLock的配置，扫在固定的角度附近。14自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—传感器标定除了运动补偿与时间同步，传感器标定（SensorCalibration）也是多传感器深度融合的重要部分。这里主要是指传感器外参的标定。1）传感器外参标定：外参标定的核心是刚体旋转。刚体旋转即物体上的两个点，经过旋转和平移之后，两个点之间的3D位置是不会变的，所以叫刚体旋转。在自动驾驶和机器人上，刚体旋转还是比较常见的。传感器外参的标定就是要找到这样的一个刚体旋转，可以把一个传感器的数据和另一个传感器对齐。相当于把一个传感器测量的数据从其本身的坐标系，通过刚体旋转，转到另一个传感器坐标系，这样就可以进行后续的数据融合。上图中，左边为照相机图像，中间为激光雷达点云。借助一个比较好的外参工具，感知系统可以将激光雷达点云3D的点投射到2D图像上，同一物体的图像和激光点云都可以对应上，也就相当于把2D维度上的像素加上了深度信息。那么，在图像质量并不是很高的情况下，通过这样的方式能把更多感知信息补回来。传感器的标定一般涉及有两种思路，第一种是有激光雷达的传感器标定，第二种是无激光雷达的传感器标定。这么区分是因为激光雷达采集的数据是完整的3D信息，空间中的(x，y，z)都是准确的，并不会有信息的丢失。照相机得到的数据，可以认为是极坐标系下的坐标，没有深度，而毫米波雷达数据是没有高度的。所以，如果感知系统中某个传感器能够提供完全的(x，y，z)坐标，以此为参照物，其他传感器和它做绑定的话，标定结果会更容易和更准确。15自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—多激光雷达的标定2）多激光雷达的标定：下图1可以看到展示了两个前向激光雷达点云数据，这两个激光雷达在前向180°是有比较大的覆盖区域。如果没有处理好两个激光雷达之间的旋转和平移，把二者的点云数据放在一起进行感知处理时，你会发现红框位置会存在比较大的分隔（黄线和蓝线分别代表两个前向激光雷达）。这种情况肯定是不希望遇到的，所以自动驾驶感知系统需要对多个激光雷达做到准确的标定。标定的方法是已知的，这已经是比较好解决的问题。因为激光雷达本身拥有完全的3D信息，解决这样俩个数据集匹配的问题，就是采用ICP（IterativeClosestPoint）迭代式最近点方法，如下图2图1图216自动驾驶多传感器深度融合技术应用介绍5/9/2024二、多传感器深度融合的先决条件—传感器视场角

如下是传感器不同视场角示意图，它也会与多传感器深度融合相关。假设在1、2两个位置上分别有一个激光雷达，它们有各自不同的视场角，前方障碍物A在传感器2的视场角内正好将障碍物B完全遮挡，也就是说障碍物B只出现在了两个中的一个传感器的视场角内部。它带来的问题是：感知系统到底该不该相信这里存在一个障碍物B？这类比较常见的视场角问题，可以经过不断的路测来积累并完善。17自动驾驶多传感器深度融合技术应用介绍5/9/2024三、如何实现多传感器深度融合

由于每个传感器自身都存在一些局限，多传感器深度融合就是希望把这些传感器结合起来做取长补短，提升整个感知系统的精度和召回度。这里主要介绍两种多传感器深度融合实现方式作为案例参考。1）照相机和激光雷达融合：如在前面标定部分提到的一些要点。激光雷达数据是包含了明确的(x，y，z)数据的3D观测，通过标定参数与照相机本身的内参，多传感器深度融合可以实现把3D点投到图像上，图像上的某些像素也就打上了深度信息，帮助感知系统进行基于图像的分割或者训练DeepLearningMod