无人驾驶汽车技术与应用 课件 第2章 无人驾驶汽车环境感知技术F

第2章无人驾驶汽车环境感知技术

01无人驾驶汽车环境感知技术导读环境感知技术与无人驾驶环境感知技术是无人驾驶汽车的核心组成部分，决定了车辆如何理解和应对其周围环境。这一技术通过摄像头、超声波、毫米波、激光雷达等传感器和复杂的算法，使汽车能够实时分析周围的道路状况、交通参与者及其他重要信息，从而安全、有效地进行自主驾驶。本章介绍了无人驾驶常用的传感器及环境感知与识别的算法学习目标

了解环境感知与识别原理、数据融合与处理

了解无人驾驶汽车环境感知与识别的算法

掌握各传感器的在无人驾驶中的应用、各自的优缺点2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍01环境感知的重要性环境感知是自动驾驶汽车实现自主驾驶的基础环节，它指的是车辆通过传感器收集周围环境和车内的相关数据，并对这些数据进行处理与分析，以确保车辆在行驶过程中能做出正确的决策和反应。

02传感器与环境感知无人驾驶车辆依赖多种传感器来感知外界环境，不同的传感器具有各自的优缺点，它们通过各自采集到的不同类型的数据，为环境感知提供支撑。环境感知的内容涵盖了对路面、静态物体（如建筑物、路障）以及动态物体（如车辆和行人）的检测。动态物体的感知不仅限于位置的确定，还需要对其轨迹进行跟踪，并预测其未来的移动位置。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用深度学习是近年来人工智能中的一项重要技术，作为第三代神经网络的代表，模拟了大脑的认知机制，广泛应用于语音识别、自然语言处理、计算机视觉等领域。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用

在环境感知的传感技术中，卷积神经网络发挥了关键作用。典型的卷积神经网络包括输入层、卷积层、池化层和输出层，这些层次根据任务的不同可以多达十几层甚至上百层。一般来说，网络的层数越多，性能越好，因为层数和节点的增加能够捕捉到更丰富、更细致的特征。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍

深度学习在环境感知中的应用

随着深度学习的不断发展，研究者们已经开始超越传统的图像、声音和文本数据，将其应用到更复杂的几何对象如点云、曲面等领域，这被称为几何深度学习。新的技术如图卷积神经网络（GCN）和PointNet为智能驾驶中的感知技术拓展了新的应用场景。

2.1无人驾驶汽车环境感知概述：2.1.1无人驾驶环境感知介绍基于深度学习的感知技术的局限性尽管基于深度学习的感知技术取得了显著进展，但它并非没有局限性，仍面临许多挑战，尤其是复杂的交通环境对于视觉感知技术提出了严峻的挑战。

2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

2.1.2无人驾驶环境感知系统组成简介环境感知是一个复杂的系统，依赖于多种车载传感器实时获取周围环境信息，并通过多种算法对原始数据进行处理与分析，从而做出合理决策。因此，环境感知是硬件设备（即感知设备）与软件算法（即感知技术）的结合。硬件部分主要指各种车载传感器，包括激光雷达、毫米波雷达、机器视觉系统、红外传感器、超声波传感器、惯性系统等。这些传感器为环境感知提供了物理基础。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

车载传感器及其作用传感器是环境感知的基础，它们实时采集车辆周围的环境信息。根据传感器类型的不同，所收集的数据也各有侧重，主要分为以下几类（1）摄像头（机器视觉系统）视觉是人类驾驶获取环境信息的主要手段之一，与其他传感器相比，摄像头提供的信息更加直观且接近人类视觉，能够捕捉丰富的细节，如交通标志、信号灯和道路标志等，这些信息为驾驶决策提供了重要依据。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（2）激光雷达激光雷达通过电磁波来获取目标的位置、速度信息以及周围环境的三维特征。其工作原理相对简单，激光雷达向目标发射激光信号，并通过分析返回的反射信号来获取所需信息。基于目标的密度数据，激光雷达能够有效识别常见的道路目标，如车辆、行人、障碍物、树木和路灯等，因此它在各种环境下都能广泛使用。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（3）毫米波雷达毫米波雷达是自动驾驶中不可或缺的一种传感器，其独特之处在于能够全天候工作。毫米波雷达具备体积小、角分辨率高、频带宽、探测距离远以及抗干扰能力强等优点。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

（4）惯性导航系统（INS）上述介绍的传感器都是闭环系统，即它们通过从周围环境获取信息，传输至车载处理器，处理器再根据这些信息作出决策并提供反馈。而惯性导航系统则不同，它不依赖外部信息，而是通过陀螺仪和加速度计作为感知器件来进行导航参数的计算。该系统基于陀螺仪的输出建立导航坐标系，并根据加速度计的输出计算载体在导航坐标系中的速度和位置。2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介多传感器融合技术

传感器融合的核心目的在于整合不同传感器的数据，通过组合后的信息更精确地感知环境。目前，传感器融合主要分为三种方式：数据级、特征级和决策级融合。数据级融合，也称像素融合，通过整合像素层面的图像数据来增强细节，如边缘和纹理。虽然实现相对简单，但计算量大，对数据格式要求较高。特征级融合是对提取的特征向量进行整合，相比数据级融合，特征级融合效果更好。决策级融合则基于多个传感器对同一目标的观察结果进行特征提取和逻辑运算，最终作出高级决策2.1无人驾驶汽车环境感知概述：2.1.2无人驾驶环境感知系统组成简介

传感器标定与数据融合数据融合的前提是各传感器之间的标定，目的是将不同传感器的数据转换到同一个时空参考系中，确保各个传感器的坐标系能够相互转换。传感器标定是实现数据融合的基础，涉及对每个传感器的独立标定以及它们之间的坐标转换关系。以激光雷达和摄像头的标定为例，激光雷达的标定是将其坐标系映射到统一的车体坐标系中，便于处理数据。由于激光雷达与车辆之间通常保持固定的相对位置，可以先获取激光雷达的外部参数，再通过激光雷达的极坐标进行数据映射，最终完成多个激光雷达的数据整合。摄像头标定则是将图像中的像素点坐标与实际环境中的位置对应起来，实现图像与真实世界的映射2.2无人驾驶汽车感知传感器

自动驾驶汽车的环境感知技术自动驾驶汽车是一种依靠车载计算机系统实现无人驾驶的智能交通工具，而环境感知是其关键基础。通过多种车载传感器，自动驾驶汽车能够获取周围环境的必要信息。这些传感器相当于车辆的“眼睛”

2.2无人驾驶汽车感知传感器：2.2.1摄像头

概述摄像头能够采集车辆周围的图像信息，其工作方式最接近人类视觉。凭借较大的垂直视场角和高纵向分辨率，摄像头还可以提供颜色和纹理等丰富信息。这些数据对自动驾驶系统在行人检测、车辆识别和交通标志识别等高层次语义任务中起到重要作用。摄像头通过图像或图像序列的采集，结合计算机处理，可以识别出如行人、自行车、机动车、道路轨迹、路牌和信号灯等环境信息。

2.2无人驾驶汽车感知传感器：2.2.1摄像头

工作原理车载摄像头主要由CMOS镜头（包括镜头和光感芯片）、芯片和其他物料（如内存、SIM卡、外壳）组成。基于摄像头的视觉传感系统的工作原理如下（1）图像处理，将图像转化为二维数据（2）模式识别，通过图像匹配技术识别车辆、行人、车道线和交通标志等目标（3）距离测量，利用物体的运动轨迹或双目定位估算目标与车辆的相对距离和速度，完成测距功能2.2无人驾驶汽车感知传感器：2.2.1摄像头

优缺点车载摄像头具有技术成熟、成本低和信息采集丰富的优点，能够捕捉到接近人类视觉的语义信息。然而，它的缺点在于易受光照和环境的影响，难以在全天候条件下工作，尤其在黑夜、雨雪、大雾等低能见度情况下，识别能力会大幅下降。此外，摄像头缺乏深度感知能力，难以提供三维空间的立体信息2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用车载摄像头在自动驾驶领域应用广泛，且技术较为成熟，成本相对低廉。作为高级驾驶辅助系统（ADAS）的主要视觉传感器，摄像头在众多预警和识别类功能中发挥着关键作用。摄像头通过镜头采集图像，利用内部的感光组件和控制组件将图像处理为计算机可识别的数字信号，从而实现对车辆周围路况的感知，并辅助实现前向碰撞预警、车道偏离报警、行人检测等功能。ADAS功能使用摄像头功能简介车道偏离预警（LDW）前视当前摄像头检测到车辆即将偏离车道线时，就会报警前向碰撞预警（FCW）前视当摄像头检测到与前车距离过近，可能发生追尾时，会发出警报交通标志识别（TSR）前视、侧视识别并读取前方道路两侧的交通标志车道保持辅助（LKA）前视当检测到车辆偏离车道时，系统会自动调整方向，帮助保持在车道中行人碰撞预警（PCW）前视当摄像头检测到前方行人并存在碰撞风险时，系统会发出碰撞预警盲点监测（BSD）侧视利用侧视摄像头监测车辆盲区，并在驾驶员视线盲区中显示警示信息全景泊车（SVP）前视、侧视、后视摄像头提供车辆周围的全景影像，帮助驾驶员更好地进行泊车操作泊车辅助（PA）后视后视摄像头将车辆后方影像显示在屏幕上，标记障碍物并辅助停车驾驶员注意力监测内置内置摄像头用于监测驾驶员的注意力状态，防止疲劳驾驶等风险2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用

不同ADAS功能对摄像头的安装位置有不同要求，通常分为前视、后视、侧视和内置四类。其中，前视摄像头使用频率最高，能够实现多项功能，如行车记录、车道偏离预警、前向碰撞预警和行人识别等。根据系统有效距离的需求，前视摄像头可以选择长焦镜头或广角镜头，安装位置通常在后视镜旁或前挡风玻璃的上方。侧视摄像头作为后视镜的替代品已成趋势。由于后视镜存在盲区，驾驶员难以发现斜后方车辆，增加了事故风险。而加装侧视摄像头可以有效覆盖盲区，当有车辆进入盲区时，系统会自动提醒驾驶员

2.2无人驾驶汽车感知传感器：2.2.1摄像头

摄像头在自动驾驶汽车上的应用车载摄像头通常分为单目、双目和多目摄像头，单目摄像头预计仍将是未来的主流。随着360°全景泊车和环视系统的发展，未来一辆车可能配备六个以上的摄像头，包括前视、后视和四个侧视。全景泊车系统通过多个超广角摄像头采集车辆四周的影像，经过图像处理后，形成车辆周围的全景图并显示在中控屏上，帮助驾驶员直观查看车辆位置及障碍物。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

概述调查数据显示，15%的汽车碰撞事故是由于倒车时视野不佳引起的。为此，提升汽车后视能力、开发能检测后方障碍物的倒车雷达成为近年来的研究重点。要安全避免碰撞，关键在于快速准确地测量汽车与障碍物之间的距离。超声波无接触测距技术的倒车雷达系统因此成为自动驾驶汽车的必备配置2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

概述超声波雷达通过发射和接收40kHz的超声波，根据时间差计算出障碍物的距离，测距精度约为1～3厘米。其传感器主要分为等方性和异方性两种类型。等方性传感器的水平和垂直角度相同，但由于垂直照射角过大，容易探测到地面，导致无法测量较远的距离。异方性传感器则水平和垂直角度不同2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

工作原理超声波具有强指向性、能量消耗低、遇到障碍物反射效率高的特点，是理想的测距工具。测距过程由安装在同一位置的超声波发射器和接收器共同完成，并通过定时器计时。发射器向特定方向发射超声波的同时启动定时器，当超声波遇到障碍物反射回来并被接收器捕捉时，定时器停止计时。这样，定时器记录了超声波从发射到接收的往返时间t（秒）。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

工作原理α为超声波雷达的探测角，一般UPA的探测角为120°左右，APA的探测角较小，为80°左右；β为超声波雷达检测宽度范围的影响元素之一，该角度一般较小，一般UPA的角度为20°左右，APA的较为特殊，为0°2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

优点在实际应用中，超声波具有能量消耗低、防水防尘的特点，即使有少量泥沙遮挡也不受影响。其在介质中的传播距离较远，穿透力强，测距方法简单且成本低。此外，超声波雷达不受光线条件的限制，因此在短距离测量中具有显著优势2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

缺点（1）对温度敏感超声波的波速受温度影响，进而影响测量精度。若测距精度要求达到1mm，则需考虑环境温度。此外，超声波传播速度较慢，若车辆行驶速度过快，超声波测距可能无法实时跟上车距变化，导致误差增加（2）散射角大，方向性差超声波的散射角较大，方向性较弱，难以精确确定障碍物的位置。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波测距原理简单、成本低、制作方便，但其传输速度易受天气影响，精度有限。此外，超声波能量随距离平方衰减，灵敏度随距离增加而降低。因此，超声波雷达在自动驾驶汽车中主要用于泊车系统和辅助刹车等场景。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波雷达最基础的应用是倒车辅助。超声波传感器通常与控制器和显示器配合使用，通过声音或显示告知驾驶员周围障碍物的情况，解决驾驶员在泊车、倒车和启动车辆时的视野死角和视线模糊问题，从而提升驾驶安全性。除了障碍物检测，超声波雷达还具备更强大的功能，例如泊车位检测和高速横向辅助。2.2无人驾驶汽车感知传感器：2.2.2超声波雷达

超声波雷达在自动驾驶汽车上的应用超声波雷达的主要生产商包括国外的博世、法雷奥、村田、尼塞拉、电装、三菱、松下等，以及国内的同致电子、深圳航盛电子、深圳豪恩、辉创、上富、奥迪威等。传统上，超声波雷达主要用于倒车雷达，博世（Bosch）、法雷奥（Valeo）、村田（Murata）等国际厂商占据了大部分市场，而国内厂商虽多，但能够进入前装市场的并不多。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

概述毫米波雷达是一种工作在毫米波频段的雷达，类似于普通雷达，通过发射无线电信号并接收反射信号来测定与物体之间的距离。其频率范围通常在30～300GHz（波长1～10毫米），位于厘米波和光波之间，兼具微波雷达和光电雷达的优点，因此非常适合用于自动驾驶汽车领域。毫米波雷达穿透性强，能够轻松穿透汽车保险杠的塑料，因此常安装在保险杠内部2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

工作原理毫米波雷达的工作原理与其他雷达系统类似，利用电磁波反射探测和测量目标物的位置和速度。其主要组成部分包括：发射机（产生并发射高频电磁波）、接收机（接收反射波并转换为电信号）、信号处理器（分析信号以提取位置信息）。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

优缺点毫米波雷达具有以下几个优点（1）高分辨率和小尺寸毫米波雷达的天线和微波元器件尺寸与频率相关，其天线和元器件都较小，较小的天线可以获得更窄的波束，从而提高分辨率（2）强穿透力相比于红外、激光、电视等光学导引系统，毫米波雷达在穿透雾、烟、灰尘等环境时表现更好，且其测距精度不易受天气和环境因素的影响，这保证了车辆在各种日常气候下能够正常运行（3）直接测量距离和速度与常用于比较的红外系统不同，毫米波雷达能够直接测量物体的距离和速度信息，这是其一大优势2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

优缺点毫米波雷达的主要缺点包括（1）与微波雷达相比，毫米波雷达的发射功率较低，且波导器件损耗较大（2）行人后向散射截面较小，若要探测行人，雷达的探测阈值需要设定较低，但这可能会导致更多虚假目标的出现（3）高频毫米波雷达的制造成本较高，尤其是在高精度需求的情况下，天线和处理单元的成本会增加，影响其大规模应用2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

毫米波雷达在自动驾驶汽车中的应用毫米波雷达的诸多优势使其能够精确测量自动驾驶汽车与周围车辆的距离，支持变道辅助、速度自主控制、碰撞预警等功能，从而实现自适应巡航，提高驾驶舒适性并减少事故发生率。根据目前市场的主流分类，自动驾驶汽车上使用的毫米波雷达主要分为24GHz和77GHz两种频率。其中，24GHz频段的雷达主要用于感知车辆周围障碍物，为变道提供感知信息，适用于盲点监测和变道辅助等ADAS功能。77GHz频段的雷达波长较短，设备体积更小，且其性能出色，最大探测距离可超过160米，因此常安装在前保险杠上，正对汽车行驶方向。2.2无人驾驶汽车感知传感器：2.2.3毫米波雷达

毫米波雷达在自动驾驶汽车中的应用毫米波雷达实现自适应巡航等功能的关键在于目标识别与追踪。接收天线接收到雷达回波并完成解调后，控制器对模拟信号进行数字采样和滤波处理。随后，利用快速傅里叶变换（FFT）将信号转换至频域，提取距离、速度和角度信息，并通过设定阈值过滤掉噪声，保留能量峰值。目前，车载毫米波雷达市场主要由德国、美国和日本的厂商垄断，领先企业包括大陆集团、博世、电装、奥托立夫和安波福（前德尔福）。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

概述激光雷达（LiDAR，LightDetectionandRanging）是一种通过发射激光束来探测目标位置、速度等特征的雷达系统。其工作原理是向目标发射激光信号，并接收从目标反射回来的回波信号。通过将反射信号与发射信号进行对比和处理，可以获取目标的相关信息，如距离、方位、高度、速度、姿态以及形状等参数。这使得激光雷达能够对障碍物、移动物体等进行精确的探测、追踪和识别2.2无人驾驶汽车感知传感器：2.2.4激光雷达

工作原理激光扫描测量通过激光扫描器和距离传感器获取目标表面的形态信息。激光扫描器通常由激光发射器、接收器、时间计数器和微计算机等组成。激光脉冲发射器周期性驱动激光二极管发射脉冲信号，接收透镜则接收从目标表面反射回来的信号，生成接收信号。通过石英时钟精确记录发射与接收之间的时间差，微计算机对数据进行处理，输出目标的距离和角度信息，并与距离传感器的数据匹配。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

优点（1）高分辨率与高精度激光雷达可以实现非常高的角度和距离分辨率。其角分辨率可达0.1°，能够区分3公里外相距5米的两个目标，这是微波雷达难以做到的，并且还能同时跟踪多个目标；距离分辨率可达到0.1米。高分辨率是激光雷达最显著的优势，许多应用依赖于此（2）强抗有源干扰能力与微波雷达易受自然电磁波干扰不同，能对激光雷达产生干扰的自然信号源极少，因此其抗有源干扰能力非常强（3）丰富的信息获取激光雷达可以直接获取目标的距离、角度、反射强度、速度等信息，生成目标的多维图像，为系统提供更加丰富的数据支持2.2无人驾驶汽车感知传感器：2.2.4激光雷达

缺点（1）天气影响大在雨雪、雾霾等恶劣天气条件下，激光雷达的精度会显著下降。激光在晴朗天气下衰减较小，传播距离较远，但在大雨或浓雾中，衰减急剧增加，严重影响其探测范围（2）难以识别交通标志和红绿灯激光雷达无法准确识别交通标志的含义或红绿灯的颜色，因此自动驾驶系统需要借助其他传感器（如摄像头）来辅助进行车辆与环境的交互（3）易受光线干扰由于接收光信号，激光雷达容易受到太阳光或其他车辆的激光雷达的干扰。此外，大气环流可能导致激光束的畸变或抖动，从而影响测量精度（4）成本较高目前激光雷达的价格仍然较高，限制了其大规模应用2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用未来，以激光雷达为代表的先进技术将在实时获取多层次三维空间目标方面取得重要突破。将激光雷达嵌入车载或移动系统中，可用于城市道路、堤坝、隧道及大型建筑等复杂三维空间的实时监测和建模。

2012年5月，谷歌研发的自动驾驶汽车成功获得了美国内华达州车辆管理局（DMV）颁发的执照，这是自动驾驶汽车首次获得美国许可，同时也是激光雷达首次在自动驾驶汽车上展现其潜力。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用根据线束数量，激光雷达可以分为单线束和多线束两类。传统的单线束激光雷达已被广泛应用，例如在扫地机器人中。单线束激光雷达每次扫描只产生一条扫描线，能获取二维信息，但无法获取高度数据，生成的仅是平面图像。

迄今为止，机械式激光雷达是激光雷达中最成熟且应用最广泛的形式。机械式激光雷达的发射和接收系统通过物理旋转来工作，通过旋转发射头将激光从“线”扩展为“面”，并在竖直方向上排布多束激光（如32线、64线等），从而实现动态三维扫描并接收信息。2.2无人驾驶汽车感知传感器：2.2.4激光雷达

激光雷达在自动驾驶汽车中的应用如今，激光雷达领域的企业正致力于开发轻量化、低成本的新型产品，其中固态激光雷达和混合固态激光雷达是其代表。固态激光雷达取消了机械式雷达中的机械旋转部件，采用电子方案实现全方位探测，体积更小，易于集成在车身内部，系统可靠性提高，Velodyne是激光雷达行业的先驱之一，广泛应用于自动驾驶汽车、机器人、无人机等领域。其旋转式多线束激光雷达（VelodyneHDL-64E）在自动驾驶测试中被广泛使用。RoboSense是中国领先的激光雷达公司之一，专注于为自动驾驶和ADAS系统提供高性能传感器。此外，Luminar，以色列的Innoviz，德国的Valeo，国内有禾赛光电科技、速腾聚创RoboSense、光珀智能、北醒光子等公司在自动驾驶、机器人、无人机和智能城市等应用中扮演着关键角色，推动了激光雷达技术的快速发展2.2无人驾驶汽车感知传感器：2.2.5惯性导航概述

惯性导航系统（InertialNavigationSystem，INS）是一种无需外部信息支持，也不向外辐射能量的自主式导航系统，依赖陀螺仪和加速度计等敏感器件来解算导航参数。通过陀螺仪的输出建立导航坐标系，再根据加速度计的输出计算运载体的速度和位置。惯性导航系统通常由计算机和含有加速度计、陀螺仪或其他运动传感器的平台或模块组成。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

工作原理惯性导航的基本工作原理是基于牛顿力学定律，通过测量载体在惯性参考系中的加速度，并对其进行积分，将结果转换到导航坐标系中，从而获得速度、偏航角和位置等信息。惯性导航系统是一种不依赖外部参考系的自主导航系统。陀螺仪用于测量物体的角速度，通过四元数角度解算建立自主导航坐标系，计算出物体的航向和姿态角。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

工作原理在实际应用中，GPS或其他外部系统提供物体的初始位置和速度，惯性导航系统通过陀螺仪和加速度计的解算结果，实时更新速度和位移信息，从而不断更新物体的当前位置。与天文导航、卫星导航和无线电导航等其他系统相比，惯性导航系统是唯一具备自主导航能力的系统。它无需向外辐射信号，也不依赖连续的外部信号接收，因此具有良好的隐蔽性，能够在复杂电磁环境和外界干扰下保持正常工作，并实现精确定位2.2无人驾驶汽车感知传感器：2.2.5惯性导航

优点（1）自主导航不依赖外部参考，只需初始值和运动传感器数据即可计算出当前位置和速度（2）强环境适应性无需依赖外部信息或发射能量，能够在复杂电磁环境以及极端气象和地理条件下稳定工作，适用于空中、地面和水下的全天候操作（3）低延迟导航通过陀螺仪和加速度计实时解算速度和位移，持续更新位置、速度、航向和姿态角，提供高精度和高频率的数据更新，确保系统稳定2.2无人驾驶汽车感知传感器：2.2.5惯性导航

缺点（1）长期精度下降由于惯性导航通过一次和二次积分计算运动信息，误差会随着时间累积，因此需依靠外部信息进行修正以确保精度和可靠性（2）初始校准耗时较长每次使用前都需要较长时间进行初始校准，影响系统的快速启动（3）设备成本较高与其他导航系统相比，惯性导航系统的设备成本较为昂贵（4）缺乏时间信息惯性导航系统无法提供精确的时间信息，需要与其他系统配合使用才能获取全面的导航数据2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用1）辅助全球卫星导航系统（GNSS）实现高精度定位，在复杂的城市环境中至关重要。由于高层建筑物的遮挡，卫星信号无法覆盖所有区域。在全球卫星导航系统信号较弱或丢失的情况下（如隧道、高架桥、地下车库等），惯性导航系统（INS）可以作为车辆的“眼睛”临时接管，不依赖外部信息，利用自身的运动传感器和运动方程计算出精确的位置和速度，弥补信号缺失带来的影响。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用2）配合激光雷达进行定位时，组合惯导系统为激光雷达提供高精度的位置信息和脉冲发射的姿态，帮助建立云点的三维坐标系。在实际应用中，自动驾驶系统首先通过全球卫星导航系统获取初始位置信息，随后通过惯性导航与车辆编码器的配合确定车辆的初始位置。2.2无人驾驶汽车感知传感器：2.2.5惯性导航

惯性导航在自动驾驶汽车上的应用3）辅助主动车距控制巡航系统（ACC）进行路径预测时，惯性导航系统与ACC结合，实现主动车距控制，并将预测路径与障碍物检测相结合。尤其是在坡道上，惯性导航还能对车辆姿态进行控制。该系统通过低重力传感器利用重力方向来确定坡度，确保车辆在上坡时不会后滑，从而提高自动驾驶车辆在爬坡时的稳定性2.3无人驾驶汽车环境感知与识别环境感知关键技术探讨环境感知对象主要包括行驶路径、周边物体、驾驶状态、驾驶环境。其中行驶路径主要包括结构化道路和非结构化道路两大块，其中结构化道路包括车道线、道路边缘、道路隔离物、恶劣路况的识别，非结构化道路包括可行驶路径的确认和前方路面环境的识别。周边物体主要包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止障碍物的识别及各种交通标志的识别。本章重点讨论行驶路径部分的车道线检测以及周边物体中的障碍物检测、红绿灯检测车载传感器环境感知技术环境感知与识别传感器系统通常采用摄像头、激光雷达、毫米波雷达等多种车载传感器来感知环境。就三种传感器的应用特点来讲，摄像头和激光雷达都可用于进行车道线检测。对红绿灯的识别，主要还是用摄像头来完成。而对障碍物的识别，摄像头可以通过深度学习把障碍物进行细致分类，激光雷达只能分一些大类，但能完成对物体距离的准确定位；毫米波雷达则完成障碍物运动速度、方位等识别2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

2.3.1障碍物检测车辆行驶道路上的障碍物检测是无人驾驶汽车环境感知模块中的重要组成部分。准确的障碍物检测决定着无人驾驶汽车行驶的安全性。目前障碍物检测技术主要包括以下基于图像的障碍物检测、基于激光雷达的障碍物检测、基于视觉和激光雷达融合的障碍物检测三种方法2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测基于图像的障碍物检测算法已经得到了较为成熟的发展，通常分为两大类：一阶段检测算法和二阶段检测算法。一阶段检测算法的典型代表有YOLO（YouOnlyLookOnce）和SSD（SingleShotMultiboxDetector），而二阶段检测算法主要以RCNN（Region-basedConvolutionalNeuralNetwork）为代表。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（1）一阶段检测算法YOLO系列作为一阶段检测算法的代表，与RCNN系列有显著的不同。YOLO将物体检测任务视为一个回归问题，直接从原始图像生成物体的类别和位置。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测1）网络定义。YOLO检测网络由24个卷积层和2个全连接层组成，卷积层用于提取图像特征，全连接层则用于预测物体位置和类别概率。YOLO网络参考了GoogleNet的分类网络结构，但并未使用Inception模块，而是采用了1×1卷积层（用于整合跨通道信息）和3×3卷积层来进行替代。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测2）输出表达（representation）定义。YOLO将输入图像划分为S×S个格子，每个格子负责检测落入其区域内的物体。当某个物体的中心点位于某个格子内时，该格子便负责检测该物体。例如，图中，狗的中心点（红色原点）位于第5行第2列的格子内，因此该格子负责预测物体狗的存在2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测每个格子输出B个标注框（即包含物体的矩形区域）信息，以及C个类别概率信息。标注框包含5个数据：x、y、w、h和confidence。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测3）损失（loss）函数定义。YOLO采用均方误差作为损失函数来优化模型参数，即将网络输出的S×S×（B×5+C）维向量与真实图像对应的S×S×（B×5+C）维向量进行均方误差计算。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测1）为了区分位置相关误差（坐标误差和IOU误差）与分类误差对loss的不同贡献，YOLO在计算loss时引入了系数coord=5来调整coordError2）在计算IOU误差时，包含物体的格子与不包含物体的格子对loss的贡献不同。如果对二者使用相同权重，则不包含物体的格子confidence值接近0，这会放大包含物体格子的confidence误差在梯度计算中的影响。3）对于相同的误差值，大物体误差对检测的影响应小于小物体的误差，因为相同的位置偏差在大物体中所占比例小于小物体中的比例。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（2）二阶段检测算法二阶段检测算法最初由RCNN开创，RCNN通过先生成候选区域（即可能包含物体的矩形区域），再对这些区域进行分类来确定物体类别。RCNN的主要步骤如下1）使用选择性搜索算法在图像中生成一系列候选区域2）对每个候选区域进行卷积特征提取3）使用分类器对这些特征进行分类，确定物体的类别2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测（3）二阶段检测算法与一阶段检测算法的区别

与RCNN系列相比，YOLO具有网络结构简单、检测效率高的优点。1）YOLO训练和检测均是在一个单独网络中进行，没有显式地求取区域候选框的过程，这是它相比基于候选框方法的优势。而RCNN/FastRCNN采用分离的模块（独立于网络之外的选择性搜索方法）求取候选框（可能会包含物体的矩形区域），训练过程因此也是分成多个模块进行。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于图像的障碍物检测2）YOLO输入图像经过一次推理，便能得到图像中所有物体的位置和其所属类别及相应的置信概率。而RCNN/FastRCNN/FasterRCNN将检测结果分为两部分求解：物体类别（分类问题）和物体位置，即标注框（boundingbox）。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测（1）基于几何特征和网格几何特征包括直线、圆形和矩形等形状。基于几何特征的检测方法首先对激光雷达数据进行处理，通过聚类算法将数据聚类并与障碍物的几何特征进行对比，从而完成检测和分类。这类方法在无人驾驶中应用较广。为了提高对不同点云数据的检测可靠性，几何特征还可以与光谱特征结合，综合考虑几何和影像特征，同时引入权重系数，以反映不同特征对识别结果的影响2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测（2）VoxelNet障碍物检测为方便进行障碍物检测，激光雷达数据通常需要经过人工整理，尤其是对于距离较远的物体，其轮廓信息在网络识别时效果可能不理想，因此需要更多人工处理激光雷达数据。为了解决这一问题并减少人力，VoxelNet研究中提出了一种端到端的三维检测网络，消除了手动提取点云特征的步骤2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测特征学习网络将点云划分为体素（Voxel）形式，通过VFE层提取特征，得到体素级特征向量，具体过程包括以下几步：1）体素划分

给定输入的点云，将空间均匀划分为体素。

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测2）分组

根据点云的空间位置，将其划分到对应的体素中。

3）随机抽样

激光雷达采集的点云数量庞大，直接处理会增加计算和内存负担。2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测4）堆叠体素特征编码通过多层VFE实现点特征与局部特征的融合

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于激光雷达的障碍物检测5）稀疏张量表示

在体素划分过程中，大多数体素（超过90%）是空的，因此只需对非空体素进行VFE处理，将其表示为稀疏张量，以此来节省计算资源。

2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测3．基于视觉和激光雷达融合的障碍物检测2.3无人驾驶汽车环境感知与识别：2.3.1障碍物检测

基于视觉和激光雷达融合的障碍物检测（1）空间融合建立雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的精确坐标转换关系，是实现多传感器数据空间融合的关键。雷达和视觉传感器的空间融合，就是将不同传感器坐标系下的测量数据转换到同一坐标系中。（2）时间融合除了在空间上进行融合外，雷达和视觉信息还需要在时间上同步采集数据，实现时间上的融合。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测2.3.2车道线检测

01车道线是用于管制和引导交通的标线，通常由绘制在路面上的线条、箭头、文字、标记及轮廓标识等构成。根据《道路交通标志和标线国家标准》（GB5768-1999），我国的道路交通标线分为指示标线、禁止标线和警告标线。

02车道线检测是智能驾驶辅助系统中至关重要的一部分，快速准确地检测车道线对路径规划和偏离预警具有重要作用。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法（1）基于颜色特征的检测方法基于灰度特征的检测方法主要通过提取图像的灰度信息来识别道路边界和标识。该方法可以直接处理灰度图像，或将原始图像转换为灰度图进行分析。常用的边缘检测算子包括Sobel算子、Prewitt算子、Log算子和Canny算子2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法颜色空间是一种使用数值来描述图像信息的抽象模型，通常采用三个数字表示。常见的颜色空间包括RGB、HSI和CIELab等。以RGB空间为例，图像通过红、绿、蓝三原色来表示，其中R、G、B分别表示红、绿、蓝的亮度值，范围为0到1。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路特征的检测方法（2）基于纹理特征的检测方法基于纹理特征的检测方法通过计算区域内像素的纹理强度和方向来检测车道线。这种方法在抗噪性能方面表现较好。

（3）基于多特征融合的检测方法针对单一特征提取方法的局限性，基于多特征融合的检测方法通过结合多种道路特征来进行车道线检测，从而提升检测效果。2.3无人驾驶汽车环境感知与识别：2.3.2车道线检测

基于道路模型的检测方法（1）直线模型直线模型主要建立在车道线为直线的假设