《自动驾驶》课件 第3章自动驾驶感知与定位系统

·学院：XX自动驾驶感知与定位系统第三章主讲人：XX01概述02自动驾驶感知传感系统03传感器的标定CONTENTS目录04传感器数据融合05环境感知与预测06定位系统CONTENTS目录01自动驾驶感知与定位系统概述利用摄像头捕捉图像信息，如道路标志、交通信号、车辆、行人等，为自动驾驶系统提供决策依据。视觉传感器通过发射激光束并测量反射时间，计算周围物体的距离和位置，提供高精度信息和三维地图。激光雷达利用毫米波电磁波检测短距离障碍物，测量位置和速度，对自动驾驶系统提供关键感知信息。毫米波雷达利用超声波进行近距离感知，检测车辆周围近距离障碍物，如停车位上的车辆或行人，提供精确感知信息。超声波雷达感知传感系统介绍GPS定位技术01利用卫星信号提供车辆位置和速度信息，具有全球覆盖、高精度、高速度等优点。但在建筑物内部或隧道等区域可能受到信号干扰或阻挡，导致定位不准确。惯性定位技术02仅靠系统本身就能对汽车进行连续的三维定位和三维定向。由于惯性导航系统这种能自主地、隐蔽地获取汽车完备运动信息的优势是诸如GNSS等其他定位系统无法比拟的，所以惯性导航系统一直是自动驾驶中获取汽车位姿数据的重要手段。地标定位技术03地标定位技术是一种利用地标（如建筑物、标志物、地形等）来确定位置的技术。通过识别和匹配地标，可以确定设备的位置和方向，从而实现室内定位、导航等功能。定位技术介绍通过摄像头捕捉道路和车辆周围图像信息。感知周围环境，提供图像信息供自动驾驶系统决策。视觉传感器发射激光束并测量反射时间，计算周围物体距离和位置。提供高精度距离和位置信息，生成周围环境三维地图。激光雷达传感器及特点02自动驾驶感知传感系统摄像机分类单目摄像机双目摄像机三目摄像机环视摄像机摄像机分类摄像机类型特点单目摄像机只包含一个摄像机和一个镜头。相对于其他类别的摄像机，单目摄像机的算法成熟度更高，但它有两个先天缺陷：一是其视野完全取决于镜头；二是单目测距精度低。双目摄像机能得到较高精度的测距结果，但是它与单目摄像机一样，视野完全依赖于镜头。而且双目测距摄像机对其两个镜头的安装位置、距离要求严格，所以此类相机的标定通常比较复杂。三目摄像机三目摄像机是三个不同焦距单目摄像机的组合，根据焦距不同每个摄像机所感知的范围也不尽相同，三目摄像机能较好地弥补感知范围不足的问题。环视摄像机环视摄像机所用的镜头是鱼眼的，安装位置是朝向地面的，能够获取更大的视野，但代价是图像畸变严重，需要标定值进行投影变换。摄像机可以获取周围环境的图像，并将其转换为数字信号，以供其他传感器或系统使用。感知环境摄像机可以通过图像处理和计算机视觉算法，识别出图像中的物体，并进行分类、定位和跟踪等操作。识别物体摄像机可以拼接多张图像，生成全景图，提供更广阔的视野。生成全景图摄像机的功能分辨率是摄像机的一个重要参数，它决定了摄像机捕捉图像细节的能力。分辨率越高，捕捉到的图像就越清晰，细节也就越丰富。帧率是指摄像机每秒捕捉的图像帧数。高帧率可以捕捉到更流畅的动作，但也会增加数据处理的负担。帧率分辨率摄像机的主要参数工作原理系统组成距离测量表面特征获取基于激光测距技术，发射激光脉冲并测量反射光时间，确定目标物体的距离和速度。通过测量反射光的时间，利用光速不变原理将时间转换为距离。包括激光器（发射激光脉冲）、接收器（接收反射光）和处理器（计算距离和速度）。通过测量反射光的强度，获取目标物体的表面特征等信息。激光雷达原理激光雷达主要分为三种类型机械式激光雷达、固态激光雷达和混合固态激光雷达。机械式激光雷达机械式激光雷达使用旋转的激光扫描仪来扫描周围环境，获取周围环境的三维形状和纹理。这种激光雷达的优点是扫描范围广、精度高，但缺点是价格较高、体积较大、维护成本较高。固态激光雷达固态激光雷达是一种新型的激光雷达技术，它采用了固体激光器作为光源，不需要旋转的激光扫描仪。这种激光雷达的优点是价格相对较低、体积较小、维护成本较低，但缺点是扫描范围相对较小、精度相对较低。激光雷达类型混合固态激光雷达混合固态激光雷达是结合了机械式激光雷达和固态激光雷达的一种技术，它使用固体激光器作为光源，但通过旋转的激光扫描仪来扫描周围环境。这种激光雷达既具有机械式激光雷达的高精度和广范围，又具有固态激光雷达的低成本和可靠性。激光雷达类型123激光雷达发射器先发射激光，经过物体反射后被CMOS捕捉，设捕捉点为X2。激光雷达三角测距过焦点O作一条虚线平行于入射光线，与Imager相交于X1，由于β已知，所以可得到X1的位置。虚线定位法激光雷达三角测距原理的原理图如图所示，其中O为焦点，X1、X2为捕捉点位置，β为入射角。原理图激光雷达测距原理TOF(TimeofFlightMeasurement)传统的测距技术分为双向测距技术（TwoWayRanging）和单向测距技术（OneWayRanging）。TOF测距主要利用信号在两个异步收发机（Transceiver）之间往返的飞行时间来测量节点间的距离。测距原理激光器发射一个激光脉冲，回返光经接收器接收。两个时间相减即得到了光的“飞行时间(

t

)”，而光速c是一定的，因此在已知速度和时间后很容易就可以计算出距离d=c×t/2。激光雷达测距原理VelodyneVelodyne是领先的激光雷达供应商之一，其产品包括多种型号的激光雷达传感器，覆盖了不同的应用场景和需求。Velodyne的激光雷达传感器具有高分辨率、长距离和可靠性高等优点，被广泛应用于自动驾驶汽车、无人机和智能空间等领域。QuanergyQuanergy是另一家知名的激光雷达供应商，其产品包括Q-Series和M-Series两个系列的激光雷达传感器。Quanergy的传感器具有高性能、低成本和可靠性高等优点，被广泛应用于自动驾驶汽车、机器人和智能空间等领域。LeddarTechLeddarTech是一家专注于固态激光雷达技术的供应商，其产品包括LeddarOne和LeddarVu等型号的固态激光雷达传感器。LeddarTech的传感器具有小巧、轻便和可靠性高等优点，被广泛应用于汽车、无人机和智能空间等领域。知名供应商介绍毫米波雷达毫米波雷达通过发射无线电波，然后接收反射回来的信号，通过电磁波返回的飞行时间计算目标的相对距离。根据多普勒原理，当发射的无线电波和被探测目标有相对移动、回波的频率会和发射波的频率不同，通过检测频率差计算目标的相对速度。频率在10GHz~200GHz范围的电磁波因其波长在毫米量级，故称为毫米波。应用在自动驾驶领域的毫米波雷达主要有3个频段，分别是24GHz、77GHz和79GHz。不同频段的毫米波雷达性能和成本不同。汽车领域毫米波雷达主要应用于汽车领域，包括自动驾驶、车联网、碰撞预警、自适应巡航等功能。毫米波雷达可以检测车辆周围的障碍物，并测量它们的距离、速度和角度，为车辆提供精确的感知能力。无人机领域毫米波雷达也可以应用于无人机领域，用于导航、避障、地形测绘等功能。毫米波雷达可以检测无人机周围的障碍物，并测量它们的距离和方位角，为无人机提供精确的感知能力。其他领域毫米波雷达还可以应用于智能家居、物联网等领域，用于人体存在检测、手势识别等功能。毫米波雷达应用03成本低廉相比其他类型的雷达，毫米波雷达的成本较低，有利于大规模应用。01抗干扰能力强毫米波雷达的波长较短，不易受到环境因素的干扰，如雨水、雾霾等，因此具有较好的抗干扰能力。02精度较高毫米波雷达的测量精度较高，可以检测到的障碍物距离、速度和角度等信息较为准确。毫米波雷达特点由于环境因素和传感器自身的影响，毫米波雷达的数据稳定性较差，需要进行滤波和算法处理。数据稳定性差对金属敏感高度信息缺失毫米波雷达对金属比较敏感，容易将道路上的金属物体误认为是障碍物，导致误报警。毫米波雷达只能提供距离和角度信息，无法获取高度信息，这在一定程度上限制了它的应用。030201毫米波雷达挑战要点三超声波雷达工作原理工作原理：通过超声波发射装置向外发出超声波和接收器接收到超声波的时间差来测算距离。要点三在倒车入库时，超声波雷达可以帮助驾驶员感知车辆后方和侧方的障碍物，避免车辆与墙壁或其他车辆发生碰撞。要点一要点二在停车时，超声波雷达可以帮助驾驶员感知停车位的大小和形状，以及车辆与周围车辆的距离，从而帮助驾驶员更好地掌握停车技巧，避免刮蹭和碰撞。自动驾驶辅助在自动驾驶系统中，超声波雷达可以帮助车辆实现自动泊车和自动变道等功能。通过感知周围环境并计算与其他车辆的距离和相对速度等信息。要点三超声波雷达应用倒车入库停车辅助APA超声波雷达APA超声波雷达通常安装在汽车的侧面，用于测量侧方障碍物距离。其探测距离一般在30~500cm之间。APA的探测范围更远，因此成本更高，功率也更大。UPA超声波雷达UPA超声波雷达通常安装在汽车的前后保险杠上，用于测量汽车前后方的障碍物。其探测距离一般在15~250cm之间。其他类型除了UPA和APA之外，还有一些其他类型的超声波雷达，例如多元素超声波雷达、全景超声波雷达等。这些雷达具有更广泛的探测范围和更高的测量精度，但成本也更高。超声波雷达类型温度敏感性超声波雷达的测距原理与激光雷达、毫米波雷达类似，但波速与温度有关。在自动驾驶系统中，引入温度信息以提升测量精度。无法精确描述障碍物位置高速下超声波雷达测量有局限性，因速度受天气影响且散射角大、方向性差。但在短距离测量中仍具优势。能量消耗缓慢超声波能量消耗慢，穿透性强，测距简单且成本低。这使得超声波雷达在倒车入库、停车辅助等应用中表现优异。随着自动泊车功能普及，超声波自动泊车功能也受到广泛关注。超声波雷达特点超声波雷达Dynamatic、Siemens、Valeo等。激光雷达Velodyne、Quanergy、Ibeo、速腾、聚创、北科天绘等。毫米波雷达Sony、Philips、Agilent、Keysight等。视觉传感器Camera、DVR、VMS等。雷达传感器Radar、LIDAR、Doppler等。常见自动驾驶传感器品牌及产品总结摄像机在识别物体的定位上有所不足，且受光照条件影响较大毫米波雷达高度和横向的分辨率较低，对于静止物体的感知能力有限；对金属材质特别敏感，导致虚警率很高激光雷达成本高，量产难度大；对某些低反射特性的材料测距精度不佳；易受天气影响优点缺点输出为二维图像，富含颜色、强弱等视觉信息，在识别车辆行人等功能上有一定优势毫米波穿透性强，抗干扰能力强，受天气影响较小输出为三维点云，虽然没有色彩属性，但包含识别物体的位置信息、反光强弱等；精度高超声波雷达声速相比光速较慢，车速较快时超声波测距无法跟上汽车车距的实时变化，且易受天气温度影响，误差较大受到雨水、粉尘、泥沙的干扰较小，在空气中穿透性强、衰减小，短距离探测中精度较高，常用于泊车场景03传感器的标定z轴指向车顶垂直于地面向上y轴指向车辆前方x轴指向车辆右侧。原点位于车辆后轮轴的中心。选择笔直的道路，让车辆沿着道路直行一段距离。采集IMU的数据。分析IMU输出轨迹和车辆沿Y轴前进的轨迹。计算IMU在车上的外参，即绕坐标轴的角度偏移量。IMU标定步骤IMU的标定确定车辆坐标系XZ平面视图YZ平面视图XY平面视图12相机的标定相机标定涉及：内参（如焦距、主点位置、畸变系数）外参（包括相机坐标系与世界坐标系之间的旋转矩阵和平移向量）两方面的确定。相机的标定相机外参标定：指相机坐标系与世界坐标系之间的旋转矩阵和平移向量的确定相机坐标系世界坐标系相机坐标系转化为世界坐标系就像把照片上的点换算成实际位置一样相机的标定相机坐标系-图像坐标系相机坐标系到图像坐标系是透视关系，利用相似三角形：侧面视图主视图激光雷达和组合惯导的标定过程涉及使用手眼标定方法获得外参初始值。激光雷达和组合惯导标定ti时刻组合惯导的位置姿态为

多线激光雷达的位置为经典的手、眼标定问题为求解是两个传感器的相对运动简化为二维的手、眼标定问题：分别是组合惯导相对运动的旋转和平移部分是激光雷达相对运动的平移部分，R和t是外参的旋转和平移

8字形状的轨迹行驶优化拼接的方法对外参进行优化激光雷达和组合惯导标定点云配准外参优化后效果图外参融合后俯视图相机和激光雷达联合标定通过参照物位置姿态信息反向计算外参矩阵，关键在于准确初始外参值和选择合适标定场地。相机和激光雷达标定准确外参的点云投影效果图外参误差较大的点云投影效果04传感器数据融合多传感器数据融合利用计算机技术综合多个传感器信息进行决策和估计，经过传感系统搭建、数据采集、预处理、特征提取、融合算法计算分析和输出目标特征信息等步骤。多传感器数据融合自动驾驶传感器数据融合自动驾驶汽车环境感知传感器布局硬件层融合难度：

摄像头、激光雷达和毫米波雷达之间在硬件层面很难融合，因为毫米波雷达分辨率低，无法确定目标大小和轮廓，但可以在数据层上进行融合，比如目标速度估计、跟踪轨迹等。摄像头和激光雷达的数据融合：传统方法包括Bayes滤波、自适应引导图滤波、传统的形态学滤波等，而基于深度学习的传感器数据融合算法是目前较多采用的方法。传感器数据融合硬件层融合：

传感器厂商（如禾赛和Mobileye）利用传感器的底层数据进行融合。12数据层融合：各种传感器生成各自独立的目标数据，主处理器融合这些特征数据来完成感知任务。任务层融合：

首先各传感器完成感知或定位任务，然后在任务完成后添加置信度进行融合。3自动驾驶传感器数据融合自动驾驶传感器数据融合示例前视摄像头和超声波雷达传感器数据融合功能优势：

传感器融合能够提供更准确的功能执行，减少误报和漏报。实现方式：

可通过轻微修改现有系统或增加传感器融合控制单元来实现。传感器融合示例：后视摄像头与超声波测距的融合前视摄像头与多模式前置雷达的融合Texthere多传感器融合数据处理传感器融合数据处理方式主要有：（1）集中式处理（2）全分布式处理（3）集中式和分布式处理相结合集中处理方式的优点：传感器模块小巧、成本低、功耗少，安装灵活，替换成本低，并且具有较低的功能安全要求。集中处理方式的缺点：实时处理传感器数据需要宽带通信，可能引起较高的电磁干扰，需要性能更好的中央ECU，并且增加了系统的电能需求和散热量。多传感器融合数据处理全分布式处理方式的优点：传感器模块与中央ECU之间可以使用更低带宽、更简单且便宜的接口。中央ECU的处理能力要求较低。传感器数量增加对中央ECU的性能需求增长不大。全分布式处理方式的缺点：传感器模块：体积、价格、功耗大功能安全要求高。成本随传感器数量增加而增高。中央决策制定ECU仅能获取对象数据，难以实现感兴趣区域“放大”。Texthere多传感器融合数据处理集中式和分布式处理相结合。根据系统中所使用传感器的数量与种类，针对不同车型和升级选项的可扩展性要求，将两种拓扑混合在一起得到的一种优化解决方案。集中式和分布式处理相结合贝叶斯统计理论多传感器系统需要选择合适的融合算法，以应对信息的多样性和复杂性，核心要求是算法具有鲁棒性、并行处理能力、高运算速度和精度。传感器数据融合算法卡尔曼滤波方法神经网络技术

贝叶斯统计理论贝叶斯统计理论是一种统计学方法，用于估计统计量的某种特性，主要关注于随机事件A在事件B发生的情况下的条件概率，表示为P(A|B)。传感器数据融合算法贝叶斯统计理论文氏图条件概率的公式

卡尔曼滤波方法卡尔曼滤波是利用线性系统方程和观测数据进行最优状态估计的算法，在多传感器数据融合中用于去除噪声、估计目标位置、预测目标状态。传感器数据融合算法定义系统模型：需要建立动态系统的状态方程和观测方程，描述系统的演变规律和观测数据之间的关系。这些方程一般以线性状态空间形式表示。初始化状态：需要提供初始的状态估计值和协方差矩阵，反映状态估计的不确定性程度。预测步骤：根据系统模型，使用先前的状态估计值和协方差矩阵，预测下一个时刻的状态估计值和不确定性。更新步骤：使用观测数据，根据贝叶斯定理，将预测的状态估计值和观测数据进行融合，得到更新后的状态估计值和协方差矩阵。循环迭代：重复进行预测和更新步骤，不断更新状态估计值和协方差矩阵，以提高状态估计的准确性。使用卡尔曼滤波：

神经网络技术神经网络是机器学习的一种方法，通过层层神经元构成，深度学习（DeepLearning）则利用多层神经元网络实现机器学习功能，通过有效训练使其逼近实际结果，解决图像、语音和文字识别等问题。传感器数据融合算法神经网络结构图05环境感知与预测环境感知（MODAT,MovingObjectDetectionandTracking）：通过各种传感器对车辆行驶环境进行动态感知和认知，为车辆提供数字化的已知驾驶环境信息，为决策模块提供输入，是实现自动驾驶功能的必要基础。环境感知理论概述环境感知主要包括路面、静态物体和动态物体3个方面。对于动态物体,不仅要检测,还要对其轨迹进行追踪,并根据追踪结果预测该物体下一步的轨迹(位置)。

路面

静态物体

动态物体环境感知理论概述车道线，斑马线等交通标志路牌、路障等行人、车辆等新石器L4无人车的传感器系统自动驾驶的感知系统车道线识别技术是指从自动驾驶车辆装载的摄像头获取的视频及图像中识别出路面的车道线及其位置的技术。其应用的图像处理技术主要可分为传统图像处理和深度学习图像处理两种。应用实例——车道线识别传统图像处理应用实例——车道线识别传统图像识别1图像预处理根据摄像机的内部参数及标定的外部参数将原始图像调整为正常比例图像。2灰度化处理将图像中每个点RGB三维的数据整合为一维的灰度数据，可以简化后续处理的复杂度,缩短整体处理时间。3边缘提取标记出颜色变化明显的位置，例如车道线的边缘处。常用算法有Canny算法和Sobel算法。4兴趣区域选择截取图片的对应区域，以减少计算和增加识别精度。5Hough变换提取图片中的直线段。是提取图片中直线、圆形、椭圆特征的常用方法。应用实例——车道线识别车道线原图车道线原图灰度图像边缘提取Hough变换应用实例——车道线识别原始图像图像预处理车道线提取（深度神经网络）像素点聚类拟合输出车道线位置传统方法使用固定图像特征，很容易在道路场景变化时出现准确度下降的情况。车道线提取中常用的深度神经网络有卷积神经网络（CNN）和循环神经网络（RNN）。一般情况下，深度神经网络输出各像素点为车道线像素点的准确度，之后依据模型拟合出车道线曲线。常用模型有三次多项式，样条曲线等。也可以使用支持向量机（SVM）或者RNN来识别车道线边界。深度学习图像处理自动驾驶车辆不仅要识别出道路中移动的其他车辆、行人、摩托车、以及未知障碍物等，还要对其位置、速度和运动轨迹做出判断，从而在规划控制中采取不同策略应对不同场景。应用实例——车辆行人识别自动驾驶车辆行人识别过程原始传感器数据数据预处理车辆行人识别（深度神经网络）后处理输出车辆行人信息（位置、大小、速度等）以激光雷达为主的自动驾驶方案中，点云是车辆行人识别的基础。与图像不同，点云本身就是三维数据，传统用于图像处理的CNN无法直接作用于点云数据。所以需要将三维点云降到二维或者调整CNN使之可以应用三维数据。应用实例——车辆行人识别由于交通标志的图像特征明显（形状、颜色等），一般使用摄像机获取图像数据用于识别。识别方法大致分为模型识别和深度学习识别。应用实例——交通标志识别发现并识别出自动驾驶车辆前方交通灯的位置及显示状态(红、黄、绿),通常情况下只需要识别一个交通灯的状态,复杂情况下则需要识别多个交通灯的状态并判断出哪个交通灯对应车辆行驶的车道。应用实例——交通灯识别车路协同配备车联网通信功能的自动驾驶车辆可以通过车路协同与行驶道路设施通信，准确实时地获取所需信息。06定位系统测量值和真实值之间的重合度精度服务不可用时提出告警的能力完好性告知客户系统正常工作的持续能力连续性定位系统可用性提供符合指标定位服务的百分比定位，是让自动驾驶汽车找到自身确切位置的方法GPS接收天线侧视图GPS接收天线GPS接天线是接收全球定位系统卫星信号并确定地面空间位置的仪器。定位传感器GPS接收天线侧视图GPS接收天线侧视图GPS接收天线侧视图IMU惯性测量单元（InertialMeasurementUnit，IMU