智能网联汽车概论课件 项目二 智能网联汽车环境感知技术

智能网联汽车概论项目二

智能网联汽车环境感知技术视觉传感器认知任务一任务二任务五超声波雷达认知毫米波雷达认知任务三任务四任务六激光雷达认知多传感器融合技术认知智能网联汽车环境感知技术实训视觉传感器认知1学习目标1.了解视觉传感器的概念2.解视觉传感器的分类、组成与原理。3.了解视觉传感器的应用场景。视觉传感器任务描述摄像头在生活中随处可见，它应用到汽车上的时间也并不短，但随着自动驾驶汽车的提出，因为摄像头其独有的作用，可以实现众多预警、识别类ADAS功能，被我们称之为“智能驾驶汽车之眼”。视觉传感器获取信息一、视觉传感器概述二、视觉传感器的类型三、视觉传感器的基本组成四、视觉传感器的工作原理五、视觉传感器的应用场景视觉传感器1、视觉传感器概述一、视觉传感器概述视觉传感器，又称摄像机、摄像头，是将二维光强分布的光学图像转变成一维时序电信号的传感器。在自动驾驶中有着举足轻重的地位，就像人的眼睛一样，摄像头结合图像识别技术，能快速识别车辆、行人和交通标志。所以它也是实现众多预警、识别类ADAS功能的基础。视觉传感器根据镜头和布置方式的不同，视觉传感器主要包括：单目视觉传感器、双目视觉传感器、三目视觉传感器和环视视觉传感器。此外，红外夜视系统也属于视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像时中依然能够发挥作用。接下来将分别介绍这五类视觉传感器。视觉传感器二丶视觉传感器的类型（1）单目视觉传感器如图2-1-1所示，单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。视觉传感器二丶视觉传感器的类型单目视觉有两个先天的缺陷：一是它的视野完全取决于镜头。焦距短的镜头，视野广，但缺失远处的信息。反之亦然。二是单目测距的精度较低。摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。因此，对于单目视觉来说，物体越远，测距的精度越低。图2-1-1单目车载视觉传感器（2）双目视觉传感器由于单目测距存在缺陷，双目视觉应运而生，如图2-1-2所示，双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。有了像素偏移量、相机焦距和两个车载视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。将双目测距原理应用在图像上每一个像素点时，即可得到图像的深度信息，深度信息的加入，不仅能便于障碍物的分类，更能提高高精度地图定位匹配的精度。视觉传感器二丶视觉传感器的类型与单目系统相比，双目系统的特点如下：一是成本比单目系统要高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；二是没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；三是精度比单目高，直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。图2-1-2双目视觉传感器二丶视觉传感器的类型视觉传感器（3）三目视觉传感器由于单目和双目都存在某些缺陷，因此，很多智能网联汽车采用了三目视觉传感器方案。三目视觉传感器是三个不同焦距单目车载视觉传感器的组合。图2-1-3特斯拉AutoPilot2.0三目视觉传感器图2-1-3为特斯拉AutoPilot2.0安装在风窗玻璃下方的三目视觉传感器，分别为25°视场、50°视场、150°视场。其中，25°视场用于检测前车道线、交通灯，50°视场负责一般的道路状况监测，150°视场用于检测平行车道道路状况以及行人和非机动车行驶的状况。对车载视觉传感器来说，感知的范围要么损失视野，要么损失距离。三目车载视觉传感器能较好地弥补感知范围的问题。三目摄像头的缺点是需要同时标定三个车载视觉传感器，因而工作量更大一些。其次，软件部分需要关联三个车载视觉传感器的数据，对算法要求也很高。（4）环视视觉传感器之前提到的三款视觉传感器所用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，而且安装位置是朝向地面的。某些高配车型上会有“360°全景显示”功能，所用到的就是环视摄像机。视觉传感器二丶视觉传感器的类型图2-1-4鱼眼镜头采集图像如图2-1-4所示，安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像，采集到的图像与下图类似。鱼眼摄像机为了获取足够大的视野，代价是图像的畸变严重。（4）环视视觉传感器通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。然后对四个方向的图像进行拼接，再在四幅图像的中间放上一张车的俯视图，即可实现从车顶往下看的效果，如图2-1-5所示。环视视觉传感器的感知范围并不大，主要用于车身5-10米内的障碍物检测、自主泊车时的库位线识别等。视觉传感器图2-1-5车载视觉传感器环视效果图二丶视觉传感器的类型视觉传感器（5）红外夜视视觉传感器夜间可见光成像的信噪比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型，见表2-1。主动夜视系统被动夜视系统是利用近红外光作光源照明目标，如红外LED、红外灯和近红外激光器等，用低照度摄像机或微光摄像机接收目标反射的红外光，转换成视频信号在监视器荧光屏上同步显示图像。有两种类型，一类是利用月光、星回光、夜天光等一切很微弱的自然光线，加以放大增强达到可视的目的，这类夜视仪也称为微光夜视仪。另一类是利用远红外敏感的探测器探测目标本身的热辐射，这类夜视仪也称为热像仪。表2-1-1主动夜视系统与被动夜视系统二丶视觉传感器的类型视觉传感器红外夜视视觉传感器红外夜视系统基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像。如图2-1-6所示，镜头中出现了多个行人，且都被标记了出来。图2-1-6红外夜视系统检测效果图二丶视觉传感器的类型

视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成，如图

２-１-７

所示。

其主要功能是获取机器视觉系统所需的原始图像数据。

把光源、摄像机、图像处理器、标准的控制与通信接口等集成一体的视觉传感器，常被称为智能图像采集与处理单元。

该单元内部程序存储器可存储图像处理算法，并支持通过计算机及专用组态软件编制算法，下载至传感器程序存储器，视觉传感器融合了计算机的灵活性、ＰＬＣ

的可靠性、分布式网络技术与

ＰＬＣ

协同可高效构建机器视觉系统。视觉传感器三、视觉传感器的基本组成视觉传感器即图像传感器，它的作用是将镜头成像转换为数字或模拟信号输出，是视觉检测的核心部件。根据成像原理，主要可分为ＣＣＤ图像传感器和ＣＭＯＳ图像传感器两种。视觉传感器三、视觉传感器的基本组成１.ＣＣＤ图像传感器ＣＣＤ图像传感器的中文全称为“电荷耦合元件”（Ｃｈａｒｇｅ-ＣｏｕｐｌｅｄＤｅｖｉｃｅ），主要由马赛克网格、聚光镜片以及底层电子线路矩阵构成。其外形如图所示。ＣＣＤ是一种特殊半导体器件，可将光学影像转化为数字信号。ＣＣＤ成像原理:当光线从镜头透过并投射到ＣＣＤ表面时，ＣＣＤ就会产生电流，将感应到的内容转换成数码资料存储起来。ＣＣＤ像素数目越多，单一像素尺寸越大，收集到的图像就会越清晰。由于ＣＣＤ的体积小、成本低，所以广泛应用于扫描仪、数码相机及数码摄像机中。目前大多数数码相机采用的视觉传感器都是ＣＣＤ。视觉传感器视觉传感器的基本组成２.ＣＭＯＳ图像传感器ＣＭＯＳ图像传感器中文全称为“互补性氧化金属半导体”（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ-ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ），是利用ＣＭＯＳ工艺制造的图像传感器，主要利用了半导体的光电效应，与ＣＣＤ的原理相同。其外形如图所示。ＣＭＯＳ图像传感器与ＣＣＤ图像传感器一样，可用于自动控制、自动测量、投影摄像、视觉识别等各个领域。ＣＭＯＳ成像原理:利用硅和锗两种元素所做成的半导体，使其在ＣＭＯＳ上共存着带负电的Ｎ级和带正电的Ｐ级半导体，这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。三、视觉传感器的基本组成视觉传感器四、视觉传感器的主要参数图像传感器的主要参数有像素、帧率、靶面尺寸、感光度、信噪比和电子快门等。（１）像素。像素是图像传感器的最小感光单位，也是构成影像的最小单位。

画面由密集的亮暗与色彩像素点组成，这些小点称为像素。

（２）帧率。帧率是指单位时间内采集或播放的图像数量。

人眼在超过

１５

幅/秒的播放速度下可感知连续画面，在达到

２４~３０

幅/ｓ

时基本消除闪烁。

每秒的帧数或者帧率表示图像传感器在工作时每秒能够更新的次数。

高的帧率可以得到更流畅、更逼真的视觉体验。（３）靶面尺寸。靶面尺寸即图像传感器感光部分的大小。

一般用英寸（１ｉｎ≈２５.４ｍｍ）来表示。

通常这个数据指的是图像传感器的对角线长度，如常见的有

１/３ｉｎ。

靶面越大，意味着通光量越好，而靶面越小，获得景深更大。

视觉传感器四、视觉传感器的主要参数（４）感光度。感光度指的是通过

ＣＣＤ

或

ＣＭＯＳ

以及相关的电子线路感应入射光线的强弱。

感光度越高，感光面对光的敏感度就越强，快门速度就越高，这在拍摄运动车辆、夜间监控的时候尤其重要。（５）信噪比。信噪比指的是信号电压对于噪声电压的比值，单位为

ｄＢ。

一般摄像机给出的信噪比值均是

ＡＧＣ（自动增益控制）关闭时的值，因为当

ＡＧＣ

接通时，会对小信号进行提升，使得噪声电平也相应提高。（6）电子快门︰电子快门用来控制图像传感器的感光时间，由于图像传感器的感光值就是信号电荷的积累，感光越长，信号电荷积累时间也越长，输出信号电流的幅值也越大。电子快门越快，感光度越低，因此适合在强光下拍摄。视觉传感器五、视觉传感器的工作原理视觉传感器在智能网联汽车中解决的问题可以分为两类：物体的识别与跟踪、车辆本身的定位。（1）物体的识别与跟踪通过机器学习的方法，智能网联汽车可以识别在行驶途中遇到的物体，比如行人、车辆、交通信号、交通标志、车道线、道路边界和自由行驶空间等。如图2-1-8所示，图中不同颜色矩形框框出来的内容即为视觉传感器感知的对象。图2-1-8视觉传感器检测效果图视觉传感器物体的识别与跟踪如图2-1-9所示，一般来说，计算机识别识别的过程主要包括：图像输入、预处理（如平滑滤波、二值化、灰度转化等）、特征提取（如形状特征、阴影特征等）、特征分类、模板匹配和完全识别等。图2-1-9视觉传感器识别流程（2）车辆本身的定位智能网联汽车基于视觉技术用于车辆本身的定位时，主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。视觉SLAM系统可分为五个模块：传感器数据、视觉里程计、后端、建图、回环检测五个模块。（3）物体的识别与跟踪视觉SLAM定位流程图如图2-1-10所示，输入传感器数据后，前台线程根据传感器数据根据传感器数据进行跟踪求解，实时恢复每个时刻的位姿，后台线程进行局部或全局优化，减少误差累积，并进行场景回路检测，最后输出设备实时位姿。图2-1-10视觉SLAM定位流程图五、视觉传感器的应用场景视觉传感器生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将视觉传感器系统应用到智能网联汽车领域，无疑将会大幅度提高自动驾驶的准确性。视觉传感器在整个环境感知系统中占据了非常重要的地位，在智能网联汽车上的应用，主要有两大类功能，分别是感知能力和定位能力。感知能力是实现对智能网联汽车各种环境信息的感知。定位能力主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。由于成本相对较低、算法成熟度高、体积小、功能多样化等优势，智能网联汽车上的视觉传感器安装数量较多，如图2-1-11所示，为视觉传感器在智能网联汽车上的安装位置及功能示意图。本车中包含1个内置摄像头，1个前视摄像头、1个行车记录仪摄像头、1个倒车后视摄像头、2个测试摄像头和2个环视摄像头。图2-1-11视觉传感器在智能网联汽车上的安装及应用视觉传感器的应用场景视觉传感器视觉传感器可以提供的感知能力主要有：车道线识别、障碍物识别、交通标志识别、道路标志识别、交通信号灯识别、可行驶区域识别、周围车辆感知、交通状况感知、道路状况感知、车辆本身状态感知等。视觉传感器在智能网联汽车上的具体应用示意图如图2-1-12所示。图2-1-12视觉传感器在智能网联汽车上的具体应用2

超声波雷达认知超声波雷达学习目标1.了解超声波雷达的分类、特点与应用。2.了解超声波雷达的结构与工作原理。3.了解超声波雷达的应用场景特斯拉自Autopilot推出以来，便坚持4+4+4的超声波雷达布局。早期版本中，特斯拉在泊车辅助中使用前后8颗超声波雷达，在辅助驾驶中使用全部12颗雷达。特斯拉高度依赖超声波雷达，超声波雷达究竟有何突出之处，让特斯拉如此偏爱呢。超声波雷达任务描述获取信息超声波雷达一、超声波雷达概述二、超声波雷达分类三、超声波雷达特点四、超声波雷达结构五、超声波雷达工作原理六、超声波雷达应用超声波雷达一、超声波雷达概述超声波是一种频率高于20kHz的声波（机械波），它的方向性好，反射能力强，易于获得较集中的声能。超声波雷达是利用超声波的特性研制而成的传感器，可以通过接收到反射后的超声波探知周围的障碍物情况，它可以消除驾驶员停车泊车、倒车和起动车辆时前、后、左、右探视带来的麻烦，帮助驾驶员消除盲点和视线模糊缺陷，提高行车安全性。如图2-2-1所示，图中用蓝色圆圈即为四个后向超声波雷达。图2-2-1四个后向超声波雷达二、超声波雷达分类超声波雷达常见的超声波雷达有两种。第一种是安装在汽车前后保险杠上的，也就是用于测量汽车前后障碍物的倒车雷达，这种雷达业内称为UPA（UniversalParkingAid）;第二种是安装在汽车侧面的，用于测量侧方障碍物距离的超声波雷达，业内称为APA（AdvancedParkingAid）。UPA和APA的探测范围和探测区域都不相同，如图2-2-2所示。图中的汽车配备了前后向共8个UPA，左右侧共4个APA。图2-2-2UPA的探测范围与区域超声波雷达超声波雷达分类UPA超声波雷达的探测距离一般在15~250cm之间，主要用于测量汽车前后方的障碍物。如图2-2-3所示，为单个UPA的探测范围示意图。APA超声波雷达的探测距离一般在30~500cm之间。APA的探测范围更远，因此相比于UPA成本更高，功率也更大。APA的探测距离优势让它不仅能够检测左右侧的障碍物，而且还能根据超声波雷达返回的数据判断停车库位是否存在。图2-2-3单个APA的探测范围在实际使用中，超声波能量消耗较为缓慢，防水、防尘，即使有少量的泥沙遮挡也不影响，在介质中的传播距离较远，穿透性强，测距方法简单，成本低，且不受光线条件的影响，有着众多的优点，在短距离测量中，超声波雷达测距有着非常大的优势。但是，超声波是一种机械波，使得超声波雷达有着以下几种局限性。a对温度敏感。超声波雷达的波速受温度影响，近似关系为C=C_0+0.607×T。其中，C_0为零度时的波速，为332m/s，T为温度（单位：℃）。波速受温度影响，因此测量的精度也与温度直接相关。对于超声波测距精度要求达到1mm时，就必须把超声波传播的环境温度考虑进去。例如当温度为0℃时是332m/s，30℃时超声波速度是350m/s，温度变化引起的超声波速度变化为18m/s。若超声波在30℃的环境下以0℃的声速测量100m距离所引起的测量误差将达到5m，测量1m误差将达到5mm。传播速度较慢时，若汽车行驶速度较快，使用超声波测距无法跟上汽车车距的实时变化，误差较大。b超声波散射角大，方向性较差，无法精确描述障碍物位置。在测量较远距离的目标时，其回波信号较弱，影响测量精度。超声波雷达三、超声波雷达特点超声波雷达四、超声波雷达结构超声传感器的种类很多，按照其结构可分为直探头、斜探头、表面波探头、双探头、聚焦探头、水浸探头以及其他专用探头。按照实现超声换能器机电转换的物理效应的不同可将换能器分为电动式、电磁式、磁致伸缩式、压电式等，其中以压电式最为常用。直探头结构如图2-2-4所示，它主要由压电晶片、吸收块（阻尼块）、保护膜、引线等组成。压电晶片多为圆板形，厚度为δ。超声波频率f与其厚度δ成反比。压电晶片的两面镀有银层，作导电的极板。阻尼块的作用：降低晶片的机械品质，吸收声能量。如果没有阻尼块，当激励的电脉冲信号停止时，晶片将会继续振荡，加长超声波的脉冲宽度，使分辨率变差。图2-2-4直探头结构超声波传感器分为发射换能器和接收换能器，既能发射超声波又能接受发射出去的超声波的回波。发射换能器利用压电元件的逆压电效应，而接收换能器则是利用压电效应。如图2-2-5所示，超声波雷达的工作原理是通过超声波发射装置向外发出超声波，到通过接收器接收到发送过来超声波时的时间差来测算距离。由此可见，超声波测距原理与雷达原理是一样的。测距的公式表示为：L=C×T。式中L为测量的距离长度;C为超声波在空气中的传播速度;T为测量距离传播的时间差（T为发射到接收时间数值的一半）。超声波雷达五、超声波雷达工作原理图2-2-5所示，超声波雷达的工作原理目前，常用探头的工作频率有40kHz，48kHz和58kHz三种。一般来说，频率越高，灵敏度越高，但水平与垂直方向的探测角度就越小，故一般采用40kHz的探头。超声波雷达防水、防尘，即使有少量的泥沙遮挡也不影响。探测范围在0.1~3m之间，而且精度较高，因此非常适合应用于泊车。在实际应用中，还应考虑多普勒效应、温度影响、噪声干扰、线性驱动干扰、机械特性等。但是，一般来说，返回数据的误差非常小，一般最大误差不超过±5cm。在正常情况下，基本障碍物与同一障碍物之间的距离不会波动。一般来说，超声波雷达的最大探测距离约为2.5~5m，最小探测距离约为25~35cm，超声波雷达波会产生余震，如果余震期间探测距离过短，会导致盲点从而无法确定与障碍物的距离。超声波雷达超声波雷达工作原理1.泊车库位检测自动泊车功能需要经历两个阶段：识别库位和倒车入库。识别库位功能就是依赖安装在车辆侧方的APA，如图2-2-6所示。2.高速横向辅助特斯拉ModelS在AutoPilot1.0时代就实现了高速公路的巡航功能，为了增加高速巡航功能的安全性和舒适性，特斯拉将用于泊车的APA超声波雷达，也用在了高速巡航上，如图2-2-6所示。超声波雷达超声波雷达的应用图2-2-6APA超声波雷达应用3

毫米波雷达认知毫米波雷达学习目标1.了解毫米波雷达的分类、特点与应用。2.了解毫米波雷达的结构与工作原理。3.了解毫米波雷达的应用情况。任务描述对于自动驾驶，简单来说就是对大量交通数据进行运算，最终得到最优的行车路线和速度。但是最关键的技术难点却在于获取数据。所以雷达变成了自动驾驶不可或缺的硬件。自动驾驶汽车通过雷达将复杂的交通数据全部捕获。而自动驾驶汽车上常见的雷达有两种，分别是激光雷达和毫米波雷达。今天，我们就来详细了解一下毫米波雷达。毫米波雷达一、毫米波雷达概述二、毫米波雷达分类三、毫米波雷达特点四、毫米波雷达的基本组成五、毫米波雷达的工作原理六、毫米波雷达的应用场景获取信息毫米波雷达毫米波雷达（图2-3-1）就是指工作频段在毫米波频段（30~300GHz）的雷达。它是自动驾驶系统的主要传感器，波长从1~10mm，毫米波雷达探测距离较长，可达200多米，可以对目标进行有无检测、测距、测速以及方位测量。它具有良好的角度分辨能力，可以检测较小的物体。同时，毫米波雷达有极强的穿透率，能够穿过光照、降雨、扬尘、下雾或霜冻来准确探测物体，可以在全黑的环境工作，可全天候工作。一、毫米波雷达概述毫米波雷达二、毫米波雷达分类毫米波雷达图2-3-1毫米波雷达如图2-3-1所示，毫米波雷达根据测试距离主要分为短距离雷达和长距离雷达两类。毫米波雷达分类毫米波雷达短距离雷达：就是频段在24GHz左右的雷达。处在该频段上的雷达的检测距离有限，因此常用于检测近处的障碍物（车辆）。图2-3-2的这4个角雷达，能够实现的ADAS功能有盲点检测、变道辅助等;在自动驾驶系统中常用于感知车辆近处的障碍物，为换道决策提供感知信息。图2-3-2奥迪18传感器分布长距离雷达：包含77GHz和79GHz频段雷达。性能良好的77GHz雷达的最大检测距离可以达到160m以上，因此常被安装在前保险杠上，正对汽车的行驶方向。长距离雷达能够用于实现紧急制动、高速公路跟车等ADAS功能;同时也能满足自动驾驶领域，对障碍物距离、速度和角度的测量需求。三、毫米波雷达特点汽车毫米波雷达工作频段为21.65-26.65GHz和76-81GHz。比较常见的汽车毫米波雷达工作频率在24GHz、77GH、79GHz这三个频率附近。毫米波雷达1.直接测得距离速度，是ACC、AEB等功能的优选如图2-3-3所示，采用雷达向周围发射无线电，通过测定和分析反射波以计算障碍物的距离、方向和大小。雷达能直接测量距离和速度信息的特点使应用于自适应巡航、碰撞自动刹车上有着天然的优势，也是目前自适应巡航最主流的解决方案。图2-3-3目标发射探测信号毫米波雷达特点毫米波雷达2.高穿透、全天候特性是其他传感器的有力保障在摄像头的应用越来越丰富，尤其是TTC算法出现后，单摄像头的解决方案也能实现自动紧急刹车（AEB）功能。但在高速行驶中的使用仍然存有疑问。虽然行业中有不同的认知，但主流的声音仍然认为，毫米波雷达具有的高穿透和全天候的特性，给予自动驾驶更有力的保障。而通过毫米波雷达，配合其他传感器的融合解决方案，则具备更高的识别精度和效率。3.主流频段24GHz和77GHz，77GHz长距特性更具备优势目前，汽车毫米波雷达的主要频段为24GHz和77GHz，日本还采用60GHz。使用这些频段的主要原因，是这些频段被其他频段应用占用少，这些频段在大气中的衰减要弱，因而更适合长距离传输。77GHz目前更多的被认为是未来的主流方向，其主要的优点有以下几点。（1）探测距离更远：带宽更大，同时天线较小。反射的波束更集中，从而可探测更远的距离；（2）独有频段：在欧洲，24GHz很早之前就已经被分配给射电天文和电信工业应用。为了减少对它们的干扰，欧盟限制了24GHz车用毫米波雷达发射功率，仅用于短距离雷达，而77Ghz相对独有。毫米波雷达具有较多的优点，而使其广泛地应用于自动驾驶汽车当中，如图2-3-4所示。毫米波雷达特点毫米波雷达但是，毫米波雷达的缺点也十分直观，无法感知行人，并且对周边所有障碍物无法进行精准的建模。图2-3-4毫米波雷达的优点四、毫米波雷达的基本组成毫米波雷达

毫米波雷达系统主要包括：单片微波集成电路（MMIC）芯片、天线印制电路板、收发模块、信号处理模块等，如图2-3-5所示。其中，天线板上从上至下分别是10根发射天线TX1，然后是2根发射天线TX2，最后是4根接收天线RX1至RX4。因为近处的视角（FOV）比较大，大概有90度，所以需要更多天线，而远处的视角小，大概只有20度，所以两根天线就够了。图2-3-5车载毫米波雷达的内部构造图五、毫米波雷达的工作原理毫米波雷达调频式连续毫米波雷达（FrequencyModulatedContinuousWave，FMCW）是利用多普勒效应进行障碍物的探测，它通过发射源（天线）向目标发射毫米波信号，并分析发射信号频率和反射信号频率之间的差值，精确测量出目标相对于雷达的距离、运动速度和方位角等信息。（1）测距原理雷达调频器通过天线发射毫米波信号，发射信号遇到目标后，经目标的反射会产生回波信号，发射信号与回波信号相比形状相同，时间上存在差值。以雷达发射三角波信号为例，发射信号与返回的回波信号对比如图2-3-6所示。图2-3-6发射信号与返回的回波信号六、毫米波雷达的应用场景毫米波雷达毫米波雷达具有探测性能稳定、作用距离较长、识别精度高、环境适用性好等特点。但毫米波雷达分辨力不高，对行人探测反射波较弱，无法精确识别行人、交通标示符号和信号灯，需与视觉传感器互补使用。为了满足不同探测距离的需要，车内安装了大量的短程、中程和远程毫米波雷达。不同的毫米波雷达在车辆的前部、车身侧面和后部起着不同的作用。在2-3-7示意图中，两个后向雷达分别安装在车辆的左侧和右侧尾部，绿色区域为后向雷达探测范围（0.1m-80m）；一个前向雷达安装在前保险杠中间位置，橙色为前向雷达探测范围（1-200m）。图2-3-7车载毫米波雷达的探测范围图毫米波雷达的应用场景毫米波雷达前向雷达和后向雷达广泛应用于智能网联汽车的各类先进辅助驾驶系统（ADAS）上，具体应用见表2-3-1。表2-3-1车载毫米波雷达在智能网联汽车上的应用雷达类型应用前向雷达自适应巡航控制（ACC）、自动紧急制动（AEB）、前向防撞预警（FCW）后向雷达盲点检测（BSD）、变道辅助（LCA）、后方碰撞预警（RPC）、倒车碰撞预警（RCW）、后方十字交通报警（RCTA）、开门报警（DOW）4

激光雷达认知学习目标激光雷达1.了解激光雷达的分类、特点与应用。2.了解激光雷达的结构与工作原理。3.了解激光雷达的应用情况。任务描述激光雷达一辆智能网联小车在道路上测试自动驾驶功能，在将档位调至自动驾驶档位时，小车不动，检查智能网联小车的配置和设置后，发现激光雷达的前后方向装反，导致小车无法正确识别前进方向，需对激光雷达进行重新安装。获取信息激光雷达一、激光雷达定义二、车载激光雷达的类型三、激光雷达的特点四、激光雷达的基本组成五、车载激光雷达的工作原理六、激光雷达的应用场景一、激光雷达定义激光雷达激光雷达是一种光学遥感传感器，它通过向目标物体发射激光，然后根据接收-反射的时间间隔确定目标物体的实际距离，根据距离及激光发射的角度，通过几何变化推导出物体的位置信息，如图2-4-1所示。激光雷达能够确定物体的位置、大小、外部形貌甚至材质。图2-4-1激光雷达激光雷达激光雷达定义激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云。如图2-4-2所示，为激光雷达工作过程中的点云图。图2-4-2激光雷达点云图与传统雷达使用无线电波相比，LiDAR使用激光射线，其射线波长一般在600～1000nm，远远低于传统雷达所使用的波长。因此，LiDAR在测量物体距离和表面形状可达到更高的精准度，一般精准度可以达到厘米级。由于激光的传播受外界环境影响较小，LiDAR能够检测的距离一般可达100m以上。二、车载激光雷达的类型激光雷达车载激光雷达可安扫描方式、雷达线数等方式分为不同类型，如图2-4-3所示。图2-4-3车载激光雷达的类型二、车载激光雷达的类型激光雷达1.按扫描方式分类车载激光雷达根据其扫描方式的不同，可分为机械激光雷达和固态激光雷达。机械式激光雷达通过机械式旋转来实现激光扫描；多束激光竖列而排,纵向叠加后呈现出三维立体图形。机械激光雷达外表上最大的特点就是有机械旋转机构，如图2-4-4所示，一般智能网联测试车车顶上较复杂的圆柱形装置，即为机械式激光雷达。二、车载激光雷达的类型激光雷达机械激光雷达调试、装配工艺复杂，生产周期长，成本居高不下，并且机械部件寿命不长（约1000-3000小时），难以满足苛刻的车规级要求（至少1万小时以上）。另外，机械式激光雷达由于光学结构固定，适配不同车辆往往需要精密调节其位置和角度。因此，激光雷达量产商都在着手开发性能更好、体积更小、集成化程度更高，并且成本更低的激光雷达。相比于传统的机械式激光雷达,固态激光雷达具备分辨率高、装调效率高、测距远以及成本低等技术优势。分辨率高主要是因为固态激光雷达采用了连续扫描的方式,其激光探测水平和垂直视角都是通过电子方式实现，固态激光雷达的垂直和水平角分辨率在低帧率下可以达到0.2º。同时固态激光雷达不存在旋转的机械结构，其结构简单、尺寸小，如图2-4-5所示，并且装配调试可以实现自动化，能够量产，成本大幅降低，设备的耐用性等方面都有提高。二、车载激光雷达的类型激光雷达但是，固态激光雷达在不良天气条件下检测性能较差，不能实现全天候工作。且机械激光雷达能进行360゜范围的扫描，固态式激光雷达一般为120゜范围的向前扫描。根据技术路线不同，固态激光雷达又分为光学相控阵OPA（OpticalPhasedArray）激光雷达、微机电系统MEMS（Micro-ElectroMechanicalSystems）激光雷达和3DFlash激光雷达。二、车载激光雷达的类型激光雷达2.按雷达线数分类按照激光束的多少分，激光雷达分为单线激光雷达与多线激光雷达。单线激光雷达扫描一次只产生一条扫描线，其所获得的数据为2D数据，因此无法区别有关目标物体的3D信息，如图2-4-6所示。由于单线激光雷达比多线激光雷达在角频率和灵敏度更快，数据处理量较小，所以，在测试周围障碍物的距离和精度上都更加精确。但是，单线雷达只能平面式扫描，不能测量物体高度，有一定局限性。目前，主要应用于服务机器人身上，如扫地机器人。在智能车上，单线激光雷达主要用于规避障碍物、地形测绘等领域。二、车载激光雷达的类型激光雷达多线激光雷达扫描一次可产生多条扫描线，主要应用于障碍物的雷达成像，相比单线激光雷达在维度提升和场景还原上有了质的改变，可以识别物体的高度信息，目前市场上多线产品包括4线、8线、16线、32线、64线等。如图2-4-7所示，为多线激光雷达扫描的不同类型障碍物的点云图，包括汽车、人、墙、树木、公交车和小货车等。二、车载激光雷达的类型激光雷达3.其他分类方式此外，激光雷达按照功能用途，可以分为激光测距雷达、激光测速雷达、激光成像雷达、大气探测雷达和跟踪雷达等；按照按激光发射波形分类可分为连续型激光雷达和脉冲型激光雷达；按载荷平台分类可分为机载激光雷达，车载激光雷达等；按探测方式分类可分为直接探测激光雷达和相干探测激光雷达。三、激光雷达的特点激光雷达1.激光雷达的优点与普通微波雷达相比，激光雷达由于使用的是激光束，工作频率较微波高了许多，具有很多优点。（1）分辨率高。激光雷达可以获得极高的角度、距离和速度分辨率。通常角分辨率不低于0.1mard，也就是说可以分辨3km距离上相距0.3m的两个目标（这是微波雷达无论如何也办不到的），并可同时跟踪多个目标；距离分辨率可达0.1m；速度分辨率能达到10m/s以内。距离和速度分辨率高，表示可以利用距离——多普勒成像技术来获得目标的清晰图像。分辨率高，是激光雷达的最显著的优点，激光雷达的应用基本都是基于这个特点。（2）低空探测性能好。微波雷达由于存在各种地物回波的影响，低空存在有一定区域的盲区（无法探测的区域）。而对于激光雷达来说，只有被照射的目标才会产生反射，完全不存在地物回波的影响，因此可以“零高度”工作，低空探测性能较微波雷达强了许多。（3）体积小、质量轻。通常普通微波雷达的体积庞大，整套系统质量数以吨记，光天线口径就达几米甚至几十米。而激光雷达就要轻便、灵巧得多，发射望远镜的口径一般只有厘米级，整套系统的质量最小的只有几十公斤，架设、拆收都很简便。而且激光雷达的结构相对简单，维修方便，操纵容易，价格也较低。三、激光雷达的特点激光雷达2.激光雷达的缺点（1）工作时受天气和大气影响大。激光一般在晴朗的天气里衰减较小，传播距离较远，而在大雨、浓烟、浓雾等坏天气里，衰减急剧加大，传播距离大受影响。如工作波长为10.6μm的CO2激光，是所有激光中大气传输性能较好的，在坏天气的衰减是晴天的6倍。地面或低空使用的CO2激光雷达的作用距离，晴天为10～20km，而坏天气则降至1km以内。而且，大气环流还会使激光光束发生畸变、抖动，直接影响激光雷达的测量精度。（2）由于激光雷达的波束极窄，在空间搜索目标非常困难，直接影响对非合作目标的截获概率和探测效率，只能在较小的范围内搜索、捕获目标，因而激光雷达较少单独直接应用于战场进行目标探测和搜索。3.激光雷达性能评价激光雷达激光雷达的性能一般从测量距离、测量精度、测量速率、角度分辨率等各方面进行评价。见表2-4-1所列。序号指标机械式激光固态激光1探测距离范围0.5～200m0.5～200m2测距精度2cm<5cm3回波强度不低于8bits不低于8bits4水平视场360°>100°5垂直视场>500kHz>500kHz6测量帧频10～20Hz10～20Hz7距离分辨率<5mm<5mm8水平分辨率<0.1°<0.1°9扫描线束不低于32线束不低于8线束10通信接口Ethernet.PPSEthernet.PPS11工作温度-40～85℃-40～85℃12相对湿度0～95%0～95%13防护等级不低于IP65不低于IP6514供电电源9～32VDC9～32VDC表2-4-1激光雷达性能评价四、激光雷达的基本组成激光雷达激光雷达主要由激光发射、接收、旋转机构和信息处理四个系统组成，形成传感闭环，进而实现对目标的探测、跟踪和识别。1．激光发射常用激光器主要有半导体、固体、光纤和二氧化碳气体激光器四种类型。其中，智能网联汽车多采用半导体激光器，体积小且相干性、可靠性高，如图2-4-8所示。图2-4-8半导体激光器2．激光接收激光器发射的激光照射到障碍物以后，通过障碍物的反射，反射光线会经由镜头组汇聚到接收器上。激光探测的核心器件是光电探测器，基于光电效应，将光能转换为便于测量（电压或电流）物理量的半导体器件，主要有频带宽、灵敏度高、线性输出范围宽、噪声低等特点。四、激光雷达的基本组成激光雷达3．旋转机构旋转机构负责将激光发射、接收等机构以一定的频率旋转起来，从而实现对二维平面/三维空间的扫描，并产生实时的点云信息。机构在旋转的过程中，需要能量和数据的传输。因此多数机械激光雷达内部均会设计一个电旋转连接器（俗称“滑环”，由定子和转子组成，内部有若干电刷），安装在机构旋转中心，来传输能量和数据信息（若采用导线直接连接，旋转时会导致缠绕问题）。正是由于滑环的存在，大大影响了机械激光雷达的寿命，目前一些厂家采用光磁融合等技术，实现非接触的供电及数据传输，一定程度上增加了雷达的使用寿命。4．信号处理信号处理单元负责控制激光的发射及接收信号的处理等工作。信息处理系统中接收信号经过放大处理和数模转换,经由信息处理模块计算，结合信号时间差等信息获得目标物体的距离等参数，目前主要依靠FPGA（现场可编程门阵列）或DSP（数字信号处理器）等完成。机械激光雷达一般由激光源、接收器、光学旋转编码器、伺服电机、圆光栅、斜面镜等组成，如图2-4-9所示。固态激光雷达一般由光学模组、垂直腔面发射器（VCSEL）、单光子雪崩二极管（SPAD）接收芯片等组成。图2-4-9机械激光雷达图2-4-10固态激光雷达五、车载激光雷达的工作原理激光雷达激光雷达主要包括激光发射、扫描系统、激光接收和信息处理四大系统,如图2-4-11所示,这四个系统相辅相成,形成传感闭环。首先激光发射系统中激励源周期性地驱动激光器,发射激光脉冲,激光调制器通过光束控制器控制发射激光的方向和线数,最后通过发射光学系统,将激光发射至目标物体；扫描系统负责以稳定的转速旋转起来,实现对所在平面的扫描,产生实时的平面图信息；激光接收系统中光电探测器接受目标物体反射回来的激光,产生接收信号；信息处理系统中接收信号经过放大处理和数模转换,经由信息处理模块计算,获取目标表面形态、物理属性等特性,最终建立物体模型。图2-4-11激光雷达四大工作系统六、激光雷达的应用场景激光雷达智能网联汽车通过激光雷达对周边环境进行扫描识别，从而引导车辆行进。激光雷达在智能网联汽车中起着类似于“眼睛”的功能，能够根据扫描到的点云数据快速绘制3D全景地图。智能网联汽车激光雷达主要应用场景有：障碍物分类、障碍物跟踪、路沿可行驶区域检测、车道标志线检测和高精度定位等。1.障碍物分类激光雷达对周围障碍物进行扫描，对障碍物的形状特征进行提取，对比数据库原有特征数据，进行障碍物分类，如图2-4-12所示。激光雷达将小轿车、大货车和自行车等进行了分类。图2-4-12障碍物分类六、激光雷达的应用场景激光雷达2.障碍物跟踪激光雷达采用相关算法对比前后帧变化障碍物，利用同一障碍物的坐标变化，实现对障碍物的速度和航向的检测跟踪，为后续避障提供可靠的数据信息，如图2-4-13所示。图2-4-13障碍物跟踪3.高精度定位首先GPS给定初始位置，通过IMU（惯性测量元件）和车辆的Encoder（编码器）可以得到车辆的初始位置，然后对激光雷达的局部点云信息，包括点线面的几何信息和语义信息进行特征提取，并结合车辆初始位置进行空间变换，获取基于全局坐标系下的矢量特征，接着将这些特征与高精度地图的特征信息进行匹配，获取一个准确的定位，如图2-4-14所示。图2-4-14高精度定位5

多传感器融合技术认知学习目标多传感器融合技术1.了解多传感器的融合的概念。2.了解多传感器的融合的方法。3.了解多传感器的融合的应用。任务描述多传感器融合技术一辆智能网联小车在道路测试过程中，无法正确规划测试路径，测试人员在检查后发现智能网联小车车载单元未能够融合多传感器信息，对周围的障碍物的目标未能准确的预测，需要对智能网联小车的传感器进行重新融合。获取信息多传感器融合技术一、多传感器融合技术概述二、多传感器融合的方法三、多传感器融合技术的应用一、多传感器融合技术概述多传感器融合技术多传感器融合又称多传感器信息融合（multi-sensorinformationfusion），有时也称作多传感器数据融合（multi-sensordatafusion），于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出，它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。如图2-5-1所示，它从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用和错误的信息，保留正确和有用的成分，最终实现信息的优化，也为智能信息处理技术的研究提供了新的思路。图2-5-1多传感器信息融合概念图传感器数据融合是针对一个系统使用多个（种）传感器这一特定问题而提出的信息处理方法，可发挥多个（种）传感器的联合优势，消除单一传感器的局限性，把分布在不同位置的多个同类或不同类传感器所提供的数据资源加以综合，采用使计算机技术对其进行分析并加以互补，实现最佳协同效果，获得对被观测对象的一致性解释与描述，提高系统的容错性，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。一、多传感器融合技术概述多传感器融合技术1.多传感器融合的优势具体来说，在自动驾驶汽车系统中使用多传感器融合技术主要有如下优势。（1）提高系统感知的准确度。多种传感器联合互补，可避免单一传感器的局限性，最大程度发挥各个（种）传感器的优势，能同时获取被检测物体的多种不同特征信息，减少环境、噪声等干扰。（2）增加系统的感知维度，提高系统的可靠性和健壮性。多传感器融合可带来一定的信息冗余度，即使某一个传感器出现故障，系统仍可在一定范围内继续正常工作，具有较高的容错性，增加了系统决策的可靠性和置信度。（3）增强环境适应能力。应用多传感器融合技术采集的信息具有明显的特征互补性，对空间和时间的覆盖范围更广，弥补了单一传感器对空间的分辨率和环境的语义不确定性。（4）有效减少成本。融合可以实现多个价格低廉的传感器代替价格昂贵的传感器设备，在保证性能的基础上又可以降低成本预算。一、多传感器融合技术概述多传感器融合技术2.多传感器的融合过程多传感器融合可以充分利用多传感器的优势，减小单一传感器的局限性，采集多个（种）传感器的观测信息，通过对这些数据和信息的合理支配和使用，利用其在空间或时间上的冗余或互补信息，基于优化算法进行分析、综合、支配和使用.以获得被观测对象的一致性解释或描述、具体地说，传感器融合过程如下。（1）多个（种）传感器独立工作获得观测数据。（2）对各传感器数据（RGB图像、点云数据等）进行预处理。（3）对处理数据进行特征提取、变换，并对其进行模式识别处理，获取对观测对象的描述信息。（4）在数据融合中心按照一定的准则进行数据关联。（5）使用足够优化的算法对各传感器数据进行融合，获得对观测对象的一致性描述和解释。二、多传感器融合的方法多传感器融合技术在以目标身份估计为目的的体系结构下，根据多传感器信息融合技术抽象程度的不同，可以将其划分为3个层次：像素级融合、特征级融合、决策级融合，一般情况下，具体应用方案根据系统特点进行合理选择。1.像素级融合像素级融合又称为数据级融合，如图2-5-2所示，它将同类别的传感器采集的原始数据进行融合，最大可能地保留了各预处理阶段的细微信息。但是，由于融合进行在数据的最底层，计算量大且容易受不稳定性、不确定性因素的影响。同时，数据融合精确到像素级的准确度，因而无法处理异构数据。图2-5-2像素级融合二、多传感器融合的方法多传感器融合技术2.特征级融合如图2-5-3所示，特征级融合是通过各传感器的原始数据结合决策推理算法，对信息进行分类、汇集和综合，提取出具有充分表示量和统计量的属性特征。根据融合内容，特征级融合又可以分为目标状态信息融合和目标特性融合两大类。其中，前者的特点是先进行数据配准，以实现对状态和参数相关估计，更加适用于目标跟踪。后者是借用传统模式识别技术，在特征预处理的前提下。3.决策级融合决策级融合的特点是高层次，需要处理不同类型的传感器对同一观测目标的原始数据，并完成特征提取、分类判别，生成初步结论，然后根据决策对象的具体需求，进行相关处理和高级决策判决，获得简明的综合推断结果，如图2-5-4所示。决策级融合具有实时性好、容错性高的优点，面对一个或者部分传感器失效时，仍能给出合理决策。图2-5-4决策级融合图2-5-3特征级融合三、多传感器融合技术的应用多传感器融合技术长城汽车发布的咖啡智能IDC3.0驾驶平台就采用了多传感器融合方案，其在感知结构中接入了12路8百万像素摄像头，5路毫米波雷达，2路激光雷达以增强自动驾驶性能，可以实现多场景的智能驾驶，如图2-5-5所示。IDC3.0采用了“AI视觉+激光雷达”的前融合冗余感知智能算法，能够综合利用多种不同传感器的检测能力优势，将所有的监测信息汇总之后经由算法得出最终的决策判断，辅助驾驶员进行更流畅的驾驶体验。图2-5-5长城汽车IDC3.0驾驶平台Waymo第五代系统:采用了“激光雷达+摄像头+毫米波雷达”的融合方案，配置有5颗激光雷达（360°覆盖）+29颗摄像头（包括远距和环视）+6颗毫米波雷达，如图2-5-6所示，采用数据级融合和决策级融的融合策略，点云与图像对齐生成RGB-D数据，多传感器投票机制过滤误检目标进行决策。图2-5-6Waymo智能车6智能网联汽车环境感知技术实训学习目标智能网联汽车环境感知技术实训