《智能网联汽车概论》 课件 能力模块二 掌握环境感知技术在智能网联汽车上的应用方式

智能网联汽车概论能力模块二

掌握环境感知技术在智能网联汽车上的应用方式任务一

认知智能网联汽车环境感知技术导入智能汽车要想采用传感器获得的数据去实现智能驾驶，要想融合不同传感器的收集到外界数据为控制器执行决策提供依据，就需要经过多传感器融合算法处理形成全景感知。通过传感器获得的数据必须经过（感知）算法处理，汇算成数据结果，实现车、路、人等信息交换，使车辆能够自动分析车辆行驶的安全还是危险状态，让车辆能够按照人的意愿实现智能驾驶。作为一名传感器方面的应用工程师，你在实习阶段需要对不同类型的传感器做出一份功能清单，了解传感器在智能网联汽车上的应用。新授Newteaching1目录一、环境感知的定义二、环境感知系统的组成三、环境感知传感器的性能特点及优缺点

环境感知是智能网联汽车技术的数据基础，为智能决策和控制执行提供依据，是智能网联汽车实施自动驾驶的第一步。环境感知系统相当于人的感官神经，通过安装在智能网联汽车上的智能传感器或V2X通信技术获取道路、车辆、行人、交通标志和交通信号灯等信息，并将这些信息传输给车载控制中心，应用于先进驾驶辅助系统或自动驾驶系统，保障智能网联汽车安全、准确到达目的地。一、环境感知的定义

智能网联汽车一、环境感知的定义智能网联汽车环境感知的对象就是智能传感器检测的对象和V2X通信技术传递的信息，主要包括车辆的行驶路径、车辆周围的交通参与者、驾驶状态和驾驶环境等。行驶路径行车路径指车辆可行驶的道路区域，可分为结构化路径和非结构化路径驾驶状态驾驶状态包括驾驶人自身状态、车辆自身行驶状态的识别。周边物体周边物体主要包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止物体、各种交通标志、交通信号灯等。驾驶环境驾驶环境检测主要包括路面状况、道路交通拥堵情况以及天气状况的识别。一、环境感知的定义

结构化道路行车路径分类

结构化道路一般是指高速公路、城市干道等结构化较好的公路，这类道路具有清晰的道路标志线，道路的背景环境比较单一，道路的几何特征也比较明显，针对它的路径识别主要包括：行车线、行车路边缘、道路隔离物。

非结构化道路

非结构化道路一般是指城市非主干道、乡村街道等结构化程度较低的道路，这类道路没有车道线和清晰的道路边界，再加上受阴影和水迹等的影响，道路区域和非道路区域难以区分，针对它的路径识别主要包括：路面环境状况的识别和可行使路径的确认。二、环境感知系统的组成环境感知系统包括信息采集单元、信息处理单元及信息传输单元三大模块，其中，信息采集单元包括：视觉传感器、激光雷达、毫米波雷达、超声波雷达、车载自组网络、导航定位装置等；信息处理单元包括：道路识别、车辆识别、行人识别、交通标志识别、交通信号灯识别；信息传输单元包括：显示系统、报警系统、传感器网络、车载自组网络等.三、环境感知传感器的性能特点及优缺点智能网联汽车环境感知传感器主要包括：视觉传感器、激光雷达、毫米波雷达、超声波雷达和红外传感器。GPS、惯性元件具有环境感知功能，但是主要用于智能网联汽车的定位与导航系统。环境感知传感器视觉传感器激光雷达毫米波雷达超声波雷达红外传感器三、环境感知传感器的性能特点及优缺点1.环境感知各传感器的性能特点

远距离探测能力夜间工作能力全天候工作能力受气候影响烟雾环境工作能力雨雪环境工作能力温度稳定性车速测量能力视觉传感器强弱弱大弱一般强弱超声波雷达弱强弱小一般强弱一般红外线传感器一般强弱大弱弱一般弱激光雷达强强弱大弱一般强弱毫米波雷达强强强小强强强强三、环境感知传感器的性能特点及优缺点2.环境感知各传感器优缺点优势劣势视觉传感器成本适中；可以分辨出障碍物的距离和大小，并区分障碍物类型。与人眼一样，会受到视野范围的影响。超声波雷达结构简单；价格便宜；体积小巧。会受到天气和温度变化的影响；最大测试距离一般只有几米。红外线传感器低成本；夜间不受影响。会受天气条件限制；只能探测到近距离的物体，难以识别出行人。激光雷达测距精度高；方向性强；响应时间快；不受地面杂波干扰。成本很高；不能全天候工作，遇到浓雾、雨、雪等极端天气无法工作。毫米波雷达不受天气情况和夜间的影响；可以探测到远距离（100米以上）的物体。成本较高，行人的反射波较弱，难以探测，需与视觉传感器互补使用。随堂讨论2Practiceontheclass随堂讨论1、请查阅环境感知系统的组成，写出环境感知系统的组成。2、请查阅环境感知传感器的性能特点及优缺点，分别写出优点和缺点有哪些呢？1.各组派代表阐述资料查询结果。2.各组就各自的查询结果进行交流，并分享技巧。智能网联汽车概论能力模块二

掌握环境感知技术在智能网联汽车上的应用方式任务二

了解智能网联汽车雷达的类型及应用新授Newteaching1目录一、超声波雷达二、毫米波雷达三、激光雷达

超声波雷达是利用超声波的特性研制而成的传感器，工作在20kHz以上，通过送波器将超声波向对象物发送，通过收波器接收反射波，来检测对象物的有无，以及通过计算从超声波发射到接收所需要的时间和声速的关系，来计算雷达和对象物之间的距离。超声波雷达可以消除驾驶员停车泊车、倒车和起动车辆时前、后、左、右探视带来的麻烦，帮助驾驶员消除盲点和视线模糊缺陷，提高行车安全性。右图中用蓝色圆圈画出的区域中即为四个后向超声波雷达。一、超声波雷达（一）超声波雷达的定义超声波雷达示意图超声波雷达主要由发射传感器、接收传感器、控制部分与电源等组成。超声波雷达有一个发射头和一个接收头，安装在同一面上。超声波测距传感器可以通过模拟接口和IIC接口两种方式将数据传输给控制单元。一、超声波雷达

超声波雷达结构组成（二）超声波雷达的组成结构超声波的能量消耗较缓慢，在介质中传播的距离比较远，穿透性强，灵敏度较高，探测精度高，抗环境干扰能力强一、超声波雷达

（三）超声波雷达的特点对天气变化不敏感，可以在室内、黑暗中使用，测距的方法简单，结构简单，体积小，成本低，信息处理简单可靠，易于小型化与集成化，可以进行实时控制。在速度很高情况下测量距离有一定的局限性：

（1）高速及远距离测量时误差较大。

（2）对温度敏感性强。

（3）无法精确描述障碍物位置。一、超声波雷达分类方式超声波雷达类型备注cc探头工作频率不同40kHz、48kHz、58kHz频率越高，灵敏度越高，水平与垂直方向的探测角度也就越小，故一般采用40kHz的探头。使用场景不同超声波泊车辅助（UltrasonicParkingAssistant，UPA）UPA是一种短程超声波，主要安装在汽车前后保险杠上，是用于测量汽车前后障碍物的倒车雷达，检测范围为25cm～250cm。由于检测距离小，多普勒效应[]和温度干扰小，检测更准确。全自动泊车辅助（AutomaticParkingAssistant，APA）APA是一种远程超声波传感器，主要安装在车身侧面，用于测量侧方障碍物距离，检测范围为35cm～500cm，可覆盖一个停车位，方向性强，探头的波传播性能优于UPA，相比于UPA成本更高，功率也更大。结构不同直探头、斜探头、表面波探头、双探头、聚焦探头、水浸探头以及其他专用探头。

安装方式直射式

反射式

超声波换能器工作的物理效应不同电动式、电磁式、磁致伸缩式、压电式压电式最为常用（四）超声波雷达的类型一、超声波雷达超声波雷达在智能网联汽车中最常见的应用是自动泊车辅助系统，如图所示。自动泊车辅助系统包含8个UPA传感器和4个APA传感器。泊车过程图（五）超声波雷达的应用

当驾驶人驾驶汽车以30km/h以下速度行驶，且侧面与其间距保持在0.5~1.5m时，APA传感器会自动检测两侧外部空间，探测到的所有适合的空间会被系统储存下来，按下换挡手柄右侧功能键便可在仪表板显示屏上显示此时的周围状态。如果空间足够泊车，驾驶人可以停车后挂入倒档，并慢速倒车。

毫米波雷达是工作在毫米波波段的探测雷达。毫米波是指波长为1~10mm的电磁波，对应的频率范围为30~300GHz。毫米波雷达外观图如图所示。二、毫米波雷达（一）毫米波雷达的定义车载毫米波雷达外观图毫米波雷达由雷达整流罩、雷达PCB板、压铸底板、集成电路（MMIC）和独立链接器组成。图中为毫米波雷达零件分解图。二、毫米波雷达（二）毫米波雷达的结构毫米波激光雷达零件分解图二、毫米波雷达毫米波雷达类型（二）毫米波雷达的类型应用在智能网联汽车领域的毫米波雷达主要有3个频段，分别是24GHz，77GHz和79GHz，如图所示，不同频段的毫米波雷达有着不同的性能。二、毫米波雷达（二）毫米波雷达的类型

24GHz频段：

24GHz频段上的雷达的检测距离有限，因此常用于检测近处的障碍物（车辆）。在自动驾驶系统中常用于感知车辆近处的障碍物，为换道决策提供感知信息，在ADAS中可用于盲点检测、变道辅助等。77GHz频段性能良好的77GHz雷达的最大检测距离可以达到160米以上，因此常被安装在前保险杠上，正对汽车的行驶方向。79GHz频段79GHz频段的传感器能够实现的功能与77GHz频段雷达功能一样，也是用于长距离测量。二、毫米波雷达（三）毫米波雷达的特点1.探测性能稳定，金属电磁反射强，其探测不受颜色与温度的影响。2.识别精度高，响应速度快，传播速度与光速一样，可以快速地测量出目标的距离、速度和角度等信息。3.适应能力强，毫米波具有很强的穿透能力，在雨、雪、大雾等恶劣天气依然可以正常工作。4.带宽越大，天线越小，功率越集中，探测距离越远，可达到200m以上。二、毫米波雷达（三）毫米波雷达的特点5.抗干扰能力强，一般工作在高频段，而周围噪声和干扰处于中低频区，基本上不会影响毫米波雷达的正常运行。6.毫米波元件的尺寸比微波小得多，更容易实现小型化。7.毫米波雷达是利用目标对电磁波的反射来发现并测定目标位置，而充满杂波的外部环境给毫米波雷达感知带来经常带来虚警问题。8.覆盖区域呈扇形，有盲点区域。9.毫米波雷达分辨率低，无法识别交通标志、交通信号灯和道路标线。二、毫米波雷达（四）毫米波雷达的应用为了满足不同距离范围的探测需要，一辆汽车上会安装多个近距离、中距离和远距离毫米波雷达。其中24GHz雷达系统主要实现近距离（SRR）探测，77GHz雷达系统主要实现中距离（MRR）和远距离（LRR）探测。毫米波雷达在智能网联汽车ADAS中的应用，具体应用见表。车载毫米波雷达在智能网联汽车上的应用毫米波雷达类型近距离中距离远距离探测距离/m<60100左右>200工作频段/GHz247777功能自适应巡航控制系统__前方前方自动紧急制动系统__前方前方前向碰撞预警系统__前方前方行人监测系统前方前方__盲区监测系统前方、后方侧方__变道辅助系统后方后方__后防碰撞预警系统后方后方__自动泊车辅助系统侧方侧方__驻车开门辅助系统侧方____激光雷达是一种光学遥感传感器，它通过向目标物体发射激光，然后根据接收—反射的时间间隔确定目标物体的实际距离，根据距离及激光发射的角度，通过几何变化推导出物体的位置信息。激光雷达是集激光、全球定位系统（GPS）和IMU惯性测量装置三大技术为一体的系统，能够确定物体的位置、大小、运动速度、外部形貌甚至材质。三、激光雷达（一）激光雷达的定义多线激光雷达激光雷达采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云。如图所示，为多线激光雷达扫描的不同类型障碍物的点云图，包括汽车、人、墙、树木、公交车和小货车等。与传统雷达使用无线电波相比，LiDAR使用激光射线，其射线波长一般在600~1000nm，远远低于传统雷达所使用的波长。因此，LiDAR在测量物体距离和表面形状可达到更高的精准度，一般精准度可以达到厘米级。由于激光的传播受外界环境影响较小，LiDAR能够检测的距离一般可达100m以上。三、激光雷达多线激光雷达点云图（二）激光雷达的点云

激光雷达由发射光学系统、接收光学系统、主控及处理电路板、探测器接收电路模块、激光器及驱动模块组成。右图为单线激光雷达内部结构图。三、激光雷达（二）车载激光雷达的结构单线激光雷达零件分解图我们看到的智能网联测试车车顶上较复杂的圆柱形装置，即为机械式激光雷达。机械激光雷达外表上最大的特点就是有机械旋转机构，如图所示。三、激光雷达（三）激光雷达的类型1.按扫描方式分类：（1）机械激光雷达机械激光雷达（2）固态激光雷达：由于不存在旋转的机械结构，其结构简单、尺寸小，如图所示，所有的激光探测水平和垂直视角都是通过电子方式实现的，并且装配调试可以实现自动化，能够量产，成本大幅降低，设备的耐用性也有效地提高了。因此，激光雷达量产商都在着手开发性能更好、体积更小、集成化程度更高，并且成本更低的激光雷达，由混合固态过渡到纯固态激光雷达是必然的技术发展路线。三、激光雷达（三）激光雷达的类型固态激光雷达1.按扫描方式分类：（2）固态激光雷达：固态激光雷达在不良天气条件下检测性能较差，不能实现全天候工作。且机械激光雷达能进行360゜范围的扫描，固态式激光雷达一般为120゜范围的向前扫描。根据技术路线不同，固态激光雷达又分为光学相控阵OPA（OpticalPhasedArray）激光雷达、微机电系统MEMS（Micro-ElectroMechanicalSystems）激光雷达和3DFlash激光雷达。三、激光雷达固态激光雷达1.按扫描方式分类：（三）激光雷达的类型（1）单线激光雷达：单线激光雷达扫描一次只产生一条扫描线，其所获得的数据为2D数据，因此无法区别有关目标物体的3D信息，如图所示。由于单线激光雷达比多线激光雷达在角频率和灵敏度更快，所以，在测试周围障碍物的距离和精度上都更加精确。线雷达只能平面式扫描，不能测量物体高度，有一定局限性。目前，主要应用于服务机器人身上，如扫地机器人。在智能车上，单线激光雷达主要用于规避障碍物、地形测绘等领域。三、激光雷达单线激光雷达2.按雷达线数分类：（三）激光雷达的类型（2）多线激光雷达：多线激光雷达扫描一次可产生多条扫描线，主要应用于障碍物的雷达成像，相比单线激光雷达在维度提升和场景还原上有了质的改变，可以识别物体的高度信息，目前市场上多线产品包括4线、8线、16线、32线、64线等，如图所示为16线激光雷达。三、激光雷达多线激光雷达2.按雷达线数分类（三）激光雷达的类型激光雷达按照功能用途，可以分为激光测距雷达、激光测速雷达、激光成像雷达、大气探测雷达和跟踪雷达等；按照激光发射波形分类可分为连续型激光雷达和脉冲型激光雷达；按载荷平台分类可分为机载激光雷达，车载激光雷达等；按探测方式分类可分为直接探测激光雷达和相干探测激光雷达。三、激光雷达3.其他分类方式（三）激光雷达的类型三、激光雷达（四）激光雷达的优点优点主要内容具有极高的分辨率激光雷达工作于光学波段，频率比微波高2～3个数量级以上，因此，与微波雷达相比，激光雷达具有极高的距离分辨率、角分辨率和速度分辨率。抗干扰能力强激光波长短，可发射发散角非常小（μrad量级）的激光束，多路径效应小（不会形成定向发射，与微波或者毫米波产生多路径效应），可探测低空/超低空目标。获取的信息量丰富可直接获取目标的距离、角度、反射强度、速度等信息，生成目标多维度图像。可全天时工作激光主动探测，不依赖于外界光照条件或目标本身的辐射特性。它只需发射自己的激光束，通过探测发射激光束的回波信号来获取目标信息。三、激光雷达（五）激光雷达的应用

智能网联汽车通过激光雷达对周边环境进行扫描识别，从而引导车辆行进。激光雷达在智能网联汽车中起着类似于“眼睛”的功能，能够根据扫描到的点云数据快速绘制3D全景地图。

主要应用场景有：障碍物分类、障碍物跟踪、路沿可行驶区域检测、车道标志线检测和高精度定位等。三、激光雷达

应用场景010203障碍物分类激光雷达对周围障碍物进行扫描，对障碍物的形状特征进行提取，对比数据库原有特征数据，进行障碍物分类。障碍物跟踪激光雷达采用相关算法对比前后帧变化障碍物，利用同一障碍物的坐标变化，实现对障碍物的速度和航向的检测跟踪，为后续避障提供可靠的数据信息高精度定位首先GPS给定初始位置，通过IMU（惯性测量元件）和车辆的Encoder（编码器）可以得到车辆的初始位置，然后对激光雷达的局部点云信息，包括点线面的几何信息和语义信息进行特征提取，并结合车辆初始位置进行空间变换，获取基于全局坐标系下的矢量特征，接着将这些特征与高精度地图的特征信息进行匹配，获取一个准确的定位。随堂讨论2Practiceontheclass随堂讨论1、请查阅超声波雷达、毫米波雷达、激光雷达的特点，简要概括这三种传感器的特点。2、请查阅毫米波雷达的类型，应用在智能网联汽车领域的毫米波雷达主要有3个频段，分别是24GHz，77GHz和79GHz，请简要概括这三个频段的性能分别有哪些。1.各组派代表阐述资料查询结果。2.各组就各自的查询结果进行交流，并分享技巧。智能网联汽车概论能力模块二

掌握环境感知技术在智能网联汽车上的应用方式任务三

了解智能网联汽车视觉传感器的类型及应用新授Newteaching1目录一、视觉传感器的基本信息三、视觉传感器的应用二、视觉传感器的类型一、视觉传感器的基本信息（一）视觉传感器的定义视觉传感器是指通过对摄像头拍摄到的图像进行图像处理，对目标进行检测，并输出数据和判断结果的传感器。视觉传感器在智能网联汽车或无人驾驶汽车上的应用是以摄像头（机）出现，并搭载先进的人工智能算法，便于目标检测和图像处理。一、视觉传感器的基本信息视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。（二）视觉传感器的结构一、视觉传感器的基本信息（三）视觉传感器的功能功能功能内容可通行空间检测可通行空间表示无人驾驶汽车可以正常行驶的区域。车道线识别车道线是视觉传感器能够感知的基本信息，拥有车道线识别功能，即可实现高速公路的车道保持功能。障碍物检测障碍物种类很多，如汽车、行人、自行车、动物、建筑物等，有了障碍物信息，无人驾驶汽车即可完成车道内的跟车行驶。交通标志和地面标志识别交通标志和地面标志可作为道路特征与高精度地图匹配后辅助定位，也可以基于这些感知结果进行地图的更新。交通信号灯识别交通信号灯状态的感知能力对于城区行驶的无人驾驶十分重要。一、视觉传感器的基本信息（四）视觉传感器的特点特点主要内容信息量极为丰富视觉图像的信息量极为丰富，尤其是彩色图像，不仅包含有视野内物体的距离信息，而且还有该物体的颜色、纹理、深度和形状等信息。实时获取场景信息在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等，信息获取面积大。当多辆智能网联汽车同时工作时，不会出现互相干扰的现象。多任务检测视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识，比如GPS导航依赖地图信息，有较强的适应环境的能力。应用领域广泛视觉传感器应用广泛，在智能网联汽车中可以前视、后视、侧视、内视、环视等。以前视为例，夜视、车道偏离预警、碰撞预警、交通标示识别等要求视觉系统在各种天气、路况条件下，能够清晰识别车道线、车辆、障碍物、交通标志等。二、视觉传感器的类型1.定义单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。如图所示为单目车载视觉传感器。（一）单目摄像头单目车载视觉传感器

2.特点单目传感器具有成本低、帧速率高、信息丰富、检测距离远等优点，但易受光照、气候等环境影响，缺乏目标距离等深度信息，对目标速度的测量也不够可靠。二、视觉传感器的类型（一）单目摄像头优点主要内容结构简单、成本低相比于双目视觉测距系统，单目视觉系统结构更加简单，成本更低。距离运算量小基于单目视觉的距离计算过程中运算量更小，具有更高的精度与鲁棒性。有效视场更大单目视觉有效视场更大；不依赖多个相机，定位空间还可以通过多个相机进行扩展而不发生视场范围损失。3.优点4.缺点缺点主要内容视野完全取决于镜头焦距短的镜头，视野广，但缺失远处的信息。反之亦然。单目测距的精度较低摄像机的成像图是透视图，即越远的物体成像越小。近处的物体，需要用几百甚至上千个像素点描述；而处于远处的同一物体，可能只需要几个像素点即可描述出来。这种特性会导致越远的地方，一个像素点代表的距离越大。因此，对于单目视觉来说，物体越远，测距的精度越低。二、视觉传感器的类型1.定义双目视觉(BinocularVision)是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。与人类使用双眼观察物体的远近类似，双目视觉测量传感器是通过两台摄像机同时摄取一个光条的图像，再通过两幅图像的匹配，得到光条上所有像素点分别在两幅图像中的位置，利用视差，即可计算该点的位置以及深度信息双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。有了像素偏移量、相机焦距和两个车载视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。（二）双目摄像头二、视觉传感器的类型（二）双目摄像头2.特点特点主要内容成本相对高成本比单目视觉传感器高，但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制没有识别率的限制，因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高精度比单目高，直接利用视差计算距离。双目视觉传感器的一个难点在于计算量非常大，对计算单元的性能要求非常高。双目视觉传感器的双目摄像头兼具了图像和激光测量的特点，也有自身安装、标定和算法方面的挑战。在实际应用中，双目摄像头可以获取的点云数量远多于激光雷达，但是要强大的算法适配才能进一步做出分类、识别和目标跟踪，同时也需要具有较强计算力的嵌入式芯片，才能使其优势得到发挥。二、视觉传感器的类型（二）双目摄像头3.优点优点主要内容简化障碍物测距过程从测距原理上来说，相比于单目视觉，双目视觉犹如人类的双眼，主要通过两幅图像的视差计算来确定距离，双目摄像头不需要知道障碍物是何物，只要通过计算就可以测距。双面视觉的测距算法无需大量训练来收集数据，简化障碍物测距过程。测距精度高在测距精度上，基于双目视觉的测距方法比基于单目视觉的测距方法精度要高。对硬件要求和成本低对相机硬件要求低，成本也较低。因为不需要像TOF和结构光那样使用特殊的发射器和接收器，使用普通的消费级RGB相机即可。室内外均适用由于直接根据环境光采集图像，所以在室内、室外都能使用。相比之下，TOF和结构光基本只能在室内使用。4.缺点缺点内容对环境光照非常敏感双目立体视觉法依赖环境中的自然光线采集图像，受光照角度变化、光照强度变化等环境因素的影响。不适用于单调缺乏纹理的场景由于双目立体视觉法根据视觉特征进行图像匹配，所以对缺乏视觉特征的场景（如天空、白墙、沙漠等）会出现匹配困难，导致匹配误差较大甚至匹配失败。计算复杂度高该方法是纯视觉的方法，需要逐像素计算匹配；又因为上述多种因素的影响，需要保证匹配结果比较鲁莽，所以算法中会增加大量的错误剔除策略，因此对算法要求较高，想要实现可靠商用难度大，计算量较大。相机基线限制了测量范围测量范围和基线（两个摄像头间距）关系很大。所以基线在一定程度上限制了该深度相机的测量范围。二、视觉传感器的类型（三）三目摄像头由于单目和双目都存在某些缺陷，因此，很多智能网联汽车采用了三目视觉传感器方案。三目视觉传感器是三个不同焦距单目车载视觉传感器的组合。如图所示为三目视觉传感器。三目摄像头感知范围更大，但同时标定三个摄像头，工作量较大。三目视觉传感器二、视觉传感器的类型（四）红外摄像头1.定义夜间可见光成像的信噪比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型。2.特点红外视觉传感器的红外夜视系统是视觉传感器一个独特的分支，图像处理算法在处理远红外夜视图像过程中依然能够发挥作用，因此红外夜视视觉传感器能够像可见光摄像头一样，获取环境中的目标大小和距离等信息，对光照不足条件下对基于可见光的视觉传感器的应用是一种有效补充。二、视觉传感器的类型3.类型（1）主动夜视系统是利用近红外光作光源照明目标，如红外LED、红外灯和近红外激光器等，用低照度摄像机或微光摄像机接收目标反射的红外光，转换成视频信号在监视器荧光屏上同步显示图像。如图所示为主动红外夜视技术。（四）红外摄像头二、视觉传感器的类型（2）被动夜视系统有两种类型，一类是利用月光、星回光、夜天光等一切很微弱的自然光线，加以放大增强达到可视的目的，这类夜视仪也称为微光夜视仪。另一类是利用远红外敏感的探测器探测目标本身的热辐射，这类夜视仪也称为热像仪。如图为被动红外夜视技术。（四）红外摄像头二、视觉传感器的类型（五）环视摄像头鱼眼镜头采集图像之前提到的三款视觉传感器所用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，而且安装位置是朝向地面的。环视摄像头一般至少要包括四个摄像头，实现360度环境感知。某些高配车型上会有“360°全景显示”功能，所用到的就是环视摄像机。环视摄像头安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像，采集到的图像与右图类似。鱼眼摄像机为了获取足够大的视野，代价是图像的畸变严重。三、视觉传感器的应用（一）在智能网联汽车的应用场景生物学研究表明，人类获取外界信息75%依靠视觉系统，而在驾驶环境中这一比例甚至高达90%。如果能够将视觉传感器系统应用到智能网联汽车领域，无疑将会大幅度提高自动驾驶的准确性。视觉传感器在整个环境感知系统中占据了非常重要的地位，在智能网联汽车上的应用，主要有两大类功能，分别是感知能力和定位能力。感知能力是实现对智能网联汽车各种环境信息的感知。定位能力主要采用视觉SLAM技术，根据提前建好的地图和实时的感知结果做匹配，获取智能网联汽车的当前位置。三、视觉传感器的应用（一）在智能网联汽车的应用场景ADAS摄像头位置具体功能车道偏离预警系统前视当前摄像头检测到车辆即将偏离车道线时发出警报。盲区监测系统侧视利用侧视摄像头将后视镜盲区的影像显示在后视镜或驾驶舱内。自动泊车辅助系统后视利用后视摄像头将车尾影像显示在驾驶舱内。全景泊车系统前视、侧视、后视利用图像拼接技术将摄像头采集的影像组成周边全景图。驾驶人疲劳预警系统内置利用内置摄像头检测驾驶人是否疲劳、闭眼等。行人碰撞预警系统前视当前视摄像头检测到车辆与前方行人可能发生碰撞时发出警报。车道保持辅助系统前视当前视摄像头检测到车辆即将偏离车道线时通知控制中心发出指示，纠正行驶方向。交通标志识别系统前视、侧视利用前视、侧视摄像头识别前方和两侧的交通标志。前向碰撞预警系统前视当前视摄像头检测到与前车距离小于安全距离时，发出警报。视觉传感器在智能网联汽车上的具体应用三、视觉传感器的应用（二）在其他行业的应用场景应用场景场景内容检验的应用在汽车组装厂，检验由机器人涂抹到车门边框的胶珠是否连续，是否有正确的宽度。在瓶装厂，校验瓶盖是否正确密封、装灌液位是否正确，以及在封盖之前没有异物掉入瓶中。定向的应用在包装生产线，确保在正确的位置粘贴正确的包装标签。瑕疵检测的应用在药品包装生产线，检验阿斯匹林药片的泡罩式包装中是否有破损或缺失的药片。分捡的应用在金属冲压公司，以每分钟逾150片的速度检验冲压部件，比人工检验快13倍以上。识别的应用智能网联汽车中图像识别的典型应用包括对车牌、道路边界、车道线、交通信号、交通标志、车辆/行人等交通参与者、自由行驶空间等对象的感知等。视觉传感器的低成本和易用性已吸引机器设计师和工艺工程师将其集成入各类曾经依赖人工、多个光电传感器，或根本不检验的应用。视觉传感器的工业应用包括检验、计量、测量、定向、瑕疵检测和分捡。以下只是一些应用范例如表所示：随堂讨论2Practiceontheclass随堂讨论1、请查阅视觉传感器在智能网联汽车上的具体应用，运用在智能网联汽车的前视系统的系统有哪些，请简要概括出来。2、请查阅视觉传感器的功能，请简要概括视觉传感器的功能有哪些。1.各组派代表阐述资料查询结果。2.各组就各自的查询结果进行交流，并分享技巧。任务实施3Practiceontheclass以小组为单位从国产传统品牌、新造车势力品牌、外资品牌中任选一类作为查阅方向，小组成员间合作查找该类别下具有智能网联汽车属性的3款量产车型的相关资料，将其信息分别填入教材的表格中。任务实施智能网联汽车概论能力模块二

掌握环境感知技术在智能网联汽车上的应用方式任务四

了解智能网联汽车多传感器数据融合技术的类型及应用新授Newteaching1目录一、多传感器融合的定义二、多传感器融合的类型三、多传感器融合的层次四、多传感器融合的特点五、以视觉识别和激光雷达为代表的感知技术快速发展与应用一、多传感器融合的定义（一）定义多传感器融合又称多传感器信息融合（multi-sensorinformationfusion），有时也称作多传感器数据融合（multi-sensordatafusion）。多传感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用计算机技术将来自多传感器或多源的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。二、多传感器融合的类型

自动驾驶车上使用了多种多样的传感器，不同类型的传感器间在功用上互相补充，提高自动驾驶系统的安全系数。为了发挥不同传感器优势，融合技术起着关键的作用，现对多传感器融合技术（指前融合）按照下图的方式进行分类。三、多传感器融合的层次

像素级融合特征级融合多传感器融合的层次决策级融合在以目标身份估计为目的的体系结构下，根据多传感器信息融合技术抽象程度的不同，可以将其划分为3个层次：像素级融合、特征级融合、决策级融合，一般情况下，具体应用方案根据系统特点进行合理选择。三、多传感器融合的层次

像素级融合又称为数据级融合，如图所示，它将同类别的传感器采集的原始数据进行融合，最大可能地保留了各预处理阶段的细微信息。但是，由于融合进行在数据的最底层，计算量大且容易受不稳定性、不确定性因素的影响。同时，数据融合精确到像素级的准确度，因而无法处理异构数据。（一）像素级融合像素级融合三、多传感器融合的层次

如图所示，特征级融合是通过各传感器的原始数据结合决策推理算法，对信息进行分类、汇集和综合，提取出具有充分表示量和统计量的属性特征。根据融合内容，特征级融合又可以分为目标状态信息融合和目标特性融合两大类。其中，前者的特点是先进行数据配准，以实现对状态和参数相关估计，更加适用于目标跟踪。后者是借用传统模式识别技术，在特征预处理的前提下进行分类组合。特征级融合（二）特征级融合三、多传感器融合的层次

决策级融合的特点是高层次，需要处理不同类型的传感器对同一观测目标的原始数据，并完成特征提取、分类判别，生成初步结论，然后根据决策对象的具体需求，进行相关处理和高级决策判决，获得简明的综合推断结果，如图2-4-4所示。决策级融合具有实时性好、容错性高的优点，面对一个或者部分传感器失效时，仍能给出合理决策。决策级融合（三）决策级融合四、多传感器融合的特点

多传感器融合系统具有以下四个显著的特点：信息的冗余性信息处理的及时性多传感器融合的特点信息的互补性信息处理的低成本性四、多传感器融合的特点

1.信息的冗余性对于环境的某个特征，可以通过多个传感器（或者单个传感器的多个不同时刻）得到它的多份信息，这些信息是冗余的，并且具有不同的可靠性，通过融合处理，可以从中提取出更加准确和可靠的信息。此外，信息的冗余性可以提高系统的稳定性，从而能够避免因单个传感器失效而对整个系统所造成的影响。2.信息的互补性不同种类的传感器可以为系统提供不同性质的信息，这些信息所描述的对象是不同的环境特征，它们彼此之间具有互补性。如果定义一个由所有特征构成的坐标空间，那么每个传感器所提供的信息只属于整个空间的一个子空间，和其他传感器形成的空间相互独立。四、多传感器融合的特点

3.信息处理的及时性各传感器的处理过程相互独立，整个处理过程可以采用并行导热处理机制，从而使系统具有更快的处理速度，提供更加及时的处理结果。4.信息处理的低成本性多个传感器可以花费更少的代价来得到相当于单传感器所能得到的信息量。另一方面，如果不将单个传感器所提供的信息用来实现其他功能，单个传感器的成本和多传感器的成本之和是相当的。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用

以视觉识别和激光雷达为代表的感知技术快速发展与应用，现在应用较广的企业有：摄像头：博世、大陆、麦格纳激光雷达：法雷奥、大陆以视觉识别和激光雷达为代表的感知技术快速发展与应用毫米波雷达：博世、海拉、麦格纳加特兰传感器融合：博世、伟世通、法雷奥五、以视觉识别和激光雷达为代表的感知技术快速发展与应用摄像头1.博世：第三代前置摄像头●特点1：摄像头功能安全等级提高到ASIL-B；●特点2：运用人工智能算法：卷积神经网络算法；●特点3：将密集光流检测和纹理检测结合，为未来L4以上的自动驾驶做好准备。2.大陆：第五代摄像头MFC500●特点1：加入深度学习算法；●特点2：拥有800万像素和125°广角；●特点3：具备模块化、可扩展和互连性等特征。大陆集团针对智能驾驶推出了第五代摄像头MFC500，它在前一代摄像头技术上加入深度学习算法，从而提高车辆的环境感知、驾驶路径规划及运动控制能力。五、以视觉识别和激光雷达为代表的感知技术快速发展与应用摄像头3.麦格纳：EYERIS®摄像头技术●特点1：提供逼真的360°全景的环境图像；●特点2：将集成时间按和开发成本降到最低。麦格纳EYERIS®摄像头技术包含多项功能，如拖车辅助、自动泊车、行人检测和环视功能。该技术的一项最新应用是一款3D全景环视系统，用于停车或低速行驶时给驾驶员提供辅助。驾驶员可以通过简单易用的界面来调整显示周围环境的视角画面；当在行驶道路上探测到障碍物时，系统将对驾驶员发出