智能网联汽车感知技术 课件 项目一 绪论

项目一感知传感器概述情境导入智能汽车(IntelligentVehicle，IV)是指搭载先进的车载传感器控制器执行器等装置并融合人工智能等新技术，具备复杂环境感知、智能决策、自动控制等功能，可实现安全、舒适、节能、高效行驶的新一代汽车。任务一

智能驾驶汽车环境感知传感器的认知及应用哪些传感器可以作为汽车的“眼睛”？各传感器之间是怎样共同工作请列出新上市的智能网联汽车配置的感知传感器类型及个数。环境感知传感器的类型环境感知传感器的类型毫米波雷达的认知及应用毫米波雷达，就是工作在毫米波(频率30-300GHz，波长1-10mm)波段的雷达，英文名为Radar(RadioDetectionandRanging)，即无线电探测和测距，它可以通过发射与接收在毫米波频段的高频电磁波来探测目标，后端信号处理模块利用回波信号计算出目标的距离、速度和角度等信息。毫米波雷达的认知及应用功能类型功能简介盲点检测(BSD)24GHz监测车辆左右侧后方3mx5.5m区域内是否存在障碍车辆当出现障碍车辆时,盲区监测报警灯发出警报,此时驾驶员不能执行转向动作变道辅助(LCA)24GHz监测车辆盲区后方3mx30m的区域内是否存在潜在危险车辆,通过变道辅助区域内的车辆与自车的相对速度,计算碰撞时间,依据碰撞时间警告驾驶员转向时是否存在危险前向碰撞预警系统(FCW)77GHz监测前方车辆,判断本车与前车之间的距离、方位及相对速度，当存在潜在碰撞危险时对驾驶者进行警告紧急制动(AEB)77GHz在高速公路监测前方车辆,当判断存在碰撞风险时,会首先向司机发出警报。若司机不做处理,则启动紧急制动,并同步请求发动机降低扭矩输出自适应巡航系统(ACC)77GHz在高速公路保持车辆纵向安全行驶,在有碰撞危险时,车辆会提示驾驶员并进行主动制动干预毫米波雷达的认知及应用视觉传感器的认知及应用视觉传感器（俗称：摄像头）是整个机器视觉系统信息的直接来源，它利用光学元件和成像装置获取外部环境图像信息，通常用图像分辨率来描述视觉传感器的性能，有时还要配以光投射器及其他辅助设备。视觉传感器的认知及应用功能类型功能简介车道偏离预警(LDw)前视前视摄像头会时刻采集行驶车道的标识线,通过图像处理获得汽车在当前车道中的位置参数,当汽车即将偏离车道线时发出警报前向碰撞预警(FCW)前视通过前视摄像头来时刻监测前方车辆,判断本车与前车之间的距离、方位及相对速度,当存在潜在碰撞危险时对驾驶者进行警告交通标志识别(TSR)前视、侧视识别道路两侧的交通标志车道保持辅助(LKA)前视前视摄像头识别到车辆可能脱离行驶车道,那么会通过方向盘的振动或者声音来提请驾驶员注意,并轻微转动方向盘修正行驶方向,使车辆处于正确的车道上行人碰撞预警(PCW)前视前视摄像头识别并标记前方行人,在有可能发生碰撞时及时发出警报盲点检测(BSD)侧视利用侧视摄像头,将后视镜盲区内的影像进行显示全景泊车(SVP)前视、侧视、后视安装在车身前后左右的摄像头同时采集车辆四周的影像,经过图像处理最终形成一幅车辆四周无缝隙的360°全景俯视图泊车辅助(PA)后视倒车时在车前显示器可以显示车后倒车摄像头的实时视频影像驾驶员疲劳预警内置安装在车内,用于监测驾驶员是否过度疲劳视觉传感器的认知及应用激光雷达的认知及应用激光雷达Lidar（LightLaserDetectionandRanging）是激光探测及测距系统的简称，利用激光束作为发射光源，采用光电探测技术，获得数据并生成精准的数字工程模型。激光雷达具有分辨率和灵敏度高、抗观测背景的干扰性强的特点，能够实现全天时工作。激光雷达的认知及应用功能功能简介三维环境感知通过激光扫描可以得到汽车周围环境的三维模型,运用相关算法比对上-帧和下一帧环境的变化可以较为容易地探测出周围的车辆和行人,并进行障碍物的检测、分类和跟踪SLAM加强定位通过扫描得到的点云数据实现同步创建地图,生成高精地图车道偏离预警(LDW)激光雷达可以检测汽车行驶前方的车道线标识和潜在的障碍,也可计算在道路中的位置,如果汽车偏离车道航线,系统发出警报行人保护检测车辆行驶前方是否有行人,及时发出警报信息,必要时制动自适应巡航控制系统的启停对周围环境的扫描可实现自动驾驶,并可自动调整速度,如有必要,制动停行自动紧急制动检测车辆行驶前方的所有静止物体和活动物体,并判断外形,必要时,自动紧急制动预碰撞处理通过扫描周围环境数据,不管即将发生什么样的碰撞,预碰撞功能在碰撞前发生警告交通拥堵辅助针对城市拥堵路况,能在上下班路上消除车辆频繁启停带来的烦恼激光雷达的认知及应用超声波雷达的认知及应用超声波雷达利用超声波的特性在超声波频率范围内，发射40kHz、48kHz和58kHz等的超声波，通过接收反射后的超声波探知周围的障碍物情况，根据时间差算出障碍物距离的，其测距精度大约是1~3cm。超声波雷达的认知及应用功能类型功能简介倒车辅助(PA)UPA超声波传感器通常与同控制器和显示器结合使用,检测汽车前后方向障碍物自动泊车系统(APS)UPA+APA检测泊车库,得到探测距离与时间的关系,计算得到库位的近似长度。当检测的库位长度大于汽车泊入所需的最短长度时,则认为当前空间有车位高速横向辅助APA探测两侧后方有无车辆驶近,可自主进行左右微调自动代客泊车辅助(AVP)APA+UPA配合摄像头使用,解决从驾驶员下车点低速(小于20km/h)行驶至库位旁的问题环境感知距离传感器的性能特点应用的技术或性能特点超声波雷达摄像头激光雷达毫米波雷达远距离探测能力

夜间工作能力

全天候工作能力

受气候影响

恶劣环境(烟雾、雨雪)工作能力

温度稳定度

车速测量能力

目标识别能力

避免虚报警能力

硬件低成本可能性

知识拓展任务二智能驾驶汽车多传感器融合多传感器融合的定义多传感器数据融合(Multi-sensorInformationFusion，MSIF)，是针对一个系统使用多个(种)传感器这一特定问题而提出的信息处理方法，可发挥多个(种)传感器的联合优势，消除单一传感器的局限性。把分布在不同位置的多个同类或不同类传感器所提供的数据资源加以综合，利用计算机技术对其进行分析，加以互补，实现最佳协同效果，获得对被观测对象的一致性解释与描述，提高系统的容错性，从而提高系统决策、规划、反应的快速性和正确性，使系统获得更充分的信息。传感器融合面临的问题1）信息存在冗余性信息的冗余性是指传递的信息被复杂化，即信息本可以用更简单的方式表达，传递更少的信息2）信息拥有互补性不同种类的传感器可以为系统提供不同性质的信息，这些信息所描述的对象是不同的环境特征，它们彼此之间具有互补性。3）信息处理的及时性各传感器的处理过程是相互独立，整个处理过程可以采用并行处理机制，使系统具有更快的处理速度，从而提供更加及时的处理结果。多传感器融合的车载系统能够解决单传感器时间域的关联问题，以及多传感空间域上的关联问题：统一的同步时钟，可以保证传感器信息的时间一致性和正确性；准确的多传感器标定，可以保证相同时间下不同传感器信息的空间一致性，从而能够确定来源于同一目标源的数据。多传感器的融合技术前融合技术是指在原始数据层面，把所有传感器的数据信息进行直接融合，然后再根据融合后的数据信息实现感知功能，最后输出一个结果层的探测目标。多传感器的融合技术后融合技术是指每个传感器都独立地输出探测数据信息，在对每个传感器的数据信息进行处理后，再把最后的感知结果进行融合汇总。传感器融合的方案1)视觉传感器和毫米波雷达融合视觉传感器和毫米波雷达的融合，采用了目标跟踪法，将目标定位在图像帧中，在其周围绘制一个包围框，使用经过训练的深度神经网络，利用包围框的尺寸生成目标位置。在智能驾驶场景下，视觉传感器与毫米波雷达的融合主要有：原始数据级融合、特征级别融合、目标级融合。传感器融合的方案2）激光雷达和视觉传感器融合

在无人驾驶应用中，激光雷达是以发射激光探测目标的位置、速度等特征量的雷达系统。其激光雷达的分辨率高、精度高，可以获得极高的角度、距离分辨率，抗有源干扰能力强，获取的信息量较丰富。但易受环境影响，在雨、雪和雾霾天气精度会下降，并且难以识别有颜色的交通标志和交通标志的含义，易受光信号影响(激光雷达接收的是光信号)，成本高。

视觉传感器可进行车道检测、障碍物检测和交通标志的识别，将视觉传感器与激光雷达融合后，对于汽车前方动态的物体，视觉传感器能够判断出前后两帧中是否为同一物体或行人，而激光雷达则可以在得到信息后测算前后两帧时间间隔内的物体或行人的运动速度和运动位移。将视觉传感器和激光雷达分别识别后得到的数据源再进行融合和标定，可以获得更好的、更加准确的结果。传感器融合的方案传感器融合的方案3)激光雷达和毫米波雷达融合对于车辆安全来说，最主要的判断依据就是两车之间的相对距离和相对速度信息，特别车辆在高速行驶中，如果两车的距离过近，容易导致追尾事故。毫米波雷达凭借出色的测距测速能力，被广泛地应用在自适应巡航控制(ACC)、前向防撞报警(FCW)、盲点检测BSD)辅助停车(PA)、辅助变道(LCA)等汽车ADAS中，它体积小、重量轻、空间分辨率高，其穿透雾、烟、灰尘的能力强，弥补了激光雷达的不足。但是毫米波探测的距离有限，无法对障碍物进行检测和分类识别，但是这正好是激光雷达的强项，激光雷达和毫米波雷达融合可以实现性能上的互补，降低使用成本。知识拓展任务三Apollo开发平台Apollo8.0的安装Apollo软件的安装有软件包（即deb包）的方式和源码方式，软件包安装