汽车智能传感器技术与应用项目一知识准备2：认识智能网联汽车环境感知技术

认识智能网联汽车环境感知技术智能汽车传感器应用技术一、课程导入环境感知技术是智能网联汽车的关键技术之一，而传感器又是智能网联汽车环境感知的硬件基础。智能网联汽车的环境感知传感器是区别于传统汽车最主要的表观特征，也占据了智能汽车成本增量的主要部分，主要包括激光雷达、毫米波雷达、视觉传感器和超声波雷达。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势自动驾驶技术思考讨论题（2分钟）一、课程导入你知道有哪些车企研发了自动驾驶产品吗？答：通用、福特、现代、特斯拉、蔚来、小鹏等。现代福特通用课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势二、环境感知传感器2.1激光雷达激光雷达在自动驾驶车辆中有着非常重要的作用，它可以大范围、大角度、高精度地对周围环境进行扫描，然后对扫描得到的点云进行处理，实现对3D环境的实时建模。激光雷达在车辆定位、对象识别、对象追踪、环境感知和高精地图的创建等多个关键技术中都有着非常重要的作用。另一方面，激光雷达仍然面临一些问题和挑战。首先，目前其成本较高；其次，其工作时比较容易受到天气的影响，在大雨、浓雾和浓烟的环境中，激光的衰减大，传播的距离大受影响。第三，当激光雷达遇到高反射率的表面时，其测量精度也会受到影响。另外，当使用纯机械式激光雷达时，其扫描旋转频率深受机械结构的限制，最快的旋转速率大约为10Hz，限制了数据流的刷新频率，如果采用固态激光雷达，则需要配合使用多个激光雷达才能完成对周围环境的感知。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势激光雷达扫描周围环境二、环境感知传感器2.2毫米波雷达毫米波雷达在智能汽车中有着非常重要的作用，且无法被激光雷达、摄像头等其他传感器所取代，它的检测距离远，能够检测物体的速度、距离和方位，其抗天气干扰的能力强，价格便宜。虽然毫米波雷达检测精度不如激光雷达，且不能检测到物体具体的形状，但它具有明显的多普勒效应，可以检测其多普勒频移来实现对移动物体速度的测量；与相机相比其能够提供深度信息，可以直接测得物体的距离。毫米波雷达探测前方物体距离课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势二、环境感知传感器2.3车载视觉传感器车载视觉传感器（或称车载摄像头）是一种能够获取环境图像信息的传感器，也是智能汽车中最重要的传感器之一。车载视觉传感器获取图像后，将光信号转化为图像模拟信号，并传送给专用图像处理系统，转变为数字化信号。最后对这些数字信号进行运算，以抽取目标特征，获得相应的识别信息。众所周知，特斯拉Autopilot系统是相机在智能网联汽车中应用的成功典范，该系统以摄像头为主传感器，不采用激光雷达方案，靠摄像头信息进行道路识别、交通标志识别以及车辆和行人的识别等。车载视觉传感器按照构成形式可分成单目摄像头、双目摄像头和全景摄像头等多种；按照其安装在汽车上的位置可以分成前视摄像头、后视摄像头、全景摄像头以及车内监控摄像头等。车载视觉传感器获取环境图像信息课程导入不同ADAS功能的汽车传感器布置方案环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势总结二、环境感知传感器2.3超声波雷达超声波雷达（UltrasonicRadar）是通过发射、接收40kHz、48kHz或58kHz频率的超声波，根据时间差测算出障碍物距离的安全辅助装置，能以声音或者更为直观的显示器告知驾驶员周围障碍物的情况，解除了驾驶员驻车、倒车和起动车辆时前后左右探视所引起的困扰，并帮助驾驶员扫除了视野死角和视线模糊的缺陷。超声波雷达探测周围障碍物课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类随自动驾驶程度的递进，对汽车的性能要求也越来越高，环境感知的能力也需要相应的提高。单一的传感器难以满足自动驾驶复杂行驶路况信息的采集，因此多传感器信息的融合是实现自动驾驶的必由之路。多传感器信息融合的方式分为前融合和后融合。多传感器信息融合前融合后融合课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合不同类型传感器都存在着不同的优劣势，单一的传感器难以满足复杂行驶路况信息的采集，因此多传感器信息融合是必由之路。多传感器信息融合的感知系统可以形成互补，有效应对现实世界中的光照，天气，路况各种复杂条件，以及在安全方面形成冗余设计。传感器融合分成两种：前融合和后融合。所谓的前融合，是指在原始层把各种传感器的数据融合在一起，实现原始数据的同步，前融合只有一个感知算法。而后融合，是指每个传感器各自独立处理生成目标数据，再由主处理器进行数据融合，涉及多个感知算法。激光雷达与视觉传感器的信息融合课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类1、前融合前融合只有一个感知算法，在原始层把各种传感器的数据融合在一起，实现原始数据的同步，包括空间同步和时间同步。前融合技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合多传感器信息融合的分类2、后融合有多个感知算法，每个传感器首先各自独立处理生成目标数据，再由主处理器进行数据融合。后融合技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合3.1前融合的优势相较于后融合，前融合的优势在于以下两点。（1）前融合将所有传感器的原始数据进行统一算法处理，降低了整个感知架构的复杂度和系统延迟；（2）许多后融合感知中被过滤掉的无效和无用的信息，在前感知路线中通过与其他传感器数据融合后进行综合识别，可以创建出一个更全面、更完整的环境感知信息，大大提高感知系统的稳健性。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势激光雷达与视觉传感器的信息融合三、多传感器信息融合3.2前融合的要求前融合对于提高感知系统的准确性和稳健性有不可比拟的优势，但是实现多传感的前融合对于软件、硬件、通信提出了更高的要求：（1）软件算法需求：各个传感器数据采集方式和周期相对独立，后融合向前融合转化需要实现数据空间和时间同步，控制时间误差需要在1微秒以内，100m外的物体距离精度要在3cm以内，这样需要主机厂在算法端给各个传感器提供时间校准和空间标定的功能。（2）芯片算力需求：整车所有传感器原始数据都汇集到中央计算平台进行处理，对于AI芯片的算力提出更高的要求。（3）数据通信需求：一是车载的传感器如毫米波雷达、摄像头、激光雷达等来自于不同硬件厂商，因为产品接口与商业协议等等问题，有些传感器无法获得原始数据；二是车内通信带宽需升级来支持多传感器数据的并发。多传感器前融合是长周期目标，目前还属于智能驾驶发展初期，传感器本身硬件升级还有长足空间。多传感器发展路径会趋向冗余再融合，在传感器搭载数量和性能升级的基础上，逐渐实现多传感器融合。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势三、多传感器信息融合3.2多传感器信息融合的分类3、前后融合对比相较于后融合，前融合的优势在于：前融合将所有传感器的原始数据进行统一算法处理，降低了整个感知架构的复杂度和系统延迟。后融合感知会过滤掉的无效和无用的信息，而前融合可通过这些信息与其他传感器数据融合后进行综合识别，感知系统稳健性更高。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术环境感知技术是智能网联汽车的关键技术，它通过安装在车辆上的传感器对道路、行人、车辆、信号灯、交通标志等因素进行识别。环境感知技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.1道路识别技术道路识别技术指提取车道的几何结构、确定车辆在车道中的位置及方向、确定车辆可行驶的区域。道路识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.2行人检测技术行人检测技术主要包括两种常用的方式，一是基于视觉的行人检测技术，通过一定的算法如方向梯度直方图（HistogramofOrientedGradient，HOG）与支持向量机（SupportVectorMachines，SVM）配合检测的方法实现行人识别；二是基于视觉和激光雷达融合的行人检测技术，激光雷达可以获得行人在二维平面的位置及其他状态信息，可以对目标进行较为精准的状态估算。通过激光雷达和摄像头数据的融合进行综合判断，可以提高系统的检测性能及检测精度。行人检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.3车辆检测技术车辆检测技术与行人检测技术一样包括两种方式，基于视觉的车辆检测技术可分为基于车辆外观的检测方法和基于车辆运动的检测方法。基于车辆外观的检测方法从单帧图像中进行车辆检测，而基于车辆运动的检测方法使用连续帧的图像进行车辆检测。早期由于计算机和显卡的处理速度较低，车辆使用图像对称性和边缘特征进行检测。近年来，基于深度学习的目标检测算法取得了很大的突破，如基于候选区域的R-CNN系列算法和YOLO算法等，基于视觉的车辆检测技术得到长足的发展。车辆检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.3车辆检测技术另一种车辆检测技术是基于视觉和激光雷达融合的，是最近几年发展起来的技术。激光雷达能够快速扫描平面的距离信息，并获得障碍物在扫描平面中的外轮廓，并且不受光照条件等因素的影响。两种传感器可以实现功能上的互补，在检测过程中需要将车辆坐标、激光雷达坐标和摄像头坐标进行数据统一融合并转换到同一坐标系下进行处理，其检测精度较高，是较为先进的技术。车辆检测技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势四、环境感知技术4.4交通信号灯识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势交通信号灯的检测与识别是无人驾驶与辅助驾驶必不可少的一部分，其识别精度直接关乎智能驾驶的安全。从颜色来看，交通信号灯的颜色有红色、黄色、绿色这三种颜色，而且三种颜色在交通信号灯中出现的位置都有一定的顺序关系。从功能来看，交通信号灯有机动车信号灯、闪光警告信号灯、道口信号灯、非机动车信号灯、左转非机动车信号灯、人行横道信号灯、车道信号灯、方向指示信号灯、掉头信号灯等。总体来说，交通信号灯识别技术大多是基于传统的图像处理方法，虽然目前也有用强学习能力的卷积神经网络去进行识别，但这类方法往往需要大量的训练样本避免过拟合的风险。截至目前的大多数方法都是在各种颜色空间中利用信号灯颜色的先验进行分割得到感兴趣区域，然后再通过信号灯所特有的形状特征和角点特征等进行进一步的判定。交通信号灯识别技术四、环境感知技术4.5交通标志识别技术课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势交通标志是用文字或符号传递引导、限制、警告或指示信息的道路设施，是实施交通管理，保证道路交通安全、顺畅的重要标志，因此，交通标志的识别技术是智能网联汽车实现无人驾驶的一项重要技术。当前交通标志的检测方法主要有两种，一种是基于颜色特征和图形特征组合的识别技术，是目前较常用的技术，主要实现步骤包括图像预处理、交通标志分割、交通标志提取和识别结果匹配等步骤；另外一种是基于深度学习的识别技术，该技术让识别不再依靠具体固定的参数，而是通过一系列的条件判断让系统找到概率最大的目标，以此提升识别的准确度和灵活性，有效提高了交通标志识别的准确率及识别速度，是目前研究热点。交通标志识别技术五、智能网联汽车传感器发展趋势5.1集成化，微型化更进一步利用微电子机械系统（MEMS）技术和计算机辅助设计技术将微m数量级的敏感元件、信号处理器、数据处理装置封装在同一芯片上，传感器具有体积小、功能上的一体化、可靠性高等特点。课程导入环境感知传感器多传感器信息融合环境感知技术智能网联汽车传感器发展趋势集成化，微型化五、智能网联汽车传感器发展趋势5.2智能化，多功能化更显智能智能网联汽车上的智能传感器除了实现传感的基本