任务3.5 环境感知技术-课件

主讲老师：李锋环境感知技术项目3：MDC调测和维护任务3.5《车载计算平台技术与应用》目录任务导入AssignmentINTRO学习目标LearningobjectivesCONTENTS0102知识准备Backgroundknowledge03课堂总结Classroomsummary0504课堂小测ClassroomquizzPART01任务导入AssignmentINTRO任务导入环境感知技术是自动驾驶四大核心技术之一，也是被研究最多的技术。环境感知主要包括路面、静态物体和动态物体的感知。请从开发者的角度分析，介绍环境感知技术的传感器类型、ADAS系统的传感器布置方案。传感器布置示意图PART02学习目标Learningobjectives学习目标素质目标通过宇树团队的成功经验，学习创新不问出身，敢为人先的精神；学习不同车企的传感器配置方案，对比下提升民族自豪感。能力目标能总结主流的环境感知方案的优缺点[A37]；能绘制任一车企的智能网联汽车传感器布置方案[A38]；能绘制ADAS系统的传感器布置方案[A39]。知识目标能讲解环境感知技术的定义以及所用的传感器[K44]；能描述主流环境感知方案[K45]；能描述ADAS系统的传感器布置方案[K47]。PART03知识准备Backgroundknowledge一、环境感知应用的传感器类型环境感知技术通过各种传感器对车辆进行动态感知和认知，为车辆提供数字化的已知驾驶环境信息，为决策模块提供输入，是实现自动驾驶功能的必要基础。它包括对车辆的行驶路径、周围的交通参与者、驾驶状态和驾驶环境等的感知，并且可以根据传感器位置的分布情况，分为单车智能感知和多车协同感知。车辆的环境感知一、环境感知应用的传感器类型智能汽车环境感知使用的传感器主要包括视觉传感器、超声波雷达、毫米波雷达和激光雷达。各传感器优劣势对比如表：传感器名称最远探测距离探测精度功能优点缺点摄像头50m一般车道线和交通标志的识别、辅助定位、地图构建技术成熟、成本低、可以对物体几何特征、表面纹理等信息进行识别受光照强度影响大、易受恶劣天气干扰超声波雷达10m高短距离探测，如倒车雷达技术成熟、成本低、受天气干扰小探测范围小一、环境感知应用的传感器类型各传感器优劣势对比如表：传感器名称最远探测距离探测精度功能优点缺点毫米波雷达250m较高感知大范围内障碍物的动态情况对烟雾、灰尘的穿透能力、较强抗干扰能力强探测精度高角度分辨率小、难以辨别物体的大小和形状、无法探测行人激光雷达200m极高障碍检测、动态障碍检测识别与跟踪、定位和导航、路面检测、环境建模分辨率高、探测精度高、可以绘制3D环境地图受不良天气影响大、技术不成熟、成本高昂多传感器信息融合（MSF）利用计算机技术，对多传感器或多源的信息和数据进行多层次、多空间的组合处理，最终做出判断和决策的过程。在这一过程中，不同传感器优势互补，在不同使用场景中发挥各自功能，有效地提高系统的冗余度和容错性，增强了系统决策的准确度和智能化程度。多传感器信息融合的方式分为前融合和后融合。二、多传感器信息融合的分类多传感器信息融合前融合只有一个感知算法，在原始层把各种传感器的数据融合在一起，实现原始数据的同步，包括空间同步和时间同步。1.前融合二、多传感器信息融合的分类激光雷达（LIDAR）摄像头（camera）毫米波雷达（Radar）IMUWheelspeedRawDataRawDataRawData感知算法结果汇总融合N维原始数据XYZ空间数据RGB颜色数据激光反射值数据速度数据前融合技术实现多传感器的前融合对于软件算法、芯片算力、数据通信都提出了较高的要求。1.前融合二、多传感器信息融合的分类软件算法各个传感器数据采集方式和周期相对独立，需要实现数据空间和时间同步芯片算力整车所有传感器原始数据都汇集到中央计算平台进行处理，对于AI芯片的算力提出更高的要求数据通信不同类型的传感器是来自不同硬件厂商，因为产品接口与商业协议等问题，有些传感器无法获得原始数据；需要对车内通信带宽进行升级，来支持多传感器数据的并发。后融合技术在多个传感器独立完成各自目标的检测和跟踪后，再将结果进行整合以获得更准确和全面的信息。2.后融合二、多传感器信息融合的分类激光雷达（LIDAR）摄像头（camera）毫米波雷达（Radar）RawDataRawDataRawDataLIDAR感知算法camera感知算法Radar感知算法识别结果识别结果识别结果结果汇总融合OdomIMU后融合技术在后融合策略中，存在两种主要的方法：无记忆策略和有记忆策略。2.后融合二、多传感器信息融合的分类无记忆策略不保留全局track信息，在预设定的融合周期进行数据融合有记忆策略保留全局track信息，并在接收到传感器数据时即时更新对比传感器的前融合技术和后融合技术，在数据利用、复杂性、灵活性、鲁棒性四个维度进行比较，比较结果如表：3.前融合和后融合技术比较二、多传感器信息融合的分类指标项前融合后融合数据利用在数据层面更多地利用多传感器信息，捕获更多的细节和上下文信息只获取每个传感器独立处理后的结果复杂性整体系统更复杂，需要在数据层面同步和整合不同传感器的数据整体系统更简单，只处理每个传感器独立处理后的结果灵活性灵活性较差允许添加或移除传感器，不影响整体系统，灵活性更好鲁棒性在传感器早期阶段识别和矫正传感器数据的不一致性，鲁棒性更好依赖于每个传感器的独立鲁棒性，系统鲁棒性较差视觉系的环境感知方案是当下智能驾驶主流，但对于是否完全能胜任L3级以上自动驾驶仍有争议。视觉主导方案以特斯拉为代表，特斯拉NOA的量产化广泛为行业所认知。从硬件角度来看，视觉主导方案是以摄像头为核心传感器，毫米波雷达和超声波雷达作为辅助传感器来完成高级别自动驾驶感知工作。1.视觉主导方案三、主流的环境感知方案摄像头毫米波雷达超声波雷达激光雷达虽然存在成本高这一痛点。但其本身能达到的效果比视觉主导方案的效果更好。从硬件角度来看，激光雷达主导方案以激光雷达为核心传感器，使用摄像头、毫米波雷达和超声波雷达辅之以达到精确感知的效果。2.激光雷达主导方案三、主流的环境感知方案激光雷达视觉主导方案相比于激光雷达主导方案具有的优势在于：核心优势在于低成本、颜色和纹路识别能力强。3.主流方案对比三、主流的环境感知方案（1）视觉主导方案的优点低成本单目摄像头成本仅在150-600元之间，较为复杂的三目摄像头成本也通常在1000元。颜色和纹路识别能力强雷达方案主要根据点云的方式来识别目标，主要是对目标的轮廓进行识别，但在颜色和纹路等方面摄像头的识别能力更强距离检测难度大。自动驾驶的路径规划需要3D的道路信息和3D的障碍物，而单目摄像头采集到的仅是2D数据，因而要求分析2D图像的每个像素，将其还原成真实的3D场景，其背后需要先进的图像处理算法以及高算力硬件，并且可能误差较大。3.主流方案对比三、主流的环境感知方案（2）视觉主导方案的缺点摄像头检测针对这一弊端提出的解决方案包括双目或多目摄像头，核心原理是通过2个或以上摄像头运用视角差的方式还原3D场景，但其同样也存在弊端。3.主流方案对比三、主流的环境感知方案（2）视觉主导方案的缺点因此目前市场主流方案仍然是应用单目摄像头。随着路况颠簸、气温等因素其相对位置往往发生变化，因此摄像头需要实时标定，难度很大单个摄像头的测量误差在多个摄像头上会进一步放大，会使得距离检测结果与实际情况偏离程度过高摄像头检测效果受环境影响大。摄像头对于光线依赖度较高，在弱光或光影复杂等极端环境下采集到图像的效果欠佳，并且视觉主导方案主要依托于摄像头所采集的图像数据。而激光雷达解决方案使用一系列激光器，以光速测量环境中的距离。在暗光条件下，激光雷达的检测效果比摄像头更好，产生的误差更少。3.主流方案对比三、主流的环境感知方案（2）视觉主导方案的缺点摄像头检测激光雷达检测而对于激光雷达主导方案来说。激光雷达作为核心传感器，能打破视觉主导方案先行者构建的算法、数据壁垒，同时具备探测距离更长、探测精度更高以及响应速度更灵敏的优点，并且不受光线的影响。但激光雷达在面对雨雪等极端天气时发出的光束会受到影响，从而影响三维地图的构造，因此这就必须依赖其他传感器的共同协助。3.主流方案对比三、主流的环境感知方案（2）视觉主导方案的缺点激光雷达检测在感知传感器配种方案的选择上，特斯拉Model3采用的是视觉主导方案。配置的传感器包括12个超声波雷达、8个摄像头和1个毫米波雷达，各类传感器最大探测距离如表。1.特斯拉四、不同车企智能网联汽车传感器布置方案传感器数量最大探测距离前视窄视野摄像头1250m前视主视野摄像头1150m前视宽视野摄像头160m侧方前视摄像头280m侧方后视摄像头2100m后视摄像头150m毫米波雷达1160m超声波雷达128m在激光雷达层面，Waymo最早用的是Velodyne的产品，在使用过程中，Waymo的团队也逐渐掌握了激光雷达的相关技术。后来，Waymo还与Velodyne展开了联合研发，这帮助Waymo得到了部分激光雷达专利的授权。2.谷歌Waymo四、不同车企智能网联汽车传感器布置方案（1）Waymo自动驾驶系统演进历程Velodyne激光雷达2.谷歌Waymo四、不同车企智能网联汽车传感器布置方案（1）Waymo自动驾驶系统演进历程技术演进年份车型传感器搭载情况第一代2009年丰田普锐斯混动版搭载Velodyne64线激光雷达，博世与大陆的4个毫米波雷达和1个前视摄像头等2012年4月雷克萨斯RX450h搭载Velodyne64线激光雷达，博世与大陆的4个毫米波雷达和1个前视摄像头等第二代2015年5月雷克萨斯RX450h搭载自研激光雷达，4个改造毫米波雷达和1个前视摄像头等2.谷歌Waymo四、不同车企智能网联汽车传感器布置方案（1）Waymo自动驾驶系统演进历程技术演进年份车型传感器搭载情况第三代2014年5月萤火虫（无方向盘和制动踏板）搭载Velodyne64线激光雷达+4个自研短距激光雷达，4个改造毫米波雷达、1个前视摄像和1个超声波雷达等2015年搭载自研激光雷达，4个改造毫米波雷达、1个前视摄像头和1个超声波雷达等第四代2017年克莱新勒大捷龙搭载自研激光雷达，6个自研毫米达、1个前视摄像头和麦克风列阵等第五代2020年3月捷豹I-Pace搭载自研激光雷达，6个自研毫米波雷达、自研29个摄像头、麦克风列阵等Waymo的第五代自动驾驶汽车使用了5个激光雷达（1个车顶+4个前后左右），6个毫米波雷达和29个摄像头。2.谷歌Waymo四、不同车企智能网联汽车传感器布置方案（2）Waymo第五代车型传感器配置方案Waymo第五代捷豹I-Pace车型智能传感器布局方案Waymo第五代捷豹I-Pace车型智能传感器布局示意图在感知传感器配置方案的选择上，蔚来ES8/ES6采用的是视觉主导方案。蔚来ES8/ES6配置的感知硬件包括：1个前向三目摄像头、4个环视摄像头、5个毫米波雷达、12个超声波雷达以及1个DMS驾驶员检测摄像头。3.蔚来四、不同车企智能网联汽车传感器布置方案（1）蔚来ES6/ES8传感配置方案蔚来ES8/ES6传感器搭配方案与探测范围示意图在感知传感器配置方案的选择上，蔚来ET7采用的是激光主导方案。蔚来ET7全车搭建33个高性能感知硬件，包括1个激光雷达、11个800万像素的高清摄像头、5个毫米波雷达、12个超声波传感器2个高精度定位单元、1个车路协同感知（V2X）和1个DMS驾驶员检测摄像头。3.蔚来四、不同车企智能网联汽车传感器布置方案（2）蔚来ET7传感配置方案Innovusion激光雷达安装位置11个高清摄像头安装位置2020年4月上市的小鹏P7XPilot3.0系统，其首发搭载博世第五代毫米波雷达。此外还搭载了4个前置摄像头（1个三目摄像头模块和1个前置安全辅助摄像头）、5个增强感知摄像头、4个环视摄像头和12个雷达。4.小鹏四、不同车企智能网联汽车传感器布置方案（1）小鹏P7传感配置方案小鹏P7摄像头配置方案小鹏P7毫米波雷达安装位置小鹏P5延续了P7的传感器设计，搭载了2个激光雷达、12个超声波传感器、5个毫米波雷达、13个摄像头、GNSS和IMU攻击32个传感器+1套高精定位。4.小鹏四、不同车企智能网联汽车传感器布置方案（2）小鹏P5传感配置方案小鹏P5激光雷达安装位置摄像头安装位置AEB通过搭载视觉传感器、毫米波雷达和激光雷达等传感器实现功能，雷达传感器或摄像头探测前车或障碍物与本车的距离，数据分析模块将测出距离与安全距离、警报距离进行比较，当距离过小时，AEB系统则会发出碰撞预警，若驾驶员未能及时进行制动操作，AEB系统将对刹车系统发出刹车请求，实现自动制动。1.自动紧急制动功能（AEB）五、不同ADAS功能的汽车传感器布置方案（1）工作原理AEB系统工作流程综合性能考虑，AEB系统最佳传感器配置为“毫米波雷达+视觉传感器”组合。1.自动紧急制动功能（AEB）五、不同ADAS功能的汽车传感器布置方案（2）传感器配置方案视觉传感器具备明显成本优势，但识别准确度仍需提升，且受天气影响大毫米波雷达具备全天候全天时工作优势，但存在横向辐射盲区激光雷达除探测距离长外，还可测量横向位置，但易受天气影响ACC系统是一种智能化的控制系统，利用传感器得到行车所需信息，当发现前车减速或出现新目标时，电控单元将发送执行信号给发动机或制动系统，做出保持车距或自动制动等相关动作。若前方没有车辆，则恢复设定车速。2.自适应巡航功能（ACC）五、不同ADAS功能的汽车传感器布置方案（1）工作原理ACC系统工作示意图按照功能等级分类，可分为典型ACC系统和全速ACC系统。2.自适应巡航功能（ACC）五、不同ADAS功能的汽车传感器布置方案（2）分类及传感器配置方案ACC分类及传感器配置方案PA系统通过检测泊车位、生成泊车路径和运动控制三大功能，实现自动泊车辅助功能。在检测到合适车位后，ECU会从速度和运动两方面进行泊车轨迹模拟。最后，控制器对汽车进行横向和纵向控制完成泊车动作。3.停车辅助功能（PA）五、不同ADAS功能的汽车传感器布置方案（1）工作原理PA系统工作流程分析泊车位搜索泊车路径生成运动控制车速<30km/h时自动搜索车位ECU进行泊车轨迹模拟按照预定轨迹控制方向盘转角进行自动泊车按功能分类，目前已发展至第三代。第一代，驾驶员必须在车内配合挂挡完成泊车（APA系统），第二代，驾驶员可以站在车外5米外使用手机遥控泊车（RPA远程遥控泊车），第三代，汽车自主学习泊车路线完成固定车位泊车。未来将出现第四代PA系统，即AVP代客泊车。3.停车辅助功能（PA）五、不同ADAS功能的汽车传感器布置方案（2）分类及传感器配置方案

PA技术发展过程LKA系统通过传感器采集车道信息和车辆信息，识别本车相对于车道中央的位置，如车辆靠近标识线或偏离车道，则通过方向盘震动或声音来进行警告，必要时通过自动转向干预使车辆回到车道内。4.车道保持辅助功能（LKA）五、不同ADAS功能的汽车传感器布置方案（1）工作原理

LKA系统控制策略LKA系统包含三项子功能：4.车道保持辅助功能（LKA）五、不同ADAS功能的汽车传感器布置方案（2）传感器配置方案车道偏离预警（LDW）在车道偏离时，通过声音、视觉和震动等方式发出预警车道偏离抑制（LDP）在汽车快要驶离车道时，通过施加适当转向干预实现位置修正的系统车道居中控制（LCC）通过监控汽车与车道中线的相对位置，主动辅助驾驶员保持在车道中线位置，减少驾驶员负担思政专栏我国西南地区地形复杂，传统人工巡检电网存在效率低、风险高等问题。宇树科技推出搭载环境感知系统的四足机器人B2，承担起山区输电线路巡检任务。面对工业场景中的差异化需求，B2采用模块化的装配方案，可支持多款传感器与光学相机的安装。针对山区输