智能车辆设计与控制基础课件：智能车辆感知系统与功能设计

智能车辆感知系统与功能设计4.1引言

智能车辆系统感知功能是智能车辆系统的重要组成部分，其利用一系列算法对多种传感器数据与高精度地图的信息进行计算及处理，可以赋予车辆对周围环境进行感知和理解的能力，以实现自主、安全、高效地行驶。智能车辆感知系统作为自动驾驶过程中的首个环节，其为后续智能车辆路径规划与控制提供决策依据，是实现高水平驾驶自动化的重要基础。4.2智能车辆系统感知功能需求与系统设计4.2.1智能车辆感知系统感知功能需求目前主流的自动驾驶传感器方案智能车辆系统对感知功能的要求不断提升；相应的对传感器的数量和种类的需求也随之增加。功能摄像头类型视野范围描述具体功能介绍前向碰撞预警单目和双目前视安装在前挡风玻璃上，视角45°左右。双目摄像头检测与前车的距离是否小于安全距离车道偏离预警摄像头检测到车辆即将偏离车道线时发出警告交通标识识别摄像头识别前方和两侧的交通标识行人碰撞检测摄像头检测到车辆与前方行人可能发生碰撞时发出警报全景泊车广角环视安装在车四周装配四个摄像头进行图像拼接以实现全景，加入算法实现道路感知将摄像头采集的图像进行拼接组成周边全景图泊车辅助广角后视安装在后尾箱，实现泊车辅助后视摄像头显示车尾影像和倒车轨迹盲点检测广角侧视安装在后视镜下方侧视摄像头显示后视镜盲区图像疲劳检测广角内视安装在车内后视镜外检测驾驶人状态摄像头检测驾驶人是否疲劳情绪识别摄像头检测驾驶人的情绪4.2.2感知功能需求传感器布置与感知功能

目前各种传感器技术各有优劣势，很难以某单一传感器满足所有感知需求。各传感器的特性不一，采用多传感器协同工作，可达到优势互补。另一方面，自动驾驶对行驶安全的高要求决定了感知方案必须满足安全冗余的需求。采用多传感器配置能够为系统提供备用和互补的信息来源，在某一传感器失效时，其他传感器能够继续提供关键的数据，确保车辆能够应对复杂的交通场景。4.2.3.感知系统功能设计与传感器方案不同车载传感器特性对比

目前大多数智能车辆感知系统通过多传感器融合实现感知，而非使用单种类型的传感器。下表展示了部分上市车型的传感器搭配。当前，普遍采用的感知技术方案主要包括纯视觉方案、多传感器融合方案和车路协同感知方案。典型方案摄像头毫米波雷达激光雷达特斯拉81/小鹏1252AITO1131理想1111蔚来1151上汽1244长安13634.2.3感知系统功能设计与传感器方案主流传感器方案以摄像头为主的纯视觉技术相对成熟，方案主要应用于辅助驾驶系统。纯视觉技术的优点是摄像头价格相对低廉，可依靠计算机视觉技术识别人、车、交通标志等。特斯拉纯视觉传感器方案

多传感器融合方案将传感器提供的信息互相补充，减轻单一传感器的局限性，各传感器特点不同，采用多传感器协同工作，可达到优势互补。4.2.3感知系统功能设计与传感器方案多传感器融合方案

车路协同方案通过实时通信与协作，将车辆、道路设施和其他交通参与者连接在一起，从而实现整个交通系统的感知优化。车路协同中典型的智能网联环境

智能车辆视觉感知技术是指通过计算机视觉和图像处理等技术，使车辆能够感知和理解其周围环境的能力。视觉感知技术在智能网联汽车中扮演着关键角色，是获取外部信息的主要途径。数据采集图像预处理视觉感知算法结果输出4.3视觉感知技术在传统的视觉检测方法中，SIFI算法是最早的检测方法之一，通过在空间寻找极值点，并通过特征匹配的方式提取目标信息。尽管SIFI具有较好的稳定性和能够提取丰富信息的优点，但由于计算复杂性，无法有效识别目标边缘图像。4.3.1传统视觉感知技术DPM（DeformablePart-basedModel）也是传统目标识别算法中最为经典的算法之一，采用多个组件提取HOG特征，多尺度、锚点、可变形部件等都对后续深度学习方法带来了巨大的影响。卷积神经网络作为典型的深度学习模型，广泛应用于智能车辆感知系统中目标检测、决策等领域。卷积神经网络的核心是卷积层，此外，还可能有池化层和全连接层等，如图是一个完整的卷积神经网络。4.3.2基于深度学习的感知原理卷积神经网络的基本原理卷积神经网络结构分析卷积神经网络原理4.3.3基于深度学习的视觉感知技术Yolov3架构图

深度学习的概念最早由Hinton首次提出，由于深度学习方法的强大性能，基于深度学习的视觉感知算法已经成为主流的研究热潮，代表性的算法有YOLO（YouOnlyLookOnce）等。YOLOv3网络包括Backbone（骨干网络）、Neck（颈部网络）、Head（检测头）模块，图像数据从左至右依次经过骨干网络，颈部网络和检测头三个模块，分别起到特征提取，特征融合，目标的分类回归三种功能。处理方法：PointNet可直接处理点云数据，输入n×3张量，经输入变换、特征变换等步骤，通过最大池化提取全局特征，实现分类、分割任务。算法优劣：该算法能有效处理稀疏点云，不受点云输入顺序影响，但对复杂场景下点云特征提取精度有待提高，需大量数据训练优化。4.4.1基于毫米波雷达的感知算法原理PointNet网络结构示例处理方法：RAD模型将点云转换为RA、RD、AD三个2D特征图，经处理融合后，采用U型网络上采样，结合LSTM时序融合，完成目标检测。算法优劣：此方法可充分利用点云在不同维度信息，提高目标检测稳定性，但计算复杂度较高，对硬件要求严格。点云转化俯视图网络4.4.1基于毫米波雷达的感知算法原理3D点云数据结构转换77GHz角雷达可实时测量前方车辆距离和速度，为自适应巡航系统提供精准数据，使车辆自动调整车速，保持安全车距，提高驾驶舒适性和安全性。毫米波雷达快速检测前方障碍物，当距离过近时，系统及时发出预警信号，提醒驾驶员采取制动措施，预防追尾事故。典型应用4.4.1基于毫米波雷达的感知算法原理输出信息应用场景点云信息自动泊车系统目标信息紧急车道保持、交通拥堵辅助、高速公路辅助驾驶预警信息盲区检测系统、变道辅助系统、开门碰撞预警77G角雷达输出信息及对应应用处理方法：VoxelNet将点云转换为3D网格，通过体素分割、点云分组、随机采样等步骤提取特征，再经卷积层聚合特征，实现目标检测。算法优劣：能有效处理稠密点云，提取丰富特征，提高目标检测精度，但计算量较大，对硬件资源要求高。VoxelNet网络结构4.4.2基于激光雷达的感知算法融合方法融合阶段优势劣势数据级融合融合传感器原始数据简单直接，易实施无法处理非线性关系特征级融合融合关键特征数据减少冗余信息，具备高层次的抽象特征提取需要适配不同传感器的算法决策级融合融合决策结果可靠性强对系统性能有较高要求融合方案对比4.5.1多传感器融合技术分类多传感器数据融合分类多传感器融合方案对比处理方法：F-PointNet算法先利用图像进行目标检测生成视锥体区域，再在视锥体区域内对点云实例分割，最后回归得到点云物体边界框。算法优劣：该算法结合图像和点云优势，提高目标检测准确率和效率，但需精确标定图像和点云坐标系，对传感器安装精度要求高。数据级融合--数据级融合常用的算法有EPNet、MVAF-Net、3D-CVF、F-PointNet等4.5.2多传感器融合算法原理F-PointNet模型框架视锥体生成过程处理方法：BEVFusion将Camera和LiDAR特征转换为共享BEV空间，保留几何和语义信息，完成不同任务如BEV地图分割、3D目标检测。算法优劣：此算法有效整合多模态信息，提高系统性能和鲁棒性，但需设计高效特征提取和转换模块，以减少计算量。特征级融合--常用的算法有EPNet、MVAF-Net、3D-CVF、BEVFusion，以BEVFusion算法4.5.2多传感器融合算法原理BEVFusion模型结构处理方法：以贝叶斯估计算法为例，贝叶斯估计算法基于贝叶斯定理，结合观测数据和先验知识，通过最大后验估计得到目标状态修正值，提高估计准确性和鲁棒性。算法优劣：该算法可综合考虑多个传感器测量值及其不确定性，适用于复杂环境和多目标跟踪场景，但需建立合理先验模型和传感器模型。决策级融合--常见的融合方法有加权平均法、Dempster-Shafer理论、贝叶斯理论等4.5.2多传感器融合算法原理Dempster-Shafer理论基于概率的后融合一般流程决策级融合通常采用基于概率的方法进行融合。基于概率的融合方法能够针对问题进行有效地建模，为多传感器融合提供了强大的框架，提高了系统对不同来源信息的适应能力，增强了系统的容错性和性能。4.6.1GPS/IMU融合定位为了充分发挥两者的优势，GPS和IMU通常被整合成融合定位系统。全球定位系统：GlobalPositioningSystem，GPSGPS利用卫星信号提供全球位置信息，但在城市峡谷或高楼大厦附近可能受到信号遮挡和多径效应的干扰，导致定位精度下降。惯性测量单元：InertialMeasurementUnit，IMUIMU通过测量加速度和角速度提供高刷新率和短时延的动态信息，但存在漂移问题，导致定位精度在时间累积误差中降低。初始估计这个阶段主要从GPS获取初始位置和速度信息。这些信息包括设备的经度、纬度、高度以及相应的速度矢量。状态预测这一步利用IMU（惯性测量单元）提供的加速度和角速度数据，通过运动学模型预测设备的当前位置和姿态。状态更新在这一步，结合GPS提供的绝对位置信息，对通过IMU数据预测的结果进行修正。滤波和优化滤波器通过结合预测值和观测值，估计系统的真实状态。4.6.1GPS/IMU融合定位视觉同时定位与建图（VisualSimultaneousLocalizationandMapping，VSLAM）是一种利用视觉信息（通常是来自摄像头的视频流）来实现机器人或其他设备在未知环境中自我定位和构建环境地图的技术。三维概率分布图点云分布图高密度图轨迹图稀疏密度图语义分割图4.6.2视觉SLAM技术典型的视觉SLAM框架包括数据采集、前端匹配、后端优化、回环检测、地图构建5个关键步骤。前端匹配：前端匹配简称前端，也被称为视觉里程。其任务主要为利用运动中的摄像头在不同时刻采集到的图像帧，估算出相邻两帧之间的摄像头位姿变换，并建立局部地图。4.6.2视觉SLAM技术数据采集：传感器数据主要指由车载摄像头采集的图像信息。(1)单目摄像头：需要在摄像头移动过程中观测物体在摄像头视角中的运动来判断它与摄像头的相对距离；(2)双目摄像头：通过比较两个摄像头的图像来对距离估计；(3)深度摄像头：通过主动向物体发射一束光并接收反射光来测出物体的距离。地图构建：地图构建即根据估计的运动轨迹和采集的图像信息，建立环境地图。4.6.2视觉SLAM技术后端优化：后端优化简称后端。主要负责对前端输出的结果进行优化，利用滤波理论和优化理论来处理SLAM过程中产生的噪声，进而得到最优的位姿估计。闭环检测：回环检测主要解决SLAM过程中随着时间推移而产生的累积误差的问题，算法需要能够辨识所经过的场景地点，通过各帧图像间的相似性来完成回环检测。视觉SLAM利用摄像头进行环境感知和定位，具有成本低、体积小、获取丰富视觉信息等优点，但在光照变化、动态场景、纹理稀疏区域等条件下性能受限。相较之下，激光雷达SLAM则通过激光雷达获取环境深度信息，不受光照影响，能够在复杂环境中提供更高的精度和鲁棒性，是视觉SLAM的重要补充和替代方案。4.6.3激光雷达SLAM技术激光雷达SLAM通过发射激光束并测量其在环境中的反射来获取高精度的距离信息，是一种利用激光雷达传感器进行定位和建图的技术。它通过发射激光束并接收反射回来的信号，测量周围环境的距离和形状，从而构建出环境的三维地图，并实现设备在地图中的精确定位。激光SLAM与视觉SLAM类似，其框架同样包括数据采集、前端匹配、后端优化、回环检测、地图构建5个关键步骤。基于激光雷达的地图构建4.7.1交通情景理解方法语义级分割：在图中是指对图像中的每个像素打上类别标签，把图像分为人、