智能汽车传感器技术课件 第9章 传感器融合实例

智能汽车传感器技术项目九多传感器融合技术认知与应用【项目目标】ADS1.0发布于2021年，基于TransformerBEV架构实现多传感器融合ADS2.0引入RCR算法减少高精地图依赖ADS3.0采用端到端大模型架构ADS4.0采用WEWA架构，将高性能激光雷达等17个高精度感知元件深度融合，提升复杂环境的实时精准感知能力，符合当前汽车功能安全最高等级的ASIL-D认证。知识目标1.理解多传感器融合技术的概念和发展历程，了解其分类、优缺点。2.理解多传感器融合技术的原理，了解常见融合算法。3.熟悉多传感器技术在智能汽车中的应用场景。技能目标1.能依据应用场景，合理选型和配置传感器，排查数据传输异常等故障。2.能使用python\C等语言，结合ROS等相关框架搭建多传感器融合实验平台。3.能对多传感器融合的结果进行评估和优化。素质目标1.严格遵循相关的技术规范，实事求记录和分析实验数据及测试结果，培养严谨的科学态度与素养。2.加强项目实践过程中的密切协作，提升团队协作与沟通能力。汽车导航技术自主导航GPS导航混合导航无人驾驶汽车的定位与导航技术已发展到混合导航，即综合GPS定位、惯性定位和高精地图等三大技术，在任何时间和区域都精确定位汽车坐标，规划最优路径。任务8.1卫星导航定位系统认知任务9.1多传感器融合技术认知多传感器融合技术是智能网联汽车的“感知中枢”，整合来自不同传感器的信息，直接影响着智能网联汽车的性能水平与应用前景。任务9.1多传感器融合技术认知多传感器融合技术的需求复杂环境感知需求道路环境极为复杂，天气状况和光照条件也时刻影响着车辆对环境的感知。静态元素：道路标志、标线、建筑物、隔离栏等；动态元素：车辆、行人、非机动车等，且运动状态随时变化。传感器的感知能力差异和局限性。视觉传感器能够提供丰富的语义信息，在识别交通标志、理解交通参与者的行为意图具有优势。毫米波雷达可实时监测目标物体的速度与相对距离，但无法获取物体的形状与纹理信息。环境适应性的差异和局限性。视觉传感器在恶劣天气或光照条件不佳时，图像质量会严重下降，导致识别精度大幅降低。激光雷达在恶劣天气下性能也会受到一定影响，同时成本相对较高。任务9.1多传感器融合技术认知多传感器融合技术的需求高精度定位需求GNSS定位精度易受卫星信号遮挡、多径效应等因素影响，在城市峡谷、隧道等环境中定位误差可能会增大到数米甚至数十米。惯性测量单元IMU测量数据随着时间推移，误差会逐渐累积。地图匹配技术将车辆实时感知的环境信息与地图数据进行匹配来确定车辆位置，然而地图的更新往往存在滞后性，且在地图信息不完善的区域，定位效果会大打折扣。任务9.1多传感器融合技术认知多传感器融合技术的需求决策可靠性需求感知信息不准确或存在误差，可能导致决策失误，引发严重的安全事故。多传感器融合技术通过对多种传感器数据进行综合分析与处理，降低单一传感器数据的不确定性和错误率，通过冗余设计提高环境感知的可靠性，保证决策系统的正常运行。任务9.1多传感器融合技术认知多传感器融合技术的定义多传感器融合技术（Multi-sensorFusion，MSF），是利用计算机技术将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。类似于人的大脑综合处理信息的过程，对各种传感器进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。数字角度：测量子空间向融合空间的投影工程角度：多源、多模式、多媒质、多时空的数据分析任务9.1多传感器融合技术认知多传感器融合技术的定义多传感器融合技术（Multi-sensorFusion，MSF），是利用计算机技术将来自多传感器或多源的信息和数据以一定的准则进行自动分析和综合，以完成所需的决策和估计而进行的信息处理过程。ISO23150-2023《道路车辆

自动驾驶功能传感器和数据融合装置之间的数据通信逻辑接口》，定义了传感器和数据处理单元间的逻辑接口，对数据格式、传输协议以及错误处理机制等进行了规范，确保不同制造商的设备能够协同工作，提高自动驾驶系统的整体性能和安全性。任务9.1多传感器融合技术认知多传感器融合技术的关键问题多源异构数据的对齐不同传感器的数据格式不一，采样频率不一，安装位置不一，坐标系不一。例如视觉传感器的采样频率为30Hz、毫米波雷达的采样频率为10Hz。冲突信息的不一致处理毫米波雷达检测到障碍物而视觉未识别，发生同场景下的传感器数据矛盾，哪个置信度更高？算法对精度、实时性和鲁棒性平衡卡尔曼滤波融合算法实时性强，但动态复杂场景的融合精度大幅度下降。基于深度学习的高精度融合算法对计算资源需求极高，与高实时性要求存在矛盾。跨硬件与场景的系统适配不同应用场景对融合目标的需求不同。例如高速跟车重点关注远距离目标速度、城区泊车重点关注近距离目标轮廓，但现有融合技术大多采用固定融合策略。任务9.1多传感器融合技术认知多传感器融合技术的层次问题数据层融合：将传感器原始直接送到处理器进行处理，保留了原始、丰富的信息，需要处理大量的原始数据；不同传感器原始数据的格式、采样频率、坐标系存在差异，数据预处理难度大。特征层融合：先进行传感器数据进行特征提取，再对特征矢量融合。减少了数据处理量，但特征提取过程可能会丢失一些原始数据中的细节信息，且算法对融合结果有较大影响。决策层融合：基于各传感器独立进行处理后得到的决策结果进行综合判断。在实际应用中，为充分发挥各融合层次的优势，常采用多层融合策略。任务9.2多传感器融合方案认知智能网联汽车的多传感器融合技术发展，经历了从单一传感器主导到多模态协同的演进。20世纪80年代-21世纪初：单一传感器主导传感器独立工作，仅用于特定功能，无数据交集。1989年：卡内基梅隆大学Navlab列实验车，利用神经网络处理摄像头图像进行道路跟随。2004年-2015年：后融合（目标级融合）通过卡尔曼滤波、贝叶斯理论等传统算法对传感器独立输出的结果进行对比和融合。2004-2007年DARPA挑战赛：斯坦福Stanley车队“激光雷达+视觉+GPS/IMU”的后融合方案证明了多传感器协同在复杂环境下的可行性。2016年-2019年：算法重构深度学习全面引入视觉感知，多传感器后融合的弊端在长尾场景（CornerCases）引发致命问题。2016年

特斯拉佛罗里达致命事故：视觉漏检白色卡车，雷达被系统策略性忽略（防误刹策略）。2020年-2022年：BEV空间与多模态特征融合将所有传感器的原始数据或提取特征，统一投影到3D空间，中/前融合。2020年，特斯拉发布基于Transformer架构的BEV纯视觉融合网络。2023年至今：大模型、前融合与车路协同感知不区分传感器的优先级，将原始数据直接输入端到端（End-to-End）大模型；结合5G/V2X技术，实现“车-路-云”跨空间的多源信息融合。任务9.2多传感器融合方案认知基于卡尔曼滤波的数据层融合由匈牙利数学家RudolfE.Kalman提出，是一种递归状态估计算法，通过最小化均方根误差实现对动态系统的最优估计。最初用于解决航天器轨道预测的噪声抑制问题，因阿波罗登月计划的成功应用而闻名。在智能汽车领域被广泛用于融合毫米波雷达、视觉传感器等传感器的原始数据，提升目标定位精度。任务9.2多传感器融合方案认知基于卡尔曼滤波的数据层融合卡尔曼滤波的本质是基于线性系统模型的递归最优估计，核心是通过“预测-更新”循环输出状态变量的最优估计值。假设离散时间线性系统的状态方程为：预测阶段：状态先验估计误差协方差先验估计更新阶段：卡尔曼增益状态后验估计误差协方差后验估计任务9.2多传感器融合方案认知基于卡尔曼滤波的数据层融合卡尔曼滤波的本质是基于线性系统模型的递归最优估计，核心是通过“预测-更新”循环输出状态变量的最优估计值。优点：计算效率高、实时性好的优点，适用于处理线性系统和高斯噪声环境。缺点：卡尔曼滤波适用于线性系统，对于非线性系统需要采用扩展卡尔曼滤波或无迹卡尔曼滤波。对噪声模型的准确性要求较高，实际应用中需要根据传感器特性进行参数调优。当传感器数据存在突变或异常值时，滤波效果会受到影响，可考虑引入鲁棒卡尔曼滤波算法。任务9.2多传感器融合方案认知基于卡尔曼滤波的数据层融合ROS系统的卡尔曼滤波融合案例多传感器原始数据的同步接收传感器数据的预处理与滤波融合结果的标准化发布任务9.2多传感器融合方案认知基于贝叶斯滤波的特征层融合18世纪英国数学家ThomasBayes提出贝叶斯定理。20世纪中叶随着随机过程理论与计算机技术的发展，贝叶斯定理与动态系统状态估计结合，形成了现代贝叶斯滤波框架。起初应用于雷达目标跟踪领域，目前已广泛用于机器人定位、自动驾驶感知、医疗诊断等需要动态概率推断的场景。任务9.2多传感器融合方案认知基于贝叶斯滤波的特征层融合贝叶斯滤波的核心是递推计算系统状态的后验概率分布，通过状态转移模型和观测模型更新状态估计。预测阶段：利用系统模型（状态转移方程）结合控制量，由先验概率预测当前状态。更新阶段：任务9.2多传感器融合方案认知基于贝叶斯滤波的特征层融合ROS系统的贝叶斯滤波融合案例即时定位与地图构建（SimultaneousLocalizationandMapping，SLAM）是一种通过传感器实时定位并构建环境地图的核心技术，通过融合传感器数据同步估计机器人自身运动轨迹和环境特征坐标。数据预处理，同步传感器数据（时间戳校准）和空间校准（坐标变换到统一坐标系），确保数据一致性；特征提取，毫米波雷达进行目标检测，区分静态/动态目标，提取位置、速度特征，激光雷达进行点云聚类分析和特征提取，视觉传感器提取视觉特征点；特征观测和预测更新的迭代，向SLAM节点输出地图（栅格或点云）和位置估计。任务9.2多传感器融合方案认知基于贝叶斯滤波的特征层融合能够有效处理传感器测量的不确定性，提供概率形式的输出结果适用于多源异构传感器的特征融合，对传感器类型没有严格限制计算复杂度适中，能够满足智能汽车实时性要求依赖人工定义的数学模型和先验假设，难以适配自动驾驶场景中“动态目标突变（如行人横穿马路）、环境特征复杂（如城区拥堵路段）、传感器数据冲突（如雨天雷达误检）”等非线性、高不确定性问题任务9.2多传感器融合方案认知基于神经网络的决策层融合神经网络是一种模仿人脑神经元连接结构的计算模型，具强大的非线性拟合和模式识别能力。与数据层和特征层融合相比，决策层融合对传感器的依赖性低，系统的容错性和扩展性更好。通过学习不同传感器的决策特征，自动调整各传感器的权重，实现最优的决策融合。任务9.2多传感器融合方案认知基于神经网络的决策层融合华为ADSF框架中的神经网络融合方案中间融合（特征层+决策层衔接）：在“Camera+Lidar目标检测框架”中，视觉传感器2D特征与激光雷达3D点云特征融合“2D+3D融合特征”，再输入3D目标检测头输出初步融合决策。最终决策融合（多源传感器聚合）：在Fusion框架中，接收毫米波雷达、Camera-Lidar中间融合结果等多源决策数据，并行计算“传感器内特征关联”与“跨传感器特征关联”，，输出目标的最终类别、3D精确位置、碰撞风险等级。ADAS基于视觉传感器基于毫米波雷达基于激光雷达毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度

需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离

成本高

将视觉传感器和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的ADAS功能

任务9.3ADAS系统多传感器融合案例假设采用视觉为主、毫米波雷达为辅的方案将毫米波雷达返回的目标点投影到图像上，围绕该点并结合先验知识，生成一个矩形的感兴趣区域，然后我们只对该区域内进行目标检测优点是可以迅速地排除大量不会有目标的区域，极大地提高识别速度对于前碰撞系统（FCWS），它可以迅速排除掉雷达探测到的非车辆目标，增强结果的可靠性利用毫米波返回的目标的距离、角度、速度信息来进行碰撞时间（collisiontime）计算，以达到预警功能，实现行人/车辆在预警时间阈值内预警，避免单目视觉距离测量及障碍物速度估计不准的问题任务9.3ADAS系统多传感器融合案例假设采用视觉为主、毫米波雷达为辅的方案方案缺点：（1）这个方法实现起来有难度。理想情况下雷达点出现在车辆中间。首先因为雷达提供的目标横向距离不准确，再加上视觉传感器标定的误差，导致雷达的投影点对车的偏离可能比较严重。只能把感兴趣区域设置的比较大，但感兴趣区域过大后导致里面含有不止一辆车，这个时候目标就会被重复探测，这会造成目标匹配上的混乱。交通拥挤的时候尤其容易出来这种情况。（2）噪声问题。对于性能比较差的毫米波，返回的目标点中包含了大量的噪声点，将这些点投影到图像上将会存在大量的矩形框，反而造成了程序的耗时。任务9.3ADAS系统多传感器融合案例毫米波雷达与视觉传感器在空间的融合就是将不同传感器坐标系的测量值转换到同一个坐标系中由于ADAS前向视觉系统以视觉为主，因此只需将毫米雷达坐标系下的测量点通过坐标系转换到摄像机对应的像素坐标系下即可实现两者空间同步首先解决两传感器之间的标定问题：将毫米波检测的目标转换到图像上建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。任务9.3ADAS系统多传感器融合案例我们的目的是将毫米波雷达的坐标转换到图像的对应位置上去。在视觉传感器位置处建立三维世界坐标系，在点的转换过程中可以分为以下几个步骤：毫米波坐标系下的坐标转换到以视觉传感器为中心的世界坐标系中将世界坐标系的坐标转换到视觉传感器坐标系将视觉传感器坐标系的坐标转换到图像坐标系建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。任务9.3ADAS系统多传感器融合案例（1）毫米波坐标到世界坐标的转换毫米波雷达坐标到世界坐标的转换毫米波雷达可以得到目标的x，y坐标信息，没有目标的z坐标信息将毫米波坐标系Om到世界坐标系Ow的转换看做二维X-Y坐标系的转换Om和Ow之间的关系有平移和旋转等二种建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系，是实现毫米波和视觉融合的关键。任务9.3ADAS系统多传感器融合案例（1）毫米波坐标到世界坐标的转换毫米波雷达坐标到世界坐标的转换转换矩阵是由两部分组成：由角度所带来的旋转