基于数据的轻量化感知融合方案-第1篇

1、 基于数据的轻量化感知融合方案 刘姣 彭小权摘 要：自动驾驶等级分为L0驾驶辅助，L1辅助驾驶，L2部分自动驾驶，L3条件自动驾驶，L4高度自动驾驶和L5完全自动驾驶。汽车的自动驾驶系统由感知、决策和执行三个模块组成，其中感知是自动驾驶系统的基础。针对不同的驾驶等级，感知模块所配置的传感器种类、数量和系统的环境感知能力明显不同。Key：传感器;数据融合;过程分析0 前言目前可以批量供货的车载传感器由提供目标轮廓信息的图像类和提供目标位置信息的雷达类。图像类包括摄像头和（成像）激光雷达。雷达类包含超声波雷达、毫米波雷达和激光雷达（测距）。其中激光雷达的图像识别能力远远不如摄像头，但其具有所有雷达

2、中最强的位置识别能力。自动驾驶系统要获得完整的目标信息，融合技术必不可少，感知融合技术根据融合的信息类型包括：目标级的感知融合、特征级的感知融合和数据级的感知融合。基于数据级的感知融合得到的目标信息，才能满足到L4/L5的感知需求。1 传感器数据融合L4/L5的感知模块输出的数据包括：环境建模、目标识别（类别、尺寸、距离和速度等）数据和目标跟踪（位置和轨迹等）数据等。因此感知融合技术也分为环境数据融合、目标识别数据融合和目标跟踪数据融合。一般来说，数据级的融合存在运算量特别大的问题，要求车载电脑具有很强的图像处理能力和数学运算能力同时要由冗余，因此通常会配置很多GPU和CPU。另外在特殊的场景

3、对算法提出了更高的要求，例如目标域环境对信噪比不明显（从传感器的识别能力角度）的场景。目前的多传感器数据融合的常用方法随机概率和人工智能两大类。随机概率类方法有加权平均法，卡尔曼滤波法，多贝叶斯估计法，D-S（Dempster-Shafer）证据推理和产生式规则等基础算法及其改进型。人工智能及所说的AI（Artificial Intelligence）技术类则有模糊逻辑理论，神经网络，粗集理论和专家系统等，其中神经网络算法是目前研究最深入和应用最广泛的算法。随着汽车和自动驾驶商业化的进展，融合技术需要不断提升。当路面的自动驾驶车辆占比远超过有人驾驶的时候，自动驾驶车辆的风险度才能明显降低。2

4、传感器数据融合的过程本文提出一种低运算量的数据级的融合方案，基于成熟的图像算法并结合AI技术，充分利用各传感器的特点和避免传感器的缺点，基于现有的融合算法增加“反馈式和回溯式”数据级的融合方案，達到相同的融合效果的条件下能明显减低运算数据量和提升运算速度。在融合过程中，根据本车上某传感器的特性识别的较高信值目标，对其他传感器的数据进行局部处理从而得到高信值的目标。例如图1明暗度不明显影响图像中，雷达可以识别出区域（H4：H7）（V5：V6）有目标，图像处理可以根据该输入单独对区域（H4：H7）（V5：V6）降低阈值从而得到目标清晰的图像信息。在融合过程中，根据本车与目标的相对关系形成的特定功能

5、场景（例如AEB，ACC和LKA等），回溯对应设定时间（下文的a和b）内已经处理过的数据重新修订融合结果，从而使得获得更佳精确的目标和目标轨迹。例如图1明暗度不明显影响图像中，雷达可以识别出区域（H4：H7）（V5：V6）有目标，图像处理可以叠加过去a秒内该目标所在的区域的图片并进行近视叠加从而获得清晰的图像信息。例如图2背景噪音影响毫米波雷达中，融合系统通过处理已经识别噪音因里有目标，雷达处理可以根据该输入对过去b秒内的雷达数据重新对比和处理从而得到噪音里的目标和目标轨迹，使得系统能获得该目标进入噪音区域一直到离开噪音区域的全过程数据。目前的车载电脑的常见软硬件架构有特斯拉的车载中央计算机，

6、英伟达的Xavier计算平台，ZF的ProAI自动驾驶车载计算机，华为的MDC车载智能驾驶计算平台。他们的共性是冗余一套硬件架构，通过软件系统进行管理，能确保至少有一套硬件系统处于正常的工作状态。甚至有的硬件平台，会比较两套硬件系统运行和计算的结果，通过软件系统进行处理最终计算结果。本融合方案对车载电脑的软硬件架构提出了新的要求，如图3车载电脑的软硬件架构。对于多核，多个GUP/CPU核中只预留一个冗余GPU/CPU核，多个内存中预留两个内存。对于单核，多个GUP/CPU中预留一个冗余GPU/CPU，多个内存中预留两个内存。这样的硬件架构相对冗余一套硬件或冗余一套系统做备份成本低得多。软件重启方式，是当某一个运算或存储区间出现故障时，在下一个时钟将运算或存储转移到冗余的区间，重启出现故障的区间。硬件重启方式，是如果当前场景允许重启出现故障的硬件部分而不是空间。3 结束语自动驾驶的系统如果做到对相关环境内的目标100%识别，100%可信和100%冗余，那样硬件成本将会急剧上升，会严重影响自动驾驶的全面应用。相对研究和论证革命性的融合感知算法利用现有的算法在细节上设计和拓扑融合感知算法同样重