基于Transformer的自动驾驶多模态感知中的激光雷达-相机特征融合与时间融合策略研究综述

基于Transformer的自动驾驶多模态感知中的激光雷达-相机特征融合与时间融合策略研究综述多模态感知作为自动驾驶系统的核心环节，其性能直接决定了车辆对复杂交通场景的理解能力与决策准确性。传统基于卷积神经网络（CNN）的感知方法在处理局部特征提取任务中表现优异，但在长距离依赖建模、跨模态语义对齐等场景中存在固有局限性。Transformer架构凭借自注意力机制对全局关联关系的强大建模能力，近年来逐渐成为自动驾驶多模态感知领域的主流技术路径。其中激光雷达与相机的特征融合方案，以及跨帧时间维度的信息融合策略，是当前Transformer感知框架落地过程中的核心研究方向，相关技术突破对提升自动驾驶系统在复杂天气、动态遮挡等极端场景下的鲁棒性具有关键意义。一、激光雷达-相机特征融合的Transformer架构演进1.1早期融合（输入级融合）范式早期融合方案的核心思路是在数据输入阶段完成激光雷达点云与相机图像的空间对齐，直接将多模态原始数据输入Transformer编码器进行特征提取。此类方案的典型代表是2021年提出的TransFusion架构，其首次将Transformer的交叉注意力机制引入多模态融合任务，通过点云查询向量同时捕捉激光雷达的3D几何信息与相机的2D纹理语义。该架构首先将激光雷达点云体素化后转换为初始查询序列，随后将图像特征作为上下文输入交叉注意力层，使每个点云查询能够自适应地关联对应投影位置的图像特征，在nuScenes数据集上的3D目标检测精度相比同期CNN-based方法提升了4.2%。早期融合范式的优势在于能够保留最完整的原始模态信息，避免中间特征提取过程中的信息损失。但此类方案面临两个核心挑战：一是模态间数据分布差异带来的对齐误差，激光雷达点云的稀疏性与图像的密集性导致直接融合时容易出现特征匹配偏差；二是计算复杂度较高，原始点云与图像的高分辨率特性会显著提升Transformer注意力矩阵的计算量，难以满足车载场景的实时性要求。针对这一问题，后续研究提出了多种轻量化优化方案，例如通过体素哈希降采样减少点云查询数量，或者采用窗口注意力机制限制注意力计算范围，使早期融合方案的推理速度提升了2-3倍，逐步达到量产车型的部署阈值。1.2中期融合（特征级融合）范式中期融合方案将特征提取与跨模态关联过程解耦，首先通过独立的骨干网络分别提取激光雷达点云特征与图像特征，随后在Transformer编码器的中间层完成特征交互。此类方案的典型代表是BEVFormer架构，其首次构建了统一的鸟瞰视角（BEV）特征空间，通过可变形注意力机制实现多模态特征在BEV空间下的高效对齐。该架构首先分别生成点云BEV特征与图像BEV特征，随后通过空间交叉注意力层使两类特征在相同的BEV网格下完成信息交互，同时引入时间自注意力机制融合历史帧信息，在nuScenes数据集上实现了70.9%的mAP，成为当前自动驾驶感知领域的基线方案之一。中期融合范式的核心优势在于灵活性更高，不同模态的骨干网络可以独立优化，且统一的BEV特征空间大幅降低了跨模态对齐的难度。目前主流的中期融合方案主要围绕三个方向优化：一是提升BEV特征的语义丰富度，通过引入语义分割预训练任务增强图像特征的语义表达能力，通过点云实例预训练提升几何特征的判别性；二是优化注意力机制的查询效率，例如采用稀疏注意力仅对包含目标的BEV网格进行特征交互，或者通过动态查询采样减少冗余计算；三是解决模态缺失问题，通过引入模态掩码训练策略，使模型在单一模态失效时仍能保持80%以上的感知精度，提升系统的冗余性。1.3晚期融合（输出级融合）范式晚期融合方案在各模态独立完成感知任务后，通过Transformer对不同模态的输出结果进行决策级融合。此类方案的优势在于系统鲁棒性最高，单个模态的失效不会对整体系统造成灾难性影响，且部署复杂度较低，便于对不同模态的感知模块进行独立迭代。典型应用场景包括自动驾驶的障碍物跟踪任务，首先分别输出激光雷达3D检测框与相机2D检测框，随后通过Transformer的跨模态注意力机制完成目标匹配与轨迹关联，融合后的跟踪准确率相比单一模态提升了15%以上。晚期融合范式的局限性在于原始信息损失较大，无法利用模态间的互补信息提升单个感知任务的精度。因此近年来的研究逐渐向“多级融合”方向演进，即同时在特征级与输出级进行多模态交互，在保证系统鲁棒性的同时最大化感知性能。例如2023年提出的FusionFormer架构，在骨干网络的不同尺度特征层都引入了跨模态注意力交互，同时在输出层对不同模态的检测结果进行二次融合，在保持30FPS推理速度的前提下，将nuScenes数据集上的检测精度提升至75.2%，实现了精度与速度的平衡。二、跨模态特征对齐的关键技术2.1空间几何对齐方法空间对齐是激光雷达与相机特征融合的前提，其核心目标是建立3D点云坐标与2D图像像素坐标的映射关系。传统方法依赖标定参数完成投影变换，但标定误差、车辆颠簸、传感器偏移等因素会导致投影偏差，影响融合效果。基于Transformer的对齐方案通过可学习的偏移量校准机制，能够自适应修正几何投影误差。例如AutoAlign系列架构提出的动态投影方法，在交叉注意力计算过程中引入可学习的投影偏移参数，使点云查询能够自动匹配图像中最相关的特征区域，即使在标定存在2-3像素误差的情况下，感知精度下降幅度小于2%，大幅降低了系统对标定精度的依赖。针对动态场景下的非刚性形变问题，部分研究提出了语义引导的对齐策略。首先通过语义分割网络识别图像与点云中的同一类目标（如车辆、行人），随后以目标级语义特征作为锚点完成跨模态对齐。此类方法尤其适用于远距离目标感知场景，远距离点云稀疏性导致几何投影可靠性下降，而语义特征的一致性能够有效提升对齐精度。实验数据显示，在100米以上的感知距离中，语义引导的对齐方案相比纯几何投影方法的检测精度提升了8%以上。2.2特征语义对齐方法语义对齐旨在解决不同模态特征的分布差异问题，使激光雷达的几何特征与相机的纹理特征能够在同一特征空间下实现有效交互。主流技术路径包括模态嵌入与对比学习预训练两类。模态嵌入方法通过为不同模态的特征添加可学习的模态标记，使Transformer能够区分不同来源的特征并学习对应的交互模式。例如在输入特征序列中为点云特征添加“[LIDAR]”标记，为图像特征添加“[CAM]”标记，注意力机制会自动学习不同模态标记间的关联权重，提升跨模态特征融合的有效性。对比学习预训练方案则通过大规模无标注数据学习跨模态特征的语义一致性。其核心思路是将同一空间位置的点云特征与图像特征作为正样本对，将不同位置的特征作为负样本对，通过对比损失函数使相同语义的跨模态特征在特征空间中距离更近，不同语义的特征距离更远。经过跨模态对比预训练的Transformer模型，在下游检测、分割任务中的收敛速度提升了2倍，且小样本场景下的泛化能力显著增强，仅需10%的标注数据即可达到全量标注80%的精度，大幅降低了数据标注成本。2.3动态模态加权策略不同模态的信息可靠性在不同场景下存在显著差异，例如雨天环境下相机图像容易出现过曝、模糊，而激光雷达点云受天气影响较小；强光照射场景下激光雷达可能产生反射噪声，而相机的纹理信息依然可靠。动态模态加权策略通过Transformer的注意力权重自适应调整不同模态的贡献度，当某一模态可靠性下降时自动降低其权重。例如2022年提出的DynamicFusion架构，在交叉注意力层中引入模态可靠性预测分支，根据输入数据的质量动态生成点云与图像特征的权重系数，在大雨场景下相机权重自动从0.5下降至0.2，使整体感知精度下降幅度控制在5%以内，远高于固定权重方案的20%精度损失。动态加权策略的另一个研究方向是针对不同任务自适应分配模态权重。例如对于障碍物位置回归任务，激光雷达的几何信息贡献度更高，模型会自动提升点云特征的权重；对于交通信号灯识别、车道线语义分类任务，相机的纹理信息更关键，图像特征的权重会相应提升。这种任务感知的模态加权机制，使多任务感知模型能够在统一框架下同时满足不同任务的性能需求，相比单任务模型的整体精度提升了3-5%，同时减少了部署的模型数量。三、基于Transformer的时间融合策略3.1时间自注意力机制时间融合的核心目标是利用历史帧信息提升当前帧的感知精度，解决单帧感知中存在的遮挡、稀疏、噪声等问题。Transformer的自注意力机制天然适合建模时间序列的关联关系，通过将历史帧的BEV特征作为上下文输入注意力层，当前帧的特征查询能够自适应关联历史帧中相同位置的特征信息。BEVFormer提出的时间自注意力机制是此类方案的典型代表，其通过记录历史帧的BEV特征队列，在每帧推理时将当前帧查询与历史帧特征进行注意力交互，有效利用了时间维度的冗余信息，使遮挡场景下的目标检测召回率提升了12%以上。时间自注意力机制的关键挑战在于时间对齐问题，车辆自身运动导致不同帧的BEV特征空间存在偏移，需要通过ego-motion参数将历史帧特征转换到当前帧坐标系下。针对传统坐标变换带来的特征畸变问题，近期研究提出了可变形时间注意力方案，通过学习采样偏移量自动匹配历史帧中的对应特征，无需依赖精确的位姿变换参数，即使在车辆急加速、急转向等场景下，时间融合的精度下降幅度也小于3%。同时，为了控制计算复杂度，时间融合的历史帧长度通常设置为3-5帧，既能够覆盖大多数动态目标的运动轨迹，又不会带来过多的计算开销。3.2时序运动建模动态目标的运动规律是时间融合的重要先验信息，基于Transformer的时序运动建模方法能够学习不同类型目标的运动模式，提升对未来状态的预测能力。此类方案通常将目标的历史轨迹序列作为输入，通过Transformer编码器学习运动特征，同时结合当前帧的感知结果完成轨迹预测与跟踪。例如2023年提出的MotionFormer架构，将多帧检测得到的目标边界框序列、速度信息、类别信息作为输入序列，通过自注意力机制建模目标间的交互关系与运动趋势，能够实现未来3秒的轨迹预测，预测误差比传统LSTM方法降低了25%。时序运动建模的另一个重要应用是解决动态遮挡问题。当目标被其他物体短暂遮挡时，模型可以根据历史运动特征预测目标在当前帧的位置与状态，避免漏检。实验数据显示，引入时序运动建模的感知模型，在目标被遮挡50%的情况下，检测召回率仍然能够达到85%以上，而单帧模型的召回率仅为40%。同时，时序运动信息还能够用于校正单帧感知的误差，例如当单帧检测到目标出现不合理的位置跳变时，时间融合模块会根据历史运动轨迹对检测结果进行平滑，减少感知结果的抖动，提升下游规划控制模块的舒适性。3.3长时序记忆融合对于停留时间较长的静态目标或者反复出现的动态目标，长时序记忆融合能够利用更长时间范围的历史信息提升感知稳定性。此类方案通常采用记忆银行（MemoryBank）机制存储历史特征，通过Transformer的注意力机制实现对历史记忆的查询与更新。例如PersistentFusion架构提出的persistentBEV方案，将静态场景特征（如道路结构、路边建筑）存储在长期记忆中，每帧感知时仅更新动态目标区域的特征，既能够利用长时间积累的静态信息提升环境感知的精度，又能够有效控制计算量。长时序记忆融合面临的核心挑战是记忆更新的效率与准确性问题。当场景发生静态变化时（如道路施工、临时障碍物放置），模型需要及时识别变化并更新记忆内容。目前的解决方案是通过变化检测分支对比当前帧特征与记忆特征的差异，当差异超过阈值时触发记忆更新。实验显示，此类方案能够在1-2帧内完成场景变化的识别与记忆更新，同时记忆特征的使用能够使静态障碍物的检测精度提升10%以上，尤其适用于停车场、园区等半静态场景的自动驾驶应用。四、当前挑战与未来研究方向4.1落地部署面临的核心瓶颈基于Transformer的多模态融合方案在实际量产落地过程中仍然面临多个技术瓶颈。首先是计算资源限制，车载芯片的算力通常远低于云端服务器，大参数量的Transformer模型难以满足实时性要求。虽然目前已经有多种轻量化优化方案，但70%以上的端到端Transformer感知模型仍然无法在算力20TOPS以下的车载芯片上实现30FPS的推理速度。其次是极端场景的泛化能力不足，现有模型大多在公开数据集上训练，对于长尾场景（如罕见障碍物、极端天气、异国情调的交通标识）的感知精度下降明显，数据驱动的范式导致模型的泛化能力难以覆盖所有实际场景。另外，多传感器的标定与同步问题仍然制约融合性能的发挥。虽然自适应对齐方案能够部分修正标定误差，但当传感器出现较大偏移或者时间同步误差超过10ms时，融合精度仍然会出现显著下降。如何在车载运行过程中实现自动标定与时间同步校准，是量产落地必须解决的问题。最后是可解释性问题，Transformer的注意力机制属于黑盒模型，当感知系统出现错误时难以快速定位原因，不符合功能安全的要求，如何构建可解释的多模态融合Transformer架构，是当前学术界与工业界共同关注的研究方向。4.2未来技术演进趋势未来基于Transformer的自动驾驶多模态感知技术将向三个方向演进：一是端到端融合架构的普及，将感知、预测、规划任务整合到统一的Transformer框架中，实现多任务的联合优化，减少不同模块之间的信息损失，进一步提升系统的整体性能。目前已有研究证明，端到端架构相比模块化架构的规划成功率提升了15%以上，且系统延迟降低了30%。二是多模态大模型的应用，通过大规模道路数据预训练的多模态大模型，能够显著提升长尾场景的泛化能力，利用大模型的涌现能力解决传统小模型无法处理的复