基于深度学习的立体匹配算法研究综述

基于深度学习的立体匹配算法研究综述立体匹配作为计算机视觉领域的核心任务之一，旨在从不同视角拍摄的两张或多张图像中找到对应像素点，进而计算出场景的深度信息。传统立体匹配算法依赖手工设计的特征描述子与人工构建的匹配代价计算规则，在弱纹理区域、反光表面、遮挡场景下匹配精度大幅下降，难以满足自动驾驶、三维重建、机器人导航等复杂场景的应用需求。随着深度学习技术的快速发展，基于数据驱动的立体匹配算法突破了传统方法的性能瓶颈，通过端到端的特征学习与匹配推理，在匹配精度、鲁棒性和泛化能力上实现了显著提升。一、立体匹配算法的基础框架与传统方法局限立体匹配的经典流程通常包含四个步骤：匹配代价计算、代价聚合、视差计算与视差优化。匹配代价计算阶段需要衡量左右视图中像素对的相似性，传统方法常采用SAD（绝对误差和）、SSD（平方误差和）、NCC（归一化互相关）等低层特征，或者SIFT、ORB等手工设计的特征描述子。这类特征对光照变化、视角形变、纹理缺失的鲁棒性较差，导致初始匹配代价中存在大量噪声。代价聚合阶段通过引入邻域平滑约束来优化匹配代价，常见方法包括动态规划、半全局匹配（SGM）等，但这类方法在处理大视差、非连续区域时容易出现平滑过度问题。视差计算阶段通常采用胜者为王（WTA）策略选择代价最小的视差，视差优化阶段则通过中值滤波、左右一致性检查等步骤剔除异常值。传统立体匹配算法的局限性主要体现在三个方面：其一，手工特征的表达能力有限，无法适配复杂多变的真实场景，在弱纹理、重复纹理、高反光区域容易产生误匹配；其二，匹配规则与优化参数需要人工设计与调优，对不同场景的迁移能力较差，无法实现端到端的自适应学习；其三，传统算法的计算复杂度与视差搜索范围正相关，在高分辨率、大视差场景下实时性难以保障。这些局限性促使研究人员将深度学习技术引入立体匹配领域，利用神经网络强大的特征表达能力与数据拟合能力，解决传统方法面临的性能瓶颈。二、基于深度学习的立体匹配算法发展脉络基于深度学习的立体匹配算法的发展大致可以分为三个阶段。第一阶段是2015年至2017年的初期探索阶段，研究人员主要尝试将深度学习应用于匹配代价计算环节，替代传统手工特征。2015年提出的MC-CNN（MatchingCostConvolutionalNeuralNetwork）是该阶段的标志性工作，该算法利用卷积神经网络提取左右图像块的特征，通过余弦距离计算匹配代价，再结合传统的代价聚合与视差优化步骤，在KITTI数据集上的性能首次超越了传统SGM算法。这类“深度学习+传统步骤”的混合框架虽然提升了匹配精度，但仍依赖传统的后处理步骤，无法实现完全端到端的训练，整体性能提升有限。第二阶段是2018年至2020年的端到端框架成熟阶段，研究人员提出了完全基于神经网络的立体匹配pipeline，实现了从输入图像到输出视差图的端到端训练。2018年提出的GC-Net（GeometryandContextNetwork）是首个端到端的立体匹配网络，该网络首先通过共享权重的特征提取网络获取左右视图的多尺度特征，然后通过构造代价体积（CostVolume）将左右视图的特征在视差维度进行拼接，再采用3D卷积进行代价聚合，最终通过回归层预测视差。GC-Net首次证明了端到端训练的立体匹配网络可以大幅超越混合框架的性能，但其3D卷积的计算复杂度较高，推理速度较慢。此后，研究人员针对代价体积的构造与聚合方式进行了大量优化，2019年提出的PSMNet（PyramidStereoMatchingNetwork）引入了空间金字塔池化模块，扩大了特征感受野，同时采用堆叠的沙漏结构3D卷积进行代价聚合，进一步提升了匹配精度，成为当时立体匹配领域的基准模型。第三阶段是2021年至今的轻量化与场景适配阶段，研究重点从单纯提升精度转向兼顾精度、速度与泛化能力，以满足真实场景的落地需求。一方面，研究人员通过优化网络结构、引入2D卷积替代3D卷积、设计动态视差搜索机制等方式降低计算复杂度，代表性工作包括LiteFlowNet、RAFT-Stereo等。其中RAFT-Stereo借鉴了光流估计中的迭代更新思想，通过循环神经网络迭代优化视差场，在保持高精度的同时大幅降低了参数量，在RTX3090显卡上可以实现1080P图像的实时推理。另一方面，针对真实场景中存在的域偏移问题，研究人员开始关注跨域泛化、无监督/自监督立体匹配算法，减少算法对标注数据的依赖，提升对不同场景的适配能力。三、核心技术模块与关键创新方向基于深度学习的立体匹配算法的核心技术模块主要包括特征提取、代价体积构造、代价聚合与视差回归四个部分，每个部分都有大量的创新研究成果。在特征提取模块，研究人员主要围绕提升特征的区分性与鲁棒性、扩大感受野、捕获多尺度上下文信息三个方向进行优化。早期网络多采用简单的卷积层堆叠提取特征，容易丢失细节信息且感受野有限。后续研究陆续引入了残差连接、空洞卷积、空间金字塔池化、Transformer注意力机制等技术。例如，2021年提出的StereoTransformer将自注意力机制引入特征提取环节，能够捕获长距离的像素依赖关系，提升了弱纹理区域的特征区分性；2023年提出的多模态特征融合网络将RGB特征与激光雷达稀疏深度特征进行融合，为匹配代价计算提供了额外的几何约束，进一步降低了误匹配率。在代价体积构造模块，核心问题是如何高效地将左右视图的特征进行关联，同时控制内存占用与计算复杂度。传统的代价体积构造方式是将左视图每个像素的特征与右视图对应视差范围内的像素特征拼接，内存占用与视差范围成正比。针对这一问题，研究人员提出了多种优化方案：一是分组相关体积，将特征通道分组计算相关性，减少内存占用；二是动态代价体积，根据图像内容自适应调整每个像素的视差搜索范围，避免不必要的计算；三是基于成本体积的可变形采样，只在高概率匹配区域进行特征采样，大幅降低内存开销。2022年提出的CoEx（CostVolumeExpansion）方法通过低分辨率代价体积上采样与高分辨率残差修正结合的方式，在保证精度的前提下将内存占用降低了60%。在代价聚合模块，核心目标是通过引入上下文信息与几何约束，优化初始匹配代价，抑制噪声。早期方法多采用3D卷积进行代价聚合，能够同时提取空间维度与视差维度的上下文信息，但计算复杂度较高。后续研究提出了多种替代方案：一是2D/3D混合卷积，将低分辨率的3D卷积与高分辨率的2D卷积结合，在精度与速度之间取得平衡；二是基于循环神经网络的聚合方式，通过沿视差维度或者空间维度迭代更新代价，减少计算量；三是基于注意力机制的聚合，通过空间注意力与视差注意力自适应地调整邻域像素的权重，提升非连续区域与遮挡区域的聚合效果。2023年提出的AttentionStereo网络引入了跨视图注意力模块，能够在代价聚合阶段建立左右视图的长距离对应关系，在遮挡区域的匹配精度提升了15%以上。在视差回归模块，传统的WTA策略只能得到离散的视差值，且无法进行端到端的梯度传播。目前主流的方法是采用softargmax操作将匹配代价转换为连续的视差值，实现端到端的训练。针对视差边界模糊的问题，研究人员提出了多尺度回归、视差残差学习、不确定性估计等技术。例如，2022年提出的UncertaintyStereo网络在预测视差的同时估计每个像素的视差不确定性，为后续的视差优化与下游任务提供了可靠的置信度信息。四、典型算法对比与性能分析目前主流的深度学习立体匹配算法在公开数据集上的性能差异较大，适用场景也各有不同。在KITTI2015立体匹配数据集上，传统SGM算法的D1错误率（视差误差大于3像素的像素占比）约为10%，早期的MC-CNN算法D1错误率约为5.7%，PSMNet将D1错误率降低到2.1%，而最新的RAFT-Stereo、StereoTransformer等算法的D1错误率已经降低到1%以下，性能提升十分显著。从精度与速度的平衡角度来看，不同算法的表现可以分为三类：第一类是高精度大模型，代表性算法包括GwcNet、CASNet、StereoTransformer等，这类算法参数量通常在50M以上，在KITTI数据集上的D1错误率低于1.5%，但推理速度较慢，1080P图像的推理时间通常在100ms以上，适合对精度要求高、实时性要求较低的三维重建、离线建模等场景；第二类是轻量级实时模型，代表性算法包括LiteStereo、MobileStereoNet、RAFT-Stereo（轻量版）等，这类算法参数量通常在10M以下，1080P图像的推理时间可以控制在30ms以内，D1错误率在2%-3%之间，适合自动驾驶、机器人导航等实时性要求高的场景；第三类是无监督/自监督模型，代表性算法包括Monodepth2、DROID-Stereo等，这类算法不需要成对的标注数据进行训练，仅利用左右视图的一致性约束或者视频序列的时序约束进行学习，跨域泛化能力较强，在标注数据稀缺的场景下具有明显优势，但其精度通常低于监督学习模型，D1错误率在3%-5%之间。从泛化能力来看，目前大多数监督学习的立体匹配算法存在严重的域偏移问题，在仿真数据集（如SceneFlow）上训练的模型直接迁移到真实场景（如KITTI、Middlebury）时，D1错误率通常会上升3-5倍。造成这一问题的主要原因是仿真数据与真实数据在光照、纹理、成像畸变等方面存在分布差异，且仿真数据无法完全模拟真实场景中的复杂情况。针对这一问题，目前的研究方向主要包括域自适应训练、数据增强策略、自监督微调等，2023年提出的DomainAdapStereo算法通过对抗学习实现了仿真数据到真实数据的域自适应，跨域测试时的D1错误率下降了40%，大幅提升了算法的泛化能力。五、现存挑战与未来发展方向尽管基于深度学习的立体匹配算法已经取得了显著进展，但在实际落地过程中仍然面临诸多挑战。首先是极端场景下的鲁棒性问题，在强反光、透明物体、薄结构、大面积弱纹理等极端场景下，现有算法的误匹配率仍然较高，难以满足工业级应用的需求。例如自动驾驶场景中，路面的水渍反光、玻璃幕墙的透明特性、交通标志的重复纹理都容易导致匹配错误，进而影响后续的环境感知与决策系统。其次是低资源场景下的性能瓶颈，目前大多数高精度算法依赖大参数量的神经网络与高性能GPU，在嵌入式设备、边缘计算设备上的推理速度难以满足实时性要求，如何设计轻量级、低功耗的立体匹配网络是落地的关键。第三是标注成本高昂的问题，监督学习的立体匹配算法需要大量的成对立体图像与高精度深度标注数据，而真实场景的深度标注通常需要昂贵的激光雷达设备，标注成本极高，限制了算法在小众场景下的应用。未来，基于深度学习的立体匹配算法的发展方向主要集中在四个方面：第一是多模态融合立体匹配，将立体视觉与激光雷达、毫米波雷达、事件相机等传感器进行融合，利用不同传感器的优势互补，提升极端场景下的鲁棒性。例如事件相机具有高动态范围、低延迟的特性，能够在高速运动、高光照变化场景下提供稳定的像素级变化信息，与传统RGB立体匹配结合可以大幅提升动态场景下的匹配精度。第二是基础模型与大模型技术的引入，利用大规模多场景数据集预训练立体匹配基础模型，通过少量数据微调即可适配不同的下游场景，解决域偏移与标注成本高的问题。2024年已有研究团队尝试利用大语言模型的视觉理解能力，为立体匹配提供高层语义约束，提升语义相关区域（如车辆、行人）的匹配精度。第三是端到端的任务联合学习，将立体匹配与目标检测、语义分割、三维跟踪等下游任务进行联合训练，让深度估计更好地服务于下游任务，提升整体系统的性能与效率。第四是可解释性与可靠性提升，目前的深度学习立