基于深度学习的单目深度估计方法研究综述

基于深度学习的单目深度估计方法研究综述深度学习技术的爆发式发展为单目深度估计领域带来了革命性突破，相较于传统依赖几何约束、多视图匹配或主动传感器的深度感知方案，基于单张RGB图像的深度估计方法凭借硬件成本低、场景适配性强、部署门槛低等优势，已成为计算机视觉领域的研究热点，被广泛应用于自动驾驶、三维重建、增强现实、机器人导航等多个核心产业场景。近年来，相关研究围绕精度提升、泛化性优化、鲁棒性增强等核心目标，从网络架构设计、监督范式创新、跨域适配策略、多任务联合学习等多个维度展开了系统性探索，形成了多条差异化的技术演进路径。一、单目深度估计的技术基础与问题定义单目深度估计的本质是从二维RGB图像中回归出每个像素对应的三维空间深度值，即建立从二维像素空间到三维深度空间的非线性映射。从数学层面看，该任务本质是一个典型的病态问题：相同的二维投影可能对应无数种三维场景布局，深度信息在成像过程中已经发生不可逆丢失，因此算法需要通过学习图像中的深度线索（如纹理变化、透视关系、物体大小、遮挡关系、光影分布等）来推断合理的深度分布。传统方法多依赖人工设计的特征和几何先验，例如基于消失点估计场景结构、通过纹理梯度推算深度、利用聚焦/散焦程度判断距离等，但这类方法在无纹理区域、复杂光照场景、非结构化环境中往往精度骤降，难以适配真实世界的复杂场景。深度学习方法的核心优势在于能够通过大量数据自动学习隐式的深度特征，无需人工设计先验规则。早期的深度学习深度估计方法将任务视为逐像素回归问题，直接采用卷积神经网络（CNN）对图像进行编码，再通过解码层输出对应的深度图。2014年Eigen等人首次将深度卷积神经网络应用于单目深度估计任务，提出的多尺度深度网络通过coarse-to-fine的架构，先由全局粗尺度网络预测整体深度布局，再由局部细尺度网络优化细节，在NYUDepthv2数据集上首次实现了超越传统方法的精度，正式拉开了深度学习时代单目深度估计的研究序幕。二、基于监督范式的单目深度估计方法演进根据训练阶段对标注数据的依赖程度，基于深度学习的单目深度估计方法可分为全监督、半监督、弱监督和自监督四大类，不同范式的技术路径和适用场景存在显著差异。全监督方法是发展最早、理论最成熟的技术路线，其核心是利用成对的RGB图像与真实深度图（通常由LiDAR、Kinect等传感器采集）作为训练数据，通过最小化预测深度与真实深度之间的损失函数优化网络参数。早期全监督方法多聚焦于损失函数的设计，相较于常用的L1、L2损失，研究人员提出了多种更适配深度估计任务的损失函数：例如尺度不变损失（SILog）能够缓解深度值分布不均匀、远距离深度误差被放大的问题；梯度匹配损失可以约束深度图的边缘结构与图像边缘对齐，避免深度图过度平滑；结构相似性损失（SSIM）则从感知层面提升深度图的视觉合理性。在网络架构层面，U-Net及其衍生结构凭借优秀的多尺度特征融合能力成为主流的编码器-解码器框架，后续研究通过引入残差模块、注意力机制、金字塔池化模块进一步提升特征提取能力。2020年提出的DORN网络创新性地将深度估计转化为有序回归问题，通过划分深度区间并预测区间概率，大幅提升了复杂场景下的深度估计精度，成为全监督方法的经典标杆。但全监督方法的落地瓶颈十分明显：高质量的深度标注数据采集成本极高，尤其是室外大场景下，LiDAR点云存在稀疏性、遮挡点、运动畸变等问题，难以获得逐像素的稠密深度真值。针对这一痛点，半监督与弱监督方法应运而生。半监督方法通常利用少量带标注数据和大量无标注数据联合训练，通过一致性正则化、伪标签生成、师生模型蒸馏等策略降低对标注数据的依赖。例如部分研究提出在训练中对无标注图像施加几何一致性约束：同一图像经过仿射变换后，其预测深度也应满足对应的变换关系，以此作为自监督信号辅助训练。弱监督方法则进一步放宽了标注要求，无需逐像素深度真值，仅依赖更易获取的稀疏深度点、相对深度关系、视频序列、甚至语义标签作为监督信号。例如仅利用图像中“点A比点B更远”这类相对深度标注，即可训练网络输出符合深度顺序关系的结果，标注成本仅为稠密真值的1%以下。近年来，随着大模型技术的发展，基于预训练视觉大模型的弱监督深度估计方法展现出极强的性能优势，利用LAION等大规模图像文本对预训练的模型，仅需少量弱标注数据微调，即可在跨场景泛化性上超越传统全监督方法。自监督单目深度估计是近年来产业界最受关注的技术路线，其核心优势是完全无需深度标注，仅利用视频序列、立体图像对中的几何约束作为自监督信号。该范式的核心思想是基于相机投影几何建立视图合成的监督：对于相邻帧的图像，若已知相机运动参数和场景深度，则可通过深度图将源图像像素投影到目标帧视角，合成目标帧图像，最小化合成图像与真实图像的差异即可作为训练的损失信号。2017年提出的Monodepth2是该领域的里程碑工作，通过引入最小重投影损失、自动掩码策略解决了动态物体、遮挡区域的误差问题，大幅提升了自监督方法的精度，使其性能首次接近全监督方法。后续研究围绕自监督的约束优化展开了大量探索：针对动态场景下运动物体违反静态场景假设的问题，研究人员提出将动态物体语义分割与深度估计联合训练，对运动区域单独施加运动约束；针对相机运动未知的场景，提出将位姿估计网络与深度估计网络联合训练，同时输出深度和相机姿态；针对低纹理、反光区域的重建误差，引入语义先验、深度平滑约束、法线一致性约束等辅助信号提升稳定性。当前最新的自监督方法已经能够在KITTI等自动驾驶数据集上达到与全监督方法相当的精度，且无需任何人工标注，极大降低了落地成本，成为车载、消费级设备深度感知的首选方案。三、面向复杂场景的性能优化技术路径现有单目深度估计方法在标准数据集上已经取得了较高精度，但在真实落地场景中仍面临诸多挑战：包括跨域泛化性差、极端光照下鲁棒性不足、尺度模糊问题、小物体/远距离区域精度低等，针对这些痛点的优化研究构成了近年来的技术热点。跨域适配是解决模型泛化性问题的核心技术。当前主流深度估计模型往往在特定数据集上训练后，直接迁移到其他场景时精度会出现断崖式下降，例如在室内NYU数据集训练的模型无法直接用于室外自动驾驶场景，在晴天场景训练的模型在雨天、雾天性能骤降。域自适应方法通过对齐源域与目标域的特征分布解决这一问题，常用的技术包括基于对抗学习的域对齐、基于风格迁移的图像域转换、基于自训练的伪标签微调等。针对无标注目标域的适应场景，研究人员提出了多种零样本域适应策略，利用预训练大模型的泛化能力，通过提示工程、特征对齐，使模型无需微调即可适配未知域。近年来提出的通用深度估计模型尝试构建覆盖所有场景的大一统模型，通过在混合了室内、室外、全天候、多传感器的大规模数据集上预训练，实现了跨场景的零样本泛化，例如2023年提出的DPT-Large模型，在超过10个不同来源的深度数据集上联合训练后，无需微调即可在未知场景下达到媲美域内监督模型的精度。尺度一致性优化针对单目深度估计的固有痛点：单张图像缺乏绝对尺度信息，模型输出的深度往往是相对深度，无法直接用于需要真实物理尺度的场景（如自动驾驶避障、三维重建）。解决尺度模糊问题主要有三类路径：一是在训练阶段引入尺度约束，例如利用相机内参、已知物体的真实尺寸（如车道线宽度、汽车标准大小）作为先验，约束输出深度的物理尺度；二是在推理阶段融合少量绝对尺度信息，例如通过单帧图像中的已知参照物、或者低精度的传感器（如单频GPS、IMU）提供的尺度线索，对相对深度进行尺度校准；三是结合时序信息，利用视频序列中相机运动的平移量作为尺度约束，在SLAM系统中联合优化深度与位姿，同时恢复尺度信息。当前最新的单目深度估计模型已经能够通过融合语义先验，在多数场景下实现误差小于5%的绝对尺度估计，基本满足车载、机器人等场景的尺度需求。边缘与小物体精度提升是面向高阶应用的关键优化方向。传统深度估计模型往往存在深度图过度平滑、小物体深度被周围背景同化、边缘轮廓模糊的问题，难以满足高精度三维重建、细粒度场景理解的需求。针对这一问题，研究人员从多个维度提出解决方案：在网络架构层面，引入高分辨率特征保留机制，例如采用HRNet作为主干网络，避免下采样过程中丢失细节信息；在损失函数层面，设计边缘感知损失，对图像梯度大的区域赋予更高的损失权重，强制深度边缘与图像边缘对齐；在特征融合层面，引入语义分割特征作为辅助，利用语义边界约束深度边界，例如同一语义实例内部的深度应满足连续性约束，不同语义实例之间的深度边缘应与语义边缘对齐。近年来提出的分层深度估计方法尝试将深度估计与实例分割联合，先检测图像中的所有物体实例，再分别预测每个实例的深度与背景深度，最后融合得到完整深度图，大幅提升了小物体、遮挡区域的深度精度。四、多模态与多任务联合学习框架为了进一步提升单目深度估计的性能上限，近年来越来越多的研究开始探索多模态输入融合与多任务联合学习的技术路径，充分利用多种传感器信息和相关任务的关联特性，实现性能的协同提升。多模态融合方法通过引入额外的传感器信号辅助深度估计，常用的融合模态包括事件相机数据、红外图像、稀疏LiDAR点云、惯性测量单元（IMU）数据等。与普通RGB相机相比，事件相机具有高动态范围、低延迟、无运动模糊的优势，在高速运动、高动态光照场景下能够提供RGB图像缺失的边缘与运动信息，融合事件数据的深度估计模型在自动驾驶、高速机器人场景下的鲁棒性提升显著。而稀疏LiDAR点云与RGB图像的融合是当前车载深度感知的主流方案：LiDAR能够提供高精度的稀疏深度真值，但点云密度低、成本高，RGB图像纹理信息丰富但深度估计精度不足，二者融合后可以用极低的LiDAR线束（如16线）实现媲美64线LiDAR的稠密深度感知效果，大幅降低硬件成本。多模态融合的核心挑战在于如何实现不同模态特征的有效对齐与互补，当前主流方法包括早期融合（输入层直接拼接）、中期融合（特征层跨模态注意力）、晚期融合（输出层结果加权）三类，其中基于Transformer的跨模态注意力架构凭借强大的特征关联能力，已经成为多模态深度估计的主流技术框架。多任务联合学习则利用计算机视觉任务之间的内在关联性，让深度估计与语义分割、表面法线估计、光流估计、实例分割等任务共享特征编码器，通过多任务监督信号提升特征的鲁棒性，同时降低模型的整体参数量和计算量。深度估计与语义分割的关联性最强：语义信息能够提供场景的结构先验（例如天空的深度为无穷远、地面深度连续变化、同一物体深度范围相对固定），而深度信息能够辅助语义分割区分不同深度的同类物体。研究表明，联合训练深度估计与语义分割的模型，两个任务的精度均能得到3%-5%的提升，且模型参数量仅为单独训练两个模型的60%。此外，深度估计与表面法线估计的联合训练能够通过几何约束互相优化：深度图的梯度与表面法线存在严格的数学关系，将二者联合训练可以减少不合理的深度突变，提升深度图的几何一致性。面向端侧部署的轻量化多任务模型已经成为消费级设备的研究热点，例如手机端的AR应用、智能家居的人体感知场景，往往需要同时输出深度、语义、姿态等多种信息，联合学习框架能够在极低的算力开销下满足多任务需求。五、应用落地与未来发展方向当前基于深度学习的单目深度估计技术已经进入大规模落地阶段，在多个产业场景展现出极高的应用价值。在自动驾驶领域，单目深度估计已经成为激光雷达感知方案的重要补充，部分低阶自动驾驶方案甚至采用纯视觉深度估计作为主要的深度感知来源，结合BEV（鸟瞰图）感知框架，能够实现150米范围内的精度可靠的三维障碍物检测，大幅降低自动驾驶的硬件成本。在消费电子领域，最新的旗舰手机已经搭载单目深度估计功能，用于人像模式的背景虚化、三维重建、AR测量等场景，无需额外的TOF传感器即可实现接近专业设备的效果。在机器人领域，服务机器人、扫地机器人、工业机器人通过单目深度估计实现实时的三维环境感知与避障，成本仅为传统深度传感器方案的1/3。尽管已经取得了显著进展，单目深度估计领域仍存在诸多待解决的问题，未来的研究方向主要集中在三个层面：一是大