基于深度学习的图像去雨研究综述

基于深度学习的图像去雨研究综述一、图像去雨任务的核心挑战自然场景下的降雨过程会在成像平面上形成复杂的视觉退化效应，这种退化并非简单的噪声叠加，而是受到雨滴物理属性、气象条件、拍摄参数等多维度因素的共同影响。从成像机理来看，降雨对图像的干扰主要分为三个层级：首先是雨滴本身的光学特性，单个雨滴的形状、大小、运动速度、折射率会导致其在图像中呈现为亮斑、条纹或半透明遮挡，直径在0.1mm至6mm之间的雨滴，在普通消费级相机1/60s的曝光时间下，会形成长度从几像素到几十像素不等的动态模糊条纹，且条纹方向与相机和雨滴的相对运动方向直接相关；其次是雨层的累积效应，中到大雨场景下，大量雨滴在空间中分布形成半透明雨幕，会导致整体图像对比度下降、颜色饱和度降低、远景细节模糊，类似均匀雾效但存在空间分布的不均匀性；最后是场景交互效应，雨滴撞击地面、建筑表面形成的水花、积水反射，以及雨滴附着在相机镜头上形成的光斑、污渍，会进一步引入非线性退化，传统图像恢复方法难以对这类复杂耦合效应建模。传统图像去雨方法主要基于模型驱动的思路，典型包括基于高斯混合模型的Rainstreak建模、基于字典学习的稀疏表示方法、基于低秩分解的雨层分离框架等。这类方法通常对雨纹的形状、分布、稀疏性做先验假设，例如假设雨纹是方向一致的线性结构、雨层与背景层在变换域具有不同的稀疏性。但这类先验假设在真实复杂场景下往往失效：当存在倾斜降雨、多方向雨纹、暴雨导致的密集遮挡，或者背景本身包含类似雨纹的线性结构（如电线、树枝、建筑纹理）时，传统方法容易出现雨纹残留、背景纹理过度平滑、结构失真等问题。2016年之前，公开的图像去雨数据集主要为合成数据集，仅包含简单背景和均匀雨纹，导致传统方法在真实场景测试集上的峰值信噪比（PSNR）普遍低于25dB，结构相似性（SSIM）不足0.8，难以满足自动驾驶、视频监控、航空遥感等下游任务的精度要求。二、基于深度学习的图像去雨方法演进脉络2017年，CVPR会议上首次出现基于卷积神经网络的图像去雨端到端模型，标志着该领域正式进入深度学习时代，其发展历程大致可分为三个阶段。（一）早期探索阶段（2017-2018年）：单网络端到端恢复这一阶段的研究核心是验证深度学习在图像去雨任务上的有效性，模型结构大多借鉴图像超分辨率、去噪领域的成熟架构。代表性工作包括：雨纹直接去除网络：采用类似U-Net的编码器-解码器结构，直接学习rainyimage到cleanimage的端到端映射。这类方法将雨纹视为特殊噪声，通过堆叠卷积层提取多尺度特征，利用跳跃连接保留背景细节信息，在当时的合成数据集上PSNR较传统方法提升2-3dB。但这类模型没有对雨纹的物理特性进行建模，泛化能力较差，在真实场景下容易出现过度拟合合成雨纹模式、真实雨纹去除不彻底的问题。雨层分离网络：受传统低秩分解思路启发，将图像分解为背景层和雨层两个分支，通过约束雨层的稀疏性、方向一致性来提升分离效果。典型代表是2017年提出的ResGuideNet，在网络中引入雨纹方向引导模块，通过梯度算子先提取雨纹的方向特征，再指导后续的分离过程，这类方法一定程度上缓解了背景纹理被误去除的问题，但对多方向混合雨纹的处理能力仍然有限。这一阶段暴露的核心问题是合成数据与真实数据的分布差异。由于早期公开数据集多为人工合成，雨纹形状、分布与真实降雨存在显著差异，导致模型在合成数据集上表现优异，迁移到真实场景时性能骤降，即出现严重的域偏移问题。（二）物理先验融合阶段（2019-2021年）：特性建模提升泛化性研究人员逐渐意识到，单纯依赖数据驱动的网络结构无法解决复杂场景下的去雨问题，需要将降雨的物理成像模型与深度学习网络相结合，通过引入显式物理先验约束提升模型的泛化能力。这一阶段的研究方向主要包括：基于成像模型的深度展开网络：将传统的迭代优化去雨算法展开为深度网络的层级结构，每一层对应传统算法的一次迭代步骤，同时将迭代参数作为网络的可学习参数。这类方法既保留了物理模型的可解释性，又通过深度学习提升了建模能力，典型代表是2019年提出的DID-MDN网络，将雨纹的动态模糊生成模型嵌入网络结构，能够自适应估计不同场景下的雨模糊核，在真实雨景数据集上的PSNR较纯数据驱动方法提升1.5dB以上。雨纹属性感知网络：引入注意力机制、多尺度特征融合模块，专门针对雨纹的尺度、方向、密度属性进行建模。例如2020年提出的RAinaNet，设计了雨密度感知分支，先对输入图像的降雨密度进行分类，再根据密度参数自适应调整后续去雨模块的卷积核大小和感受野，解决了单一网络难以同时处理小雨、中雨、暴雨等不同降雨强度的问题。针对多方向雨纹问题，研究人员提出了可变形卷积、方向敏感卷积等模块，能够根据雨纹的实际方向调整卷积核的采样位置，避免固定方向卷积核导致的雨纹残留。基于Transformer的长距离依赖建模：2021年之后，Transformer架构开始被引入图像去雨领域，利用自注意力机制捕获雨纹的全局分布特征。传统卷积神经网络的感受野有限，难以捕捉大范围分布的雨幕、雨层的整体统计特性，而Transformer的全局注意力机制能够建模雨纹与背景之间的长距离依赖关系，尤其在处理大面积均匀雨幕时效果显著提升。代表性工作SwinIR-rain在多个公开数据集上取得了当时的SOTA性能，在RealRain真实数据集上的SSIM首次突破0.92。（三）真实场景适配阶段（2022年至今）：域适应与多模态融合随着自动驾驶、户外机器人等场景对去雨算法鲁棒性要求的提升，研究重点逐渐从实验室合成数据转向真实复杂场景，核心解决真实场景下无配对训练数据、多干扰因素耦合的问题。无监督/弱监督去雨方法：针对真实场景下难以获取配对的rainy/clean图像的问题，研究人员提出了基于生成对抗网络（GAN）的无监督去雨框架，通过引入循环一致性约束、雨纹生成模型，仅利用非配对的真实雨景图像和清晰图像即可完成训练。2023年提出的USRNet进一步提出了半监督训练策略，仅需要10%的配对数据即可达到全监督方法95%的性能，大幅降低了数据标注成本。多模态图像去雨：利用除RGB图像之外的其他传感器信息辅助去雨，典型包括深度图像、红外图像、事件相机数据等。例如在自动驾驶场景中，毫米波雷达的深度信息不受降雨影响，能够提供准确的场景几何结构，将深度特征与RGB特征融合，可有效区分雨纹和背景中的线性结构；红外图像能够感知物体的热辐射特征，雨纹的热辐射特性与背景物体存在显著差异，融合红外特征可显著提升低光照、暴雨场景下的去雨精度。特定场景定制化去雨：针对不同下游任务的需求，研究人员开始设计面向特定场景的轻量化去雨模型。例如面向嵌入式设备的实时去雨模型，通过知识蒸馏、神经网络结构搜索（NAS）等方法，将模型参数压缩到1M以内，在手机端、车载边缘设备上可实现30FPS以上的实时处理；面向视频监控的去雨模型，引入帧间时序信息，利用相邻帧的互补内容去除动态雨纹，同时避免视频帧之间的闪烁问题。三、主流基准数据集与评价体系图像去雨领域的数据集建设与方法研究同步推进，目前公开数据集可分为合成数据集和真实数据集两大类，支撑了算法的定量评估与性能对比。（一）合成数据集合成数据集通过计算机图形学方法生成配对的雨景图像与清晰背景图像，具有标注准确、可控性强的特点，是早期算法训练的主要数据来源。Rain100L/Rain100H：2017年发布的经典合成数据集，包含1000对训练图像和100对测试图像，其中Rain100L为小雨场景，雨纹稀疏、透明度高；Rain100H为大雨场景，雨纹密集、遮挡严重，是目前使用最广泛的基准数据集。Rain800：包含800个不同背景场景，合成了不同方向、不同密度、不同大小的雨纹，总计24000对训练图像，极大提升了模型的泛化能力。RainMotion：专门针对动态雨纹和视频去雨任务构建的数据集，包含不同运动速度、不同运动方向的雨纹序列，提供了帧间光流标注，支持视频去雨算法的时序一致性评估。（二）真实数据集真实数据集通过在实际降雨场景下拍摄，或者通过相机硬件同步拍摄同一场景的雨景与清晰图像构建，更能反映算法在实际应用中的性能。RealRain：2019年发布的首个大规模真实雨景数据集，通过在相同场景下分别在雨天和晴天拍摄，构建了400对真实配对图像，涵盖城市街道、公园、建筑等多种场景，包含小雨、中雨、暴雨等不同降雨强度。Rain1200：包含1200张真实雨景图像，同时提供了人工标注的雨纹mask和清晰参考图像，支持雨层分离效果的定量评估。NightRain：专门针对夜间降雨场景构建的数据集，包含低光照、霓虹灯干扰、镜头光晕等复杂退化模式，填补了夜间去雨任务的评估空白。（三）评价指标图像去雨的评价指标分为全参考指标和无参考指标两类：全参考指标：依赖清晰参考图像，最常用的包括峰值信噪比（PSNR）、结构相似性（SSIM）、学习感知图像块相似度（LPIPS）。其中PSNR衡量去雨图像与参考图像的像素级误差，单位为dB，数值越高表示失真越小；SSIM衡量图像的结构、亮度、对比度相似性，取值范围为0到1，越接近1表示结构保留越好；LPIPS基于深度特征计算相似度，更符合人类视觉感知。无参考指标：适用于没有清晰参考图像的真实场景评估，代表性指标包括自然图像质量评估器（NIQE）、盲/无参考图像空间质量评估器（BRISQUE），通过统计图像的自然场景统计特性来评估去雨结果的真实性。下游任务指标：面向实际应用场景，还会通过下游任务的性能变化来间接评估去雨效果，例如在自动驾驶场景下，统计去雨前后目标检测算法的mAP变化、语义分割算法的IoU变化，更能体现去雨算法的实用价值。四、当前研究热点与待解决问题尽管基于深度学习的图像去雨研究已经取得了显著进展，但在真实复杂场景下的鲁棒性、泛化性仍然存在诸多挑战，当前的研究热点主要集中在以下几个方向：第一，极端降雨场景下的去雨问题。目前大多数算法在处理暴雨、特大暴雨场景时性能骤降，这类场景下雨纹密度极高，背景信息被严重遮挡，仅依靠单帧RGB图像的信息不足以恢复缺失的背景内容。现有研究尝试引入生成式AI技术，通过扩散模型学习自然场景的先验知识，对被遮挡的背景内容进行合理补全，但如何保证生成内容的真实性、避免出现幻觉是需要解决的核心问题。2024年最新提出的DiffRain模型将去雨任务转化为条件图像生成任务，以雨景图像为条件引导扩散模型的生成过程，在暴雨场景下的PSNR较传统判别式模型提升2dB以上，但生成速度较慢，单张图像处理需要数秒，难以满足实时应用需求。第二，动态场景与视频去雨的时序一致性问题。视频去雨不仅需要去除单帧内的雨纹，还需要保证帧间内容的连续性，避免出现雨纹残留闪烁、背景内容抖动的问题。传统基于单帧的去雨算法直接应用于视频时，由于相邻帧的去雨结果存在微小差异，会导致明显的时序闪烁。现有方法通过引入光流估计、时序注意力模块来建模帧间依赖，但在存在快速运动物体、大视角变化的场景下，光流估计精度下降，仍然难以保证稳定的时序一致性。如何将动态场景建模与去雨网络深度耦合，实现高效、稳定的视频去雨，是面向车载、监控等应用的关键问题。第三，边缘设备上的轻量化实时去雨。大多数高性能去雨模型参数量大、计算复杂度高，难以部署在算力有限的嵌入式设备、手机端、车载边缘计算平台上。目前的轻量化方法主要采用知识蒸馏、模型量化、神经架构搜索等技术，在尽量不损失精度的前提下压缩模型体积和计算量。2023年发布的MobileRain系列模型，通过NAS搜索得到轻量化的模型结构，参数仅为0.8M，在骁龙8Gen2芯片上可实现1080P图像30FPS的实时处理，精度仅比SOTA模型低0.3dB，已经达到了落地应用的水平。但面向更低算力的微控制器、物联网设备，还需要进一步探索更高效的模型设计方法。第四，多退化因素耦合的去雨问题。真实户外场景下，降雨往往与雾霾、低光照、运动模糊等其他退化因素同时存在，现有去雨算法大多仅针对单一雨退化设计，在多退化耦合场景下性能显著下降。例如雨天夜间场景，同时存在雨纹、低光照、噪声、镜头光晕等多种退化，单一去雨模型无法同时处理所有退化类型。当前研究的一个重要方向是构建统一的图像恢复框架，能够自适应处理多种混合退化，无需针对每种退化单独训练模型。2024年提出的UniRestore框架，通过引入退化类型感知模块，可在同一个模型中实现去雨、去雾、去噪、低光照增强等多种任务，性能接近各单任务SOTA模型的水平。第五，去雨算法的公平性与鲁棒性评估。现有基准数据集的场景分布存在偏向性，主要以城市街道、自然景观为主，针对特殊场景如高空遥感、水下拍摄、红外成像等的测试数据不足，导致算法在这些场景下的性能无法得到有效验证。同时，现有评估指标主要关注平均性能，对最坏场景下的性能关注不足，例如算法在90%的场景下表现良好，但在10%的极端场景下出现严重失效，这对于自动驾驶等高安全要求的应用是不可接受的。如何构建更全面的测试基准，设计更完善的鲁棒性评估指标，也是未来需要重点解决的问题。五、典型应用场景与落地实践基于深度学习的图像去雨技术已经开始在多个领域实现产业化落地，成为户外视觉系统不可或缺的预处理模块。在自动驾驶领域，车载摄像头在雨天拍摄的图像会出现严重退化，导致目标检测、语义分割等感知算法的精度下降30%以上，是影响雨天自动驾驶安全性的核心瓶颈之一。目前主流的自动驾驶企业已经将去雨模块集成到感知预处理pipeline中，采用多模态融合的去雨方案，结合摄像头、毫米波雷达、激光雷达的多源数据，在中雨场景下可将感知算法的mAP提升20%以上，暴雨场景下提升15%以上。针对车载场景的特殊需求，去雨模型需要满足车规级的功能安全要求，不仅要保证平均性能，还要保证在所有极端场景下不会出现严重的输出错误，同时需要达到微秒级的处理延迟，满足实时性要求。在安防监控领域，户外摄像头在雨天的监控画面质量下降，会导致人脸识别、行为分析、异常事件检测等算法的准确率大幅降低。传统的监控系统主要依赖人工调整摄像头参数、加装雨刷等硬件方式解决降雨干扰问题，效果有限。现在的智能监控系统已经集成了端侧AI去