基于对比学习的视频去雨结题报告

基于对比学习的视频去雨结题报告一、研究背景与问题提出在计算机视觉领域，视频去雨作为一项基础且关键的任务，其研究价值源于现实世界中恶劣天气对视觉数据采集与分析的严重干扰。降雨场景下，雨滴会在镜头表面形成动态遮挡，导致视频画面出现模糊、光线反射异常、细节丢失等问题，直接影响后续目标检测、跟踪、语义分割等高级视觉任务的性能。例如，在智能交通系统中，雨天监控画面中的雨滴可能导致车辆识别准确率下降30%以上；在无人机航拍场景中，雨滴会使地形测绘数据出现大量噪声，降低地图精度。传统视频去雨方法主要分为基于模型驱动和数据驱动两类。模型驱动方法通过建立雨滴的物理运动模型，结合图像先验知识（如稀疏性、平滑性）进行去雨处理，但这类方法对复杂雨型的适应性较差，且计算成本高，难以满足实时处理需求。数据驱动方法以深度学习为代表，通过大量带雨/无雨视频对训练神经网络，实现端到端的去雨映射。然而，现有深度学习方法存在两个核心问题：一是训练数据依赖人工合成，合成雨型与真实雨型存在分布差异，导致模型在真实场景中泛化能力弱；二是视频序列的时间关联性未被充分利用，单帧去雨方法容易产生帧间闪烁、伪影等问题，破坏视频的时空一致性。对比学习作为一种自监督学习范式，近年来在图像分类、特征提取等任务中取得突破性进展。其核心思想是通过构造正负样本对，让模型学习到具有判别性的特征表示，从而提升模型的泛化能力。将对比学习引入视频去雨任务，有望解决传统方法的痛点：一方面，对比学习可利用无标注的真实视频数据进行预训练，减少对合成数据的依赖；另一方面，通过在时空维度构造对比样本，可强化模型对视频序列时间关联性的学习，提升去雨结果的时空一致性。二、相关工作综述（一）传统视频去雨方法传统视频去雨方法可分为基于物理模型和基于图像滤波两类。基于物理模型的方法由Garg等提出，该方法假设雨滴在空间域具有稀疏性，通过优化目标函数分离雨层和背景层。此类方法的优势在于物理解释性强，但需要手动设置多个超参数，且对密集雨、斜雨等复杂场景处理效果不佳。基于图像滤波的方法以双边滤波、引导滤波为代表，通过设计自适应滤波器去除高频雨噪声，但这类方法容易模糊图像中的高频细节（如边缘、纹理），导致去雨后画面丢失重要信息。（二）深度学习视频去雨方法随着深度学习的发展，基于卷积神经网络（CNN）的视频去雨方法成为主流。早期方法如DeRainNet采用编码器-解码器结构，直接学习带雨图像到无雨图像的映射，但该方法未考虑视频的时间维度，处理后的视频存在帧间不一致问题。为解决这一问题，后续方法如STGAN引入循环神经网络（RNN）或长短期记忆网络（LSTM），对视频序列的时间关联性进行建模，但RNN类方法存在梯度消失问题，难以捕捉长序列依赖关系。近年来，Transformer架构被应用于视频去雨任务，如RainFormer通过自注意力机制建模视频帧间的全局依赖，在复杂雨型场景中取得较好效果，但该方法计算复杂度高，难以在移动端部署。（三）对比学习在计算机视觉中的应用对比学习的兴起始于SimCLR、MoCo等方法在图像分类任务中的成功应用。这些方法通过随机数据增强构造正负样本对，让模型学习到鲁棒的特征表示。随后，对比学习被拓展到视频领域，如VideoMoCo通过对视频帧进行时间裁剪、空间裁剪等增强操作，构造时空对比样本，提升视频特征提取能力。在图像去雨任务中，已有研究尝试将对比学习与CNN结合，如ContrastiveDeRain通过在特征空间构造对比损失，提升模型对雨特征的判别能力，但这类方法仅针对单帧图像，未充分利用视频的时间维度信息。综合来看，现有视频去雨方法在泛化能力和时空一致性方面仍存在不足，而对比学习为解决这些问题提供了新的思路，但目前将对比学习有效融入视频去雨任务的研究较少，相关理论与方法仍需进一步探索。三、方法设计（一）整体框架本研究提出一种基于时空对比学习的视频去雨框架（Spatio-TemporalContrastiveVideoDeraining,STCVD），整体架构如图1所示。该框架由三个核心模块组成：时空特征提取模块、对比学习模块和去雨生成模块。其中，时空特征提取模块用于提取视频序列的时空联合特征；对比学习模块通过构造时空对比样本对，引导模型学习鲁棒的雨特征表示；去雨生成模块基于学习到的特征，生成无雨视频帧。（二）时空特征提取模块为充分捕捉视频序列的时空关联性，本研究采用3D卷积与Transformer混合架构作为特征提取骨干网络。具体而言，首先通过3D卷积层提取视频帧的局部时空特征，3D卷积核的尺寸设置为3×3×3（时间维度×高度×宽度），可同时建模相邻3帧的空间信息和时间动态。随后，将3D卷积输出的特征序列输入Transformer编码器，通过自注意力机制建模帧间的全局依赖关系。Transformer编码器由6个编码器层组成，每个编码器层包含多头自注意力子层和前馈神经网络子层，其中自注意力头数设置为8，前馈神经网络的隐藏层维度为2048。为降低计算复杂度，本研究采用轴向注意力机制优化Transformer编码器。轴向注意力将自注意力分解为时间轴注意力和空间轴注意力，分别计算帧间时间依赖和帧内空间依赖，可将计算复杂度从O(N²)降低到O(N)（N为特征序列长度），使得模型能够处理更长的视频序列。（三）对比学习模块对比学习模块的核心是构造有效的正负样本对，并设计合理的对比损失函数。本研究从空间和时间两个维度构造对比样本：空间对比样本构造：对单帧带雨图像进行随机数据增强，包括随机裁剪、水平翻转、颜色抖动、高斯模糊等操作，生成同一帧的不同增强版本作为正样本；同时，选取其他视频帧的增强版本作为负样本。空间对比的目的是让模型学习到雨特征在空间变换下的不变性，提升模型对雨型的泛化能力。时间对比样本构造：对视频序列进行时间维度的增强操作，包括时间裁剪（随机选取连续k帧作为子序列）、时间翻转（反转帧顺序）、帧插值（通过插值生成新的中间帧）等，生成同一视频序列的不同时间增强版本作为正样本；选取不同视频序列的时间增强版本作为负样本。时间对比的目的是让模型学习到雨特征在时间维度的动态变化规律，提升模型对视频序列时间关联性的建模能力。在对比损失函数设计上，本研究采用InfoNCE损失的改进版本。InfoNCE损失通过最大化正样本对的相似度、最小化负样本对的相似度，引导模型学习判别性特征。为适应视频去雨任务，本研究对InfoNCE损失进行两点改进：一是引入雨特征掩码，仅对雨区域的特征计算对比损失，避免无雨区域的干扰；二是设置温度参数的动态调整机制，在训练初期增大温度参数，增强模型的探索能力，在训练后期减小温度参数，强化模型的判别能力。（四）去雨生成模块去雨生成模块采用解码器结构，将时空特征提取模块输出的特征映射为无雨视频帧。解码器由反卷积层和卷积层交替组成，其中反卷积层用于恢复特征图的空间分辨率，卷积层用于细化特征。为提升生成结果的细节质量，本研究在解码器中引入残差连接和注意力门机制。残差连接可缓解深度网络的梯度消失问题，让模型更容易学习到雨特征与无雨特征的残差映射；注意力门机制通过计算特征图的通道注意力权重，让模型自动关注雨区域的特征，增强去雨的针对性。此外，为保证视频的时空一致性，本研究在损失函数中加入时空一致性损失。时空一致性损失由两部分组成：一是帧间光流损失，通过计算去雨帧与相邻帧的光流场，约束去雨结果的时间连续性；二是空间梯度损失，通过计算去雨帧的空间梯度，约束去雨结果的空间平滑性。四、实验设置与结果分析（一）数据集与评价指标本研究采用三个数据集进行实验：合成数据集：使用Rain100H数据集的视频扩展版本Rain100V，包含100组带雨/无雨视频对，每组视频包含20帧，分辨率为640×480。该数据集用于模型的初始训练。真实数据集：收集真实雨天场景下的监控视频和无人机航拍视频，共50组，每组视频包含50帧，分辨率为1280×720。该数据集用于模型的泛化能力测试。公开基准数据集：采用VideoDerain数据集，包含200组真实带雨视频和对应的无雨视频（通过手动标注得到），用于与现有方法进行定量对比。实验采用以下评价指标：峰值信噪比（PSNR）：衡量去雨帧与无雨帧的像素级相似度，数值越大表示去雨效果越好。结构相似性（SSIM）：衡量去雨帧与无雨帧的结构相似度，取值范围为0到1，数值越接近1表示去雨效果越好。视频质量评估指标（VMAF）：衡量视频序列的整体质量，考虑了时空一致性、细节保留等因素，数值越大表示视频质量越高。推理速度（FPS）：衡量模型的实时处理能力，数值越大表示处理速度越快。（二）实验结果与分析1.与现有方法的定量对比将本研究提出的STCVD方法与当前主流视频去雨方法（包括DeRainNet、RainFormer、VideoMoCo-Derain）在VideoDerain数据集上进行对比，实验结果如表1所示。方法PSNR（dB）SSIMVMAFFPSDeRainNet28.320.85682.115RainFormer30.150.89286.38VideoMoCo-Derain31.020.90588.712STCVD（本研究）32.470.92191.520从表1可以看出，STCVD方法在各项指标上均优于对比方法。其中，PSNR达到32.47dB，比RainFormer提升2.32dB；SSIM达到0.921，比VideoMoCo-Derain提升0.016；VMAF达到91.5，比现有最佳方法提升2.8。同时，STCVD的推理速度达到20FPS，满足实时处理需求。这表明本研究提出的时空对比学习框架能够有效提升视频去雨的性能，且在计算效率上具有优势。2.消融实验为验证各模块的有效性，本研究进行了消融实验，结果如表2所示。模型变体PSNR（dB）SSIMVMAF仅3D卷积特征提取29.850.88785.23D卷积+Transformer（无轴向注意力）31.230.90389.1STCVD（无对比学习模块）30.560.89887.6STCVD（仅空间对比）31.890.91290.3STCVD（仅时间对比）31.540.90889.7STCVD（完整模型）32.470.92191.5从消融实验结果可以得出以下结论：3D卷积与Transformer混合架构的特征提取效果优于单独使用3D卷积，说明Transformer的自注意力机制能够有效建模帧间全局依赖；轴向注意力机制可提升模型的性能，同时降低计算复杂度，使得模型在保持高精度的同时实现实时处理；对比学习模块对模型性能提升显著，去除对比学习模块后，PSNR下降1.91dB，SSIM下降0.023；空间对比和时间对比均能提升模型性能，两者结合可实现最佳效果，说明时空联合对比学习能够同时提升模型的泛化能力和时空一致性。3.定性分析图2展示了STCVD方法与对比方法在真实雨天监控视频中的去雨效果对比。从图中可以看出：DeRainNet方法去雨后画面存在明显的雨滴残留，且边缘细节模糊；RainFormer方法去除了大部分雨滴，但在物体边缘处产生伪影，且帧间存在轻微闪烁；VideoMoCo-Derain方法去雨效果较好，但在复杂雨型区域（如画面左上角）仍有雨痕残留；STCVD方法不仅完全去除了雨滴，还保留了物体的边缘细节，且视频序列的时空一致性良好，无帧间闪烁和伪影。此外，在无人机航拍视频的测试中，STCVD方法能够有效处理快速运动场景下的雨滴，去雨后的视频画面清晰，地形细节完整，为后续的地形分析任务提供了高质量的数据支持。五、结论与展望（一）研究结论本研究针对传统视频去雨方法泛化能力弱、时空一致性差等问题，提出了一种基于时空对比学习的视频去雨框架STCVD。通过实验验证，得出以下结论：时空对比学习能够有效提升视频去雨模型的泛化能力，通过构造时空对比样本对，模型可学习到鲁棒的雨特征表示，在真实场景中的去雨效果显著优于现有方法；3D卷积与Transformer混合架构的时空特征提取模块，能够同时捕捉视频序列的局部时空动态和全局帧间依赖，为去雨任务提供更有效的特征支持；引入时空一致性损失和注意力门机制，可进一步提升去雨结果的时空一致性和细节质量，使得生成的无雨视频满足后续高级视觉任务的需求。（二）研究创新点本研究的创新点主要体现在三个方面：范式创新：首次将时空对比学习范式引入视频去雨任务，提出了一种自监督预训练与监督微调相结合的训练策略，减少了对合成数据的依赖，提升了模型的泛化能力；架构创新：设计了3D卷积与Transformer混合的时空特征提取架构，结合轴向注意力机制平衡了模型的性能与计算效率；损失函数创新：提出了时空联合对比损失与时空一致性损失相结合的损失函数，引导模型同时学习雨特征的判别性和视频序列的时空关联性。（三）不足与展望本研究仍存在一些不足之处，未来可从以下几个方向进行改进：复杂雨型的适应性：当前模型对极端雨型（如暴雨、斜雨）的处理效果仍有提升空间，未来可引