基于深度学习的图像去雾算法研究结题报告

基于深度学习的图像去雾算法研究结题报告一、研究背景与问题提出在计算机视觉领域，图像作为信息传递的重要载体，其质量直接影响后续目标检测、图像分割、场景理解等任务的准确性。然而，在实际采集过程中，图像常受雾霾、沙尘、烟雾等恶劣天气影响，导致图像对比度降低、色彩失真、细节模糊。这种降质现象不仅影响人类视觉体验，更制约了智能交通、安防监控、遥感测绘等依赖高质量图像的行业发展。传统图像去雾算法主要基于物理模型，如暗通道先验算法、大气散射模型等。这类算法通过分析图像的统计特性和物理规律，试图还原清晰图像。但它们存在明显局限性：一是对复杂场景适应性差，当场景中存在大面积天空、白色物体等不符合暗通道先验假设的区域时，去雾效果会出现明显伪影；二是计算复杂度高，难以满足实时处理需求；三是无法有效处理非均匀雾天场景，如近雾浓、远雾淡的梯度雾环境。随着深度学习技术在计算机视觉领域的突破性进展，其强大的特征学习能力为图像去雾带来了新的解决方案。深度学习模型能够从大量数据中学习雾天图像与清晰图像之间的复杂映射关系，无需依赖人工设计的先验规则，在处理复杂场景时展现出更优的性能。因此，本研究聚焦于基于深度学习的图像去雾算法，旨在突破传统算法的瓶颈，实现更高效、更鲁棒的图像去雾效果。二、相关研究现状分析（一）基于监督学习的去雾算法监督学习是深度学习图像去雾的主流方向之一，其核心是利用成对的雾天图像和对应清晰图像作为训练数据，让模型学习两者之间的映射关系。早期的监督去雾算法多采用卷积神经网络（CNN）作为基础架构，例如Cai等人提出的DehazeNet，首次将CNN应用于图像去雾任务，通过提取图像的多尺度特征，预测大气光值和透射率，进而基于大气散射模型还原清晰图像。该算法在合成数据集上取得了优于传统算法的效果，但在真实雾天场景中泛化能力不足。随后，研究者们不断优化网络结构，提升模型的特征提取能力。Ren等人提出的AOD-Net摒弃了传统的大气散射模型，直接学习从雾天图像到清晰图像的端到端映射，减少了模型对物理参数的依赖，进一步提高了去雾效率。此外，生成对抗网络（GAN）也被引入图像去雾领域，通过构建生成器和判别器的对抗训练，让生成的清晰图像更接近真实分布。例如，CycleGAN实现了无成对数据的图像风格迁移，被应用于雾天与清晰图像之间的转换，一定程度上解决了成对训练数据稀缺的问题。（二）基于无监督学习的去雾算法由于真实场景中获取成对的雾天与清晰图像难度较大，无监督学习去雾算法逐渐成为研究热点。这类算法无需成对数据，通常利用图像的内在一致性、多帧图像之间的时序信息或单帧图像的统计特性进行训练。例如，Li等人提出的DCPDN算法，基于暗通道先验构建损失函数，让模型在无成对数据的情况下学习去雾能力。还有研究者利用同一场景下的多帧雾天图像，通过分析图像之间的变化信息，估计雾的分布并实现去雾。无监督学习算法虽然解决了数据获取难题，但也存在训练难度大、去雾效果不稳定等问题。如何设计有效的无监督损失函数，让模型准确学习雾天图像的降质规律，仍是当前研究的重点与难点。（三）基于Transformer的去雾算法近年来，Transformer架构凭借其强大的全局注意力机制，在计算机视觉领域展现出巨大潜力。与CNN的局部感受野不同，Transformer能够捕捉图像长距离依赖关系，更适合处理图像去雾中雾的全局分布特性。例如，Chen等人提出的TransWeather，将Transformer与CNN相结合，利用Transformer提取全局特征，CNN提取局部细节特征，在多种恶劣天气去雾任务中取得了优异成绩。基于Transformer的去雾算法虽然在性能上有显著提升，但也存在计算复杂度高、对硬件资源要求高的问题。如何在保证性能的前提下，降低模型的计算量和参数量，是该方向未来的研究重点。三、本研究算法设计（一）算法整体架构本研究提出一种基于多尺度特征融合与注意力机制的深度学习图像去雾算法，命名为MSA-DehazeNet（Multi-ScaleFeatureFusionandAttentionMechanismbasedDehazeNet）。算法整体架构分为三个部分：多尺度特征提取模块、注意力特征增强模块和图像重建模块。多尺度特征提取模块采用金字塔结构，通过不同大小的卷积核和池化操作，提取图像的浅层细节特征、中层语义特征和高层全局特征。浅层特征保留了图像的边缘、纹理等细节信息，中层特征包含了图像的物体轮廓和局部结构，高层特征则反映了图像的整体场景和语义信息。注意力特征增强模块引入通道注意力和空间注意力机制，对多尺度特征进行加权优化。通道注意力机制通过学习不同特征通道的重要性，抑制无用特征，增强关键特征；空间注意力机制则聚焦于图像中雾浓度较高的区域，对这些区域的特征进行重点增强，提升模型对非均匀雾的处理能力。图像重建模块将经过注意力增强的多尺度特征进行融合，通过反卷积和上采样操作，还原出清晰的图像。为了避免特征融合过程中的信息丢失，模块中引入了残差连接，让模型能够更高效地学习雾天图像与清晰图像之间的残差映射。（二）损失函数设计损失函数是深度学习模型训练的关键，直接影响模型的学习方向和最终性能。本研究设计了一种多损失函数组合策略，包括感知损失、内容损失和对抗损失，从不同维度约束模型的训练过程。感知损失：基于预训练的VGG网络，计算生成清晰图像与真实清晰图像在高层特征空间中的距离。感知损失能够让生成的图像在语义层面更接近真实图像，避免出现视觉上的不自然感。具体计算公式为：[L_{perceptual}=\frac{1}{W_{i,j}H_{i,j}}\sum_{x=1}^{W_{i,j}}\sum_{y=1}^{H_{i,j}}\left|\phi_{i,j}(G(I))-\phi_{i,j}(I_{gt})\right|2^2]其中，(\phi{i,j})表示VGG网络第(i)个池化层后的第(j)个特征图，(G(I))表示模型生成的清晰图像，(I_{gt})表示真实清晰图像，(W_{i,j})和(H_{i,j})分别为特征图的宽度和高度。内容损失：采用L1损失函数，计算生成图像与真实图像在像素层面的差异。内容损失能够保证生成图像的像素值尽可能接近真实图像，提升图像的整体清晰度。计算公式为：[L_{content}=\frac{1}{WH}\sum_{x=1}^{W}\sum_{y=1}^{H}\left|G(I)(x,y)-I_{gt}(x,y)\right|]其中，(W)和(H)分别为图像的宽度和高度，((x,y))表示图像的像素坐标。对抗损失：基于生成对抗网络的思想，构建判别器对生成图像和真实图像进行区分，生成器则通过对抗训练让生成图像尽可能接近真实图像分布。对抗损失能够提升生成图像的真实感，减少伪影的产生。计算公式为：[L_{adversarial}=-\mathbb{E}{I{gt}\simP_{data}}\left[\logD(I_{gt})\right]-\mathbb{E}{I\simP{fog}}\left[\log(1-D(G(I)))\right]]其中，(D)表示判别器，(P_{data})表示真实清晰图像的分布，(P_{fog})表示雾天图像的分布。最终的总损失函数为三者的加权和：[L_{total}=\alphaL_{perceptual}+\betaL_{content}+\gammaL_{adversarial}]其中，(\alpha)、(\beta)、(\gamma)为损失函数的权重系数，通过实验调优确定。（三）网络结构细节多尺度特征提取模块：该模块包含三个分支，分别对应不同尺度的特征提取。第一个分支采用3×3卷积核，步长为1，提取图像的浅层细节特征；第二个分支先进行2×2最大池化操作，再使用5×5卷积核提取中层语义特征；第三个分支先进行4×4最大池化操作，再使用7×7卷积核提取高层全局特征。每个分支后都接有批量归一化（BN）层和ReLU激活函数，以加速模型收敛并增强非线性表达能力。注意力特征增强模块：通道注意力机制采用挤压-激励（SE）模块，通过全局平均池化将每个通道的特征压缩为一个标量，再通过两个全连接层学习通道权重，最后将权重与原特征相乘得到通道加权后的特征。空间注意力机制则通过对特征图进行全局最大池化和全局平均池化，将结果拼接后经过1×1卷积生成空间注意力图，再与原特征相乘实现空间维度的加权。图像重建模块：将经过注意力增强的多尺度特征通过拼接操作融合在一起，然后依次通过3个3×3卷积层和1个1×1卷积层，逐步恢复图像的分辨率和细节信息。最后通过Tanh激活函数将输出像素值映射到[0,1]区间，得到最终的清晰图像。模块中引入了多个残差连接，将输入特征与卷积后的特征相加，有效缓解了深度网络的梯度消失问题。四、实验设计与结果分析（一）数据集与实验环境数据集：本研究采用合成数据集与真实数据集相结合的方式进行训练和测试。合成数据集选用RESIDE数据集，该数据集包含13990对合成雾天图像和清晰图像，分为训练集、验证集和测试集，涵盖了多种场景和雾浓度。真实数据集选取了O-Haze和D-Haze数据集，包含真实雾天场景下的图像，用于测试模型在真实场景中的泛化能力。实验环境：实验基于PyTorch深度学习框架进行，硬件环境为IntelCorei9-10900KCPU、NVIDIAGeForceRTX3090GPU，内存为32GB。模型训练采用Adam优化器，初始学习率设置为0.0001，每经过10个epoch学习率衰减为原来的0.5，训练总epoch数为50。（二）评价指标为了客观评估模型的去雾效果，本研究采用以下三种常用评价指标：峰值信噪比（PSNR）：衡量生成图像与真实图像之间的像素误差，数值越大表示图像质量越高。计算公式为：[PSNR=10\log_{10}\left(\frac{MAX_I^2}{MSE}\right)]其中，(MAX_I)表示图像像素的最大可能值（通常为255），(MSE)表示生成图像与真实图像的均方误差。结构相似性指数（SSIM）：从亮度、对比度、结构三个方面衡量图像的相似性，取值范围为[0,1]，数值越接近1表示图像结构越相似。计算公式为：[SSIM(x,y)=\frac{(2\mu_x\mu_y+C_1)(2\sigma_{xy}+C_2)}{(\mu_x^2+\mu_y^2+C_1)(\sigma_x^2+\sigma_y^2+C_2)}]其中，(\mu_x)、(\mu_y)分别为图像(x)和(y)的均值，(\sigma_x^2)、(\sigma_y^2)分别为方差，(\sigma_{xy})为协方差，(C_1)、(C_2)为常数，用于避免分母为0。视觉信息保真度（VIF）：衡量图像的信息保真程度，反映了去雾后图像保留原始清晰图像信息的能力，数值越大表示信息保真度越高。（三）对比实验与结果分析与传统算法对比：选取暗通道先验算法（DCP）、引导滤波算法（GF）作为传统算法代表，与本研究算法在RESIDE测试集上进行对比。实验结果如表1所示，本研究算法在PSNR、SSIM和VIF指标上均显著优于传统算法，其中PSNR提升了约3-5dB，SSIM提升了0.1以上。视觉效果方面，传统算法在处理包含天空、白色物体的场景时，容易出现颜色失真和伪影，而本研究算法能够更准确地还原图像细节和色彩，去雾效果更自然。算法PSNR（dB）SSIMVIFDCP22.340.780.56GF23.120.810.61本研究算法27.890.920.85表1与传统算法对比实验结果与深度学习算法对比：选取DehazeNet、AOD-Net、CycleGAN等主流深度学习去雾算法进行对比。实验结果如表2所示，本研究算法在各项指标上均取得了最优成绩，PSNR比DehazeNet提升了2.1dB，比AOD-Net提升了1.5dB。分析原因，主要是本研究算法通过多尺度特征融合和注意力机制，更全面地捕捉了图像的特征信息，能够更好地处理复杂雾天场景。在真实数据集O-Haze和D-Haze上的测试结果显示，本研究算法同样表现出更优的泛化能力，在真实雾天场景中去雾效果更稳定。算法PSNR（dB）SSIMVIFDehazeNet25.790.880.79AOD-Net26.390.890.81CycleGAN24.870.860.76本研究算法27.890.920.85表2与深度学习算法对比实验结果消融实验：为了验证本研究算法中各模块的有效性，进行了消融实验。分别去除多尺度特征融合模块、通道注意力模块、空间注意力模块，对比模型性能变化。实验结果如表3所示，去除多尺度特征融合模块后，PSNR下降了1.2dB，SSIM下降了0.03，说明多尺度特征融合能够有效提升模型的特征提取能力；去除通道注意力模块后，PSNR下降了0.8dB，SSIM下降了0.02，说明通道注意力能够增强关键特征的表达；去除空间注意力模块后，PSNR下降了1.0dB，SSIM下降了0.025，说明空间注意力有助于模型聚焦于雾浓度高的区域，提升去雾效果。三个模块的共同作用使得本研究算法取得了最优性能。模型变体PSNR（dB）SSIMVIF完整模型27.890.920.85去除多尺度融合26.690.890.82去除通道注意力27.090.900.83去除空间注意力26.890.8950.825表3消融实验结果（四）实时性分析除了去雾效果，实时性也是图像去雾算法的重要性能指标。本研究在RESIDE测试集上对模型的推理速度进行了测试，输入图像尺寸为640×480，模型在GPU上的平均推理时间为23ms，能够满足实时处理需求（通常认为推理时间小于50ms即可达到实时）。与AOD-Net（推理时间18ms）相比，本研究算法的推理速度略有下降，但远优于基于Transformer的去雾算法（如TransWeather推理时间约为80ms）。综合去雾效果和实时性，本研究算法在实际应用中具有更高的实用价值。五、研究创新点与不足（一）创新点多尺度特征融合与注意力机制结合：本研究提出的算法将多尺度特征融合与通道、空间注意力机制相结合，既能够全面提取图像的不同层次特征，又能够对关键特征进行重点增强，有效提升了模型在复杂雾天场景下的去雾能力。多损失函数组合策略：设计了感知损失、内容损失和对抗损失相结合的总损失函数，从像素层面、语义层面和分布层面多维度约束模型训练，使得生成的清晰图像在清晰度、真实感和细节保留上均表现优异。良好的泛化能力：通过合成数据集与真实数据集相结合的训练方式，以及网络结构的优化设计，模型在真实雾天场景中展现出良好的泛化能力，能够有效处理不同场景、不同雾浓度的图像去雾任务。（二）研究不足极端场景处理能力有待提升：在面对极端雾天场景，如浓雾、强逆光雾天等，模型的去雾效果仍存在一定提升空间，可能出现细节丢失、色彩还原不准确等问题。模型轻量化程度不足：虽然本研究算法的推理速度能够满足实时需求，但模型参数量仍较大，约为25M，在资源受限的嵌入式设备上部署存在一定难度。未来需要进一步探索模型轻量化方法，如模型剪枝、量化、知识蒸馏等。缺乏对动态视频去雾的研究：本研究主要聚焦于单帧图像去雾，而实际应用中视频去雾需求同样广泛。视频去雾不仅需要考虑单帧图像的去雾效果，还需要保证帧间的时间一致性，避免出现闪烁、跳变等问题。后续研究可将算法扩展到视频去雾领域。六、研究成果与应用前景（一）研究成果本研究成功提出了一种基于多尺度特征融合与注意力机制的图像去雾算法，通过大量实验验证了算法的有效性和优越性。相关研究成果已整理为学术论文，拟投稿至计算机视觉领域的知名期刊和会议。同时，算法代码已进行开源，供其他研究者参考和使用，推动图像去雾技术的进一步发展。（二）应用前景智能交通领域：在雾天天气下，本