基于Python的深度学习图像处理 课件 第六章 基于深度学习的图像增强

第六章基于深度学习的图像增强穷究于理·成就于工0203方法与流程发展动向01研究意义与目的目录效果展示与分析04穷究于理·成就于工01研究意义与目的图像增强概述图像增强（ImageEnhancement）是图像处理中的重要组成部分。图像增强是有目的地强调图像的整体特征或局部特性，例如改善图像的颜色、亮度和对比度等，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，提高图像的视觉效果。图像对比度增强前后对比图图像增强目的图像增强的目的：·改善图像的视觉效果，提高图像的清晰度。·将图像转化为更适合计算机或人分析、处理的形式。即图像增强的目的是使其比原始图像更适合于特定应用。图像增强的方法是因应用不同而不同的。研究意义图像增强技术在现代图像处理领域中具有重要而广泛的应用，其主要目标是通过对图像进行各种处理和优化，以提升图像的视觉效果和信息质量。这项技术对于提高图像质量、恢复细节、降噪处理、增强对比度、调整动态范围、颜色校正、边缘检测、特征提取、医学影像分析以及作为预处理步骤都具有重要的意义。图像增强技术意义提高图像质量对比度增强帮助细节恢复颜色校正和增强图像降噪处理调整动态范围增强图像的清晰度、对比度和亮度，使图像更加鲜明和可辨识。这对于日常摄影、视频处理以及各种显示设备的校准非常重要。提高图像质量通过锐化和边缘增强技术，恢复和突出图像中的细节，使微小的特征更加明显。这在显微镜图像、卫星图像和其他需要高分辨率细节的领域具有重要意义。帮助细节恢复通过调整图像的对比度，使不同区域的差异更加明显，便于观察和分析。例如，在医学影像中，提高对比度有助于医生更好地识别病变区域。对比度增强研究意义去除图像中的噪声，如高斯噪声、椒盐噪声等，提升图像的纯净度和清晰度。这在医学影像、低光照图像和夜视图像中尤为重要。图像降噪处理通过扩展或压缩图像的动态范围，使得图像中亮部和暗部的细节都能得到充分展现。这对于高动态范围成像（HDR）和低光照成像非常关键。调整动态范围调整和增强图像的色彩，使图像更加逼真和生动。此技术广泛应用于摄影、印刷和显示设备校准等领域。颜色校正和增强02发展动向图像增强发展的两个阶段把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。传统图像增强方法对于一张原始图像和一张目标图像，学习它们之间的映射关系，来得到增强后的图像。对比于传统方法，基于深度学习的方法极大地改善了图像增强的质量，更有发展前景，因此该方法已经成为图像增强的主流方法。基于深度学习的图像增强方法频率域法空间域法基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。频率域法

该方法是把图像看成一种二维信号，对其经傅里叶变换后的频谱成分进行处理，然后经逆傅里叶变换获得所需的图像，其流程图如下图所示。原图像为f(x,y)，经傅里叶变换为F(u,v)，频率域增强就是选择合适的滤波器H(u,v)对F(u,v)的频谱成分进行处理，然后经逆傅里叶变换得到增强的图像g(x,y)。常用的滤波器有低通滤波器和高通滤波器，通过低通滤波法去掉图中的噪声；通过高通滤波法增强边缘等高频信号，使模糊的图片变得清晰。频率域法频率域法流程图空间域法该方法是对图像中的像素点进行操作，表达式如下，其中f(x,y)是原图像；h(x,y)为空间转换函数；g(x,y)表示进行处理后的图像。该方法可分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种，平滑一般用于消除图像噪声，但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓，便于目标识别。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。空间域法空间域法表达式g(x,y)=f(x,y)h(x,y)基于深度学习的图像增强方法基于深度学习(DeepLearning)的图像增强方法，依靠模型训练的方法，将训练好的模型进行图像增强，不再依靠人为经验获取。近来，众多科研者相继提出了各种基于深度学习的方法，用于处理各种图像增强的问题。基于深度学习的图像增强方法通过利用强大的神经网络和多种先进技术，实现了对图像质量的显著提升。这些方法在图像清晰化、去噪、去模糊、超分辨率重建等方面表现出色，推动了图像处理技术的发展和应用。深度学习图像增强方法未来发展结合多任务学习传统图像增强方法基于深度学习的图像增强方法结合多任务学习：深度学习模型还可以结合多任务学习（MTL）来实现图像增强和其他任务的联合训练，从而提升模型的泛化能力和效率。例如，将图像增强和图像分割、物体检测等任务结合起来，能够在一套模型中实现多种功能。多任务学习优势：·共享特征，提高效率。·提高泛化能力。·减少数据需求。·协同优化。03方法与流程基于深度学习的图像增强技术基于深度学习的图像增强方法近年来取得了显著的进展，成为图像处理领域的热门研究方向。这些方法利用卷积神经网络（CNN）对图像进行自动学习和优化，取得了传统方法难以达到的效果。卷积神经网络结构图基于深度学习的图像增强技术流程1.数据收集与准备：图像增强的第一步是准备好数据集。这些数据集包含了大量的图像样本，例如是低光照增强模型，那么数据集就要符合低光照的要求，数据的质量和多样性对最终模型的表现至关重要。2.数据预处理：在进入模型训练之前，通常需要对数据进行预处理。这包括图像的大小标准化、颜色空间转换、增强（如旋转、裁剪、缩放）、去噪等操作，以提高模型的鲁棒性和准确性3.深度学习模型：根据具体的任务要求选择合适的深度学习模型架构，如卷积神经网络（CNN）。CNN由多个卷积层、池化层和全连接层组成，能够有效地提取图像特征，并在训练过程中逐步优化模型参数以实现更出色的效果。4.模型训练与优化：使用准备好的数据集对选定的深度学习模型进行训练。训练过程中，模型通过反向传播算法不断调整权重和偏差，以最小化预测值与实际之间的误差。5.模型部署与应用：当模型训练和评估都达到预期的性能后，可以将其部署到实际应用中。部署可能涉及到将模型集成到移动设备、服务器端或者嵌入式系统中，以便实时进行图像增强任务。基于深度学习的图像增强技术流程基于深度学习的图像增强技术基于深度学习的图像增强技术种类繁多，涵盖了从基本的图像质量提升到特定应用场景的多种方法。·低光照增强技术旨在提升在低光照条件下拍摄的图像质量。这类技术通过深度学习模型增强图像的亮度和细节，减少噪声。低光照增强01·图像去噪技术用于去除图像中的各种噪声，如高斯噪声和椒盐噪声，使图像更加纯净。图像去噪02·图像去模糊技术用于消除图像中的运动模糊或对焦模糊，使图像更加清晰。图像去模糊03基于深度学习的图像增强技术·图像修复技术用于填补图像中缺失或损坏的部分，使图像恢复完整。图像修复04·颜色增强技术用于调整和增强图像的色彩，使其更加鲜艳和逼真。图像颜色增强05·对比度增强技术用于提高图像中不同区域的差异，使得图像更加鲜明和清晰。图像对比度增强06这些基于深度学习的图像增强技术广泛应用于摄影、医学影像、视频监控、遥感图像处理等领域，显著提升了图像质量和应用效果。低光照图像增强

在图像捕捉中，光照不足会显著降低图像的可见性。细节的丢失和低对比度不仅会造成不愉快的主观感受，而且会损害许多针对正常光线图像设计的计算机视觉系统的性能。造成图像光照不足的原因有很多，比如光照环境限制，摄影设备性能有限，设备配置不当。为了使隐藏的细节可见，提高当前计算机视觉系统的主观体验和可用性，需要对弱光图像进行增强。低光照图增强后图随着深度神经网络的快速发展，CNN已广泛应用于低层次图像处理。一类弱光增强的方法是建立在Retinex理论上的，该理论假设观测到的彩色图像可以分解为反射率和照度。RetinexNet网络建立在Retinex理论上，集成了图像分解和后续增强操作。该网络特点如下：图像增强实例RetinexNet3提出了一种结构感知的图像深度分解全变分约束。使用在真实场景中捕获的配对低/正常光图像构建大规模数据集。12这是基于Retinex模型构建深度学习图像分解，复合网络与连续弱光增强网络进行端到端训练。RetinexNet网络结构图像增强实例RetinexNet下图展示RetinexNet网络整体结构，图中，S表示原图像，其中R代表反射率，I代表照度即物体上的各种亮度。RetinexNet增强过程分为分解、调整和重构三个步骤。在分解步骤中，子网分解网络Decom-Net将输入图像分解为反射率R和照度I。在接下来的调整步骤中，基于增强网络Enhance-Net的编码器-解码器使照明变亮。同时引入多尺度拼接，从多尺度角度调节照明，反射系数上的噪声也在这一步被去除。最后，对调整后的照度I’和反射率R’进行重构，得到增强后的图像S’。图像增强实例RetinexNet分解网络Decom-Net结构图分解网络Decom-Net是一个五层的卷积神经网络，将图像对中的低照度图像和正常图像作为输入数据送入卷积神经网络进行分解，最后得到光照图像和反射率图像，根据Retinex理论反射图像基本接近，但是两者光照图像相差很大，这样把每一张训练图像进行分解，然后再送入后面的增强网络进行训练。图像增强实例RetinexNet增强网络Enhance-Net结构图增强网络Enhance-Net是一个九层的卷积神经网络，利用relu进行激活，中间还进行最邻近差值的resize操作。图像增强实例RetinexNet数据集用于训练与测试RetinexNet的数据集包括训练集与测试集。使用的数据集，称为低光配对数据集(LOL)，包含500个低/正常光图像对。低光配对数据集(LOL)是第一个包含来自真实场景的图像对的数据集，用于弱光增强。大多数低光图像是通过改变曝光时间和ISO来收集的，而相机的其他配置是固定的。其中包含从各种场景中捕捉图像，例如房屋、校园、俱乐部、街道。将上述500对图像的LOL数据集分成485对用于训练，另外15对用于评估。因此，该网络在485个真实情况图像对和1000个合成图像对上进行训练。图像增强实例RetinexNetRetinexNet网络训练与测试流程损失函数损失函数L由重建损失Lrecon

、不变反射率损失Lir

以及照明平滑度损失Lis构成：分别为平衡反射一致性和光照平滑度的系数。04效果展示与分析效果展示和分析这里采用LOL数据集中的低/正常光图像对，下列三张图片分别是上面三张图片增强后的效果，不难看出，增强后的图像在亮度，对比度方面都远优于增强前的图像，这是得益于网络中decomm-net可以在文本和平滑区域中从一对光线条件完全不同的图像中提取基本一致的反射率。低光图像的反射率与正常光图像的反射率相似，只是在真实场景中出现了放大的黑暗区域噪声。另一方面，照明图描绘了图像上的明度和阴影。

为了客观的评价本网络的增强效果，还需进行全参考和无参考评价指标两个方面对实验结果进行分析。其中，全参考质量评价指标选择了PSNR和SSIM，无参考图像质量评价指标则选择NIQE。下表显示了结果图像的PSNR值和SSIM值。其中，PSNR值越高，表示图像质量越好。SSIM值越接近1，表示图像质量越好。第二个表