《数字图像处理》课件-第四章基于深度学习的图像去噪

第四章基于深度学习的图像去噪穷究于理·成就于工02方法与流程发展动向01研究意义与目的目录效果展示与分析04穷究于理·成就于工0301研究意义和目的穷究于理·成就于工图像去噪的意义提升视觉感知和审美体验去除图像中的噪声能够使图像更清晰、更真实，从而提升观看者的视觉体验和审美感受。无论是在艺术作品中还是在日常摄影中，清晰的图像能够更好地传达信息和情感。增强图像处理和分析的准确性在科学研究、医学影像、监控系统等领域，噪声会干扰图像处理和分析的准确性。去噪可以帮助提高图像分割、目标检测、特征提取等算法的效果，从而更精确地提取和分析图像中的信息。12改善图像存储和传输效率去除噪声后的图像通常具有更高的压缩率，可以在不损失质量的情况下减少存储和传输所需的带宽和空间。这对于网络传输、云存储以及移动设备上的应用尤为重要。3图像去噪的意义增强图像识别和机器视觉的性能在自动驾驶、工业视觉、安防监控等领域，图像质量直接影响到机器学习和深度学习模型的训练和识别效果。去噪可以提高图像的识别率和分类准确性，从而增强机器视觉系统的性能和可靠性。保护隐私和安全在监控系统和安全领域，去噪可以帮助提取清晰的人脸特征和物体轮廓，从而更精确地进行识别和跟踪，保护个人隐私并提高安全性。45图像去噪的现实应用在医学影像学中，如CT扫描、MRI等图像常常受到噪声干扰，这可能会影响诊断的准确性。图像去噪技术可以帮助医生更清晰地观察和分析图像，从而提高诊断的精确度和可靠性。医学影像处理自动驾驶系统和机器视觉应用中，清晰的实时图像是确保系统安全和精确识别环境的关键。图像去噪有助于提升传感器数据的质量，增强系统对周围环境的感知能力。自动驾驶监控摄像头拍摄的图像常常受到光线变化、大气干扰等因素影响，会产生各种类型的噪声。图像去噪可以使得监控图像更加清晰，提高监控系统对异常事件的检测能力。监控与安防深度学习在图像去噪领域的应用深度学习在图像去噪中的作用深度学习在图像去噪中发挥了重要作用，其主要优势在于能够利用大量数据进行端到端的学习，从而学习到复杂的图像噪声模式和去噪方式。深度学习在图像去噪中的应用不断推动了该领域的进展，使得现代去噪方法更加精确、自适应和适用于各种复杂的噪声情况。12深度学习技术对图像去噪技术发展的推进深度学习技术，特别是卷积神经网络（CNN）和生成对抗网络（GAN），在图像去噪中得到了广泛应用。这些方法能够学习复杂的噪声模型和去噪映射，从而在保持图像细节的同时有效地去除噪声，比传统方法更加高效和准确。02发展动向图像去噪技术发展的五个阶段传统方法阶段早期的图像去噪方法主要依赖于数学和信号处理技术，如均值滤波、高斯滤波、中值滤波等。这些方法简单直观，但对复杂噪声和图像细节的保留效果有限。小波变换和变分方法阶段小波变换在图像处理中得到广泛应用，它能够在时频域上提供更好的局部信息。小波变换结合变分方法，如小波阈值去噪和总变分去噪，使得去噪效果有了显著提高，能够更好地保留图像的细节和结构。基于学习的方法的兴起随着机器学习和深度学习技术的发展，基于学习的图像去噪方法逐渐兴起。最初的尝试包括基于稀疏编码和字典学习的方法，这些方法能够通过学习训练数据集中的噪声模型来去除噪声。图像去噪技术发展的五个阶段深度学习方法的主导近年来，深度学习，特别是卷积神经网络（CNN）和生成对抗网络（GAN），成为图像去噪领域的主导技术。CNN在图像去噪中被用于学习复杂的噪声模型和去噪映射，而GAN则通过对抗训练的方式生成真实、清晰的图像，使得去噪效果更加精确和高效。多模态和实时处理的进展最新的发展趋势包括多模态图像去噪，即同时处理多种类型的噪声；以及实时图像去噪，通过优化算法和硬件加速来实现实时处理需求。这些技术进展使得图像去噪在各种应用场景中更加实用和普及。深度学习在图像去噪领域的未来发展方向更复杂的噪声模型处理目前大部分深度学习方法在处理高斯噪声或均匀噪声方面已经有了较好的应对能力，未来的发展将更加关注处理更复杂和更多样化的噪声模型，如混合噪声、非均匀噪声等。结构化噪声的处理对于一些特定应用场景中的结构化噪声，如条纹噪声、色斑噪声等，未来的研究将致力于开发能够针对这些特定结构进行优化的深度学习模型。12多模态图像去噪针对多传感器数据融合、多光谱数据处理等多模态图像去噪问题，未来将探索如何结合多个传感器或多个数据源的信息，进一步提高去噪效果和图像质量。3深度学习在图像去噪领域的未来发展方向小样本学习和自适应学习针对在实际应用中可能遇到的小样本数据问题，未来的研究将注重如何通过迁移学习、元学习等方法，实现在少量标记样本下的高效去噪学习。实时性和效率的提升随着硬件性能的提升和深度学习模型的优化，未来的图像去噪方法将更加注重实时性和计算效率，以适应大规模图像处理和实时应用需求。45结合物理模型结合深度学习模型与传统的物理模型，如偏微分方程、统计模型等，以提高去噪效果和模型的解释性，是未来研究的一个重要方向。603方法与流程实例：基于深度学习的图像去噪网络FFDNetFFDNet是由张凯在2018年提出的一种代表性基于深度学习的图像去噪网络。FFDNet是一种快速灵活的去噪卷积神经网络，其通过获取可调噪声级图像作为输入可以处理不同层次和空间上的噪声变体。FFDNet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景，从而使得整个网络可以实现盲去噪。12穷究于理·成就于工实例：基于深度学习的图像去噪网络FFDNetFFDNet工作原理FFDNet网络中的卷积神经网络每一层是由三种类型的运算组成:卷积(Conv)，激活函数(ReLU)和批量归一化(BN)构成。具体来说，采用“Conv+ReLU”第一个卷积层，中间为“Conv+BN+ReLU”层，“Conv”表示最后一个卷积层。补零是用来保持特征图的大小不变每次卷积之后。在最后一个卷积层之后采用一个上采样运算以估计去噪图像，形成去噪子图，并最终获得去噪图像。穷究于理·成就于工实例：基于深度学习的图像去噪网络FFDNet用于训练与测试FFDNet的数据集包括训练集与测试集训练集包括：①灰度噪声图像数据集，采用BSD400dataset和WaterlooExplorationDatabase。BSD400由400张png格式的图片组成，训练时裁剪成180×180像素的尺寸·WaterlooExploration由4744张png格式的自然场景图片组成。②彩色噪声图像数据集，采用BSD432，WaterlooExplorationDatabase和polyU-Real-World-Noisy-Imagesdatasets。polyU-Real-World-Noisy-Imagesdatasets由尺寸为2784×1856像素的真实噪声图像组成（它们由NikonD800、Canon5DMarkII、SonyA7II、Canon80DandCanon600D获得）。实例：基于深度学习的图像去噪网络FFDNet用于训练与测试FFDNet的数据集包括训练集与测试集测试集包括：①灰度噪声图像数据集，采用Set12和BSD68。Set12包含12个场景，BSD68包含68张自然图像。②彩色噪声图像数据集：采用CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。Kodak24和McMaster分别包含24张和18张彩色噪声图像。CC包含15张不同ISO（1600、3200和6400）的真实噪声图像。DND包含50张真实噪声图像，清晰图像由低ISO捕获。NC12包含12张噪声图像，没有清晰的Groundtruth。SIDD包含来自智能手机的真实噪声图像，有320对噪声以及清晰的Groundtruth图像。Nam包含11个场景，以JPEG格式储存。实例：基于深度学习的图像去噪网络FFDNetFFDNet的训练细节加载训练集之后，训练FFDNet采用AdaptiveMomentEstimation(ADAM)优化器，在损失函数的指导下训练该网络，采用的损失函数如下式：

实例：基于深度学习的图像去噪网络FFDNetFFDNet训练代码流程实例：基于深度学习的图像去噪网络FFDNetFFDNet训练代码流程首先导入一系列所需要的库和模块，例如argparse命令行参数库、numpy进行数值计算的库、DataLoader数据加载器、FFDNet模型、utils自定义的工具模块等，还导入了其他辅助函数和工具库，导入所需库和模块之后，定义了read_image()、load_images()、images_to_patches()函数分别用于读取图像并进行预处理、加载图像并返回一个图像列表、将图像切割成补丁。然后定义train()函数，用于设置训练器的各项参数和属性，然后调用函数完成了数据集的加载、图像到补丁的转换、数据加载器的创建以及噪声列表的生成，为图像去噪模型的训练做准备。过后开始进入一个训练和评估的循环，用于训练FFDNet的模型，最后将训练好的模型保存下来。实例：基于深度学习的图像去噪网络FFDNetFFDNet测试代码流程实例：基于深度学习的图像去噪网络FFDNetFFDNet测试代码流程先导入一系列所需要的库和模块，然后定义test()函数。通过调用函数cv2.imread完成了读取测试图像，并根据路径是否正确判断图像是否成功加载和utils.is_image_gray()函数判断图像是否为灰度图像，以决定后续图像处理和模型输入的通道数，然后，对图像进行形状扩展。判断图像的宽度和高度是否为奇数，如果是，则分别在相应维度上进行扩展。通过np.concatenate()函数将图像最后一列或最后一个通道复制并与原图像连接起来。接着添加噪声后进行测试并计算PSNR，然后对图像进行形状还原，最后保存图像。04效果展示与分析实例：基于深度学习的图像去噪网络FFDNet

FFDNet网络图像去噪测试结果分析FFDNet网络图像去噪测试在测试集上进行，分为定量测试与定性测试。定量测试通过对测试集所有图像进行去噪，依据图像去噪评估指标的统计值进行测试与客观分析，定性测试选取一定数量图像作为测试样本，从主观视觉角度观察去噪细节。定量测试中，图像去噪所使用的统计评估指标为峰值信噪比PSNR，PSNR一般是用于最大值信号和背景噪音之间的一个比较参数。通常在经过影像压缩之后，输出的影像都会在某种程度与原始影像不同。为了衡量经过处理后的影像品质，通常会参考PSNR值来衡量某个处理程序能否令人满意。穷究于理·成就于工实例：基于深度学习的图像去噪网络FFDNet

FFDNet网络图像去噪测试结果分析噪声级数1525355075PSNR/dB32.7530.4328.9227.3225.49FFDNet网络图像去噪定量测试结果见下表。去噪定量测试中，取不同的噪声级数进行测试，如15～75代表噪声能量的增加。由图像去噪定量测试结果可见，在低噪声能量情况下（噪声级数15）FFDNet网络图像去噪在测试集上达到PSNR32.75dB,而在最高噪声能量情况下（噪声级数