CH08-显著性目标检测

显著性目标检测目录CONTENT1.面向RGB图像的显著性目标检测2.RGB-D图像显著性检测3.视频图像显著性检测4.面向光场图像的显著性检测5.联合显著性检测6.面向遥感图像的显著性检测学习目标了解什么是显著性目标检测了解面向RGB图像显著性检测的基本知识和主要研究思路了解深度图像的特点及RGB-D图像显著性检测的3类结构了解视频显著性检测的基本知识以及和图像显著性检测的联系了解视频显著性检测方法的3种类别及其主要结构了解光场图像的概念和光场相机的特点了解光场显著性目标检测的基本知识和一般结构了解联合显著性检测的概念以及和RGB图像显著性检测的联系了解联合显著性检测方法的3种类别及其主要结构了解面向遥感图像的显著性检测的2种类别及其主要结构知识目标1学习目标

掌握2种多尺度特征提取的方法

回顾2种注意力机制的python实现

掌握显著性目标检测网络的python实现技能目标2

培养学生的信息素养和学习能力，使其能够运用正确的方法和技巧掌握新知识、新技能

培养学生分析与解决问题的能力，使其能够掌握相关知识点并进行项目实践

培养学生的独立思考能力和逻辑思维能力素质目标3培养学生运用科学的思维认识事物，使其具备独立思考的意识、求知严谨的态度和勇于探究的精神激发学生的学习兴趣，养成良好的学习习惯，勤于反思，培养读者的信息意识培养学生发现问题的能力，使其能够运用合理的方法和技能动手分析并解决实际问题思政目标4章节介绍在本章节中，我们将从面向RGB图像的显著性检测、RGB-D图像显著性检测、视频显著性检测、面向光场图像的显著性检测、联合显著性检测和面向遥感图像的显著性检测的6个领域深入探讨显著性目标检测与分割基本原理，并介绍各个领域的方法和常用的数据集。希望通过本章的学习，读者能够对显著性目标检测有一个全面且深入的了解，并引发对该领域的思考。0.引言什么是显著性目标检测？人类视觉系统可以通过独特的感知单元和神经结构,从复杂的场景中快速关注到感兴趣的目标或区域,这被称为视觉注意力机制。受此启发，人们希望计算机能够自动地从给定场景中检测出最吸引人注意的区域或目标，这就是显著性目标检测任务。RGB图像显著性预测0.引言显著性目标检测的意义在信息总量呈指数级增长的背景下，显著性目标检测能够给图像、视频等数据载体中更重要的部分分配有限的计算资源。目前，显著性目标检测作为预处理步骤，被广泛应用在了包括动作识别、目标跟踪、图像分割、视频压缩等在内的大量计算机视觉任务中。动作识别目标识别语义分割0.引言显著性目标检测的分支高分辨率RGB图像的显著性目标检测RGB-T图像的显著性目标检测全景图像的显著性目标检测图像组的协同显著性目标检测光场图像的显著性目标检测视频序列的显著性目标检测RGB图像的显著性目标检测RGB-D图像的显著性目标检测遥感图像的显著性目标检测面向RGB图像的显著性检测011.面向RGB图像的显著性检测面向RGB图像的显著性检测的主要方法RGB图像易获取的特性使得面向RGB图像的显著性目标检测研究是最早且最多的，其旨在识别出RGB图像中的显著性目标。面向RGB图像的显著性检测也可以根据特征提取的方式分为传统的RGB图像的显著性检测和基于深度学习的RGB图像显著性检测两类。传统的研究方法主要利用图像的纹理、颜色、形状等底层特征获取显著信息，而后者通过例如卷积神经网络或者循环神经网络等特征学习方式检测显著目标，在自动提取特征、处理复杂数据、可扩展性、端到端学习等方面均更具优势，也是该领域目前主流的研究方向。当前面向RGB图像显著性检测的方法有三种主要的研究思路：多尺度特征提取基于注意力机制的特征增强基于边缘信息指导的特征细化多尺度特征提取——不同层次的多尺度特征深度网络中的一个挑战是同时处理大尺度目标和小尺度目标。通常情况下，大尺度目标需要在分辨率较低的深层特征图中捕捉，以避免信息丢失，但目标的细节通常不够清晰；而小尺度目标则可能在分辨率较高的浅层特征图中保留相关信息，但缺乏足够的语义信息来准确定位目标位置。为了解决这一问题，需要融合不同层次的特征来提取多尺度特征。U-Net网络结构是一个典型例子，它通过跨层连接将浅层特征和深层特征有效融合，从而能够同时捕捉到大尺度目标和小尺度目标的信息，这种结构有助于提高目标检测的准确性和鲁棒性。1.面向RGB图像的显著性检测U-Net网络结构多尺度特征提取——同一层特征里构建多尺度特征除了利用不同层次的特征外，在同一层特征里构建多尺度特征也是另一种常用的多尺度特征提取的方法。其中，空洞空间金字塔池化模块和金字塔池化模块是两种具有代表性的方法：空洞空间金字塔池化模块采用不同膨胀率的空洞卷积层处理当前层特征来捕获多尺度信息金字塔池化模块采用不同倍率的池化操作将特征转换到不同的尺寸后再融合，从而学习多尺度上下文信息1.面向RGB图像的显著性检测边缘信息引导的特征细化随着深度网络感受野的增加，显著性目标的定位越来越准确，但目标边缘仍然存在许多具有不确定性的像素，而面向RGB图像显著性检测的目标像素仅有显著和非显著之分，若不对网络进行引导，目标边缘的像素容易出现误检或漏检的问题，导致检测结果的空间连贯性不够理想，特别是在一些目标结构复杂的情况下。而边缘信息的引导能够有效地帮助网络定位和分割目标，提升目标结构和边缘的完整性，因此成为了面向RGB图像的显著性检测的研究主要研究思路之一，并随之产生了一系列研究，这些研究大致可以分为如下图所示的三类结构。1.面向RGB图像的显著性检测边缘信息引导的特征细化——从浅层的编码特征捕获边缘深度网络的浅层特征中包含着丰富的细节信息，从这些信息中可以捕获到精细的边缘特征，并在解码阶段引导特征产生良好的边界，从浅层的编码特征捕获边缘的整体结构如右图所示。虽然浅层特征蕴含丰富的信息，但同时也存在的大量噪声，且浅层特征往往计算量较大，在抑制噪声的同时难以兼顾效率，这也是此类方法面临的最主要的挑战。1.面向RGB图像的显著性检测边缘信息引导的特征细化——边缘预测如右图所示，此类结构在解码阶段引入额外的分支，基于编码特征预测显著性目标边界并进行监督，迫使编码器在定位显著性对象的同时学习到良好的边缘信息。但是，额外的分支导致了网络额外的计算，效率问题仍需解决。1.面向RGB图像的显著性检测边缘信息引导的特征细化——从浅层的解码特征生成边缘在编码-解码结构中，解码阶段的浅层特征可以被视为多尺度的显著性预测，能够在多个尺度下生成网络预测到的显著性边缘。对预测到的边缘进行监督，同样也能迫使网络学习到边缘信息，从浅层的解码特征生成边缘的整体结构如右图所示。从浅层的解码特征生成边缘在效率相比于前两种方法更具优势，不过这种结构非常依赖生成边缘的质量，低质量的生成可能会引入额外的误差从而影响网络的特征学习。1.面向RGB图像的显著性检测RGB-D图像显著性检测02RGB图像是人眼感知颜色、形状和纹理等外观信息的表现形式，但除此之外，人类视觉还可以通过双目视觉系统捕获场景的深度信息，形成立体感。而深度图像则是深度信息的直观表现形式，其数值大小反映了场景中物体与深度传感器之间的距离。对于显著性目标检测任务而言，深度图像能够在一些RGB图像难以应对的场景下（如：前背景相似、杂乱场景等）提供位置、结构等信息的补充。现有研究表明，将深度信息引入显著性目标检测，能够有效地提升模型的精准度和鲁棒性。2.RGB-D图像显著性检测深度图像的作用除了需要挖掘图像内在信息外，有效地融合RGB信息和深度信息也至关重要。根据两类信息的交互模式，现有的RGB-D图像显著性检测方法可以分为单分支结构、双分支结构和三分支结构三类。2.RGB-D图像显著性检测2.RGB-D图像显著性检测RGB-D图像显著性检测的主要方法——单分支结构RGB-D图像共同输入的方法中，检测算法会同时处理两种图像的输入。深度图监督方法通常使用RGB图像作为网络的输入，深度图像作为监督信息来引导网络学习到具有深度信息的结果。由于监督仅在训练中进行，所以这类方法在模型的推理速度上得到了一定的提升。得益于单支信息路径提取图像的方式，单分支结构在模型参数量和计算代价方面具有一定优势，但是难以解决两种图像中内在噪声、图像之间数据不一致和特征融合不够充分等问题。单分支结构示意图双分支结构通常会先单独提取两种图像的特征，然后通过设计跨模态融合方案来结合两种信息得到最终的结果。相比于单分支结构，此类方法可以根据需要单独对图像信息进行特殊的处理，在处理图像噪声、特征交互等方面具有更强的灵活性，能够更加充分地发挥两种图像各自的优势，这也是目前RGB-D图像显著性检测最为流行的结构。根据两种图像在算法中的交互位置，双分支结构的方法可以分为特征融合和显著性融合两类。2.RGB-D图像显著性检测RGB-D图像显著性检测的主要方法——双分支结构双分支结构示意图显著性融合的方法尽管能够应对单分支结构难以处理的图像内在噪声、图像之间数据不一致的情况，但仍然无法解决特征融合不够充分的问题，这也是RGB-D图像显著性检测时至今日都还在重点研究的关键问题之一。相比于上述方法，特征融合的方法能够采取更加灵活的设计来利用多模态多尺度丰富的图像信息，目前的研究也大多倾向于使用特征融合的架构。2.RGB-D图像显著性检测RGB-D图像显著性检测的主要方法——双分支结构双分支结构示意图三分支结构建立在单分支结构和双分支结构的基础之上，一些学者认为双分支结构中RGB和深度图像分支通常独立工作，将联合两种图像作为输入，引入一条新的分支有利于挖掘跨模态特征之间的互补性。下图展示了具有代表性的三分支结构网络D3Net。2.RGB-D图像显著性检测RGB-D图像显著性检测的主要方法——三分支结构D3Net示意图尽管三分支结构在一定程度上考虑了跨模态特征的互补性，但是这也会引入额外的分支和信息的冗余，从而导致网络计算低效，严重阻碍了此类方法的发展。此外，如何利用好额外的分支来更加有效地融合RGB和深度特征也同样是三分支结构面临的关键问题。视频显著性检测03随着深度学习技术的快速发展，视频显著性检测已经成为计算机视觉中的一个热门研究领域，其旨在检测出视频序列中在最吸引注意的显著目标或区域，对于许多实际应用如视频理解、视频压缩、视频编辑、视频摘要、视频字幕、视频分割、视频跟踪、自动驾驶和动作识别等都有着重要的意义。与图像显著性检测不同，视频显著性检测需要同时考虑到空间信息和时间信息，二者的对比如右图所示。3.视频显著性检测视频显著性检测简介基于传统学习的早期研究主要应用手工设计的方法(如颜色、纹理、条件随机场、梯度流等)来定位视频中的显著目标进行视频显著性检测。受限于基于手工设计特征的限制，传统方法往往只能捕获到视频中的低层特征(如颜色、纹理)，难以捕获高级语义信息。同时，许多传统方法主要是针对静态场景设计的，对于复杂动态场景(如快速移位、遮挡)适应性不强，计算效率和检测精度不高。3.视频显著性检测视频显著性检测的主要方法视频显著性方法分类视频显著性检测需要同时利用空间和时间信息来进行显著性检测，而深度神经网络(如ResNet、VGG)可以实现空间特征信息的获取，但难以提取到时间信息。为此，从时间特征角度出发，研究人员设计不同网络构架来充分获取时空信息。按时间信息获取方式将基于深度学习的视频显著性检测方法分为基于3D卷积的方法、基于ConvLSTM的方法和基于光流的方法。相较于获取图像空间信息的2D卷积，3D卷积在每次卷积运算后能够保留输入信号的时间信息，因此可以捕获长期时间信息。基于3D卷积的视频显著性检测方法的网络构架如下图所示，它主要由空间分支和时间分支两个部分组成，空间分支通常使用预训练好的深度模型(如ResNet)来实现的，旨在获取视频帧中的空间信息，时间分支中时间信息获取是利用3D卷积来实现的。首先将视频帧输入到空间分支以提取空间特征，再将提取到的空间特征输入到具有3D卷积的时间分支以获取时间特征，得到最终的显著性预测图。3.视频显著性检测基于深度学习的视频显著性检测——基于3D/ConvLSTM的方法卷积长短时记忆(ConvolutionalLongShort-TermMemory，ConvLSTM)在处理时间序列数据时具有强大的能力，能够有效地捕获视频中的时空特征。基于ConvLSTM的视频显著性方法主要通过结合ConvLSTM和CNN来进行视频显著性检测，其网络构架图与基于3D卷积的视频显著性方法相似，不同之处在于其时间分支中时间信息获取是通过ConvLSTM实现的。基于3D卷积/ConvLSTM的视频显著性检测方法光流主要在时间域上获取相邻两帧之间的对应关系，通过光流获取到的光流图包含了大量的时间信息，基于光流的视频显著性方法使用了双分支网络构架，即空间分支和时间分支，其构架如右图。将视频帧和对应的光流图分别输入到空间分支和时间分支以获取空间特征和时间特征，然后将空间特征和时间特征进行融合，得到最终的显著性预测图。3.视频显著性检测基于深度学习的视频显著性检测——基于光流的视频显著性检测方法基于光流的视频显著性检测方法面向光场图像的显著性检测04何为光场？在3D空间中，光场(LightField,LF)由每个空间位置和每个方向的所有光线组成，它可以被视为一系列由网格状陈列的相机获取的图像阵列。与普通相机获取的RGB图像或深度传感器获取的深度图相比，由于光场相机内部安装了“光场感应器”，可以收集进入相机所有光线的“颜色、强度和数量”，其获取的光场数据记录了更全面、更完整的自然场景信息，通常包括如深度信息、聚焦信息以及角度变化信息等。4.面向光场图像的显著性检测光场图像简介光场图像全聚焦图像(allfocusimage)是指将同一场景中所有像素点都进行高度清晰的表示。深度图像(depthimage)也称为距离影像，是指将从图像采集器到场景中个点的距离(深度)作为像素值的图像，可以直接反映图像中前景(目标)和背景可见表面的几何形状，通常要通过一定的图像深度算法对原图像进行处理后才能得到，在RGB-D和光场显著性目标检测中，深度图通常能够提供场景的几何补充信息，使算法能够快速定位显著目标。4.面向光场图像的显著性检测光场图像简介光场图像多视图图像是指一个相机对同一场景进行多角度拍摄的得到的图像阵列，也可以是由一个有序的相机阵列对同一场景进行拍摄得到的图像阵列。同一场景的多视图图像的获取，能够为显著目标检测提供更多的细节和空间角度信息。焦堆栈图像是指聚焦在在不同平面处的一系列图像，通常是对光场相机拍摄得到的原始图像进行重聚焦得到，一般地，在光场显著性目标检测算法中，处理得到的焦堆栈图像数量为12张。4.面向光场图像的显著性检测光场图像简介光场图像基于深度学习的光场显著性检测方法通常采用深度学习模型，如U-Net网络架构等，通过学习大量的光场数据，捕捉到显著目标与周围环境之间的复杂关系，如颜色、纹理、空间位置等特征。以2023年发表在《Neurocomputing》上的MEANet为例，基于CNN的光场显著性目标检测的网络框架可分为编码器和解码器两部分，其中有两个关键模块：跨模态补充模块好多模态边缘监督模块。4.面向光场图像的显著性检测面向光场图像的显著性检测的案例介绍——以MEANet为例MEANet网络结构在编码器部分MEANet采用VGG-19作为特征提取的骨干网络，将三种数据(全聚焦图像、深度图、焦堆栈图像)传送到VGG-19中，将分别得到五层特征。由于需要处理的计算量较大，因此在编码器和解码器之间连接多个压缩模块(CP)，降低通道数量，提高模型的计算效率。4.面向光场图像的显著性检测面向光场图像的显著性检测的案例介绍——以MEANet为例在编码器部分MEANet采用VGG-19作为特征提取的骨干网络，将三种数据(全聚焦图像、深度图、焦堆栈图像)传送到VGG-19中，将分别得到五层特征。由于需要处理的计算量较大，因此在编码器和解码器之间连接多个压缩模块(CP)，降低通道数量，提高模型的计算效率。MEANet网络结构解码器主要由跨模态补充模块(CMC)和多模态边缘感知模块(MES)两个部分组成。CMC主要通过采用系列的空间－通道注意力机制来探索跨模态之间的互补性，以克服信息丢失；MES则是为了生成精确的目标边缘和边缘特征，逐步引导细化目标，以保证检测到完整的显著目标。4.面向光场图像的显著性检测面向光场图像的显著性检测的案例介绍——以MEANet为例跨模态补充模块多模态边缘感知模块联合显著性检测05联合显著性目标检测最早是由Jacobs等人在2010年通过研究摄像机连续拍摄的图片时发现并提出的，其旨在从一组相关图像中标注出共同的显著性目标或区域，而非全部的显著性对象，下图展示了显著性检测与联合显著性检测的结果对比。联合显著性检测需要从一组图像中探索共有信息，在用户兴趣挖掘、多摄像机系统等领域具有应用价值。5.联合显著性检测联合显著性目标检测简介通过人为设计的先验知识(如轮廓、颜色亮度等特征的相似性)，基于相似性度量、聚类和图论等方法去推理图像特征的组间显著性关系，最后融合单幅和组间显著性特征产生联合显著性图。由于此类方法通常采用先特征提取、后特征推理的两阶段结构进行检测，模型两阶段独立学习特征，加之人为设计的先验知识特征表达能力有限，学习的特征未能定向地推理共同显著区域，从而导致结果次优。5.联合显著性检测联合显著性目标检测的主要方法通过聚合现有的各种联合显著性目标检测算法或显著性检测算法来实现更好的检测指标。首先，根据图像显著性或联合显著性目标检测方法生成多张相对粗糙的显著性图。其次，通过施加阈值选择显著的超像素，挖掘图像的一致性，提取每张图片的显著区域。接着，统计这些区域的RGB直方图，堆叠成特征矩阵并利用特征矩阵秩当作一致性表示。最后，将融合的结果进行归一化操作生成最终图像。此类方法也是两阶段的方法，基于多种检测算法的设计使其过程相对复杂，且性能上依赖现有的检测算法，难以产生令人期待的突破。通过注意力机制、图卷积以及划分语义类别等技术在深度网络中建模组间特征关系，以端到端的方法来联合学习共同的显著性对象。深度特征包含丰富的图像信息，在深度网络中建模的方式有利于挖掘共同的组间显著性线索，随着深度网络技术的发展