【图像显著物体检测研究概述6200字】

图像显著物体检测研究概述目录TOC\o"1-3"\h\u10692图像显著物体检测研究概述 1177661.1图像特征 1213911.1.1底层特征 2319541.1.2中层特征 3248351.1.3高层特征 4171411.2视觉注意机制 497911.3图像显著物体检测算法 67541.3.1传统显著物体检测算法 6131431.3.2基于RGB的图像显著物体提取算法 7311.3.3基于RGBD显著物体检测算法 8111521.4图像显著性检测数据库 8124941.4.1ECSSD数据库 950091.4.2SOD数据库 9143971.4.3DUT-OMRON数据库 9138351.4.4DUTS数据库 10166711.4.5HKU-IS数据库 10313901.5图像显著性检测的算法性能衡量标准 11177581.5.1主观评价法 11105141.5.2客观评价法 11本章主要对显著物体检测的基本原理进行介绍。首先对涉及到的图像特征以及视觉注意机制进行了介绍，然后介绍了几种主流的基于传统特征显著物体检测模型以及基于深度学习的显著物体检测模型，最后介绍了图像显著性检测常用到的数据库以及评价指标。1.1图像特征 图像特征是指能够在某一方面准确描述图像包含的部分信息的一组数据或图像。图像特征能够在一些场景下代替原始图像，它是图像处理中不可或缺的一个概念，也是很多计算机图像处理中研究、分析和解决问题的起点。图像特征提取ADDINEN.CITEADDINEN.CITE.DATA[48,49]是指利用计算机提取图像的特征信息，是图像显著性区域提取的基础。根据特征在卷积神经网络中的位置，将图像特征分为高层特征，中层特征以及底层特征，图像特征的分类如图2-1所示。图2-1卷积中的图像特征分类Fig.2-1Imagefeatureclassificationinconvolution1.1.1底层特征图像的底层特征ADDINEN.CITE<EndNote><Cite><Author>李超越</Author><Year>2020</Year><RecNum>74</RecNum><DisplayText><styleface="superscript">[50]</style></DisplayText><record><rec-number>74</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618666835">74</key></foreign-keys><ref-typename="Thesis">32</ref-type><contributors><authors><author>李超越</author></authors><tertiary-authors><author>万静,</author><author>梁伟,</author></tertiary-authors></contributors><titles><title>基于特征融合的跨模态检索方法研究与应用</title></titles><keywords><keyword>特征融合</keyword><keyword>跨模态检索</keyword><keyword>中国书画</keyword><keyword>检索应用系统</keyword></keywords><dates><year>2020</year></dates><publisher>北京化工大学</publisher><work-type>硕士</work-type><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[50]包括图像的颜色特征、纹理特征、形状特征和空间关系特征，能够基本反映出图像的主要面貌，如图2-2所示。图像的底层特征也是传统显著物体检测常用的基本特征（1）颜色特征。颜色特征能够用来描述与图像对应的物体在其表面的属性，它是图像表面所有像素点的基本特征映射。图像的颜色特征属于图像的一个全局性特征，不能很好地反应出图像的整体与局部之间的关系。而且图像的方向、大小等产生改变时，颜色特征不能积极反应这种变化。对颜色特征的表现方式包括有颜色直方形图和颜色聚类。颜色直方图能够简洁明了地描述一个图像中各种颜色之间的分布，即不同的颜色之间所占整幅图像的相对比例，能够直观地看出整幅图像的主体色调，它的缺陷就是无法准确地描述不同的颜色之间的空间关系。颜色聚类和颜色直方形图相近，它主要是将一个RGB图像直接转化为一个HSV图像，并将其分割成若干个经过量化后的颜色空间区域，最后制作成二进制的颜色索引集。（2）纹理特征ADDINEN.CITE<EndNote><Cite><Author>Ziting</Author><Year>2021</Year><RecNum>75</RecNum><DisplayText><styleface="superscript">[51]</style></DisplayText><record><rec-number>75</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618666918">75</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>ZhaoZiting</author><author>LiuTong</author><author>ZhaoXudong</author><author>HaberRodolfoE.</author></authors></contributors><auth-address>CollegeofCivilEngineering;NortheastForestryUniversity;Harbin150040;CollegeofInformationandComputerEngineering;NortheastForestryUniversity;Harbin150040</auth-address><titles><title>VariableSelectionfromImageTextureFeatureforAutomaticClassificationofConcreteSurfaceVoids</title><secondary-title>ComputationalIntelligenceandNeuroscience</secondary-title></titles><periodical><full-title>ComputationalIntelligenceandNeuroscience</full-title></periodical><volume>2021</volume><dates><year>2021</year></dates><isbn>1687-5265</isbn><urls></urls><remote-database-provider>Cnki</remote-database-provider></record></Cite></EndNote>[51]。纹理特征也是一种完整的全局性特征，它也是描述图像或者在其图像范围内所对应的物体的一种表面物理特性。但由于物体纹理仅仅只是一种特殊物体在其物质表面上的物理特征，并不能充分地准确反映这种物体的本质，因此仅仅只是依靠具有纹理的物体特征就可能无法准确提供表现出多层次的图像内容。对图像特征的模式匹配而言，纹理特征这种具有区域性的特征比其他传统特征更具有区域优越性，不会因为某些局部区域发生的偏差因素而匹配失败。另外，由于图像中的所有物体可能会受到诸如太阳光、反射等自然条件的直接干扰，从2D的图像直接折射表现出来的纹理也不一定就是3D的图像在其外层真正的图像纹理。比如，光线的折射，镜面的反射等均极有可能直接导致它的形状和物体纹理结构发生重大改变。由于这些特征并非是一个物体自己的纹理特征，因而在把物体纹理特征信息综合运用融入到物体检索中的过程中的时候，这些虚假的物体纹理信息可能会直接给图像检索带来不必要的麻烦。（3）形状特征。基于图像形状特征的算法都已经得到广泛应用，可以有效地将一幅图像中所感兴趣的对象直接运用在某个以目标形状为检索依据的算法中来进行检索。许多类型形状特征直接反映的是这个目标的形态特征信息，有时它与人的主观视觉感受认识并非完全相同，或者说,特征所在空间的目标相似性和人的主观视觉感受的目标相似性之间就会出现很大程度的差异。另外，由于平时观察到的角度和拍摄视线的不断变化，很大概率可能会直接导致产生各种的图像失真。（4）空间关系特征。是指物体基于空间位置之间的相互关联关系。如上下左右的相对关系等，后一种相对关系重点强调的应该是两个不同目标之间的相对距离关系，比如尺寸以及其所在方位。在实际的应用中，只使用空间关系特征是不能完全有效准确地传递出场景的信息。为了准确描述图像，除了使用空间关系特征外，还必须考虑其它的特征。图2-2图像底层特征Fig.2-2Lowlevelimagefeatures1.1.2中层特征图像的中层特征就是将各个底层特征组织起来再次进行表述，它能够反应出图像中各个像素点之间存在的某种联系，例如在提取图像显著物体时、检测图像边缘轮廓时或者在提取图像的角点时。其主要的特点就是在提取图像的整个过程不仅充分考虑和认识到了图像的基本底层特征，更重要的一点就是根据图像真实的内容，在图像的局部关键性区域对底层特征重新编码，再次进行组织和重新表达，以便于帮助计算机能够对图像的基本情况重新进行理解。图像中层特征如图2-3所示。图2-3图像中层特征Fig.2-3Middlelevelimagefeatures1.1.3高层特征图像的高层语义信息实际上就是更高一个层次的特征抽象，其不仅需要对于图像的底层、中层特征进行组织和提取，更重要的一点就是它需要根据被提取得到的特征对其进行推理和场景的分析，并在一定的程度上也融入了现代人的心理学和视觉注意信息，模仿了人类在观察场景中发现事物并加以理解的方式和过程，例如能够识别和表现出图像中正在游泳的鸭子、正在玩电脑的人、在电脑上的猫等。如何把握图像的基本底层语义特性与图像的高层语义之间构成的映射关系，是高层语义特性提取方法的主要研究方向。图像高层特征如图2-4所示。图2-4图像高层语义特征Fig.2-4Imagehighlevelsemanticfeatures1.2视觉注意机制人类在视觉处理信息过程中的一个非常重要的心理调控机制便是视觉注意机制ADDINEN.CITE<EndNote><Cite><Author>Zeng</Author><Year>2019</Year><RecNum>76</RecNum><DisplayText><styleface="superscript">[52]</style></DisplayText><record><rec-number>76</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618667026">76</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Y.Zeng</author><author>X.Guo</author><author>H.Wang</author><author>M.Geng</author><author>T.Lu</author></authors></contributors><titles><title>EfficientDualAttentionModuleforReal-TimeVisualTracking</title><secondary-title>2019IEEEVisualCommunicationsandImageProcessing(VCIP)</secondary-title><alt-title>2019IEEEVisualCommunicationsandImageProcessing(VCIP)</alt-title></titles><pages>1-4</pages><keywords><keyword>VisualTracking</keyword><keyword>ConvolutionalNeuralNetworks</keyword><keyword>SpatialAttention</keyword><keyword>ChannelAttention</keyword><keyword>Self-attentionmechanism</keyword></keywords><dates><year>2019</year><pub-dates><date>1-4Dec.2019</date></pub-dates></dates><isbn>2642-9357</isbn><urls></urls><electronic-resource-num>10.1109/VCIP47243.2019.8965683</electronic-resource-num></record></Cite></EndNote>[52]，人眼通过从大批的视觉信息中提取出重要的信息，拒绝不具有意义的信息而接受有意识地信息的一种活动，视觉注意机制是提高人们对于视觉感知能力的可靠性和高效性的有力保证。视觉关注涉及知觉、环境、知识、感觉和记忆等多种因素。因此，视觉关注的作用体现在选择性上，因为它可以快速、高效地处理图像中的关键信息。从一幅图像中找到关注的区域成为视觉选择性。为了能更加有效的利用人眼的视觉关注，经研究提出了视觉注意机制ADDINEN.CITEADDINEN.CITE.DATA[53,54]，如图2-5所示。图2-5视觉注意机制模型Fig.2-5Visualattentionmechanismmodel注意力机制本质上的目标就是模仿人们对物体进行观察的过程以及结果。一般而言，人们在阅读一幅图像的时候，除了从一个整体上去把握好一幅画像之外，也可能会更多地去关注一幅画像的某一个局部区域，比如相较于其他位置会更加关注于图像上的车子或者人等等。在现代自然语言处理的方向，如果需要对词语进行具体的情绪性分类的话，在某一句子里面，肯定还会遇到一些能够直接涉及所需要表达情绪性的词语，包括但不仅仅只限于"兴奋","伤心"，"难过"等关键词。而这些语句中的其他文字片段，则是上下文之间的关系，并不是它们没有用，而是它们所起作用远没有那些能够表达感情的关键词多。在以上描述下，注意力的机制其实主要包含两个组成部分：一是注意力的机制在设计时就需要确定整段输入中的哪个组成部分更值得人们关注，二是从关键组成部分开始进行特征提取来得到重要信息。通常而言，在机器翻译或者是自然语言处理的领域，人们对于简单的阅读与理解某个词或者是短语中的某些句子其实都是有着一定先后次序的，并且依据语言学中的一些基本语法原理规则对它们进行阅读和理解。在图像分类领域，人们观察一张图像时也是按照先全局再局部，或者先局部再全局的方式来看。再观察局部图像时，尤其是用户手写的电话号，门牌编码等信息，都应该有先后次序。为了更好地模拟出在人脑中的各种思维表达方式和理解方式，卷积神经网络（CNN）在应用和处理这样具有明确先后次序的问题上拥有着独特的技术优势，因此，注意机制通常都会被广泛地应用于卷积神经网络ADDINEN.CITE<EndNote><Cite><Author>Li</Author><Year>2018</Year><RecNum>80</RecNum><DisplayText><styleface="superscript">[55]</style></DisplayText><record><rec-number>80</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618667211">80</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>N.Li</author><author>J.Zhao</author><author>P.Jiang</author><author>C.Li</author></authors></contributors><titles><title>Medicalimageenhancementmethodbasedonvisualattentionmechanism</title><secondary-title>2018ChineseAutomationCongress(CAC)</secondary-title><alt-title>2018ChineseAutomationCongress(CAC)</alt-title></titles><pages>452-456</pages><keywords><keyword>Histograms</keyword><keyword>Visualization</keyword><keyword>Featureextraction</keyword><keyword>Biomedicalimaging</keyword><keyword>Imageenhancement</keyword><keyword>Heuristicalgorithms</keyword><keyword>Brightness</keyword><keyword>visualattentionmechanism</keyword><keyword>weightedstatisticalcoefficient</keyword><keyword>histogramthatreflectstheimageinformation</keyword><keyword>visualshieldingeffect</keyword><keyword>adjustdynamicrange</keyword></keywords><dates><year>2018</year><pub-dates><date>30Nov.-2Dec.2018</date></pub-dates></dates><urls></urls><electronic-resource-num>10.1109/CAC.2018.8623071</electronic-resource-num></record></Cite></EndNote>[55]上面。按照上面的分析，机器翻译，自然语言的处理，计算机视觉等技术领域的关键性注意力机制都差不多，但是详细地分析一下，这三者之间的关键性注意机制还真的有明显差异。在现代化机器学习翻译等新技术应用领域，翻译者通常会将一种语言翻译转换为另外一种。比如把一个德语句子翻译为中文，把一个日语句子翻译为韩语。在这样的应用情况下，输入语言和输出语言之间存在着相对固定的顺序，同一句话的两个词语之间的标点位置先后转换次序其实也是相对固定的。在自然语言处理中，特别是对于情感认知识别等技术领域，语言本身就具有一定的先后顺序。在视频分类中，进入的图像就是一段在视频里面的一个关键片段，即一系列带着时间先后次序的影像片段。在图像处理中，图像没有固定的语法以及时间顺序，很难找到图像内容的规律，且由于个人之间存在的差异，很难形成一个统一的认知。在此条件下，机器翻译及其他在自然语言处理技术领域中所采用的attention机制已经相当地成熟，但是在图像处理领域中,还需要更多的研究和改进。1.3图像显著物体检测算法目前主流的图像显著物体检测算法可以分传统显著物体检测算法、基于RGB的图像显著物体提取算法和基于RGBD显著物体检测算法。1.3.1传统显著物体检测算法传统的显著物体检测模型主要依赖于图像的传统特征。也就是图像的底层特征，比如说图像的颜色、纹理、亮度、形状和空间关系等等。早期的显著物体检测模型基本上都是基于对图像传统特征的提取。1998年，IttiADDINEN.CITE<EndNote><Cite><Author>Itti</Author><Year>1998</Year><RecNum>93</RecNum><DisplayText><styleface="superscript">[20]</style></DisplayText><record><rec-number>93</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1620262477">93</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>L.Itti</author><author>C.Koch</author><author>E.Niebur</author></authors></contributors><titles><title>Amodelofsaliency-basedvisualattentionforrapidsceneanalysis</title><secondary-title>IEEETransactionsonPatternAnalysisandMachineIntelligence</secondary-title></titles><periodical><full-title>IEEETransactionsonPatternAnalysisandMachineIntelligence</full-title></periodical><pages>1254-1259</pages><volume>20</volume><number>11</number><dates><year>1998</year></dates><isbn>1939-3539</isbn><urls></urls><electronic-resource-num>10.1109/34.730558</electronic-resource-num></record></Cite></EndNote>[20]提出了一个基于视觉注意系统的显著物体检测算法模型，算法框架如图2-6所示。文章所提出的显著性模型分为两个部分：首先提取图像特征，形成特征图进而得到显著图；然后模拟动态神经网络，将显著性按降序排列。文章首先利用高斯金字塔对图像进行线性过滤，然后得到图像的亮度、颜色和方向三个层次的分量图，对三个分量图进行中央周边差及归一化操作，得到亮度、颜色和方向的特征图，然后将三个特征图进行跨尺度结合及归一化得到颜色、亮度和方向显著图，最后进行线性组合得到最终的显著性图像。图2-6Itti算法框架图Fig.2-6Ittialgorithmframework1.3.2基于RGB的图像显著物体提取算法近些年来，随着卷积神经网络的兴起，深度学习网络ADDINEN.CITEADDINEN.CITE.DATA[50,56,57]逐渐应用到图像显著物体检测当中，它能够同时提取图像的低层细节特征，也能够得到图像的高层语义特征，极大的提高了显著物体监测在复杂环境下的应用。RFCNADDINEN.CITE<EndNote><Cite><Author>Wang</Author><Year>2019</Year><RecNum>57</RecNum><DisplayText><styleface="superscript">[58]</style></DisplayText><record><rec-number>57</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618606433">57</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>L.Wang</author><author>L.Wang</author><author>H.Lu</author><author>P.Zhang</author><author>X.Ruan</author></authors></contributors><titles><title>SalientObjectDetectionwithRecurrentFullyConvolutionalNetworks</title><secondary-title>IEEETransactionsonPatternAnalysisandMachineIntelligence</secondary-title></titles><periodical><full-title>IEEETransactionsonPatternAnalysisandMachineIntelligence</full-title></periodical><pages>1734-1746</pages><volume>41</volume><number>7</number><keywords><keyword>Saliencydetection</keyword><keyword>Semantics</keyword><keyword>Taskanalysis</keyword><keyword>Training</keyword><keyword>Computerarchitecture</keyword><keyword>Objectdetection</keyword><keyword>Imagesegmentation</keyword><keyword>Salientobjectdetection</keyword><keyword>recurrentfullyconvolutionalnetworks</keyword><keyword>saliencypriors</keyword><keyword>networkpre-training</keyword></keywords><dates><year>2019</year></dates><isbn>1939-3539</isbn><urls></urls><electronic-resource-num>10.1109/TPAMI.2018.2846598</electronic-resource-num></record></Cite></EndNote>[58]提出了一种基于循环卷积神经网络的显著物体检测模型，如图2-7所示。通过使用循环完全卷积网络能够自动纠正上一个训练过程中出现的错误，并不断自动优化检测算法模型。文章使用了语义分割数据的预训练策略，使其能够更好的完成对显著物体的分割，并对分割进行强有力的监督。算法模型具有良好的需训练效果以及能够更好的检测显著物体。图2-7RFCN网络框架Fig.2-7RFCNnetworkframework1.3.3基于RGBD显著物体检测算法伴随着科技的发展，特别是例如AzureKinectDK相机的出现，想要获取RGBD图像也越来越便捷，当RGB图像无法区分前景与背景区域时，加入深度信息则可以明显区分。并且使用RGBD图像在复杂环境下进行显著物体检测时，其表现优于前两种方式。MiaoZhangADDINEN.CITE<EndNote><Cite><Author>Zhang</Author><Year>2020</Year><RecNum>58</RecNum><DisplayText><styleface="superscript">[59]</style></DisplayText><record><rec-number>58</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618607155">58</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>M.Zhang</author><author>W.Ren</author><author>Y.Piao</author><author>Z.Rong</author><author>H.Lu</author></authors></contributors><titles><title>Select,SupplementandFocusforRGB-DSaliencyDetection</title><secondary-title>2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR)</secondary-title><alt-title>2020IEEE/CVFConferenceonComputerVisionandPatternRecognition(CVPR)</alt-title></titles><pages>3469-3478</pages><keywords><keyword>Featureextraction</keyword><keyword>Saliencydetection</keyword><keyword>Imageedgedetection</keyword><keyword>Taskanalysis</keyword><keyword>Fuses</keyword><keyword>Objectdetection</keyword><keyword>Computervision</keyword></keywords><dates><year>2020</year><pub-dates><date>13-19June2020</date></pub-dates></dates><isbn>2575-7075</isbn><urls></urls><electronic-resource-num>10.1109/CVPR42600.2020.00353</electronic-resource-num></record></Cite></EndNote>[59]提出了选择，补充和聚焦以进行RGB-D显著性检测的显著物体检测方法，如图2-8所示。在深度图或单个物体边缘的任意分布的错误或者区域的缺失会对RGBD显著性检测产生负面影响。为了克服这个问题，文章提出了一种新的用于精确RGBD显著性检测的工作框架，该框架考虑了两个模态（RGB和深度信息）的全局和局部的补充信息。设计了一个互补互动模块（CIM）模块去分别从RGB和深度中提取出有用的特征，并且可以高效的融合跨模态的特征，融合后的特征可以精确的定位出显著目标并带有非常好的边缘细节。图2-8网络框架Fig.2-8Networkframework1.4图像显著性检测数据库在显著性物体检测中，常用的数据库包括：ECSSD、DUTS、SOD、DUT-OMRON和HKU-ISADDINEN.CITE<EndNote><Cite><Author>Li</Author><Year>2016</Year><RecNum>56</RecNum><DisplayText><styleface="superscript">[60]</style></DisplayText><record><rec-number>56</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618581268">56</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>G.Li</author><author>Y.Yu</author></authors></contributors><titles><title>VisualSaliencyDetectionBasedonMultiscaleDeepCNNFeatures</title><secondary-title>IEEETransactionsonImageProcessing</secondary-title></titles><periodical><full-title>IEEETransactionsonImageProcessing</full-title></periodical><pages>5012-5024</pages><volume>25</volume><number>11</number><keywords><keyword>Featureextraction</keyword><keyword>Visualization</keyword><keyword>Computationalmodeling</keyword><keyword>Imagecoloranalysis</keyword><keyword>Biologicalneuralnetworks</keyword><keyword>Semantics</keyword><keyword>Convolutionalneuralnetworks</keyword><keyword>saliencydetection</keyword><keyword>deepcontrastfeature</keyword></keywords><dates><year>2016</year></dates><isbn>1941-0042</isbn><urls></urls><electronic-resource-num>10.1109/TIP.2016.2602079</electronic-resource-num></record></Cite></EndNote>[60]。这些数据库在数量、难易程度、分辨率、每张图像含有的显著性物体的数量等方便各有不同，并且都提供有像素级标定的真实值（Groundtruth，GT）．非常适合用于测试显著性算法的性能。由于显著性检测算法在不同的数据集上通常会有不同的表现，因此，为了全面衡量算法的性能，通常会在多个数据集上对显著物体检测算法的结果进行评估。1.4.1ECSSD数据库ECSSD数据库包含1000个图像的大数据库，如图2-9所示。这些图像是从互联网上获取的，并且要求5名助手制作真值图像。ECSSD在显著性检测数据库中难度很高，图像中显著性物体的数量不仅多，而且前景和背景复杂多变。图2-9ECSSD数据库Fig.2-9ECSSDdatabase1.4.2SOD数据库SOD数据库基于Berkeley分割数据库（BerkeleySegmentationDataset，BSD）构建，包含300