【基于特征增强与融合的显著物体检测方法分析案例5400字】

基于特征增强与融合的显著物体检测方法分析案例目录TOC\o"1-2"\h\u30933基于特征增强与融合的显著物体检测方法分析案例 1196401.1基础网络 2246991.2具体框架 3112961.3实验结果与分析 7217201.4模型性能评价 8图像显著物体检测的目标是找到图像上最显著的区域，随着深度学习的不断发展，利用卷积神经网络（VGG-16网络ADDINEN.CITE<EndNote><Cite><Author>Simonyan</Author><Year>2014</Year><RecNum>31</RecNum><DisplayText><styleface="superscript">[61]</style></DisplayText><record><rec-number>31</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618047887">31</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Simonyan,K.</author><author>Zisserman,A.</author></authors></contributors><titles><title>VeryDeepConvolutionalNetworksforLarge-ScaleImageRecognition</title><secondary-title>ComputerScience</secondary-title></titles><periodical><full-title>ComputerScience</full-title></periodical><dates><year>2014</year></dates><urls></urls></record></Cite></EndNote>[61]，ResNet-50ADDINEN.CITE<EndNote><Cite><Author>He</Author><Year>2016</Year><RecNum>38</RecNum><DisplayText><styleface="superscript">[62]</style></DisplayText><record><rec-number>38</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618477804">38</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>He,Kaiming</author><author>Zhang,Xiangyu</author><author>Ren,Shaoqing</author><author>Sun,Jian</author></authors></contributors><titles><title>Deepresiduallearningforimagerecognition</title><secondary-title>ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition</secondary-title></titles><pages>770-778</pages><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[62]网络）提取图像特征，对提取到的特征进行处理，得到最终的显著图。已经成为主流的图像显著物体检测基本框架。其在显著性物体检测上的表现也越来越优秀，成为图像显著物体检测研究人员的必备选择。然而，现有的模型存在两个问题，第一直接对高层特征进行处理，忽视了底层特征所拥有的丰富的细节信息，导致不能准确定位显著物体的位置。第二现有的算法只是基于简单背景下的显著物体检测，一旦背景较为复杂，算法则不能很好的区分显著区域与背景区域。目前基于图像显著物体检测的算法大多只是使用了高层的语义特征来进行预测，其原理是高层特征的语义信息丰富，能够判断该区域是否显著，而底层特征的语义信息较少。不过，底层特征拥有大量的细节信息，因此，还需要借助底层特征，来准确定位显著物体的位置。为了将底层特征融入到高层特征当中去，本文提出了高层语义特征指导回归模块（High-levelsemanticfeatureguideregressionmodule，HSFGRM）。有效的将高层特征与底层特征结合起来，充分利用底层特征的特性，更好更准确的将显著区域提取出来。在简单背景下，现有算法可以很容易的区分出显著区域与背景区域，但是在背景较为复杂的情况下，例如杂乱物体背景下，提取显著物体就会变得较为困难。针对现有的复杂背景下显著物体检测模型效果较差的问题，本文提出了基于通道注意和空间注意的多尺度特征加权模块（Multi-scaleFeatureWeightingModule，MFWM）来增强不同层特征对显著特征的敏感性，以适应在复杂背景下检测显著物体的情况。因此，本章节提出了一种基于特征增强与融合的显著物体检测的方法，它由三个模块组成，一个是基于高层语义特征指导回归模块（HSFGRM），其原理是利用高层特征信息指导低层的特征预测；第二个是多尺度特征加权模块（MFWM），利用特征注意机制，即通道注意和空间注意来增强不同层特征对显著特征的敏感性；第三个是特征融合模块，利用前两个模块得到的特征图进行特征融合，并进行损失训练得到最终的显著图。本章节提出的算法框架如图3-1所示。1.1基础网络VGG16网络具有较小的内核参数，相对较深的网络层数，使得网络兼具了较快的运行速度以及优良的运行结果，因此，选用VGG16网络作为基础网络模型，并对VGG16网络进行改进，以便更好的适应提取显著物体的目的。图3-1基于特征增强与融合的显著物体检测Fig.3-1Basedonfeatureenhancementandfusionofsalientobjectdetection图3-2VGG16网络框架Fig.3-2VGG16networkframework传统的VGG16网络如图3-2所示。本章节在此基础上舍弃了VGG16的池化层（MaxPOOL）、全连接层（FC）和softmax层，保留VGG16网络中前五个卷积块（Conv1-2，Conv2-2，Conv3-3，Conv4-3，Conv5-3）。对于输入图像（输入图像尺寸为255×255×3），经过改进的VGG16网络生成5个特征图（F1，F2，F3，F4，F5），其对应的特征图像尺寸分别为（128×128×64，64×64×128，32×32×256，16×16×512，8×8×512），相连的两个特征图之间相差步幅为2的空间分辨率。从Conv1-2获得的特征映射F1具有最大的空间维度，而从Conv5-3获得的特征映射F5具有最小的空间维度。针对VGG16特征图的空间特性，可以采用双线性插值来匹配不同层特征图之间的尺寸差异，以实现跨尺度卷积特征融合。1.2具体框架1.2.1高层语义特征指导回归模块使用卷积神经网络提取到图像特征以后，目前主流有三种方式对卷积特征进行处理，如图3-3所示，图3-3（a）特征图像金字塔，使用不同大小的卷积核将图像变为不同的尺寸，然后这些图像分别对应生成不同尺寸的预测特征图，这个算法的优点是使用了不同尺寸的输入图像，缺点是划分不同尺寸的输入图像增加了计算量，时间效率较低。但是有些算法会在测试时使用这个模型。图3-3（b）简单特征图，即只使用卷积神经网络的最后一层特征来预测显著图，模型的优点是计算速度快，效率高，缺点就是只采用了高层特征，忽视了图像的很多细节信息。图3-3（c）金字塔型层次结构，其特点是充分运用了每一层的特征进行显著物体检测。这种模型的优点是对底层特征特别重视，但是底层特征同样含有大量的冗余信息，没有做到有针对性的对不同层特征加权。图3-3（d）是本章提取到的特征，充分利用了底层特征，同时对高层特征足够重视，利用高层特征指导底层特征，可以有效剔除冗余信息。图3-3常用卷积特征提取网络框架Fig.3-3Convolutionalfeatureextractionnetworkframeworkiscommonlyused基于高层语义特征指导回归模块（High-levelsemanticfeatureguideregressionmodule，HSFGRM），其原理是利用高层特征信息指导低层的特征预测。即使用特征增强模块对提取到的特征进行加强，因为底层特征还有较多的显著性目标信息，但是其并不一定都是有用的，也有可能是冗余的，需要较高层的特征对其进行指导。从基础网络得到了从VGG-16网络提取到的特征图（F1，F2，F3，F4，F5），F5为最高层的特征图，F1为最底层的特征图。采用双线性插值直接上采样以匹配输入图像大小的方法，将F5与F4进行融合得到f4，再将F4与F3进行融合得到f3，以此类推，得到f2以及f1。将这一过程称为特征增强（FEM），将每一层提取到的特征与其经过两倍的上采样的下一层特征进行融合形成新的特征层。这样可以更好的校正每一层的冗余信息。fi式中：fi——融合之后的特征；Conv——卷积操作；Fi——第i层卷积特征；＆(ϴ)——双倍的上采样；⊕——融合函数。1.2.2多尺度特征加权模块多尺度特征加权模块（Multi-scaleFeatureWeightingModule，MFWM），即针对不同层的特征采用不同的加权策略。将前两个卷积层称为底层特征，后三个卷积层称为高层特征（Hf）。不同层特征拥有的特性不同，底层特征拥有图像的细节信息，且对空间信息较为敏感，高层特征能够定位显著物体的位置，且对通道信息较为敏感。LfHf式中：Lf——底层特征；f1——经过增强之后的第一层卷积特征，f2，f3，f4，f5同理；Hf——高层特征。在卷积神经网络中，图片初始由R，G，B三个通道组成，在经过卷积之后，会产生新的通道出来，新产生的通道数由卷积核的大小决定，比如输入一张255×255×3的图像。经过64核卷积之后，图像尺寸就会变成255×255×64，即产生64个新的通道，每一个通道其实就是该图片在不同卷积核上的分量。既然可以划分成64个新的分量，那就意味着产生的新的64个通道具有的特性不一样，对显著信息的敏感度也不一样，因此，可以针对不同的通道增加不同的权重，以表明该通道对显著信息的敏感程度，权重越高，代表该通道线管度越高，越值得去注意该通道。通道注意模块（ChannelAttentionModule，CAM）结构如图3-4所示。通过注意力模块来学习出每个通道的权重，从而产生通道域的注意力。整个注意力机制由三个部分组成，首先将每个通道内的所有特征值的平均值，即就是全局平均池化（globalaveragepooling），计算过程如下所示：Pf式中：Pf——全局平均池化之后的特征；H——输入图像的高；W——输入图像的宽；M(i,j)——输入图。图3-4通道注意模块Fig.3-4ChannelAttentionModule对池化之后的特征使用激活函数激活。Af=σ(w2式中：Af——经过激活之后的特征；δ——ReLU激活函数；σ——sigmoid激活函数；W1，W2——权重矩阵。通过训练学习W1和W2，得到一个一维的激励权重来激活每一层通道。对不同通道的值乘上不同的权重，从而可以增强对关键通道域的注意力。HF高层特征经过通道注意模块以后，增强了对不同通道的敏感程度。底层特征对通道不敏感，但是对于空间信息敏感，针对这一特性，对底层特征使用空间注意模块（SpaceAttentionModule，SPA）。其空间注意机制如图3-5所示。图3-5空间注意模块Fig.3-5SpaceAttentionModule对底层特征卷积之后，对其使用激活函数。Tϴ式中：Tϴ(G)——经过激活之后的特征；δ——ReLU激活函数；σ——sigmoid激活函数；W1，W2——权重矩阵。通过训练学习W1和W2，得到一个一维的激励权重来激活每一层通道。对不同空间的值乘上不同的权重，从而可以增强对关键空间域的注意力。LF=Tϴ底层特征经过空间注意模块以后，增强了对空间的敏感程度。1.2.3特征融合模块首先将两个底层特征通过特征融合模块融合到一起，然后根据底层特征对于空间注意较为敏感，将融合后的特征与空间注意加权。将得到的两个加权特征图（HF，LF）通过特征融合模块融合，在经过损失函数进行训练，经过迭代之后得到较好地训练模型，最终得到目标显著图。SM=H式中：SM——显著性图；HF——经过通道注意的高层特征图；LF——经过空间注意的底层特征图。1.3实验结果与分析 1.1.1实验相关设置(1)数据集介绍本章在四个公开的数据集DUTS、ECSSD、SOD和DUT-OMRON上进行了对比实验。(2)评估度量采用了主观评价法和客观评价法相结合。客观评价法包括P-R曲线、Fmeasure值、Smeasure和MAE值。(3)实验环境本章实验平台采用的是64位windows10系统，使用的编程语言为Python，版本为Python1.8，软件编写平台为PyCharm深度学习框架为Tensorflow1.0。训练集为ECSSD数据库(共1000张图像)用于训练本章的网络模型。1.1.2模型预测性能分析 为了评价算法的优劣性，将本章提出的算法与主流的6个算法（RFCNADDINEN.CITE<EndNote><Cite><Author>Wang</Author><Year>2016</Year><RecNum>55</RecNum><DisplayText><styleface="superscript">[63]</style></DisplayText><record><rec-number>55</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618519322">55</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Wang,Linzhao</author><author>Wang,Lijun</author><author>Lu,Huchuan</author><author>Zhang,Pingping</author><author>Ruan,Xiang</author></authors></contributors><titles><title>Saliencydetectionwithrecurrentfullyconvolutionalnetworks</title><secondary-title>Europeanconferenceoncomputervision</secondary-title></titles><pages>825-841</pages><dates><year>2016</year></dates><publisher>Springer</publisher><urls></urls></record></Cite></EndNote>[63]、R3NetADDINEN.CITE<EndNote><Cite><Author>Deng</Author><Year>2018</Year><RecNum>33</RecNum><DisplayText><styleface="superscript">[64]</style></DisplayText><record><rec-number>33</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618317714">33</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Deng,Zijun</author><author>Hu,Xiaowei</author><author>Zhu,Lei</author><author>Xu,Xuemiao</author><author>Qin,Jing</author><author>Han,Guoqiang</author><author>Heng,Pheng-Ann</author></authors></contributors><titles><title>R3net:Recurrentresidualrefinementnetworkforsaliencydetection</title><secondary-title>Proceedingsofthe27thInternationalJointConferenceonArtificialIntelligence</secondary-title></titles><pages>684-690</pages><dates><year>2018</year></dates><publisher>AAAIPress</publisher><urls></urls></record></Cite></EndNote>[64]、DSADDINEN.CITE<EndNote><Cite><Author>Li</Author><Year>2016</Year><RecNum>59</RecNum><DisplayText><styleface="superscript">[65]</style></DisplayText><record><rec-number>59</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618646966">59</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>X.Li</author><author>L.Zhao</author><author>L.Wei</author><author>M.Yang</author><author>F.Wu</author><author>Y.Zhuang</author><author>H.Ling</author><author>J.Wang</author></authors></contributors><titles><title>DeepSaliency:Multi-TaskDeepNeuralNetworkModelforSalientObjectDetection</title><secondary-title>IEEETransactionsonImageProcessing</secondary-title></titles><periodical><full-title>IEEETransactionsonImageProcessing</full-title></periodical><pages>3919-3930</pages><volume>25</volume><number>8</number><keywords><keyword>Semantics</keyword><keyword>Objectdetection</keyword><keyword>Imagesegmentation</keyword><keyword>Featureextraction</keyword><keyword>Neuralnetworks</keyword><keyword>Convolution</keyword><keyword>Computationalmodeling</keyword><keyword>Regressionanalysis</keyword><keyword>salientobjectdetection</keyword><keyword>CNN</keyword><keyword>multi-task</keyword><keyword>datadriven</keyword><keyword>data-driven</keyword></keywords><dates><year>2016</year></dates><isbn>1941-0042</isbn><urls></urls><electronic-resource-num>10.1109/TIP.2016.2579306</electronic-resource-num></record></Cite></EndNote>[65]、UCFADDINEN.CITE<EndNote><Cite><Author>Zhang</Author><Year>2017</Year><RecNum>60</RecNum><DisplayText><styleface="superscript">[66]</style></DisplayText><record><rec-number>60</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618647343">60</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>P.Zhang</author><author>D.Wang</author><author>H.Lu</author><author>H.Wang</author><author>B.Yin</author></authors></contributors><titles><title>LearningUncertainConvolutionalFeaturesforAccurateSaliencyDetection</title><secondary-title>2017IEEEInternationalConferenceonComputerVision(ICCV)</secondary-title><alt-title>2017IEEEInternationalConferenceonComputerVision(ICCV)</alt-title></titles><pages>212-221</pages><keywords><keyword>Featureextraction</keyword><keyword>Uncertainty</keyword><keyword>Training</keyword><keyword>Predictivemodels</keyword><keyword>Deconvolution</keyword></keywords><dates><year>2017</year><pub-dates><date>22-29Oct.2017</date></pub-dates></dates><isbn>2380-7504</isbn><urls></urls><electronic-resource-num>10.1109/ICCV.2017.32</electronic-resource-num></record></Cite></EndNote>[66]、AmuletADDINEN.CITE<EndNote><Cite><Author>Zhang</Author><Year>2017</Year><RecNum>37</RecNum><DisplayText><styleface="superscript">[67]</style></DisplayText><record><rec-number>37</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618319546">37</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Zhang,Pingping</author><author>Wang,Dong</author><author>Lu,Huchuan</author><author>Wang,Hongyu</author><author>Ruan,Xiang</author></authors></contributors><titles><title>Amulet:Aggregatingmulti-levelconvolutionalfeaturesforsalientobjectdetection</title><secondary-title>ProceedingsoftheIEEEInternationalConferenceonComputerVision</secondary-title></titles><pages>202-211</pages><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[67]、ELDADDINEN.CITE<EndNote><Cite><Author>Lee</Author><Year>2016</Year><RecNum>36</RecNum><DisplayText><styleface="superscript">[68]</style></DisplayText><record><rec-number>36</rec-number><foreign-keys><keyapp="EN"db-id="szz9z0dz209ftkefdv1pep0h0sz99drfdaat"timestamp="1618319491">36</key></foreign-keys><ref-typename="ConferenceProceedings">10</ref-type><contributors><authors><author>Lee,Gayoung</author><author>Tai,Yu-Wing</author><author>Kim,Junmo</author></authors></contributors><titles><title>Deepsaliencywithencodedlowleveldistancemapandhighlevelfeatures</title><secondary-title>ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition</secondary-title></titles><pages>660-668</pages><dates><year>2016</year></dates><urls></urls></record></Cite></EndNote>[68]）在四个公开的数据集DUTS、ECSSD、SOD、DUT-OMRON上进行了对比实验。本章中使用的6个主流算法的实验结果均采用作者公开的开源代码复现出来的结果进行对比。结果如图3-6所示，GT表示真值图像。图3-6本章算法与主流6种算法之间的显著图对比Fig.3-6Saliencymapcomparisonbetweenthealgorithminthischapterandthemainstream6algorithms在图3-6中，观察第一幅图像，真值图显著物体为小狗，而UCF、ELD、DS、Amulet、RFCN中的显著物体为小狗和后面的字母，除此以为观察小狗轮廓，上述四种算法小狗的轮廓较为模糊，而本章提出的方法提取的显著物体轮廓更加清晰。观察最后一张合影图片，R3Net在面对多个显著物体时，显著物体边界出现真值图像相比，存在明显误差，而本章提出的方法提取的显著物体边界明显，轮廓和真值图像更为接近。综上，本章提出的方法在提取图像显著物体时，提取的显著图像更为准确，轮廓更加清晰，得到的显著性区域更加完整，且具有更少的噪点。1.4模型性能评价（1）DUTS数据库图3-7和表3-1是在DUTS数据库上运行本章提出的显著物体检测模型与其他6种模型之间的定量比较结果，在图3-7（a）中本章提出算法的精度召回曲线（P-R曲线）右侧部分位于其他算法的下边，但是在中间部分位于所有算法的上边，结合图3-7（b），虽然Recall值较低，但是Precision和Fmeasure值高于其他算法。在表3-1中，观察数据可以得出，本章提出算法的MAE值为0.58，相较于其他模型的数值更低，表明模型得到的显著图与真值图之间的平均绝对误差最小。Fmeasure值最高，和从柱状图观察到的结果一致。Smeasure的值虽然不是最高，但是也排名第三，这代表了本章提出算法得到的显著图与真值图之间的结构相似性良好。这三个值综合印证了本章提出算法的优越性。（a）P-R曲线（b）Fmeasure柱状图图3-7DUTS数据库中不同模型的P-R曲线，Fmeasure柱状图Fig.3-7P-Rcurve,FmeasurehistogramofdifferentmodelsinDUTSdatabase表3-1DUTS数据库中不同模型的性能比较Tab.3-1PerformancecomparisonofdifferentmodelsinDUTSdatabase评价指标UCFRFCNDSELDAmuletR3NetOurMAE0.1170.0910.0900.0930.0850.0590.058Fmeasure0.6290.7120.6330.6290.6760.7360.758Smeasure0.7780.7920.7930.7530.8030.8290.801（2）ECSSD数据库图3-8和表3-2是在ECSSD数据库上运行本章提出的显著物体检测模型与其他6种模型之间的定量比较结果，在图3-8（a）中可以清楚看到，本章提出算法P-R曲线在其他模型的中间，结合图3-8（b），本章提出算法的Precision值最高，但是Recall值较低，Fmeasure值较高。在表3-2中，观察数据可以得出，本章提出算法的MAE值为0.054，相较于其他模型的数值排名第二，表明模型得到的显著图与真值图之间的平均绝对误差较小。Fmeasure值第二高，和从柱状图观察到的结果一致。Smeasure的值虽然不是最高，但是也排名第四，这代表了本章提出算法得到的显著图与真值图之间的结构相似性良好。本章提出算法在ECSSD数据库上各个评价指标都对比于DUTS数据库都有了明显增长，但是在ECSSD数据库上的表现不如R3Net模型表现优秀。（a）P-R曲线（b）Fmeasure柱状图图3-8ECSSD数据库中不同模型的P-R曲线，Fmeasure柱状图Fig.3-8P-Rcurve,FmeasurehistogramofdifferentmodelsinECSSDdatabase表3-2ECSSD数据库中不同模型的性能比较Tab.3-2PerformancecomparisonofdifferentmodelsinECSSDdatabase评价指标UCFRFCNDSELDAm