【《图像语义分割模型研究现状的文献综述》4300字】

图像语义分割模型研究现状的文献综述图像语义分割由Ohta等人[10]首次提出，其定义是：为图像中的每一个像素分配一个预先定义好的表示其语义类别标签。与传统的图像分割相比，语义分割在其基础上为图像中的目标或前景加上一定的语义信息。能够根据图像本身的纹理、场景和其他高层语义特征来得出图像本身需要表达的信息，更具实用价值。在深度学习方法流行之前，基于TextonForest和RandomForest等传统机器学习分类器的语义分割方法是用得比较多的方法。但是深度学习的兴起，大大的提高了语义分割算法的精度，使得学者对于传统的语义分割算法的研究热情逐渐开始走向下坡路。目前的语义分割模型主要有三种，分别为基于滑窗、基于候选区和基于编码器-解码器。基于滑窗的语义分割模型2012年，Ciresan用CNN来挑战语义分割任务。Ciresan采取滑窗的方式，取以每个像素点为中心的小图像块输入CNN来预测该像素点的语义标签，打破CNN只用于目标分类的先河。将取出的图片送入卷积神经网络中，从而预测出该图片属于哪一类，然后将这个窗口的中心像素打上这个标签。重复这个取窗口和预测的过程，直到所有的像素点都被打上对应的标签。易发现，该方法有明显的缺点。首先，需要遍历每个像素点提取以像素点为中心的小图像进行训练、预测，速度慢且很耗时。其次，合适的窗口大小不确定，大小了缺少上下文信息，太大了会增加很多计算量，同时，很多窗口之间存在着大量冗余计算。基于候选区域的语义分割模型鉴于基于滑窗方法的缺点，可以采用基于候选区域的方法来解决此问题。而在语义分割领域，基于区域选择的几个算法主要是由关于目标检测的工作渐渐延伸到语义分割领域。伯克利大学的Girshick教授等人共同提出了首个在目标检测方向应用的深度学习模型：Region-basedConvolutionalNeuralNetwork（R-CNN）。该网络模型如图1.6所示，其主要流程为：先使用selectivesearch算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM对候选框进行分类预测，最后使用回归方法对区域框进行修正。由于R-CNN的效率太低，2015年由Ross等[11]学者提出了它的改进版本：FastR-CNN。其网络结构图如图1.7所示，从提取特征开始，略掉了region的选择，FastR-CNN在传统的R-CNN模型上有所改进的地方是它是直接使用一个神经网络对整个图像进行特征提取，就省去了串行提取特征的时间；接着使用一个RoIPoolingLayer在全图的特征图上摘取每一个RoI对应的特征，再通过FC进行分类和包围框的修正。2016年提出的FasterR-CNN[12]可以说有了突破性的进展，因为它改变了它的前辈们最耗时最致命的部位：selectivesearch算法。它将selectivesearch算法替换成为RPN，使用RPN网络进行region的选取，将2s的时间降低到10ms，其网络结构如图1.8所示。图1.6R-CNN模型图1.7FastR-CNN模型图1.8FastR-CNN模型接下来，由关于目标检测的工作渐渐延伸到语义分割领域。何恺明团队提出的一个基于FasterR-CNN模型的一种新型的分割模型MaskR-CNN[13]，在MaskR-CNN的工作主要完成了三件事情：目标检测、目标分类和语义分割。作者在FasterR-CNN的结构基础上加上了Mask预测分支，并且改良了ROIPooling，提出了ROIAlign。其网络结构如图1.9所示。图1.9MaskR-CNNMaskR-CNN中存在问题在于，评价函数只对目标检测的候选框进行打分，而不是分割模板，所以会出现分割模板效果很差（杂乱、遮挡）但是评分很高的情况。2019年提出的MSR-CNN，主要针对MaskR-CNN的一点点缺点进行了修正。MSRCNN和MaskRcnn类似，只是在MaskRcnn的基础上，增加了MaskIOU分支，整个网络是端到端的，利用MSRCNN可以更准确地反应分割的质量。图1.10MaskScoringR-CNN网络结构基于编码器-解码器结构的语义分割模型2014年提出的FCN（全卷积神经网络）[14]是语义分割研究的一个重要节点，在其提出之后语义分割整体实现精度大的跨越。它完全改变了之前需要一个窗口来将语义分割任务转变为图片分类任务的观念，FCN完全丢弃了图片分类任务中全连接层，从头到尾都只使用到了卷积层，其网络结构如图1.11所示。将提取特征的过程称为编码器，也就是FCN的前面特征图变小的阶段；将后面进行上采样/反卷积的过程称为解码器。图片在解码器中恢复了原图大小。图1.11FCN网络结构Long等将浅层信息与深层信息进行融合，优化了分割结果。如图9所示，图像经过5组卷积和池化之后，特征图尺寸变为原图的132图1.12FCN跳跃式连接结构从FCN后，基于编码器解码器结构的经典网络结构如同雨后春笋般冒了出来，诸如UNet、deeplab系列、PSPNet等。UNet网络[15]是在医学影像分割中最常用的模型。它的典型特点是，它是U型对称结构，左侧是卷积层，右侧是上采样层，这是典型的编码器解码器结构。另一个特点是，UNet网络的每个卷积层得到的特征图都会concatenate到对应的上采样层，从而实现对每层特征图都有效使用到后续计算中。这样，同其他的一些网络结构比如FCN比较，Unet避免了直接在高级featuremap中进行监督和loss计算，而是结合了低级featuremap中的特征，从而可以使得最终所得到的featuremap中既包含了高级feature，也包含很多的低级feature，实现了不同尺度下特征融合，提高了模型的结果精确度。图1.13Unet网络结构2015年的ICLR上提出的DeepLabv1[16]是结合了深度卷积神经网络和概率图模型的方法。它将概率图模型作为网络的后处理方法，对一个像素进行分类的时候，不仅考虑深度卷积神经网络的输出，而且考虑该像素点周围像素点的值，这样语义分割结果边界清楚。图1.14DeepLabv1网络结构在实验中发现深度卷积神经网络做语义分割时精准度不够的问题，根本原因是重复的池化和下采样降低了分辨率。但另一方面，重复的池化和下采样扩大了感受野，而感受野的扩大对语义分割任务来说也是至关重要的。针对这一问题，DeepLabv2[17]采用的空洞卷积算法扩展感受野，与此同时不会降低特征图的分辨率。图1.15DeepLabv2网络结构此外，DeepLabv2基于空洞卷积，设计了ASPP模块。它组合了不同dilationrate的空洞卷积所产生的特征图。这样，不同空洞卷积产生的不同感受野的特征图被组合在了一起，从而获取了更加丰富的上下文信息。图1.16DeepLabv2的ASPP模块DeepLabv3[18]的创新点一是改进了ASPP模块。改进后的ASPP模块多了个1×1的卷积核和全局平均池化，与原来的ASPP相比，新的ASPP模块能够聚集到全局的上下文信息，而之前的只能聚集局部的上下文。图1.17DeepLabv3的ASPP模块DeepLabv3+是在DeepLabv3的基础上进行改进，将深度卷积神经网络部分看做Encoder，将深度卷积神经网络输出的特征图上采样成原图大小的部分看做Decoder，构成Encoder+Decoder体系，强化Decoder可使模型整体在图像语义分割边缘部分取得良好的结果。图1.18deeplabv3+网络结构语义分割任务的难点主要包括语义关系不匹配、相近类别容易混淆、不明显类别识别能力差等。这些错误错误都与不同感受野获取的全局信息和语境关系有着部分甚至是完全的关联，因此，一个拥有适当场景级全局信息的深度网络可以大大提高场景解析的能力。PSPNet[20]是在FCN上的改进，提出了一个具有层次全局优先级，包含不同子区域时间的不同尺度的信息，称之为金字塔池化模块。引入更多的上下文信息进行解决，当分割层有更多全局信息时，出现误分割的概率就会低一些，这种思想目前在许多图像领域都有所应用。图1.19PSPNet网络结构综上所述，当前的语义分割网络层出不穷，基本上形成了4种不同的实现架构，包括图像金字塔的架构、编码器-解码器的架构、语境模块和金字塔池化方法。图像金字塔的构架如DeepMedic、2-scale-RefineNet等。首先对输入图像进行尺度变换得到不同分辨率的版本，然后将所有尺度的图像都放入CNN中得到不同尺度的分割结果，最后将其不同分辨率的分割结果融合得到原始分辨率的分割结果。这类方法的缺陷在于计算量大，运算时间长。编码器-解码器的构架如FCN、SegNet、U-Net和RefineNet等。编码器一般采用图像分类预训练得到的网络，采用不断的最大池化和卷积步长有利于获得长范围的语境信息从而得到更好的分类结果。然而在此过程中特征分辨率不断降低，图像细节信息丢失，对于分割任务而言具有巨大的挑战。因此在编码器之后需要利用解码器进行图像分辨率的恢复。值得注意的是，一般解码器常常具有类似跳跃连接的结构将编码得到的细节信息加入后续解码的信息恢复中。语境模块如Multi-scalecontextaggregation、DeepLabV1,V2和CRF-RNN等。语境模块一般是级联在模型后面，以获得长距离的语境信息。通过条件随机场提高模型捕获细节和边缘信息的能力，条件随机场能够对于任意长距离内像素之间的关系进行建模，因此改善逐项素分类得到的分割结果。金字塔池化方法如PSPNet、DeepLabV2,V3,V3+等。金字塔池化的方法作用在卷积特征上，能够以任意的尺度得到对应的语境信息。一般采用平行的多尺度空洞卷积或者多区域池化得到对应尺度语境信息的特征，最后再将其融合形成综合多个尺度语境的特征向量。随着深度学习技术的发展和研究者的不懈努力，通过不断地改进模型，分割效果也在不断地提高。一些研究者先将图像划分成一系列目标候选区域，再用深度学习技术对目标区域进行分类，提高了分割效率。另一些研究者则直接利用深度神经网络，以像素分类的方式进行分割，将分割过程改为端到端的模式，避免了预先生成图像块所带来的问题，提高了分割准确率。基于这些改进，将深度学习语义分割方法的处理流程概括为特征提取、语义分割和后期处理这3个核心步骤，如图1.20所示，其中，实线表示一般处理步骤，虚线表示选择使用环节。图1.20深度学习语义分割方法的一般处理流程参考文献[1]Y.LeCun,L.Bottou,Y.Bengio,P.Haffneretal.,“Gradient-basedlearningappliedtodocumentrecognition,”ProceedingsoftheIEEE,vol.86,no.11,pp.2278–2324,1998.[2]K.Fukushima,“Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,”Biologicalcybernetics,vol.36,no.4,pp.193–202,1980.[3]A.Waibel,T.Hanazawa,G.Hinton,K.Shikano,andK.J.Lang,“Phonemerecognitionusingtime-delayneuralnetworks,”IEEEtransactionsonacoustics,speech,andsignalprocessing,vol.37,no.3,pp.328–339,1989.[4]D.E.Rumelhart,G.E.Hinton,R.J.Williamsetal.,“Learningrepresentationsbyback-propagatingerrors,”Cognitivemodeling,vol.5,no.3,p.1,1988.[5]S.HochreiterandJ.Schmidhuber,“Longshort-termmemory,”Neuralcomputation,vol.9,no.8,pp.1735–1780,1997.[6]I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,andY.Bengio,“Generativeadversarialnets,”inAdvancesinneuralinformationprocessingsystems,2014,pp.2672–2680.[7]A.Radford,L.Metz,andS.Chintala,“Unsupervisedrepresen-tationlearningwithdeepconvolutionalgenerativeadversarialnetworks,”arXivpreprintarXiv:1511.06434,2015.[8]M.MirzaandS.Osindero,“Conditionalgenerativeadversarialnets,”arXivpreprintarXiv:1411.1784,2014.[9]M.Arjovsky,S.Chintala,andL.Bottou,“Wassersteingan,”arXivpreprintarXiv:1701.07875,2017.[10]田萱,王亮,丁琪.基于深度学习的图像语义分割方法综述.软件学报,2019，30(2):440-468.[11]R.Girshick,“FastR-CNN,”inIEEEInternationalConferenceonComputerVision(ICCV),2015.[12]S.Ren,K.He,R.Girshick,andJ.Sun.FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnetworks.InNIPS,2015.[13]K.He,G.Gkioxari,P.Dollar,andR.Girshick.Maskr-cnn.InIEEEInternationalConferenceonComputerVision,pages2980–2988,2017.[14]J.Long,E.Shelhamer,T.Darrell.FullyConvolutionalNetworksforSemanticSegmentation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,39(4):640-651.[15]O.Ronneberger,P.Fischer,T.Brox.U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation[J].InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention.SpringerInternationalPublishing,2015.[16]C.Chen,G.Papandreou,I.Kokkinos,etal.SemanticImageSegmentationwithDeepConvolutionalNetsandFullyConnectedCRFs[J].ComputerScience,2014