【《基于深度学习的图像分割算法DeepLab v3+分析》2000字】

基于深度学习的图像分割算法DeepLabv3+分析1.1图像分割算法DeepLabv3+概述DeepLab是由谷歌提出的围绕语义分割的系列网络，它结合了深度卷积神经网络和概率图模型的方法，是膨胀卷积的重要应用，该算法通过AtrousConvolution的方式进行拓展感受野，如图3-1所示，同时解决了pooling造成细节丢失问题。Deeplabv3+是Deeplab卷积神经网络系列中最新内容，也是当前最流行的语义分割算法，本课题便是训练Deeplabv3+卷积神经网络来实现语义图像分割。3×3卷积(b)rate=1(c)rate=2图3-1AtrousConvolution示意图首先先简单了解下Deeplapv3相关的创新点以及不足。Deeplapv3相比Deeplapv2创新点主要有四个方面，首先它提出更加通用的框架；其次重新设计空洞卷积，将空洞卷积和级联模块结合起来使用，不再单独使用；第三点它改进了ASPP，在ASPP的最后一层使用了BN层；最后一点是去掉了CRF。但是，Deeplabv3直接按照8或者16进行上采样来获取最终结果，这样处理不能充分恢复降采样的过程中损失的细节信息，导致分割效果很粗糙。为了解决分割效果粗糙的问题，Deeplabv3+在Deeplabv3的基础上加入编码器和解码器结构来恢复原始分辨率的分割结果，使得边缘细节信息能够较好的保留[10]。此外，还将Deeplabv3的基础网络ResNet101换成了Xception网络，使用深度分割卷积进一步提高分割算法的速度和精度。1.2图像分割算法DeepLabv3+结构1.2.1DeepLabv3+相关神经网络在DeepLabv3+中,使用空间金字塔模块和encoder-decoder两种类型的神经网络结构做语义分割[11]。如图3-2所示：(a)金字塔池化(b)编码器-解码器(c)基于空间池化编码器-解码器图3-2DeepLabv3+相关的神经网络图（a）：空间金字塔池化结构，对图像进行不同rate的空洞卷积（rate即空洞数），提取不同尺度的语义信息。图（b）：编码器-解码器结构，编码器包含了金字塔池化结构，提取丰富的像素语义信息，而解码器解决上文所说的池化造成边缘信息丢失的问题，在下文具体说明。图（c）：基于空间池化编码器-解码器结构，是Deeplabv3+中所使用的新的结构，它是将前面两者结合起来，在空间池化的基础上使用了编码器和解码器架构，从而能够有效的解决Deeplabv3中使用上仅仅通过采样恢复特征图时导致细节信息丢失的问题。Deeplabv3+网络的编码器和Deeplabv3一样，依然采用了ASPP的设计思想。Deeplabv3+和Deepv3相比，主要差别是在解码器部分的内容，其中最大的不同点是Deeplabv3+采用的是级联解码器，不是一步到位的；而Deeplabv3则是在双线性插值之后直接按照原采样率进行上采样一步得出了结果。1.2.2DeepLabv3+网络结构DeepLabv3+的整体的架构如图3-3所示：图3-3DeepLabv3+的整体的架构Encoder:使用deeplabv3作为编码器。将图像输入之后，一方面通过ASPP结构，得到不同样的特征：1×1的卷积得到图像特征；另外三个使用不同倍率的空洞卷积得到不同视野的特征图，再做pooling（pooling参数设置和空洞数是一样的，就能保证图像大小一致）；最后再加上全局的特征，对全局图像数据进行pooling。最后5个特征图大小一致，拼接在一起再联1×1的卷积，融合成一个更好的特征图像，但卷积会使图像变小。Decoder:最左边的解码器可以使用如ResNet第二层第一个block，当作一个浅层（low-level）特征，采用1×1的卷积核，得到特征图，与encoder特征图像大小不匹配，通过上采样扩大encoder特征图像，使其与特征图1的图像大小匹配。将全局特征和局部特征融合在一起，再通过卷积细化feature；最后经过一个四倍上采样，输出和输入大小比例相同的图像。DeepLabv3+整个执行过程如图3-4所示：（1）一张图片A，送进改造过后的主流深度卷积网络B（DCNN,加入了一个空洞卷积AtrousConv）提取特征，得到高级语义特征C和低级语义特征G。（2）高级语义特征C进入到空洞金字塔池化模块ASPP，分别与四个空洞卷积层和一个池化层进行卷积和池化，得到五个特征图，然后连接成五层D。D再通地一个1×1的卷积进行运算后得到E;E再经过上采样得到F。（3）通过在深度卷积网络层找到一个与F分辨率相同的低级语义特征图G；经过1×1卷积进行降通道数使之与F所占通道比重一样，更有利于模型学习（4）合并成H，然后再通过一个3×3细化卷积进行细化；后通过双线性上采样4倍，得到预测结果。图3-4DeepLabv3+整个执行过程示意图1.2.3深度可分离卷积Deeplabv3+对网络架构的优化是将原来的ResNet101换成了Xception。讲述Xception内容之前了解深度可分离卷积，原理如图3-5所示：图3-5深度可分离卷积示意图注：depthwiseconv：是在每个通道上独自的进行空间卷积。pointwiseconv：是利用1x1卷积核对depthwiseconv进行组合，从而得到特征。atrousconv：空洞卷积。深度可分离卷积，降低了计算的复杂度：【depthwiseseparableconv】=【depthwiseconv】+【pointconv】空洞分离卷积：【Atrousseparableconv】=【depthwiseconv】+【atrousconv】深度可分离卷积对输入特征图的每个通道分别单独做卷积操作[12]；再通过1x1卷积将所有结果混合得到输出，这种方式相比普通卷积可以大幅减少需要的计算量；最后，用空洞卷积代替对每一个通道做的卷积操作。整个过程我们称为深度可分离卷积。1.2.4ModifiedAlignedXceptionDCNN模块的发展：【Xception】-->【AlignedXception】-->【ModifiledAlignedXception】，如图3-6所示：图3-6DCNN模块的发展Xception模型已经在图像分类上取得了快速的计算。MSRA提出的改进版本的AlignedXception在目标检测中实现了快速计算。这里，基于AlignedXception进行了修改得到了ModifiledAlignedXception。改进内容为：使用相同Xception，保证计算速度，提高内存效率；在每个3x3depthwiseconv后，添加BN；1.使用