【《图像语义分割方法的PSPNet概述》1700字】

图像语义分割方法的PSPNet概述目录TOC\o"1-3"\h\u10231图像语义分割方法的PSPNet概述 188391.1金字塔池化模块 1248011.2网络整体架构 2253781.3辅助损失 236181.4网络特性 3本章首先介绍了PSPNet的核心模块，在此基础上介绍了PSPNet网络的整体架构，以及辅助loss，并详细介绍了PSPNet网络特性。金字塔场景解析网络（PyramidSceneParsingNetwork,

PSPNet）是2017年提出的语义分割模型。语义分割的目标是获知已知对象的每个像素的类别标签，而场景解析是基于语义分割获知图像内所有像素的类别标签。金字塔池化模块一般在CNN中，感受野可以粗略地认为是使用上下文信息的大小，实际在许多网络中没有充分的获取全局信息，所以效果不好。为解决这一问题，常用的方法是：用全局平均池化处理。但这在某些数据集上，可能会失去空间关系并导致模糊。由金字塔池化产生不同层次的特征最后被平滑的连接成一个FC层做分类。这样可以去除CNN固定大小的图像分类约束，减少不同区域之间的信息损失。为了获取更为全局的先验，论文提出了一个具有层次全局优先级，包含不同子区域之间的不同尺度的信息，称之为金字塔池化模块（pyramidpoolingmodule）。金字塔池化模块是PSPNet的核心模块，能够聚合不同区域的上下文信息，从而提高获取全局信息的能力。图4.1金字塔池化模块该模块融合了4种不同金字塔尺度的特征。最上面的红色金字塔分支代表最粗糙的特征，全局池化生成单个bin输出，下面的橙色、蓝色、绿色金字塔分支的空间信息逐级增大，代表不同尺度的池化特征。为了保证全局特征的权重，如果金字塔共有N个分支，则在每个分支后使用1×1的卷积进行降维，如果有N个分支，则将通道维度降为原本的1/N。再通过双线性插值将不同分支上采样到与第一步生成的特征图同尺寸的特征图，并最终拼接到一起。金字塔等级的池化核大小是可以设定的，这与送到金字塔的输入有关。论文中使用的4个等级，核大小分别为1×1，2×2，3×3，6×6。通过利用金字塔池化模块中不同尺度的池化操作，就可以从输入的特征图中提取既有全局又有局部的上下文信息，然后融合起来之后就是全局先验信息了。网络整体架构在金字塔池化模块的基础上，PSPNet的整体架构如图4.2所示。图4.2PSPNet网络结构基础层经过预训练模型和空洞卷积策略提取特征，提取后的特征图是输入的1/8。特征图经过金字塔池化模块得到融合的带有整体信息的特征，在上采样与池化前的特征图相拼接，最后经过卷积层得到最终像素级分割结果。辅助损失PSPNet网络在提出的同时，还提出了一个用于辅助训练的损失函数，如以ResNet101为backbone时，将辅助损失函数加在ResNet101的res4b22的后面，如图4.3所示。在ResNet101的基础上除了使用后面的softmax分类做loss，额外在第四阶段添加了一个辅助loss，两个loss一起传播，使用不同的权重，共同优化参数，有利于快速收敛。图4.3辅助损失如此一来，就将整个网络的优化分解为两个子问题，而每个子问题的优化都相对容易。同时，通过给主损失、辅助损失分配不同权重来平衡其影响。对于辅助输出的特征图，将其同样与样本的标签进行损失计算，然后乘以一个权重后与整个网络最后的输出计算得到的损失相加。此外，这种添加辅助损失的方式只出现在训练过程，在测试阶段会将其移除，只使用主分支的输出进行预测。相当于这是一种训练策略，用于辅助训练过程。网络特性场景解析(SceneParsing)的难度与场景的标签密切相关。先大多数先进的场景解析框架大多数基于FCN，但FCN存在的几个问题：不匹配关系：上下文关系匹配对理解复杂场景很重要，如在水面上的很大可能是船，而不是车。FCN缺乏依据上下文推断的能力。混淆类别：许多标签之间存在关联，可以通过标签之间的关系弥补。不显眼的类别：模型可能会忽略小的东西，而大的东西可能会超过FCN接收范围，从而导致不连续的预测。为了提高不显眼东西的分割效果，应该注重小面积物体。FCN不能有效的处理场景之间的关系和全局信息，而PSPNet能够获取全局场景的深度网络，能够融合合适的全局特征，将局部和全局信息融合到一起，并提出一个适度监督损失的优化策略，在多个数据集上表现优异。综上所述，PSPNet是一个金字塔场景解析网络，其核心模块为金字塔池化模块。为了充分的利用全局特征层次先验知识来进行不同场景理解，该网络中的PSP模块能