图像语义分割

图像语义分割

----基于FCN及其变种CONTENTS主要任务与难点分析基于深度网络模型的解决方案及其发展概览D-LinkNet模型分析模型改进PARTONE主要任务与难点分析主要任务

以像素级的精细程度对每一个实体进行检测并标记精确的边界。从细节角度来说，每个像素都是一个训练样本，判断该训练样本是否为带分割目标的组成部分，为多分类或二分类任务。标注图层卫星图像难点分析分辨率1024*1024包含多种地形上的道路0102与图像分类任务单利用低分辨率高阶特征不同，语义分割不仅需要高阶特征捕捉整体信息，还需要高分辨率的低阶特征所包含的位置信息。识别的目标具有跨度大和连通性，需要感受视野广的高阶特征。识别目标分布在整张图片很小一部分，背景像素数量远大于前景像素，即类别不平衡问题。03PARTTWO基于深度网络模型的解决方案及其发展概览基于深度网络模型的发展U-Net:ConvolutionalNetworksforBiomedicalImageSegmentationDeepLabV1toDeepLabV3+LinkNetetc.SegNet:ADeepConvolutionalEncoder-DecoderArchitectureforRobustSemanticPixel-WiseLabellingFullyconvolutionalnetworksforsemanticsegmentation(2014)FCN特点034（1）实现了END-END训练（2）全卷积，保留了位置信

息（3）添加Skip-Layer结构，

提高了精度不足（1）经过polling层的下采样

与特征提取，位置空间

信息遭到了损失，结果

不太精确（2）没有考虑到像素之间的

关系，缺乏空间一致性（3）HeatMap分辨率较低SegNet不足034（1）通过复制池化层索引进

行上采样，用来恢复位

置信息（2）参数少，无反卷积层，

易于训练特点（1）没有考虑到像素之间的

关系，缺乏空间一致性（2）保存的位置信息仅来自

池化层索引，位置信息

不充足U-Net特点034（1）Encoder-Decoder架

构（2）分辨率较高HeatMap，

边缘部分分割较为精细（3）添加Short-Cut结构不足（1）主要针对医学影像分割，

层数较浅，特征提取不

充分（2）同FCN一样，没有考

虑到像素之间的关系，

缺乏空间一致性LinkNet特点034（1）使用ResNetBlock，

网络结构较深，特征提

取充分（2）ResNet结构训练较快，

且不增加参数DeepLabv2特点034（1）AtrousConvolution（2）FullyConnected

CRF，考虑像素间关系PARTTHREED-LinkNet模型分析模型结构ADDYOURTITLEHERE模型结构---B部分ADDYOURTITLEHERE特点（1）dilationconvolution，

增加的感受野面积，而

不增加参数。（2）级联加并行结合多层卷

积结果，保留了较为充

分的特征模型结构---C部分ADDYOURTITLEHERE特点（1）添加Short-Cut结构，

位置信息保留充分，适

合精细分割（2）结合多层卷积结果，保

留了较为充分的特征Loss红框部分是dicecoeff

loss，绿框部分是Binarycrossentropyloss，P是网络输出的预测结果，GT是真实标签，N是batchsize。要识别的部分仅为图片的小部分，该Loss以应对类别不平衡问题。模型结构---C部分ADDYOURTITLEHERE技巧testtimeaugmentation每张图片经过水平、垂直、对角线翻转生成2*2*2章图片，保存每张图片的OutPut，每个像素位置取均值。PARTFOUR模型改进模型改进Pooling位置保存借鉴SegNet想法，保存Pooling层索引以恢复位置信息，精确化分割模型结构ADDYOURTITLEHERE模型改进红外通道信息利用利用红外通道信息，单独训练一个网络（优先U-Net），加至输出层之前，辅助判别Pooling位置保存借鉴SegNet想法，保存Pooling层索引以恢复位置信息，精确化分割模型结构ADDYOURTITLEHERE模型改进红外通道信息利用利用红外通道信息，单独训练一个网络（优先U-Net），加至输出层之前，辅助判别添加CRF精确化判别添加全连接条件随机场进行再训练，而预测时候并不需要添加，仅增加训练成本。精确边缘分割效果Pooling位置保存借鉴SegNet想法，保存Pooling层索引以恢复位置信息，精确化分割fullyconnectedConditionalRandomFieldADDYOURTITLEHERE模型结构ADDYOURTITLEHERE模型改进红外通道信息利用利用红外通道信息，单独训练一个网络（优先U-Net），加至输出层之前，辅助判别Encoder部分调整分别尝试ResN