生物图像分割的卷积网络

1、周东浩生物图像分割的卷积网络生物图像分割的卷积网络U-Net: Convolutional Networks for Biomedical Image Segmentation Olaf Ronneberger, Philipp Fischer, and Thomas BroxComputer Science Department and BIOSS Centre for Biological Signalling Studies,University of Freiburg, Germany浩 论文的优势论文的优势深度网络的成功训练需要大量的样本深度网络的成功训练需要大量的样本u本论文中使用

2、数据增长策略来提高数据的利用率本论文中使用数据增长策略来提高数据的利用率u包含一个收缩路径来捕捉内容包含一个收缩路径来捕捉内容u包含一个扩张路径来实现精准定位包含一个扩张路径来实现精准定位u两个路径是对称的，形成一个两个路径是对称的，形成一个u形，我们称这种方法形，我们称这种方法是是u-net优点：使用的样本少，速度快，效果更好优点：使用的样本少，速度快，效果更好（对比滑窗卷积网络）（对比滑窗卷积网络）滑窗法的原理：滑窗法是将一个像素的局部区域作为滑窗法的原理：滑窗法是将一个像素的局部区域作为 输入来预测像素的类标签输入来预测像素的类标签优点：能够定位优点：能够定位 局部区域法输入的训练数据比

3、训练图像数目局部区域法输入的训练数据比训练图像数目 大得多大得多缺点：很慢，因为网络要为每个块运行，重叠的块缺点：很慢，因为网络要为每个块运行，重叠的块 导致冗余信息很多导致冗余信息很多 定位和获得图像信息不能兼得定位和获得图像信息不能兼得 u-net u-net 我们提出的方法是一个我们提出的方法是一个u网络，我们加了一个连续层网络，我们加了一个连续层的收缩网络，池化操作被上采样操作替代了，这些层的收缩网络，池化操作被上采样操作替代了，这些层增加了输出的分辨率，为了定位，来自收缩路径的高增加了输出的分辨率，为了定位，来自收缩路径的高分辨率特征与上采样输出相结合，连续的卷积层会基分辨率特征与上

4、采样输出相结合，连续的卷积层会基于这些信息学习聚集更精准的输出于这些信息学习聚集更精准的输出我们一个重要的修正就是上采样部分我们也有大量的我们一个重要的修正就是上采样部分我们也有大量的特征通道，能够使我们的网络将内容信息传播到更高特征通道，能够使我们的网络将内容信息传播到更高分辨率层中去，这个网络没有使用任何完全的链接层，分辨率层中去，这个网络没有使用任何完全的链接层，并且仅仅使用了卷积的有效的部分。例如，分割谱仅并且仅仅使用了卷积的有效的部分。例如，分割谱仅仅使用了像素，其完整内容可以在输入图像中获得。仅使用了像素，其完整内容可以在输入图像中获得。 我们通过重叠的策略使任意图像实现无缝分割，

5、为了我们通过重叠的策略使任意图像实现无缝分割，为了预测在边界区域像素值，缺失的部分可以通过映射输预测在边界区域像素值，缺失的部分可以通过映射输入图像进行推测。入图像进行推测。 我们的方法使用了很少的训练数据，是通过数据增长我们的方法使用了很少的训练数据，是通过数据增长来实现的，我们通过将弹性变形应用到训练数据中来来实现的，我们通过将弹性变形应用到训练数据中来实现的数据增长（后面介绍）。实现的数据增长（后面介绍）。这要求我们的网络对这种变形学习它的不变形，没有这要求我们的网络对这种变形学习它的不变形，没有必要在带注释的图像中看到这些转变。这在生物分割必要在带注释的图像中看到这些转变。这在生物分割

6、中尤为重要，真实的变形能够被有效地模拟。中尤为重要，真实的变形能够被有效地模拟。除了变化性，在许多细胞分割的任务中另一个难点就除了变化性，在许多细胞分割的任务中另一个难点就是等级差不多的相接触的分割，为了达到这个目的我是等级差不多的相接触的分割，为了达到这个目的我们提出了一个加权损失的使用，在接触的细胞间分离们提出了一个加权损失的使用，在接触的细胞间分离的背景标记在损失函数中获得了一个较大的权重。的背景标记在损失函数中获得了一个较大的权重。网络结构网络结构 这个网络的结构如图一所示，它包含了一个左侧的收这个网络的结构如图一所示，它包含了一个左侧的收缩路径和一个右侧的扩张路径，收缩路径遵循着一个

7、缩路径和一个右侧的扩张路径，收缩路径遵循着一个卷积网络典型的结构，它包含了两次卷积网络典型的结构，它包含了两次3*3卷积的重复应卷积的重复应用，每一个都跟着一个修正的线性单元（用，每一个都跟着一个修正的线性单元（reLU）和一）和一个步幅为个步幅为2的的2*2的最大池化法来下采样。在每一步下的最大池化法来下采样。在每一步下采样中我们都加倍了特征通道的数量。在扩张路径中采样中我们都加倍了特征通道的数量。在扩张路径中的每一步都包含着一个特征谱的上采样，紧接着是一的每一步都包含着一个特征谱的上采样，紧接着是一个将通道数量减半的个将通道数量减半的2*2的卷积，一个与相应的来自收的卷积，一个与相应的来自

8、收缩路径的裁剪的图谱的链接，和两次缩路径的裁剪的图谱的链接，和两次3*3的卷积，每一的卷积，每一次都跟随着一个次都跟随着一个reLU。由于在每一个卷积中的边界像。由于在每一个卷积中的边界像素的缺失，裁剪是很有必要的。在最后一层，一个素的缺失，裁剪是很有必要的。在最后一层，一个1*1的卷积被用来将每一个的卷积被用来将每一个64组的特征向量映射到需要的组的特征向量映射到需要的类的数量。类的数量。 训练训练 输入图像和对应的分割图谱用来训练网络，这个网络输入图像和对应的分割图谱用来训练网络，这个网络使用的是使用的是Caffe的【随机梯度下降法】，由于的【随机梯度下降法】，由于unpadded的卷积，

9、按照边界宽度输出比输入小很多的卷积，按照边界宽度输出比输入小很多能量函数能量函数能量函数通过每个像素的能量函数通过每个像素的soft-max进行计算，进行计算，soft-max被定义为：被定义为： 表示是在像素位置表示是在像素位置x处的特征通道处的特征通道k的的activation，K表示的是类别的数量，表示的是类别的数量，p_k(x)是近似的最大函数，例是近似的最大函数，例如，如，p_k(x)约为约为1是对于有着最大激活量是对于有着最大激活量a_k(x)来说的，来说的，p_k(x)约为约为0是对其他的是对其他的k能量函数能量函数 能量函数能量函数El表示的是每个像素的标签，表示的是每个像素的

10、标签，w：我们引入：我们引入w是为了在是为了在训练中凸显某些像素的重要性。我们为每一个背景分训练中凸显某些像素的重要性。我们为每一个背景分割计算权重图来补偿在训练数据集中来自某一确定类割计算权重图来补偿在训练数据集中来自某一确定类别的像素的不同频率，并且使这个网络学习小的分割别的像素的不同频率，并且使这个网络学习小的分割边界，我们将这个引入到两个接触细胞之间。如图：边界，我们将这个引入到两个接触细胞之间。如图： 分割边界是通过形态学操作进行计算的，权重谱计算分割边界是通过形态学操作进行计算的，权重谱计算公式：公式：Wc(x)是平衡类频率的权重谱，是平衡类频率的权重谱，d1表示的是到最近的表示的

11、是到最近的细胞边界的距离，细胞边界的距离，d2是到第二近的细胞边界的距离，是到第二近的细胞边界的距离，在我们的实验中，我们设置的是在我们的实验中，我们设置的是w0=10和和约为约为5的像的像素点。素点。理想的初始权重应该被调整，这样每一个网络中的特理想的初始权重应该被调整，这样每一个网络中的特征图谱就有相似的单位方差。对于一个有着我们这种征图谱就有相似的单位方差。对于一个有着我们这种结构的网络来说，这个能够被实现通过从一个高斯分结构的网络来说，这个能够被实现通过从一个高斯分布中取得初始权重值，高斯分布有一个标准的偏移量布中取得初始权重值，高斯分布有一个标准的偏移量(2/N)N表示一个神经元输入

12、节点的个数，例如在上一层中表示一个神经元输入节点的个数，例如在上一层中3*3的卷积和的卷积和64个特征通道的个特征通道的N=9*64=576数据增长数据增长当只有很少数据能够获得时，数据增长对于教会网络当只有很少数据能够获得时，数据增长对于教会网络稳定性至关重要稳定性至关重要如果是显微镜成像，我们起初需要对变形和灰度值变如果是显微镜成像，我们起初需要对变形和灰度值变化的转移和选转不变性，特别是随机样本的弹性不变化的转移和选转不变性，特别是随机样本的弹性不变量对于训练有着很少注释样本的分割网络来说似乎是量对于训练有着很少注释样本的分割网络来说似乎是一个关键的概念。一个关键的概念。方法：我们通过在一个方法：我们通过在一个3*3的粗糙网格中使用一个随机的粗