MaskRCNN原理详解.ppt

MaskRCNN解读 2020 1 2 FasterRCNN 2 FasterR CNN可以简单地看做 区域生成网络RPNs FastR CNN 的系统 用区域生成网络代替FastR CNN中的SelectiveSearch方法 FasterR CNN这篇论文着重解决了这个系统中的三个问题 1 如何设计区域生成网络 2 如何训练区域生成网络 3 如何让区域生成网络和FastRCNN网络共享特征提取网络 在整个FasterR CNN算法中 有三种尺度 1 原图尺度 原始输入的大小 不受任何限制 不影响性能 2 归一化尺度 输入特征提取网络的大小 在测试时设置 源码中opts test scale 600 anchor在这个尺度上设定 这个参数和anchor的相对大小决定了想要检测的目标范围 3 网络输入尺度 输入特征检测网络的大小 在训练时设置 源码中为224 224 FasterRCNN 3 1 向CNN网络 如VGG 16 输入任意大小图片 2 经过CNN网络前向传播至最后共享的卷积层 一方面得到供RPN网络输入的特征图 另一方面继续前向传播至特有卷积层 产生更高维特征图 3 供RPN网络输入的特征图经过RPN网络得到区域建议和区域得分 并对区域得分采用非极大值抑制 阈值为0 7 输出其Top N 文中为300 得分的区域建议给RoI池化层 4 第2步得到的高维特征图和第3步输出的区域建议同时输入RoI池化层 提取对应区域建议的特征 5 第4步得到的区域建议特征通过全连接层后 输出该区域的分类得分以及回归后的bounding box RPN 4 RPN的核心思想是使用CNN卷积神经网络直接产生RegionProposal 使用的方法本质上就是滑动窗口 只需在最后的卷积层上滑动一遍 因为anchor机制和边框回归可以得到多尺度多长宽比的RegionProposal RPN网络也是全卷积网络 FCN fully convolutionalnetwork 可以针对生成检测建议框的任务端到端地训练 能够同时预测出object的边界和分数 只是在CNN上额外增加了2个卷积层 全卷积层cls和reg Anchors 5 RPN 训练样本考察训练集中的每张图像 a 对每个标定的真值候选区域 与其重叠比例最大的anchor记为前景样本b 对a 剩余的anchor 如果其与某个标定重叠比例大于0 7 记为前景样本 如果其与任意一个标定的重叠比例都小于0 3 记为背景样本c 对a b 剩余的anchor 弃去不用 d 跨越图像边界的anchor弃去不用代价函数同时最小化两种代价 a 分类误差b 前景样本的窗口位置偏差 Roimaxpooling 6 roi pool层将每个候选区域均匀分成M N块 对每块进行maxpooling 将特征图上大小不一的候选区域转变为大小统一的数据 送入下一层 对于roimaxpooling 一个输入节点可能和多个输出节点相连 MaskRCNN 7 其中黑色部分为原来的Faster RCNN 红色部分为在Faster网络上的修改 1 将RoiPooling层替换成了RoiAlign 2 添加并列的FCN层 mask层 Mask RCNN的几个特点1 在边框识别的基础上添加分支网络 用于语义Mask识别 2 训练简单 相对于Faster仅增加一个小的Overhead 可以跑到5FPS 3 可以方便的扩展到其他任务 比如人的姿态估计等 4 不借助Trick 在每个任务上 效果优于目前所有的single modelentries MaskRCNN 8 Mask RCNN技术要点通过ResNeXt 101 FPN用作特征提取网络 达到state of the art的效果 采用ROIAlign替代RoiPooling 改进池化操作 引入了一个插值过程 先通过双线性插值到14 14 再pooling到7 7 很大程度上解决了仅通过Pooling直接采样带来的Misalignment对齐问题 虽然Misalignment在分类问题上影响并不大 但在Pixel级别的Mask上会存在较大误差 结果对比能够看到ROIAlign带来较大的改进 Stride越大改进越明显 每个ROIAlign对应K m 2维度的输出 K对应类别个数 即输出K个mask m对应池化分辨率 Loss函数定义 Lmas