Fast RCNN神经网络ppt课件.ppt

FastRCNN 继2014年的RCNN之后 RossGirshick在15年推出FastRCNN 构思精巧 流程更为紧凑 大幅提升了目标检测的速度 在Github上提供了源码 同样使用最大规模的网络 FastRCNN和RCNN相比 训练时间从84小时减少为9 5小时 快了9倍 测试时间从47秒减少为0 32秒 快了213倍 在PASCALVOC2007上的准确率相差无几 约在66 67 之间 为什么有了RCNN还要提出FastRCNN 因为前者有3个缺点 1 训练是多阶段的 先提proposal 然后CNN提取特征 之后用SVM分类器 最后再做bounding boxregression 2 训练非常耗费时间和空间 存储 在训练SVM和bboxregression的时候 需要先将之前提取出来的特征写入磁盘中 这些特征需要花费的空间很大 这个过程也非常耗费时间 3 物体检测非常慢 测试的时候 特征需要从每个图片中的每个proposal提取 使用VGG16网络大概每张图片耗费47s 在一个GPU上 1 FastRCNN方法解决了RCNN方法的三个问题 问题一 测试时速度慢RCNN一张图像内候选框之间大量重叠 提取特征操作冗余 FRCNN将整张图像归一化后直接送入深度网络 在邻接时 才加入候选框信息 在末尾的少数几层处理每个候选框 问题二 训练时速度慢原因同上 在训练时 FRCNN先将一张图像送入网络 紧接着送入从这幅图像上提取出的候选区域 这些候选区域的前几层特征不需要再重复计算 问题三 训练所需空间大RCNN中独立的分类器和回归器需要大量特征作为训练样本 FRCNN把类别判断和位置精调统一用深度网络实现 不再需要额外存储 FastRCNN的优点 相比于RCNN 1 比R CNN更高的检测质量 mAP 2 把多个任务的损失函数写到一起 实现单级的训练过程 3 在训练时可更新所有的层 4 不需要在磁盘中存储特征 2 FastRCNN的整体框架 整体框架如Figure1 如果以AlexNet 5个卷积和3个全连接 为例 大致的训练过程可以理解为 第一步 将这个完整的图片经过若干卷积层与maxpooling层 得到一个featuremap 第二步 用selectivesearch算法从这完整的图片中提取出objectproposals 即RoI 第三步 根据映射关系 可以得到每个objectproposal对应的featuremap 第四步 将第三步得到的featuremap经过RoIpoolinglayer得到固定大小的featuremap 变小了 第五步 经过2层全连接层 fc 得到固定大小的RoI特征向量 第六步 特征向量经由各自的FC层 得到两个输出向量 第一个是分类 使用softmax 第二个是每一类的boundingbox回归 3 简要流程图如下 说明 在训练的时候 分类与回归是一起训练的 总的loss是分类的loss加上回归的loss 计算公式如下 再用几句话总结 1 用selectivesearch在一张图片中生成约2000个objectproposal 即RoI 2 把它们整体输入到全卷积的网络中 在最后一个卷积层上对每个ROI求映射关系 并用一个RoIpoolinglayer来统一到相同的大小 fc featurevector即 提取一个固定维度的特征表示 3 继续经过两个全连接层 FC 得到特征向量 特征向量经由各自的FC层 得到两个输出向量 第一个是分类 使用softmax 第二个是每一类的boundingbox回归 4 RolpoolinglayerRolpoolinglayer的作用主要有两个 一个是将image中的rol定位到featuremap中对应patch 另一个是用一个单层的SPPlayer将这个featuremappatch下采样为大小固定的feature再传入全连接层 Multi tasklossFRCN有两个loss 以下分别介绍 对于分类loss 是一个N 1路的softmax输出 其中的N是类别个数 1是背景 对于回归loss 是一个4xN路输出的regressor 也就是说对于每个类别都会训练一个单独的regressor的意思 比较有意思的是 这里regressor的loss不是L2的 而是一个平滑的L1 形式如下