深度学习及其视觉应用.ppt

深度学习及其视觉应用 丁贵广 GuiguangDing清华大学软件学院dinggg 深度学习及视觉应用 深度学习概述视觉应用 深度学习 神经网络是多层函数嵌套形成的模型 受到生物神经机制的启发 构建多隐层的模型 深度学习 本质 通过构建多隐层的模型和海量训练数据 可为无标签数据 来学习更有用的特征 从而最终提升分类或预测的准确性 深度模型 是手段 特征学习 是目的 与浅层学习区别 1 强调了模型结构的深度 通常有5 10多层的隐层节点 2 明确突出了特征学习的重要性 通过逐层特征变换 将样本在原空间的特征表示变换到一个新特征空间 从而使分类或预测更加容易 与人工规则构造特征的方法相比 利用大数据来学习特征 更能够刻画数据的丰富内在信息 深度学习的里程碑 2006年 加拿大多伦多大学教授 机器学习领域的泰斗GeoffreyHinton在 科学 上发表论文提出深度学习主要观点 1 多隐层的人工神经网络具有优异的特征学习能力 学习得到的特征对数据有更本质的刻画 从而有利于可视化或分类 2 深度神经网络在训练上的难度 可以通过 逐层初始化 layer wisepre training 来有效克服 逐层初始化可通过无监督学习实现的 DeepLearning的效果 CNN 卷积神经网络 ConvolutionalNeuralNetworks CNN 深度学习的具体模型及方法 深度学习的具体模型及方法 卷积波尔兹曼机 ConvolutionalRBM 局部感受权值共享 减少参数的方法 每个神经元无需对全局图像做感受 只需感受局部区域 FeatureMap 在高层会将这些感受不同局部的神经元综合起来获得全局信息 每个神经元参数设为相同 即权值共享 也即每个神经元用同一个卷积核去卷积图像 深度学习的具体模型及方法 卷积波尔兹曼机 ConvolutionalRBM 隐层神经元数量的确定 神经元数量与输入图像大小 滤波器大小和滤波器的滑动步长有关 例如 输入图像是1000 x1000像素 滤波器大小是10 x10 假设滤波器间没有重叠 即步长为10 这样隐层的神经元个数就是 1000 x1000 10 x10 10000个 深度学习的具体模型及方法 卷积波尔兹曼机 ConvolutionalRBM 多滤波器情形 不同的颜色表示不同种类的滤波器 每层隐层神经元的个数按滤波器种类的数量翻倍每层隐层参数个数仅与滤波器大小 滤波器种类的多少有关例如 隐含层的每个神经元都连接10 x10像素图像区域 同时有100种卷积核 滤波器 则参数总个数为 10 x10 1 x100 10100个 深度学习的具体模型及方法 卷积波尔兹曼机 ConvolutionalRBM CNN的关键技术 局部感受野 权值共享 时间或空间子采样CNN的优点 1 避免了显式的特征抽取 而隐式地从训练数据中进行学习 2 同一特征映射面上的神经元权值相同 从而网络可以并行学习 降低了网络的复杂性 3 采用时间或者空间的子采样结构 可以获得某种程度的位移 尺度 形变鲁棒性 3 输入信息和网络拓扑结构能很好的吻合 在语音识别和图像处理方面有着独特优势 对象识别 CNN 5个卷积层和2个全连接层每层卷积核个数96 256 384 384 256 监督学习 卷积神经网络 96个低级卷积核 监督学习 卷积神经网络 网络庞大 但容易收敛唯一不需要特定初始化参数就可以训练成功比较容易并行化训练 并且可以利用GPU加速在计算机视觉 CV 领域取得成功 深度学习及视觉应用 深度学习概述深度视觉应用 Classification Detection Segmentation ImageCaptioning ImageGenerator ImageCaptioning ImageGenerator CNNModel ConvolutionalNeuralNetworkBasedonCaffeFrameworkBasicModelZFNetVGGNetGoogleNetResNetDenseNetSqueezeNet Classification ObjectDetection 模型 R CNN FastR CNN FasterR CNN YOLO SSD等知名框架精度 PASCALVOC上的mAP 从R CNN的53 3 FastRCNN的68 4 FasterR CNN的75 9 FasterRCNN结合残差网 Resnet 101 达到83 8 速度 从最初的RCNN模型 处理一张图片要用2秒多 到FasterRCNN的198毫秒 张 再到YOLO的155帧 秒 最后出来了精度和速度都较高的SSD 精度75 1 速度23帧 秒 ObjectDetection R CNN 2013 ObjectDetection FastR CNN 2015 Results FasterR CNN FasterR CNN FasterRCNN物体检测系统 Problem SmallObjectDetection ObjectRecognition PersonandCarDetectionBasedonFasterR CNN Input conv3 conv4 conv5 fc6 pooling normalize concatenate convolute IRNN ContextInformation SkipLayerPooling ImprovementBasedonFasterR CNN ImprovementBasedonFasterR CNN 扩大输入图像分辨率修改Anchor的长宽比HardNegativeSampleMining SomeResults SomeResults VOCObjectDetectionTask SomeResults PedestrianDetection Tracking CarDetection Tracking DetectionandClassification DetectionandClassification 行人检索与属性识别 监控视频分析原型系统 系统演示 监控视频中的汽车分类 FaceDetection Recognition Segmentation FullyConvolutionalNetworks FullyConvolutionalNetworks SemanticSegmentation 检测与分割 语义分割 ImageCaptioning ImageCaptioning thebigbenclocktowertoweringoverthecityofLondon BasedStructure NIC Encoder decodermodelNIC NeuralImageCaption modelCNN encodetheimageforsentencesLSTM decodetheimagevectortoasentence Model GAN及ReinforcementLearning 生成器网络编码器 解码器结构NIC模型为图像生成描述解码器网络分类网络分辨句子是真实数据还是生成的有多种结构可以选择Gated CNNText CNN基准值网络 MLP 优化分布 减少策略梯度过程中估计的方差 Experiments Dataset MSCOCO12