《深度学习》课件第十章胶囊网络

第十章胶囊网络10.1

胶囊网络起源10.2

胶囊网络基本概念10.3

胶囊网络工作原理10.4

胶囊网络典型应用《深度学习》of20110.1胶囊网络起源第十章胶囊网络of202GeoffreyHinton在2017年提出胶囊网络（CapsuleNetworks）概念。（1）提出意义解决经典神经网络会损失很多重要空间信息这一问题。在经典神经网络的池化过程中，因为只有最活跃的神经元会被选择传递到下一层，所以会损失很多重要的空间信息。（2）routing-by-agreement为解决这一问题，GeoffreyHinton提出使用一个叫做“routing-by-agreement”的过程，将较为底层的特征只被传递到与之匹配的高层。例如，手、眼睛、嘴巴等底层特征将只被传递到“面部”的高层，手指、手掌等底层特征将只被传递到“手”的高层。10.1

胶囊网络起源10.2胶囊网络基本概念第十章胶囊网络10.3

胶囊网络工作原理10.4

胶囊网络典型应用《深度学习》of203第十章胶囊网络of20410.2胶囊网络基本概念

胶囊网络定义及特点1胶囊网络是一种向量型神经网络，在网络中能保存被处理对象的姿态信息(如精确的目标位置、旋转、厚度、倾斜、大小等信息)，而不是丢失了之后再恢复。胶囊网络不仅蕴含特征出现的概率，还蕴含经典卷积神经网络由于池化等操作所丢失的诸如位置、倾斜、大小等姿态信息。第十章胶囊网络of20510.2胶囊网络基本概念

胶囊网络组成2胶囊网络由“胶囊”组成，“胶囊”是一组神经元，而不是单个神经元。经典神经网络由神经元组成。每个经典神经元的输入输出都是标量。每个胶囊的输入和输出都是向量，每个胶囊代表了被处理对象的一种属性，胶囊的向量值对应该属性的值。第十章胶囊网络of20610.2胶囊网络基本概念

胶囊网络结构3胶囊网络结构第十章胶囊网络of20710.2胶囊网络基本概念

胶囊与经典神经元在神经网络中的具体区别4胶囊与经典神经元对比

胶囊经典神经元底层输入操作仿射变换_加权求和非线性激活输出第十章胶囊网络of20810.2胶囊网络基本概念

胶囊vs经典神经元

向量vs标量4每个胶囊对应的向量，不仅蕴含着某种属性是否存在这一信息，还蕴含着属性的具体特征等信息。如某一个胶囊对应的某种动物是否有羽毛，以及该羽毛的颜色、纹理、形状特征。胶囊网络关注“是”与“否”的问题，以及具体是什么或不是什么的问题。胶囊经典神经元经典神经元的输出只是一个标量，只能表示出某个特征存不存在，不能表示出具体是什么特征。如一个神经元的标量仅对应着某种动物是否有羽毛，无法表示出该羽毛的颜色、纹理、形状等特征。经典神经元更关注“是”与“否”的问题。10.3胶囊网络工作原理10.2

胶囊网络基本概念10.1

胶囊网络起源第十章胶囊网络10.4

胶囊网络典型应用《深度学习》of209第十章胶囊网络of201010.3胶囊网络工作原理

胶囊网络核心思想1所有胶囊检测到的特征的姿态等重要信息，都以向量的形式被胶囊封装。胶囊网络将空间信息编码为特征，同时也计算该特征的存在概率，再使用动态路由（dynamicrouting）算法将较为底层的特征传递到与之匹配的高层。通过用一个向量来表示一个胶囊，向量的模表示特征存在的概率，向量的方向表示特征的姿态信息。每个胶囊的输入和输出都是向量，每个胶囊代表了被处理对象的一种属性，胶囊的向量值对应该属性的值。通过重现它检测到的对象，将重现结果与训练数据中的标记示例进行比较来学习如何预测，通过反复地学习，它可以实现较为准确的特征姿态参数预测。第十章胶囊网络of201110.3胶囊网络工作原理

胶囊网络工作过程2胶囊网络的工作过程包括如下三个部分：输入向量的矩阵乘法输入向量的加权求和12向量非线性化后输出3第十章胶囊网络of201210.3胶囊网络工作原理

胶囊网络工作过程2输入向量

向量与矩阵之积向量的标量加权

向量之和

向量的非线性变换输出1）输入向量的矩阵乘法

将输入向量乘以相应的权重矩阵W，W编码了层特征（如眼睛、嘴巴和鼻子）和高层特征（面部）之间的某种关系。----

第十章胶囊网络of201310.3胶囊网络工作原理2）输入向量的标量权求和图中只展示了

u1

的连接。这也就是说，目前已经有了

u1

这个特征（假设是羽毛），那么我想知道它属于上层特征

v1,v2,v3,v4（假设分别代表了鸡、鸭、鱼、狗）中的哪一个。c11c12c14c13c21c41c31分类问题就是内积后softmax。于是单靠

u1

这个特征，我们推导出它是属于鸡、鸭、鱼、狗的概率分别是：

i=1,2,3,4.第十章胶囊网络of201410.3胶囊网络工作原理3)“压缩”：新颖的向量到向量非线性变换输出分类问题就是内积后softmax。于是单靠

u1

这个特征，我们推导出它是属于鸡、鸭、鱼、狗的概率是：定义：Capsule的核心思想就是输出是输入的某种聚类结果。第十章胶囊网络of201510.3胶囊网络工作原理

囊间动态路由算法3囊间动态路由算法是一种迭代算法，主要用于连接胶囊网络各层之间的权值C。其中，squash函数类似于sigmoid函数，它的功能是将向量压缩到区间[0，1]。囊间动态路由算法迭代r次：

10.3

胶囊网络工作原理10.4胶囊网络典型应用10.2

胶囊网络基本概念10.1

胶囊网络起源第十章胶囊网络《深度学习》of2016第十章胶囊网络of201710.4胶囊网络典型应用

MNIST数字图像识别由编码器和解码器组成。编码器由三层构成，包括：卷积层（ConvLayer）、下级胶囊层（PrimaryCaps）、上级胶囊层（DigitCaps）。解码器是一个前馈网络。（1）MNIST数字图像识别模型结构MNIST数字图像识别模型第十章胶囊网络of201810.4胶囊网络典型应用第一层卷积层输入：28x28图像（单色）输出：20x20x256张量参数：20992(卷积层中的每个卷积核有1个偏置项，(9x9+1)x256=20992)（2）模型编码器结构第二层下级胶囊层输入：