卷积神经网络

1、深度学习之深度学习之概述12网络结构特点34研究方法目目 录录CONTENTS概述1网络结构3特点42研究方法概述概述Background20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。概述概述Background概述1网络结构3特点42研究方法研究方法研究方法ResearchMethodBP与CNN研究方法研究方法ResearchMethod全连接与局部连接CNN与标准的BP最大的不同是：CNN中相

2、邻层之间的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层的部分神经单元，而不是像BP那样与所有的神经单元相连接。二维空间上的局部接受域使得神经网络可以从输入图像中提取初级视觉特征，如特定角度的边缘，端点和拐角等。 权值共享迫使那些共享同一组权值的神经元在输入的不同位置检测同一种特征。卷积神经网络把每层共享相同权值的神经元组织成一个二维平面，称为特征图(Feature Map)，局部接受域和权值共享研究方法研究方法ResearchMethod输出的结构的基础上在特征图的不同位置的值进行统计操作，在保留特征的显著性的同时降低参数规模。使用统计后的结果代替原来特征图上对应

3、的值作为输出，这个操作过程就被称之为池化操作。一般分为两种，平均池化、最大池化和随机池化。池化操作研究方法研究方法ResearchMethod概述1网络结构3特点42研究方法网络结构网络结构NetworkStructureCNN一般采用卷积层与采样层交替设置，即一层卷积层接一层采样层，采样层后接一层卷积.这样卷积层提取出特征，再进行组合形成更抽象的特征，最后形成对图片对象的描述特征，CNN后面还可以跟全连接层，全连接层跟BP一样。结构示意图网络结构网络结构NetworkStructure网络初始化CNN的初始化主要是初始化卷积层和输出层的卷积核（权重）和偏置，对卷积核和权重进行随机初始化，而对

4、偏置进行全0初始化。输入层：输入层没有输入值，只有一个输出向量，这个向量的大小就是图片的大小，即一个32*32矩阵卷积核大小为2*2，上一层的特征map大小为4*4，用这个卷积在图片上滚一遍，放到上面逐个移动，得到一个一个(4-2+1)*（4-2+1）=3*3的特征map，卷积核每次移动一步。卷积层网络结构网络结构NetworkStructure卷积层C3网络结构网络结构NetworkStructureC3的前6个特征图以S2中3个相邻的特征图子集为输入。接下来6个特征图以S2中4个相邻特征图子集为输入。然后的3个以不相邻的4个特征图子集为输入。最后一个将S2中所有特征图为输入。这样C3层有1

5、516个可训练参数和151600个连接。15165*5*（6*3+6*4+3*4+6）+16卷积层的每一个特征map是不同的卷积核在前一层要求的map上作卷积并将对应元素累加后加一个偏置，再求sigmod得到的。 采样层是对上一层map的一个采样处理，区域大小为scale*scale，有些实现是取小区域的最大值。如，采用2*2小区域的均值。注意，卷积的计算窗口是有重叠的，而采用的计算窗口没有重叠，卷积核是2*2，每个元素都是1/4，去掉计算得到的卷积结果中有重叠的部分。采样层网络结构网络结构NetworkStructure反向传输过程是CNN最复杂的地方，虽然从宏观上来看基本思想跟BP一样，都

6、是通过最小化残差来调整权重和偏置，但CNN的网络结构并不像BP那样单一，对不同的结构处理方式不一样，而且因为权重共享，使得计算残差变得很困难反向传输调整权重网络结构网络结构NetworkStructure和BP一样，CNN的输出层的残差与中间层的残差计算方式不同，输出层的残差是输出值与类标值得误差值，而中间各层的残差来源于下一层的残差的加权和。输出层的残差计算如下：反向传输调整权重网络结构网络结构NetworkStructure输出层的残差采样层（L+1）的map大小是卷积层L的1/（scale*scale），scale取2，卷积层L的某个map中的4个神经元与L+1层对应map的一个神经元关

7、联，可以对采样层的残差与一个scale*scale的全1矩阵进行克罗内克积进行扩充，使得采样层的残差的维度与上一层的输出map的维度一致反向传输调整权重网络结构网络结构NetworkStructure下一层为采样层的卷积层的残差反向传输调整权重网络结构网络结构NetworkStructure下一层为采样层的卷积层的残差反向传输调整权重网络结构网络结构NetworkStructure下一层为卷积层的采样层的残差采样层到卷积层直接的连接是有权重和偏置参数的，因此比较复杂，这里不再赘述。概述1网络结构3特点42研究方法特点特点Characters（1）卷积神经网络对几何变换、形变、光照具有一定程度的不变性。（2）训练过的卷积神经网络可以用较小的计算代价扫描整幅待检测图像，因此，被广泛应用于目标检测。优点特点特点Characters实践中，具有类标号的数据较少，而不具有类标号的数据非常