卷积神经网络

1、卷积神经网络（Convolutional Neural Networks，CNN）一、 深度学习1. DeepLearning的基本思想假设一个系统S: n层（S1,Sn），输入是I，输出是OI =>S1=>S2=>.=>Sn => O 形象地表示为：如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（理论上是不可能的。），保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。信息论中有个“信息逐层丢失”的说法-信息处理不会增加信息，大部分处理会丢失信息。Deep Learnin

2、g中我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，, Sn。  对于深度学习来说，其思想就是堆叠多个层，这一层的输出作为下一层的输入。通过这种方式，来实现对输入信息进行分级表达。  另外放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的Deep Learning方法。2. 浅层学习和深度学习当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限

3、样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性；通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。3. DeepLearning和Neural NetworkDeep learning本身算是machine learning的一个分支，简单可以理解为neural network的发展。由于容易过拟

4、合，训练速度比较慢，且在层次比较少（小于等于3）的情况下效果并不比其它方法更优等缺点，所以中间有大约20多年的时间，神经网络被关注很少，但老先生Hinton，坚持了下来，最终（和其它人一起Bengio、Yann.lecun等）提出了了一个实际可行的deep learning框架。相同之处：相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic regression模型；这种分层结构，是比较接近人类大脑的结构的。不同之处：不同的训练机制传统神经网络中，采用的是back propagat

5、ion的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。deep learning整体上是一个逐层贪婪训练方法。4. Deeplearning 的训练方法传统神经网络的训练方法为什么不能用在深度神经网络？深度结构（涉及多个非线性处理单元层）的非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一

6、般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；DeepLearning:1. 每次只训练网络中的一层，（将前k-1层固定，并将其输出作为输入，开始训练第K层）。每一层的训练可以是有监督的（例如，将每一步的分类误差作为目标函数），但更通常使用无监督方法（例如自动编码器）。2. 各层单独训练所得到的权重被用来初始化最终（或者说全部）的深度网络的权重3. 最后对整个网络进行“微调”（即把所有层放在一起来优化有标签训练集上的训练误差）.5. Deeplearning的常见模型（方法）AutoEncoder自动编码器Sparse Coding稀疏编码De

7、ep BeliefNetworks深信度网络Convolutional Neural Networks卷积神经网络6. 小结深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。1. Deep learning与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。2.Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基于该特征，可以进行进一步的相似度比较等。

8、3.Deep Learning算法能够有效的关键其实是大规模的数据，这一点原因在于每个DL都有众多的参数，少量数据无法将参数训练充分。二、 卷积神经网络卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，原图可直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。在图像处理中，往往把图像表示为像素的向量

9、，比如一个1000×1000的图像，可以表示为一个1000000的向量。在神经网络中，如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=1012，这样就太多了，基本没法训练。所以神经网络进行图像处理，必先减少参数加快速度。1. 局部感知局部感知野: 一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。如下图所示：左图为全连接，右图

10、为局部连接。在上右图中，假如每个神经元只和10×10个像素值相连，那么权值数据为1000000×100个参数，减少为原来的千分之一。而那10×10个像素值对应的10×10个参数，其实就相当于卷积操作。2. 权值共享但其实这样的话参数仍然过多，故而需要进行参数共享。在上面的局部连接中，每个神经元都对应100个参数，一共1000000个神经元，如果这1000000个神经元的100个参数都是相等的，那么参数数目就变为100了。可以这100个参数（也就是卷积操作）看成是提取特征的方式，该方式与位置无关原理：图像的一部分的统计特性与其他部分是一样的。这也意味着我们

11、在这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。卷积特征提取 从一个大尺寸的图像中，选取一个小的图像块样本作为探测器，将从小样本中学习到的特种应用到图像的任意地方。e.g. 1.原图96*96 > 8*8样本2.学习到8*8样本的所有特征（设由100个隐含层自编码器完成）3.卷积运算： 从96*96中依次抽取8*8的小块（可抽89个：96-8+1） 对抽取的区域 -à 稀疏自编码 -à 特征的激活值此例可得：100个集合，每个含有89*89个卷积特征如下图所示，展示了一个3*3的卷积核在5*5的图像上做卷积的过程。每个

12、卷积都是一种特征提取方式，就像一个筛子，将图像中符合条件（激活值越大越符合条件）的部分筛选出来。3. 多卷积核上面所述只有100个参数时，表明只有1个100*100的卷积核，显然，特征提取是不充分的，我们可以添加多个卷积核，比如32个卷积核，可以学习32种特征。在有多个卷积核时，如下图所示：上图右，不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像，这两幅图像可以看做是一张图像的不同的通道。如下图所示，在四个通道上的卷积操作，有两个卷积核，生成两个通道。其中需要注意的是，四个通道上每个通道对应一个卷积核，先将w2忽略，只看w1，那么在w1的某位置

13、（i,j）处的值，是由四个通道上（i,j）处的卷积结果相加然后再取激活函数值得到的。所以，在上图由4个通道卷积得到2个通道的过程中，参数的数目为4×2×2×2个，其中4表示4个通道，第一个2表示生成2个通道，最后的2×2表示卷积核大小。4. 池化在通过卷积获得了特征之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，但这样做面临计算量的挑战。例如：对于一个 96X96 像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，所以每个样例都会得到一个3,168,400 维的卷积特征向量。学习一个拥有超过 3 百万特征输入的分类器十分不便，并且容易出现过拟合。而之所以决定使用卷积后的特征是因为图像具有一种“静态性”的属性，这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用所以，可以对不同位置的特征进行聚合统计(池化)，有最