cnn论文总结.docx

CNN论文总结1、 基于卷积神经网络的深度学习算法与应用研究 1、CNN整体框架2、 三种对LE-NET5改进方法 2.1.12.1.22.1.32、 CNN在交通标示识别中的应用2.1原始图像预处理（三种方法）其中CLAHE的效果更好2.2 CNN与MLP结合2.3 构建多列深度卷积神经网络（MCDNN）Adaboost+DNN=MCDNN3 本篇论文总结2、 基于卷积神经网络的交通标识识别研究与应用三基于卷积神经网络的人脸检测和性别识别研究四、基于卷积神经网络的目标跟踪算法研究与实现五、基于CNN的字符识别方法研究六、改进的卷积神经网络模型及其应用研究1、选用基于稀疏MAXOUT激励函数，解决了激励函数选择困难的问题。（maxout与dropout结合效果最好， Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了，可以看出使用Dropout后，虽然训练样本的错误率较高，但是训练样本的错误率降低了，说明Dropout的泛化能力不错，可以防止过拟合）2、3、 卷积神经网络的监督学习4、 稀疏maxout激励函数利用ReLU函数给maxout函数带来稀疏性。5、 基于k-means的无监督卷积神经网络其实差距并不大，而且无监督的正确率要低于监督学习。七、基于卷积神经网络的场景理解方法研究CNN原理C1层：输入图片大小： 32*32卷积窗大小： 5*5卷积窗种类： 6输出特征图数量： 6输出特征图的大小： 28*28（步长为1,32-5+1）神经元数量： 4704（28*28*6）可训练参数： 156（5*5+1）*6）每个过滤器5*5个unit参数和一个bias参数连接数： 122304（156*28*28）卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音。S2层：输入图片大小： 28*28*6卷积窗大小： 2*2卷积窗种类： 6输出下采样图数量： 6输出下采样图的大小： 14*14*6神经元数量： 1176（14*14*6）可训练参数： 12连接数： 5580 （4+1）*14*14*6）S2层是一个下采样层，特征图中的每个单元与C1中相对应特征图的2*2邻域相连接。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置，结果通过sigmoid函数计算。因为每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4.卷积和下采样层总结：卷积过程： 用一个可训练滤波器fx去卷积一个输入的图像，然后加上一个偏置bx，得到卷积层Cx。子采样过程：每个邻域四个像素求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图Sx+1。C3层：输入图片大小： 14*14*6卷积窗大小： 5*5卷积窗种类： 16输出特征图数量： 16输出特征图的大小： 10*10神经元数量： 1600（10*10*6）可训练参数： 1516（6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516）连接数： 151600（1516*10*10）（部分连接：1、不完全的连接机制将连接的数量控制在合理的范围内。2、破坏网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征（希望是互补的）。分析C3层：因为S2是多层，所以需要按照一定的规则组合这些层。S4层：输入图片大小： 16*5*5卷积窗大小： 2*2卷积窗种类： 16输出下采样图数量： 16输出下采样图的大小： 120神经元数量： 400（16*5*5）可训练参数： 32（16*（1+1）连接数： 2000 （4+1）*400）。C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域相连。由于S4层特征图的大小也为5*5（同滤波器一样），故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层，是因为如果LeNet-5的输入变大，而其他的保持不变，那么此时特征图的维数就会比1*1大。C5层有48120个可训练连接。120*(16*5*5+1)=48120。 F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。有10164个可训练参数。如同经典神经网络，F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。84*(120*(1+1)+1)=10164.。最后，输出层由欧式径向基函数（Euclidean Radial Basis Function）单元组成，每类一个单元，每个有84个输入。二、训练过程：在开始训练之前，所有的权都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因权值过大而进入饱和状态，从而导致训练失败；“不同”用来保证网络可以正常的学习训练方法分为4步第一阶段，向前传播阶段：a）从样本集中取一个样本(X,Yp)，将X输入网络；b） 计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果