神经网络实验报告桁

1、卷积神经网络用于手势识别实验桁 14063085一、a)实验准备实验环境操作系统:windows 8IDE: CPU:2012bel Core i7-3630QM CPU 2.40GHzGPU:NVIDIA GeForce GT 650M内存：8G实际可用内存：1908 MB（使用实验数据的 memory 指令查询）b)训练集为如图 1 所示，已做预处理的 10000 张 96*96*1 的二值图。一共五个分类分别代表 1，2，3，4，5.测试集也如图 1 所示，为已做预处理的 3500 张 96*96*1 的二值图。一共五个分类图 1. 训练集与测试集，一共五个分类如图 2 所示，每种手势，

2、都有不同形状，方向的训练和测试图 2.每种手势分类都有不同的数据样本卷积神经网络卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。 20 世纪 60 年代，Hubel 和 Wiesel 在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简c)称）。现在，已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。K.Fukushima 在 1980 年提出的新识

3、别机是卷积神经网络的第一个实现网络。随后，的科研工作者对该网络进行了改进。其中，具有代表性的研究成果是 Alexander 和“改进认知机”，该方法综合了各种改进方法的优点并避免Taylor了耗时的误差反向。（卷积神经网络）是传统神经网络的变种，在传统神经网络的基础上，引入了卷积和 pooling。与传统的神经网络相比，更适合用于图像处理，卷积和图像的局部特征相对应，pooling 使得通过卷积获得的 feature 具有空间不变性。如图 3 所示，是一个基本的卷积神经网络模型。图 3. 基本卷积神经网络模型一般多层神经网络本实验中用了基本的 BP 多层神经网络来做对比。d)BP 多层神经网络

4、，是一种通过反向算法来计算的多层神经网络。BP（Back Propagation）神经网络是 1986 年由 Rumelhart 和McCelland 为首的科学家小组提出，是一种按误差逆算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP 网络能学习和存贮大量的输入-输出模式关系，而无需事前揭示描述这种关系的数学方程。它的学习规则是使用最速下降法，通过反向来不断调整网络的权值和阈值，使网络的误差平方和最小。BP 神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。它的基本模型如图 4 所示。图 4.基本多层神经网络模

5、型二、a)实验方法卷积神经网络训练数据集为 96*96*1*10000网络模型：一共九层第一层：输入层，为 96*96*1 的输入样本第二层：卷积层，卷积核大小为 13*13 卷积核个数为 16 个，参数个数 2704 个第三层：子采样层，采样核为 2*2第四层：卷积层，卷积核大小为 5*5 卷积核个数为 32 个，参数个数12800 个第五层：子采样层，采样核为 2*2第六层：将二维拉伸成一维第七层：全连接层，一共 320 个神经元，激活函数为 sigmoid，参数个数 3696640 个。第八层：全连接层，一共 60 个神经元，激活函数为 sigmoid，参数个数 19200 个第九层：输

6、出层，一共五个神经元，激活函数为 softmax，参数个数 300 个。训练算法：随机梯度下降（SGD）+动量梯度下降初始 alpha 值：0.1初始动量值：0.95CostFunction：crossEntropy循环次数（训练完一次所有样本为循环一次）：2一般多层神经网络网络层数：5 层。第一层：输入层，为 96*96*1 的输入样本第二层：将二维拉伸成一维第三层：全连接层，一共 320 个神经元，激活函数为 sigmoid，第四层：全连接层，一共 60 个神经元，激活函数为 sigmoid，第五层：输出层，一共五个神经元，激活函数为 softmax。训练算法：随机梯度下降（SGD）+动量

7、梯度下降初始 alpha 值：0.1初始动量值：0.95CostFunction：crossEntropy循环次数（训练完一次所有样本为循环一次）：10实验结果b)三、卷积神经网络的正确率为 84.0571%一般神经网络的正确率为 86.0571%错误识别的分类）如图 5 所示（下方两个数字分别为错误识别分类和正确图 5. 卷积网络错误识别的四、实验结论卷积神经网络和一般神经网络都能对有预处理势进行很好的分类，卷积网络的训练时间和训练空间都明显大于一般神经网络。卷积神经网络调整模型，耗时久。五、实验及展望按理说，卷积神经网络应该有更好的正确率，但是因为机器的限制和时间的限制，并不能做过多的模型调整，当最后一层卷积层过大，会造成下一个全连接层的参数过多，致