毕业设计（论文）-基于神经网络的图像分类技术及其实现.doc

盐城师范学院毕业论文盐 城 师 范 学 院毕业论文 基于神经网络的图像分类技术及其实现学生姓名 学 院 信息工程学院 专 业 软件工程 班 级 学 号 指导教师 2016年5月16日基于神经网络的图像分类技术及其实现摘 要随着信息化时代的发展，图像识别已成为当今社会的一个迫切需求，其在交通，森林防护，农业等方面有着重要的作用。传统的图像识别大部分依旧使用人工提取特征，费时且费力。而现如今已开发的几种图像识别模型也都或多或少存在着一些缺陷。近年来，深度学习因为其良好的识别能力、全程无需人工参与等优点，使得基于深度学习的图片识别这一技术理论研究变得热门起来，并取得了极大地成功。本文主要研究卷积神经网络这一深度学习理论方法，分析该神经网络模型的原理及方法，并通过实验与其他算法比较。【关键词】图像识别；深度学习；实现；卷积神经网络全套设计加扣 3012250582IIImage Classification Based on Neural Networkand Its ImplementationAbstractWith the development of the information age, the image recognition has become an urgent need in todays society, which plays an important role in transportation, forest protection and agriculture. Most of the conventional image recognition feature extraction still using manual, time-consuming and laborious. And several image recognition model now also has developed more or less there are some flaws. In recent years, deep learning because of its good ability to identify the advantages of the entire process without human intervention, so that the image recognition based on the depth of learning theory research techniques become the rage, and achieved great successful. This paper studies the depth of the convolutional neural network learning theory, principles and methods of analysis of the neural network model and experimentally demonstrated.Key words image recognition, deep learning, implementation, Convolutional neural networkIII目 录1.引言12.图像识别简介22.1图像识别系统22.2人工神经网络模式识别法33.人工神经网络43.1人工神经网络基本概念43.2人工神经网络的结构53.2.1前馈型神经网络53.2.2 反馈型网络63.3人工神经网络的特点63.4人工神经网络的学习方式73.4.1有监督学习73.4.2无监督学习73.5浅层学习和深度学习74.基于卷积神经网络的图像识别94.1卷积神经网络结构94.2基于卷积神经网络的交通标识识别114.3实验结果和对比12结论15参考文献16致谢17I1.引言图像识别的主要研究内容是如何对图像进行智能地识别与分类，该领域的研究始于20世纪90年代，截至今日，已有近30年的研究历史。目前，由于该领域的实际应用场景较为广泛，已成为当今的研究热点。其主要研究目的是设计出能够对各种图片进行智能识别的系统模型，从而满足实际应用的需要，以取代传统的人眼识别作业。图像识别的应用领域十分的广泛，主要包括：银行用户手写签名字体的识别；违章和出事车辆车牌号码的识别；采矿时岩石切面各种矿石岩相的识别以及人脸识别等等。随着时代的发展以及科学技术的不断深入创新，用于对各种图像信息的识别和分类已成为当今世界的一大迫切需求。虽然国内外对各种分类技术都进行了长时间的研究，目前也已有了一些较为成功的研究成果也的确取得了一些较好的研究成果。然而，这些图像识别系统仍存在识别度低，训练效率较差等问题。此外，对含有噪声信息的输入数据而言，大部分系统仍然需要结合人工提取特征的办法，依然不能够达到智能化处理的目的。图像识别系统需要对数据集特征进行正确、高效地提取和识别。因此传统的图像识别方面不能够被很好地应用到实际生活中。卷积神经网络技术1是近期发展起来的一项机器学习技术，其所具有的优点能够有效支持数据集的分类。研究人员目前已提出了以LeNet-52为代表的深度学习模型，并且在此模型的基础上实现出了对包含数字信息的图片进行有效分类的系统。鉴于对交通标识进行有效识别能够为车辆的安全运行提供有效保障，本文在对LeNet-5模型进行深入研究的基础上，通过对其中的若干模块进行了适应性的改进，最终实现出能够有效应用于交通标识识别的图像分类系统。本文的后续章节安排如下：第一章对图像识别系统进行了详细的介绍，并分析出当前已有工作的优缺点及适用范围。在第二章中，我们着重介绍基于神经网络的深度学习方法的理论模型，包括其中的原理、结构以及学习过程。第三章内容是本文的主要工作，我们以LeNet-5模型为基础，给出对其关键环节进行改进的有效方法，并在此基础上实现出了能够有效处理交通图像识别的智能学习系统；本章还将会包括我们对所设计系统的测试实验步骤及实验结果。2.图像识别简介2.1图像识别系统图像识别是什么？简单地说，就是给你一张图片，你要提取这张图片的特征，然后根据这些图像特征来告诉我他的种类，这种识别在人们日常生活中是无处不在的。随着时代的发展，活动范围的不断扩大，接触事物的种类也越来越多，越来越复杂。特别是“数字化”“信息化”等技术的发展，考察数据的复杂程度与日俱增，通过人工完成分类已变得极其困难。而通过模式识别，系统能够在各种数据信号中找出他们的主要特征，通过相同特征找出同类数据之间存在的关联和规则，把拥有相同特征的样本数据归为一类，记录他们的权值参数，根据这些参数，我们就可以对进行分类的图像进行分类识别。研究图像识别的目的就是为了来帮助人们完成对各种数据信息的处理、分类和识别。因为分布式信息并行处理功能的发展，人们将这一理论技术引入人工神经网络中，取得了极大地效果。其强大的运算处理能力不仅解决了系统训练模型的速度问题，而且分布式技术带来的高度容错性又大大提高了系统识别和分辨的准确性，这就使得我们不必手动的去对那些含有噪音的图像进行降噪和特征提取。网络神经模型的训练相较于其他算法模型非常的简单，因为有卷积+子采样对输入图像进行特征提取，我们只需将原始训练数据直接输入进模型系统，系统自动存储各神经元之间的互连权值，并通过优化算法随时对这些数据进行优化改进，直到训练完毕。训练完成的模型就能对图片进行识别了，你只要将待分辨的图像输入，系统便能马上对它进行处理并输出图像类别，这一过程便是图像识别。因为其简单的使用方式，人工神经网络技术现已成为一种解决图像识别问题的有效方法。一般来说，一个图像识别系统由以下几个部分组成3，如图1-1所示。图 1-1 图像识别系统框图第一部分是原始图像信息的获取。就是把待研究对象用扫描设备将其转换为可处理的电信号或其他信号，为以后的模型训练和测试取得材料。第二部分是对图像的预处理。这个过程可以说极其的重要，我们通常要先对研究的对象进行选取，如果素材含有多余的目标，为了确保图像识别的准确性，我们还要对图像进行分割以选取正确的目标，然后听过数字化方法对图片进行优化、降噪。第三部分是特征提取。顾名思义，就是对图像的特征进行提取，其中，特征数量的多少，特征映像图的大小等这些数据的选择对于整个系统来说是具有重要的作用。为了提高图片识别效率，我们要在确保图像能正确识别的要求下，尽可能的选取图片信息中具有关键性的特征。这样就可以使系统在达到正确分类的要求下，减少系统的分类运行处理时间，从而提高识别效率。第四部分是模式分类。通过第三部分所提取的特征，分别和系统中已经训练好的每个类别的特征进行一一对比，最后找出最相似的那个类别，实则就是对图像进行识别分类。第五部分是识别结果。就是将第四部分匹配的类别进行输出，这是系统的输出端，整个系统层层相扣，最后输出的结果和前面四部分密切相关，因此为了保证输出结果的正确性，从第一部开始就要尽可能的减少错误。2.2人工神经网络模式识别法神经网络模式识别系统一般由预处理、特征提取和分类器这三部分组成3。而其中特征提取这部分不一定在每个神经网络模型识别系统中都存在，所有就分为两大类：(1)有特征提取的模型：该网络模型，一般都先要通过人工的方法从图片数据中寻找和提取关键特征，也有系统通过某些方法自动对图片进行特征提取的，比如卷积卷积神经网络中的卷积+子采样，然后通过特征数据图训练神经网络，依靠它强大的自学能力来学习如何识别图片。其中提取得到的特征是训练模型和识别图片的关键，因此提取图片的关键特征及其的重要。(2)无特征提取的模型：直接将整幅图像作为神经网络的输入，省去特征抽取的部分，让系统自己去寻找相同图片之间的规则与关联。而输入数据的庞大使得网络模型需要复杂的网络结构和巨大的系统规模。相反，整个系统规模和复杂度的增加，也使得该网络的抗干扰性能比有特征提取的网络系统要好很多，也更加稳定。神经网络图像识别系统图如图1-2、1-3所示。图 1-2 神经网络图像识别系统训练图图 1-3 神经网络图像识别系统识别图神经网络图像识别模型相较于其他模式的图像识别模型，有长处，也有短处。它的优点在于，对于有复杂背景和分类规则不明确的图片信息有较强的处理能力，减少了用于图像预处理的时间4。缺点是，人工神经网络识别模型还只是刚刚起步，仅仅只有数十年的发展，用于识别的网络模型种类还远远的不足，而且许多网络模型都存在缺陷，还在不断的完善中。3.人工神经网络人工神经网络（Artificial Neural Network，ANN）是人们从信息处理角度对人脑神经元网络进行抽象建立的一种网络模型5。人工神经网络是科学的一种突破，他突破了传统计算机线性处理的局限，采用分布式存储和并行计算处理的方法，由大量的可并行处理神经元组成。每个神经元的结构和功能虽然极其的简单，但是大量的神经元组合带来的运算能力，特别是分布式运算存储方法的运用，使得神经网络系统具有极强的集体运算能力和自适应学习能力。当今时代，神经网络己经渗透到了包括：图像/语音识别、天气预测、模式识别、智能机器人、医学、经济学等各个领域中，取得了广泛的关注。3.1人工神经网络基本概念人工神经网络（ANN）是对人脑神经进行抽像和简化，既通过模拟人脑神经处理信息方法而创造的的一种模型。和人脑由神经细胞组成一样，神经网络也是由许多神经元及其突触等基本单元组成的。在许多论文中也把它称为“节点”。人工神经元通过模仿生物神经元的处理方式，对生物神经元的信息处理过程进行抽象模拟，通过简单的逻辑结构实现生物神经元的功能。从生物学角度来看，生物神经元由细胞体、树突和轴突这三部分组成6。人工神经元对生物神经元的结构进行了简化和模拟。如图2-1所示。图 2-1 人工神经元模型和生物神经元一样，人工神经元也有三个基本要素：1.X1Xn为输入向量的各个分量，W1Wn为神经元各个突触的权值，W0为一个阈值，也是一个偏置权值，他们组成一组连接权。2.是求和单元，对输入向量进行加权和求和。3.最后是非线性激励函数，通过非线性激励函数得到一个标量结果y。3.2人工神经网络的结构神经网络结构通常是以神经元为节点，以节点间的连接为边。每个神经元有一个单一的输出，可以连接到很多其他的神经元。每条边既连接通道对应一个连接权系数。从拓扑结构和连接方式来看，人工神经网络结构主要有两种：3.2.1前馈型神经网络该网络结构在输入层和输出层之间，存在一层或多层的隐含层节点。各神经元从输入层开始，接收前一级输入，并输入到下一级，直至输出层。每层都只能单向传播，逐层逐层往下，并且同层节点间无任何连接和耦合。如图2-2所示，前馈型神经网络可用一个有向无环图表示。图 2-2前馈网络3.2.2 反馈型网络 反馈网络，系统每个节点在接受外来输入的同时，还要处理来自其它节点的反馈输入，即网络从输入层到输出层都存在着各种反馈。这是一个循环过程，直到满足某个条件停止之前，系统一直循环处理信息，调优参数。如图2-3所示，反馈型网络可以用一个无向有环图表示。 图 2-3 反馈网络3.3人工神经网络的特点人工神经网络的主要特点如下7：第一，神经网络系统具有自组织和自学习的能力。只要将图片数据输入，系统就能直接自我训练和学习，找到图像之间的规律，慢慢学会如何识别分类这些图像。第二，神经网络具有预测能力。对于不在训练数据但是属于这一类的图片，系统同样能对其进行分类识别。并且对于那些含有噪声和失真的图片，系统仍能找到其含有的特征并找到他的种类。正是这种对复杂数据的处理能力，神经网络在图像识别这方面有着极强的适用性和推广性。第三，神经网络是由许许多多个可并行处理的神经元组成的，采用的是分布式并行处理技术，这使得系统可以对大量数据进行并行运算，能极大地提高系统的处理运行速度，大大缩减了训练所需要的时间。3.4人工神经网络的学习方式一般的人工神经网络可分为两种学习方法，一种是有监督学习；一种是无监督学习8。3.4.1有监督学习对于有监督的网络系统，就是选出已标记的样本然后放进系统中训练系统，系统根据输入和输出的对比，反复的训练，找出其中的关系规则，对网络的权值参数进行调优。系统的整个训练过程都是对照着进行的，就像有了标准准则对训练过程进行监督，这种方式就叫有监督的学习。3.4.2无监督学习无监督学习，和有监督学习的不同就是系统的输入样本没有目标输出进行对比，整个学习过程，系统仅仅只是按照一定的学习方法，去从输入样本中提取一些相同的特征，对拥有相同特征的数据进行归类。一般的，无监督学习需要特别多的输入数据进行训练学习，因为系统很难从少量的数据中学习他们的关联规则，即无法找到最优权值参数。因为不需要目标输出进行监督，无监督学习的神经网络系统具有强大的自学习的能力。3.5浅层学习和深度学习 机器学习（Machine Learning）是一门专门研究机器来模拟人类使其达到智能化的学科9。他的目的是研究出能够像人类一样通过自己学习来获取新的知识技能的智能化机器。这在科学上具有划时代的意义。从20世纪90年代起，机器学习发展迅速。在1959 年，“机器学习之父”阿瑟塞缪尔(Arthur Lee Samuel)在IBM公司时，设计了一个具有自学能力的跳棋棋程序，通过自我学习，不断在对弈中改善自己的棋艺，最后仅仅用了3年时间，在第32步棋的时候轻松战胜了美国保持8年常胜不败的著名跳棋选手尼雷(RWNealey)。塞缪尔设计的这个下棋程序通过从大量的训练中学习下棋的规律，然后对解棋局做出最优解，这是比较出名的典型的机器学习案例。机器学习仅仅只经历了几十年的发展，从一开始的浅层学习到现在的深度学习。20世纪80年代末，一个重要的算法出世-反向传播算法（Back Propagation），既现在人们所说的BP算法10，它的到来掀起了浅层机器学习的热潮。通过BP算法，程序可以从大量的数据中统计学习规律，使机器开始像人脑一样主动去学习了。不久，一些浅层机器学习模型，如支持向量机（SVM，Support Vector Machines）、Boosting等相继问世。因为这些模型通常只含有一层甚至没有隐层节点，是一种结构层次极为简单的模型，所以被称为浅层学习模型。浅层学习模型理论虽然日渐成熟，但因为其在理论分析上的难度特别大，而且需要极长的时间来训练，不久浅层机器学习的热潮就沉寂了。直到2006年，机器学领域界泰斗Geoffrey Hinton在SCIENCE杂志上发表了一篇关于深度学习的论文，随之便开启了机器学习的第二股热潮，并一直持续到今天。该篇论文有两个重要的思想11：1）含有多层隐藏层的人工神经网络结构，具有更强大的学习能力，可以提取出更深刻更本质的特征，对分类和识别起到更好的作用；2）不同于传统神经网络训练整个模型的方法，深度学习模型采用“逐层”训练的方法，通过每一层单独的训练，大大缩减训练所需要的时间。这两个观点的提出对应的解决了浅层机器学习理论分析困难，训练速度慢这两个最大的缺陷。浅层学习和深度学习就结构而言最大的不同就是隐藏层层数的差别12。浅层学习模型因为其简单的一层隐藏层结构，对于复杂函数的表现能力极差，所以针对一些复杂问题的处理受到了很大的制约。而深度学习模型通过它多层次的非线性隐层结构，能够实现复杂函数的逼近，而且得益于采用分布式并行处理方法，各层在进行逐层训练的同时，每层神经元都可以同时进行并行运算，既提升了精度，又缩减了训练时间。深度学习是在浅层学习基础上一次质的飞跃。4.基于卷积神经网络的图像识别卷积神经网络(ConvolutionalNeuralNetworks,CNNs)是一种深度学习算法，是基于延时神经网络（TDNN）改进得来的，现已成为语音分析和图像识别领域的研究热点。与延时神经最大的不同在于卷积神经通过在时间维度上的权值共享降低了网络模型学习的复杂度，极大地缩减了训练时间13。4.1卷积神经网络结构卷积神经网络是一个含有多层的神经网络模型，每一个层由多个特征图构成，每一个特征图又由许多个独立的神经元构成。卷积神经的一大特点14是某些神经元之间连接的权重是共享的；另一大特点就是网络结构中每层间的神经元是非全连接的，这与其他一些算法，比如BP算法中层与层神经元之间全连接的方式完全不同。基于交通标识的图像特征，我们选用二组卷积层+下采样层构成的系统模型，这两个步骤组合成一个完整的提取特征的过程，然后将最后提取的特征输入一般的网络神经模型中。我们所选用的基本结构图如图3-1所示。图 3-1 卷积神经网络结构图在上图中，C层和S层分别代表卷积层和子采样层，我们不难看出，这是含有两组卷积+子采样的卷积神经网络。Input层是整个神经网络模型的输入层，输入图片后，我们先将数据与3个可训练的数字滤波器和偏置数进行卷积，得到三个特征映像图，其中每个特征图都是通过卷积从局部图像中提取到的一组特征，C1层是系统的第一个卷积层；得到C1层三个特征映像图后，我们对每个特征映射图中每组2x2像素进行求和，这个过程要求2*2像素不能重复，如果边长为奇数，就把最后一个像素舍去。求和之后再加权值，加偏置，最后通过一个激活函数得到三个S2层的特征映射图,这个过程与传统模型中的子采样过程类似。从S2到C3还是卷积过程，不同在于输入数据的差别，然后C3到S4对特征图进行下采样，得到S4层特征映像图，最后将这些特征映射图排列成一维数组向量，输入进传统的神经网络进行训练。图 3-2 卷积+子采样详细过程一组卷积+子采样的实施过程如下：首先，我们通过一个可训练的滤波器fx去卷积Input层输入的图像，卷积过后，在得到的特征图中加一个偏置bx，得到卷积层Cx的最终特征映像图。然后进入子采样过程。我们将Cx层中得到的特征图中，每邻域2*2像素区域进行求和，将四个像素变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，最后通过一个激活函数，生成特征映射图Sx+1。C层是卷积过程：神经元在感受野的作用下与局部图像进行连接，并通过卷积提取出该部分图像的特征，然后按照提取特征的位置将卷积得到的特征映像图固定下来，这里可以看成把提取出的特征放进一个二维的矩阵里面。卷积最大的好处就是降噪，剔除干扰提取关键特征。S层是子采样过程：我们将C层提取的特征图分别提取2x2四个像素，对这些像素进行相加，然后与一个可训练参数进行加权，再加上一个偏置数。得到的结果再通过一个激活函数，通常我们都使用sigmoid计算，得到一个比C层小四倍的特征映像图，子采样的目的是为了在保留局部图片特征的同时，减少之后进去传统网络神经训练的数据量。为了尽可能的减少训练的数据量，并保持特征的质量，这两个过程一般至少都是需要重复两次的。图3-2是一个完整的卷积+子采样过程。4.2基于卷积神经网络的交通标识识别本次试验使用的模型是我们自己设计的，他是以90年代著名的LeNet-5算法模型为模板设计的。为什么会以它为参考模板？当时LeNet-5算法是被大部分银行认可并使用的一种手写数字识别模型，能被银行使用，可见其正确率之高。而我们的模型比之要复杂的多。普通的LeNet-5模型处理的数据都是比较小的，仅有数字0-9十个数字，也就是说输出类别只有10种，而交通标识符的种类是远远超过这个数的，并且每张交通标识符的像素都是极高的，而每张数字图像的像素仅为8*8。更多的种类和更大的数据，这就要求我们对这一模型进行全面的改进。首先是对输出的改进，输出数量的增加意味着我们需要找到更多的特征数，因此对于每张图片提取的特征数我们也需要进行增加。其中用于对特征的优化参数也是我们需要进行全面修改的。复杂的图像也就表示他有更多的噪音，如何更好的降噪也是我们设计的一大难题。经过两个多月的设计编程，最后的模型成功完成了。设计初期，我们对Java，C+等几种语言进行了选择，最后决定采用Python编程语言。Python语言因为其简单清晰的语法结构和丰富的模块库而被人们广泛使用。借助其大量的模块库可以为我们大大缩短开发周期。本次实验训练使用的交通标识符共有43类，每类标识符都有不同的30张未经处理的照片，共1290张训练数据图片。整个模型的训练过程如下：模型的第一层是输入层。为了减少训练数据量和降低色彩带来的训练复杂度，我们对图像进行预处理，将每张图片处理成固定像素为57*47，灰度值为8的灰白图片。第二层是卷积层C1。系统一共有6个卷积滤波器，感受野全部设置为5*5像素大小。数据输入后，6个卷积滤波器对图像分别进行卷积处理，C1层神经元在感受野限制下，分别与5*5局部图像进行卷积，对图片进行降噪，偏置设置为1，最后得到6个大小为53x43（其中53=57-5+1,43=47-5+1）的6张特征映像图。第三层是一个子采样层S2。主要是对C1层得到的特征映像图进行子采样处理。根据图像局部相关的原理，我们采用2*2的领域对C1层特征图进行子采样处理，对C1特征图中的每个2*2区域进行节点相加，每个2*2感受野和卷积层不一样，不能重叠，接着与一个可训练的参数进行加权，然后再加上偏置参数，算出的结果再通过激活函数进行激活，这里我们使用Sigmoid函数进行计算，最后得到我们需要的值。从卷积层到下采样层是一一对应的，通过子采样处理C1我们可以得到6张小了四倍的特征提取图，特征图的大小为26x21（将每条边除以2然后取整，26=532=261，21=432=211）。子采样在进一步提取图片数据特征的同时，缩减了训练样本的数量，减少了系统模型训练样本的时间，大大提高了训练效率。第四层是本系统的第二个卷积层C3。卷积层C3和C1一样对图像进行卷积。不同的是C1是对预处理过得相当于原始图像进行卷积，而C3是对子采样层S2中6张特征映像图进行卷积，同样的，我们用1个卷积滤波器，还是5*5大小的感受野，偏置参数任然选择1，经过卷积我们得到16张22x17大小的特征图。这个过程是对特征的进一步提取，并增加了图片特征的数量。第五层是第二个下采样层S4。在这里，我们同样和S2一样使用2x2邻域，对卷积层C3中6张特征映像图进行卷积，得到16个大小为11x8的特征图。第五层就是一般的神经网络模型了，在将这16个特征映像图输入之前，我们要先将这些数据拉成一维向量，也就是将数据放入一个一维数组中，然后将数据放进系统进行训练。最后一层是输出层，一般的，你有几个类别，就设置几个输出，本系统共有43中标识符，所以系统一共有43个输出节点。图3-3是本文所使用的主要网络模型。图 3-3 卷积神经网络模型4.3实验结果和对比本次实验交通标识种类多达43中之多，比10个阿拉伯数字也就是10个种类多了很多。样本的训练数量也很多，大量数据样本的训练可以明显提高系统的准确率，减少实验误差，训练样本总量总是与交通标识符种类成反比关系。表3-1是从网上寻找到的几种目前比较成熟算法的错误率，最后一项是本次试验得到的实验结果数据，下面是各算法识别错误率的比较：表3-1 不同算法在交通标识符分类上识别结果数据算法错误率（%）基于模糊形状模型的识别5.6DFDA线性判断4.7SVM-BDT2.15深度神经网络（CPU平台下）0.31KL+反向传播算法1.3LeNet-5模型（手写数字识别）1.0本文实验结果1.06实验使用的环境是Windows7系统的笔记本电脑，2G内存加4核CPU。不考虑温度等其他环境影响。整个模型一共经过了100多次迭代，训练了大概4个小时，最后的错误率止步于1.06%。本次实验结果虽然相较于LeNet-5模型测试数据错误率有所欠缺，但这也是因为识别图像的差距而导致的。普通LeNet-5模型仅仅只是对手写数字这一简单图像进行识别，而本次试验测试的交通标识符其图像复杂度远远超过手写数字图片。而且相较于其他诸如基于模糊形状模式识别5.6%和FDA线性判别4.7%的错误率来说，有了很大的提高。其他如SVM-BDT、L+反向传播算法等算法的测试结果，也都与本次实验结果相差无几。如图3-4，我们看到，本系统通过不断的训练学习，错误率一直在下降，在一开始的10次迭代效果尤为明显，训练效率最高。而在之后的训练总虽然效果不明显，但错误率也是一直在向下滑。随着迭代训练次数的增加，特别是迭代到20次之后，训练的错误率结果也慢慢的开始趋于平稳，至100次迭代，数据也基本维持在1.06%上。而与传统神经网络相比，训练的时间也是大大的缩减，想想当初美国塞缪尔(Samuel)设计的下棋程序训练时间达到了几年之久，虽然随着深度学习的发展，模型训练时间大大降低，但大部分算法模型，仍需要很长的训练时间。图3-4是卷积神经网络和传统BP神经网络这两种神经网络，随着迭代次数的增加，对识别分类交通标识符错误率的显示：图3-4 卷积神经网络和BP神经网络在交通标识符分类上结果对比从图中不难看出，随着迭代次数的增加，两个神经网络模型的错误率都在稳步下降。其中，卷积神经网络在前10次的迭代训练中，效率尤为突出，而相邻的迭代之间起伏特别小，比较趋于稳定，特别是在迭代到20次之后，错误率已经降低到极低的程度。反观BP神经网络算法，训练效率不足，而且在迭代过程中，错误率极不稳定。两者一比，明显是卷积神经更好。表 3-2 是一次迭代中时间分布：表3-2 卷积神经网络不同过程的时间消耗 卷积神经网络的训练过程分为前向传播、后向传播和梯度下降这三个过程。卷积神经网络虽然通过卷积+子采样对训练数据进行了较为仔细的特征提取，但是因为其复杂的网络结构，训练时间还是比较长的。其中，向后传播所需的时间相较于其他两个过程，用时最长。因为前向传播只需要系统输入数据，通过网络权值预测结构，梯度下降也只是去更新网络参数，只有先后传播，需要系统去计算前向传播中的误差，寻找最优网络权重。因此用时最长。结论本文基于LeNet-5模型做了改进，并在此基础上实现了能够有效处理交通标识分类的智能识别系统。实验结果表明，该系统的识别正确率接近99%，使得其具有能够被实际应用的潜在可能。本文所提出的训练方法因训练过程较为复杂，目前仍然面临着训练效率低的问题。我们下一步的工作是更加深入分析现有的训练过程，力求在参数选择上进行有效优化，以提高对样本数据集的训练效率。参考文献1 LeCun, Yann, and Yoshua Bengio. Convolutional networks for images, speech, and time series.JThe handbook of brain theory and neural networks 3361.