基于BP神经网络的手写数字识别实验报告

基于BP神经网络的手写数字图像识别PT1700105 ningchongyuPT1700106 Chen yuleiPT1700104安全旭摘要信息在信息化快速发展的时代，光学学者认识是重要的信息输入和信息转换手段。这里手写识别在邮政编码、统计报表、银行票据等方面有着广泛的应用，广泛的应用会带来巨大的经济和社会效益。本文结合深度学习理论，分析了利用BP神经网络的手写数字数据集MNIST，熟悉了目前作为机器学习过程一部分而广泛使用的Matlab工具，深入了解了神经网络的训练过程，并作为非计算机专业的学生，掌握了利用神经网络处理实际问题的方法，为以后进一步学习和自身领域相结合奠定了基础。引言1从计算机发明初期开始，人们就希望它能代替人类做重复劳动。计算机通过巨大的存储空间和出色的计算速度，已经可以轻松地完成对人类来说很困难的任务，但是一些人很难用计算机解决直观容易解决的问题。这些问题包括自然语言处理、图像识别、语音识别等。这些问题正是人工智能需要解决的问题。计算机要想像人类一样完成更多的智能工作，就必须掌握有关这个世界的庞大知识，很多早期人工智能系统只能成功地应用于计算机需要知道的知识严格定义的相对特定的环境。为了使计算机能够掌握开放环境中的更多知识，研究者们做了很多尝试。影响最大的领域之一是在开放环境中构建的大型、具有影响力的资源库WordNet，许多研究者想将Wikipedia的知识整理到资源库中，但是建立知识库需要大量的人力和物力，以知识库方式明确定义的知识有限，并非所有的知识都可以定义为计算机能理解的固定格式。大部分是无法明确定义的知识，即人类的经验，如何让计算机像人类一样从历史经验中获得新的知识，这就是机器学习要解决的问题。卡内基梅隆大学的Tom Michael Mitchell教授在1997年出版的书中定义了机器学习：“如果一个程序可以在任务t上，随着经验e的增加，效果p也可以同时增加，那么这个程序可以从经验中学习。”逻辑提取算法可以从教育数据中计算每个特性与预测结果的相关性，在大多数情况下，在教育数据达到一定数量之前，教育数据越多，逻辑回归算法的判断就越准确，但是逻辑回归算法是许多传统机器学习算法的共同问题，因为逻辑回归算法可能无法从数据中学习到良好的特征表示。在机器学习问题上，特征提取不是简单的事情。一些复杂的问题需要大量的时间和精力来手动设计有效的要素集，甚至整个领域都需要数十年的研究投入。是否有自动方法，因为无法手动从实体中提取特征？进一步学习解决的关键问题是自动将简单要素合并为更复杂的要素，以解决问题。由于深度学习的共性，深度学习的研究者往往可以越过多个研究方向，同时向多个研究方向活动。深度学习受大脑工作原理的启发，但是现代深度学习研究的发展并没有被模拟人脑的神经元和人脑的工作原理所束缚，广泛使用的各种机器学习框架也不是受神经网络的启发。MATLAB是美国MathWorks的商业数学软件，主要用于算法开发、数据可视化、数据分析和数值计算的高级技术计算语言和交互式环境，包括MATLAB和Simulink的大部分。MNIST是一组非常有名的手写识别数据，广泛用作机器学习的入门示例，有6万张图片作为教育数据，有10万幅图片作为测试数据，每幅图片大小为28x28，表示图中间出现数字的09的数字。本文以此数据集为例，分析了基于Matlab的BP神经网络的性能。2执行环境此设计主要用于在Windows 10中使用Matlab工具环境进行模拟演示。3方法概述3.1神经网络神经网络是模仿动物神经网络行为特性进行分布式并行信息处理的算法的数学模型。这种网络依赖系统的复杂性，通过协调内部众多节点之间的互连关系，实现了信息处理的目的。神经网络由多个神经元组成，下图显示了单个神经元的图1。图1神经元模型此神经元是使用和截距作为输入值的操作数，输出为：其中函数称为“激活函数”。通常，使用sigmoid函数作为激活函数图2 sigmoid函数图像神经网络是将多个单个神经元连接在一起，使一个神经元的输出成为另一个神经元的输入。例如，下图是一个简单的神经网络。图3神经网络图使用第1层单元的激活值(输出值)。第一个输入值。对于给定的参数集，神经网络可以按函数计算输出结果。3.2 BP神经网络back propagation(BP)神经网络是1986年由Rumelhart和McClelland领导的科学家们提出的概念，是根据误差反向传播算法训练的多层前馈神经网络，是目前使用最广泛的神经网络。即可从workspace页面中移除物件。BP神经网络是一种多层前馈网络，用于按错误进行反向传播(错误反转)培训，称为BP算法，其基本理念是使用渐变下降法、渐变搜索技术，以最小化网络实际输出值和预期输出值的误差平均分布。基本BP算法包括两个过程：信号的正向传播和错误的反向传播。错误输出按从输入到输出的方向计算，权重和阈值按从输出到输入的方向调整。正向传播时，输入信号通过隐式层作用于输出节点，通过非线性转换生成输出信号，并在实际输出与预期输出不匹配时发送错误的反向波过程。误差反向波通过隐含层按输入层反向传递输出误差，并使用在每个层获得的误差信号作为每个单元的权重调整基准，将误差分配给每个层的所有单元。调整输入节点和隐藏层节点的连接强度和输出节点的隐藏层节点的连接强度和阈值，通过迭代学习培训确定最小错误对应的网络参数(权重和阈值)，使错误减少到拔模方向，从而停止培训。此时，训练的神经网络可以对相似样本的输入信息自行处理输出误差最小的非线性转换信息。4分析数据结果训练有素的神经网络对手写数字识别的准确度为85.88%，显示了以下数据结果。图4.1 MSE趋势曲线：4.1 MSE趋势曲线图4.2倾斜和验证检查曲线：图4.2倾斜和验证检查曲线图4.3回归曲线：图4.3回归曲线图4.4培训图：图4.4培训图总结此设计在MATLAB中执行一组测试训练，以验证BP神经网络计算过程是否由正向计算过程和逆向计算过程组成。正向传播过程，输入模式从输入层通过隐藏的单位层移动到输出层，每个神经元的状态只影响下一个神经元的状态。如果在输出层无法获得所需的输出，则转到反向波，沿原始连接路径旋转错误信号，修改每个神经元的权重，以最小化错误信号。BP神经网络在网络理论或性能方面都比较成熟。非线性映射功能和灵活的网络结构是其优点。网络的中间层数、每层的神经元数可以根据情况任意设置，其性能取决于结构。但是，BP神经网络也有一些主要缺陷：即使是学习速度慢、简单的问题，一般也需要数百甚至数千次的学习才能收敛；很容易陷入局部最小值。网络层数、神经元数选择没有相应的理论指导。网络扩展能力有