毕业论文-基于概率神经网络的手写体数字识别算法的设计与实现.doc

毕业设计（论文）说明书题目：基于概率神经网络的手写体数字识别算法的设计与实现系 名 信息工程系 啊专 业 自动化 啊啊学 号 6012202287 啊学生姓名 xxx 啊啊指导教师 xxx 啊啊2016年 6 月 6 日毕业设计（论文）任务书题目：基于概率神经网络的手写体数字识别算法的设计与实现系 名 信息工程系 专 业 自动化 学 号 6012202287 学生姓名 xxx 指导教师 xxx 职 称 讲 师 2015年12月10日一、原始依据（包括设计或论文的工作基础、研究条件、应用环境、工作目的等。）工作基础：了解MATLAB2012的基本使用以及.m文件的编写方法； 研究条件：MATLAB2012以及概率神经网络的基本思想；应用环境：基于人工智能的手写体图片的信息识别；工作目的：熟练使用MATLAB2012神经网络工具箱； 熟练掌握概率神经网络的基本思想以及基于MATLAB的应用； 熟练掌握手写体数字图片的存储、特征提取方法以及基于神经网络的特征识别；二、参考文献1任丹,陈学峰.手写数字识别的原理及应用J.计算机时代. 2007(03). 2龚才春,刘荣兴.基于整体特征的快速手写体数字字符识别J.计算机工程与应用. 2004(19).3李涛.BP神经网络在字符识别中的设计改进J.达县师范高等专科学校学报. 2004(02).4陆锋,伊卫星,袁晓辉.神经网络模式识别对金融票据中数字特征的识别方法研究J. 苏州大学学报(工科版).2003(04).5张丽,杨静宇,娄震. 基于置信度的手写体数字识别多分类器动态组合J. 计算机工程.2003(16).三、设计（研究）内容和要求（包括设计或研究内容、主要指标与技术参数，并根据课题性质对学生提出具体要求。）1、熟练掌握概率神经网络的基本思想以及基于MATLAB的应用；2、熟练掌握手写体数字图片的存储、特征提取方法以及基于神经网络的特征识别；3、对识别效果能够做出定量分析；指导教师（签字）年 月 日审题小组组长（签字）年 月 日天津大学仁爱学院本科生毕业设计（论文）开题报告课题名称基于概率神经网络的手写体数字识别算法的设计与实现系 名 称信息工程系专业名称自动化学生姓名xxx指导教师xxx一、 课题来源及意义 数字识别是模式识别领域中重要研究方向之一，具有广阔的应用前景。人们在对概率神经网络基本原理研究的基础上，提出了利用概率神经网络方法来实现手写数字识别的方案。通过MATLAB仿真实验表明,基于概率神经网络的数字识别系统取得了良好效果。 数字识别前景广阔,广泛应用于表格中数字的识别、汽车牌照的数字自动识别和成绩单的识别等项目涉及到交通、银行、教育和邮政等领域。实现数字的自动识别给人们提供了很大的方便。数字识别的算法较多,当前运用较好的主流算法以统计、神经网络和聚类分析的识别算法为主,如Bagging算法、Adaboost算法、误差反向传播算法、支持向量机算法、自组织映射以及径向基函数等等。人工神经网络的基本特征为非线性映射、学习分类和实时优化,因此它为模式识别、非线性分类等研究开辟了新的途径。概率神经网络是一种典型的人工神经网络,有着广泛的应用。 概率神经网络(ProbabilisticNeuralNetworks，PNN)是由D.F.Specht在1990年提出的。主要思想是用贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，它是以Parzen窗口函数为激活函数的一种前馈网络模型。PNN吸收了径向基神经网络与经典的概率密度估计原理的优点，与传统的前馈神经网络相比，在模式分类方面尤其具有较为显著的优势。二、研究目标1、熟练掌握概率神经网络的基本思想以及基于MATLAB的应用；2、熟练掌握手写体数字图片的存储、特征提取方法以及基于神经网络的特征识别；3、对识别效果能够做出定量分析；三、研究内容1、掌握MATLAB的概念及应用；2、了解神经网络的基本原理，了解概率神经网络的一般学习算法；3、完成matlab的程序设计；4、对实验数据做出定量分析，并对其性能进行统计和总结。学习阶段四、研究方法与手段训练模式特征提取预处理 样本字母 识别阶段神经网络的学习计算特征提取图像预处理手写体数字识别结果分析程序设计PNN设计PNN算法系统识别框架图工作基础：了解matlab的基本概念和语法，熟练使用matlab软件。研究条件：依据概率神经网络的基本原理完成算法实现。应用环境：基于概率神经网络的图像文件中的文字识别。完成手写体数字识别及图像预处理，进行特征提取，建立知识库，利用matlab完成系统的实现与结果分析，并对其性能进行统计和总结。本设计主要分为三大步骤：第一阶段，图像预处理；第二阶段，特征提取；第三阶段，设计概率神经网络并对输入样本进行训练和测试。五、进度安排1、2015.12.302015.03.05 查找资料，通过书籍和视频学习matlab的基本 概念和语法，初步练习使用matlab软件。了解 概率神经网络的基本原理手写体数字识别算法 的基本概念。完成开题报告。 2、2016.03.062016.03.29 掌握数字识别和图片处理的基本方法。3、2016.03.302016.04.20 完成特征提取和对图像的预处理，了解并掌握 BP网络的一般 学习算法，并对BP算法进行改 进。4、2016.04.212016.05.25 利用matlab进行程序设计，分析实验数据和结 果 ，并对其性能进行统计和总结。5、2016.05.262016.06.06 撰写论文，准备答辩。六、主要参考文献1任丹,陈学峰.手写数字识别的原理及应用J.计算机时代. 2007(03). 2龚才春,刘荣兴.基于整体特征的快速手写体数字字符识别J.计算机工程与应用. 2004(19).3李涛.BP神经网络在字符识别中的设计改进J.达县师范高等专科学校学报. 2004(02).4陆锋,伊卫星,袁晓辉.神经网络模式识别对金融票据中数字特征的识别方法研究J. 苏州大学学报(工科版).2003(04).5 张丽,杨静宇,娄震. 基于置信度的手写体数字识别多分类器动态组合J. 计算机工程.2003(16).6蔡元明.神经网络识别手写体数字预处理后样本空间凸集性研究，中国科学院半导体所硕士学位论文D.保存地点：华中科技大学图书馆，1995.6.7吴佑寿，丁晓青.汉字识别原理方法与实现M.北京：高等教育出版社，1992.105121.8张立明.人工神经网络的模型及其应用M.上海：复旦大学出版社，1992.156170.9YangJMKaoCY，Arobustevolutionaryalgorithmfortrainingneuralnetworks.NeuralComputingandApplicationM，2001.10214230.10Hu,J.,Yan,H.,Amodel-basedsegmentationmethodforhandwrittennumeralstrings，ComputerVisionandImageUnderstandingN，70(3)，1998，383403.选题是否合适： 是 否课题能否实现： 能 不能指导教师（签字）年 月 日选题是否合适： 是 否课题能否实现： 能 不能审题小组组长（签字）年 月 日摘 要数字识别是模式识别领域中重要研究方向之一，具有广阔的应用前景。人们在对概率神经网络基本原理研究的基础上，提出了利用概率神经网络方法来实现手写数字识别的方案。通过MATLAB仿真实验表明,基于概率神经网络的数字识别系统取得了良好效果。人工神经网络识别方法是近年该研究领域的一种新方法，该方法具有一些传统技术所没有的优点：良好的容错能力、分类能力强、并行处理和自学习能力，并且是离线训练和在线识别的。这些优点使它在手写体字符的识别中能对大量数据进行快速实时处理，并达到良好的识别效果。由于手写体数字识别难于建立精确的数学模型,所以本文采用概率神经网络对这一问题进行处理。神经网络模式识别的一个关键步骤是预处理和特征提取，对于手写体数字识别，本文采用了一种基于结构特征和统计特征的提取方法，并用程序实现了这一特征提取过程。通过测试，本识别系统对于较规范的手写体数字的识别达到了很好的识别效果。关键词：概率神经网络；特征提取；噪声处理；PNN算法； ABSTRACT Digital recognition is one of the important research directions in the field of pattern recognition, and has broad application prospects.On the basis of studying the basic principle of probabilistic neural network, the method of probabilistic neural network is proposed to realize the recognition of handwritten numerals.MATLAB simulation experiments show that the digital recognition system based on probabilistic neural network has achieved good results. Artificial neural network recognition method is a new method of the research field in recent years, the method has some of the traditional technical advantages: good fault-tolerant ability, strong classification ability, parallel processing and self-learning ability, and is trained off-line and on-line identification. These advantages make it in the recognition of handwritten characters can be a lot of data for fast real-time processing, and to achieve a good recognition results. Because the handwritten numeral recognition is difficult to establish accurate mathematical model, this paper uses BP neural network to deal with this problem. The key steps of neural network pattern recognition is the preprocessing and feature extraction, for handwritten numeral recognition, the one based on structure feature and statistical feature extraction method and program realized the feature extraction process. Through the test, the recognition system achieves a very good recognition effect for the recognition of the handwritten numeral recognition.Key words:Probabilistic neural network;feature extraction;Noise processing;PNN algorithm 目 录第一章绪论11.1系统概述1 1.2 本论文所做的工作4 1.3 本章小结4第二章 神经网络的基本知识5 2.1 神经网络概述5 2.2 概率神经网络5 第三章 手写体数字识别13 3.1 手写体数字识别的常规预处理方法13 3.2 图像预处理14 3.3 特征提取17 第四章 神经网络在数字识别中的应用22 4.1 神经网络建模22 4.2 手写体数字识别的实现25 4.3 Matlab程序设计27 第五章 总结与展望31 5.1 总结31 5.2 展望31 参考文献32 外文资料 中文译文 致谢1天津大学仁爱学院2016届本科生毕业设计（论文） 第一章 绪论1.1 研究背景及实际意义1.1.1 人工神经网络产生的背景 自古以来，关于人类智能本源的奥秘，一直吸引着无数哲学家和自然科学家的研究热情。生物学家，神经学家经过长期不断的努力，通过对人脑的观察和认识，认为人脑的只能活动离不开脑的物质基础。包括它的实体结构和其中所发生的各种化学，生物，电学反应，并由此建造了神经元网络理论和神经系统结构理论。而神经元理论又是此后神经传导理论和大脑功能学说的基础。在这些理论基础上，科学家们认为，可以从仿制人脑系统的结构和功能出发，研究人类智能活动和认识现象。另一方面，19世纪以前，无论是以欧氏几何和积分为代表的经典数学，还是以牛顿为代表的经典物理学，从总体上说，这些经典科学都属于线性科学。然而，客观世界是如此纷繁复杂，非线性情况随处可见，人脑神经系统更是如此。复杂性和非线性是联系在一起的，因此，对非线性科学的研究也是我们认识复杂系统的关键。为了更好地认识客观世界，我们必须对非线性科学进行研究。人工神经网络作为一种非线性的，与大脑相似的网络模型，就这样应运而生了。所以，人工神经网络的创立不是偶然的，而是20世纪初科学技术充分发展的产物。1.1.2 手写体数字识别研究的发展及研究现状 模式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何用机器来实现人(及某些动物)对事物的学习、识别和判断能力，因而受到了很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。一个模式识别系统的基本职能是对系统所要处理的模式归属于哪一类做出判别，从该系统的模式输入到系统做出判别之间，主要包括信息检测、预处理、特征提取和分类几大环节。 字符识别是模式识别领域中的一个非常活跃的分支。一方面是由于问题本身的难度使之成为一个极具挑战性的课题；另一方面，是因为字符识别不是一项孤立的应用技术，其中包含的模式识别领域中其他分支都会遇到的一些基本和共性的问题。从50年代开始，许多的研究者就在这一研究领域开展了广泛的探索并为模式识别的发展产生了积极的影响。 字符识别，从采用的输入设备来分，可分为脱机识别（又称为光学字符识别OpticalCharacterRecognition,OCR）和联机识别，脱机字符又分为印刷体和手写字符识别，从对书写者要求来分，手写字符又分为限制性和非限制性的手写字符识别。在联机手写字符识别中，计算机能够通过与计算机相连的手写输入设备获得输入字符笔划的顺序、笔划的方向以及字符的形状，所以相对OCR来说它更容易识别一些。但联机字符识别有一个重要的不足就是要求输入者必须在指定的设备上书写，然而人们在生活中大部分的书写情况是不满足这一要求的，比如人们填写各种表格资料，开具支票等。如果需要计算机去认识这些已经成为文字的东西，就需要OCR技术。比起联机字符识别来，OCR不要求书写者在特定输入设备上书写，它可以与平常一样书写，所以OCR的应用更为广泛。OCR所使用的输入设备可以是任何一种图像采集设备，如扫描仪、数字相机等。通过使用这类采集设备，OCR系统将书写者已经写好的文字作为图像输入到计算机中，然后由计算机去识别。由于OCR的输入只是简单的一副图像，它就不能像联机输入那样比较容易的从物理上获得字符笔划的顺序信息，因此OCR是一个更具挑战性的问题。 脱机字符识别（OCR）分为印刷体OCR和手写OCR。印刷体字符比手写体字符少了随机性，它的识别相对容易些，难点已经不在识别环节，而在于字符的分割上。印刷体识别的错误绝大多数都是错误的分割引起的。对于手写体OCR，无论是联机还是脱机识别，手写体的识别都要经历由限制性手写体识别到非限制性手写体识别两个阶段。本文将以手写体数字为代表，讨论非限制性手写体字符的识别。脱机字符识别的研究最早始于上个世纪六十年代，是为了应付汉英翻译的需要。八十年代后的研究重心转移到脱机手写字符的识别上。对于小类别数的字符集如数字、字母的识别，已经可以做到对书写不加任何的限制。非限制性手写OCR的研究始终以阿拉伯数字为主导。这事因为，第一，十个阿拉伯数字是全世界的一套通用字符。第二，在数字的许多应用场合，如报表、账单、支票等，手写体还难以被印刷体所替代，而且对识别的可靠性要求极高。三，由于类别数少，所以模式识别中的许多方法研究均可以以数字识别作为实验背景。对脱机手写体字符的研究，人们由简单集成笔画密度、笔画方向和背景特征方法过渡到特征匹配方法，进而过渡到结合神经网络方法，随着对识别可靠性要求的提高，九十年代以后，多分类器集成方法成为了一个研究重点。1.1.3 神经网络在手写体数字识别中的应用 目前，随着计算机的迅速发展，性能价格比的不断提高，模式识别技术已经从理论探讨为主发展到大量的实际应用，人们将更多的注意力开始转向那些用于语音、图像、机器人以及人工智能等的模式识别实际问题。解决这些问题的关键是需要进行复杂而庞大的实时数据处理，而现有计算机的存贮容量及计算复杂性的局限，使得真正实时化的应用受阻。这种面向实时应用的模式识别问题促使人们开始将并行处理的神经网络应用到模式识别，而神经网络模式识别技术又将模式识别实时应用推进了一大步，手写体数字识别就是这种应用的一个很重要的领域。 手写体数字识别是一项极具研究价值的课题，随着神经网络和模糊逻辑技术的发展，人们对这一问题的研究又采用了许多新的方法和手段，也使得这一古老的课题焕发出新的生命力。目前国际上有相当多的学者在研究这一课题，它包括了模式识别领域中所有典型的问题:数据的采集、处理及选择、输入样本表达的选择、模式识别分类器的选择以及用样本集对识别器的有指导的训练。人工神经网络为手写体数字识别提供了新的手段。正是神经网络所具有的这种自组织自学习能力、推广能力、非线性和运算高度并行的能力使得模式识别成为目前神经网络最为成功的应用领域。 二十多年来，人们在数字识别领域做了大量的研究工作，所提出的各种方法在印刷体和手写印刷体数字识别方面已经取得了较好的成绩，识别率稳定在96%左右。但是自由手写体数字的识别工作目前并不成熟，仍旧是文字识别中最有挑战性的课题之一。 字符识别长期以来都是采用传统的识别方法，对印刷体字符的识别率一般只是稳定在96左右，不能进一步提高；而对手写体字符的识别，其研究还处于探索阶段，其识别率还相当低，因此，为了提高识别率，就必须寻求新的方法和途径。 进入九十年代以来，人工神经网络（ANN）技术发展十分迅速，它具有模拟人类部分形象思维的能力，是一种模仿人脑学习、记忆、推理等认知功能的新方法。特别是它的信息并行分布式处理能力和自学习功能等显著优点，更是激起了人们对它的极大的兴趣。人工神经网络是由一些类似人脑神经元的简单处理单元相互连接而成的复杂网络。已涌现出许多不同类型的ANN及相应的学习算法，其中BP（或EBP-ErrorBackPropagation）网络及学习算法得到了广泛关注和研究，并在数字识别方面取得了许多有意义的应用成果。1.1.4 手写体数字识别的意义 手写数字识别作为模式识别的一个重要分支,在邮政、税务、交通、金融等行业的实践活动中有着及其广泛的应用。这几年来我国开始大力推广的“三金”工程在很大程度上要依赖数据信息的输入，如果能通过手写数字识别技术实现信息的自动录入，无疑会促进这一事业的发展。因此，手写数字的识别研究有着重大的现实意义，一旦研究成功并投入应用，将产生巨大的社会和经济效益。 手写数字识别作为模式识别领域的一个重要问题，也有着重要的理论价值。一方面，阿拉伯数字是世界各国通用的符号，因此，手写体数字是一个重要枢纽。在符号识别领域，数字识别为这一领域提供了一个算法研究的平台。另一方面，手写数字的识别方法很容易推广到其它一些相关问题，特别是对英文字母的识别，但到目前为止机器的识别本领还无法与人的认知能力相比，这仍是一个有难度的开放问题。1.2 本论文所做的工作 在基于概率神经网络的前提下，运用Matlab对经典的神经网络进行仿真，发现在数字识别的问题上存在一些问题和不足。传统结构的神经网络，只用正样本空间学习训练，其识别的准确率低，而且在仿真时多半数字的识别准确率低于所能接受的最小值，更有甚者某些数字的识别率是0%，因此基于传统神经网络的这种缺陷展开调查和研究得出识别率更高的神经网络算法。在采集特征向量时，既采取正样本空间的特征向量，同时采取负样本库样本的特征向量。对神经网络训练学习时用两种特征训练，最后在仿真识别后得出的正确率与传统结构的神经网络相比较发现，改进的神经网络结构算法正确率明显高于传统结构的正确率。 本毕业设计主要解决以图像形式存在的手写体数字识别的问题。整体分为三个部分，第一部分是图像预处理，第二部分是对手写体数字的结构特征的提取，第三部分是设计神经网络并对前面得到的样本数据进行学习和训练。1.3 本章小结 本章主要介绍人工神经网络的发展历程及发展状况，以此引出本论文将要涉及到的概率神经网络的研究。在讨论概率神经网络的过程中引导出神经网络字符识别的应用，延续字符识别发展进程及现状。在试验中得出传统结构的神经网络对字符识别的正确率较低，而概率神经网络对字符的识别准确率较高。第二章神经网络的基本知识 2.1 神经网络概述 人工神经网络（Artificial NeuralNetworks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（ConnectionModel），它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 神经元网络是机器学习学科中的一个重要部分，用来classification或者regression。思维学普遍认为，人类大脑的思维分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维三种基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点：1.信息是通过神经元上的兴奋模式分布存储在网络上；2.信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。2.2 概率神经网络2.2.1 概率神经网络概述 概率神经网络是以指数函数替代神经网络中常用的S形激活函数，进而构造出能够计算非线性判别边界的概率神经网络（PNN），该判定边界接近于贝叶斯最佳判定面。还讨论了拥有类似性质的其他激活函数。所提出的这种4层神经网络能够把任何输入模式映射到多个类别。如果能取得新数据的话，可以使用新数据实时地修改判定边界，并可以使用完全并行运行的人工“神经元”付诸实现。还为估计类别的出现概率和可靠性，以及做判别作好准备。对于反向传播增加的适应时间占总计算时间的重大部分的问题，这种方法显示出非常快速的优点。PNN范式比反向传播快200，000倍。 （一） 正向传播：设神经网络的输入层有n个节点，隐层有q个节点，输出层有m个节点，输入层与隐层之间的权值为，隐层与输出层之间的权值为。 隐层的传递函数为（x）,输出层的传递函数为(x),则隐层节点的输出（将阈值写入求和项中）： k=1,2,，q 式（2-1）输出层节点的输出为： j=1.2.，m 式(2-2)至此神经网络就完成了n维空间向量对m维空间的近似映射。 （二） 反向传播： （1） 定义误差函数：输入P个学习样本，用来表示，第P个样本输入到网络后得到输出（j=1,2,m）。采用平方型误差函数，于是得到第p个样本的误差: 式(2-3) 式中，为期望输出。 对于P个样本，全局误差为： 式（2-4） （2） 输出层权值的变化： 采用累计误差BP算法调整，使全局误差E变小，即： 式（2-5）式中，为学习率。 定义误差信号为： 式（2-6）其中第一项： 式（2-7）第二项： 式（2-8）输出层各神经元的权值调整公式为： 式（2-9） （3） 隐层权值的变化： 式（2-10）定义误差信号为： 式（2-11）其中，第一项： 式（2-12）依链定理有： 式（2-13）第二项： 式（2-14）从而得到隐层各神经元的权值调整公式为： 式（2-15） 神经网络常用来依据向实例学习进行模式分类。不同的神经网格范式（paradigm）使用不同的学习规则，但都以某种方式，根据一组训练样本确定模式的统计量，然后根据这些统计量进行新模式分类。 通用方法如反向传播，使用探试法获得基础的类别统计量。探试法通常包含对系统参数的许多小的改进，逐渐提高系统的性能。除了训练需要长的计算时间外，还表明，反向传播增加的适应近似法对错误的最小值很敏感。为了改进这种方法，找到了基于己确立的统计原理的分类方法。 可以表明，尽管最终得到的网络在结构上类似于反向传播,且其主要区别在于以统计方法推导的激活函数替代S形激活函数，但这个网络具有的特点是：在某些易满足的条件下，以PNN实现的判别边界渐进地逼近贝叶斯最佳判定面。为了了解PNN范式的基础，通常从贝叶斯判定策略以及概率密度函数的非参数估计的讨论开始。之后可以表明，这种统计方法如何映射到前馈神经网络结构，网络结构是以许多简单处理器（神经元）代表的，所有处理器都是并行运行。 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能做出正确的判断。 如果输出为“0”(即为结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。 神经网络学习过程图如图2-1所示。图2-1 神经网络学习过程图2.2.2 神经网络在模式识别问题上的优势 神经网络是对人脑若干特性的抽象和模拟，是一种基于连接学说构造的智能仿生模型。以人类神经网络为模拟基础的人工神经网络在模拟推理和自动学习等方面向前发展了一大步，使人工智能更接近人脑的自组织和并行处理功能，它在模式识别、聚类分析和专家系统等多方面显示出了巨大的优势。神经网络可以看成是从输入空间到输出空间的一个非线性映射，它通过调整权重和阈值来学习或发现变量间的关系，实现对事物的分类。人工神经网络具有的特点使其在模式识别上具有优势。 神经网络具有分布式存储信息的特点。它存储信息的方式与传统的计算机的思维方式是不同的，一个信息不是存在一个地方，而是分布在不同的位置。网络的某一部分也不只存储一个信息，它的信息是分布式存储的。神经网络是用大量神经元之间的连接及对各连接权值的分布来表示特定的信息。因此，这种分布式存储方式即使当局部网络受损时，仍具有能够恢复原来信息的优点。 神经网络对信息的处理及推理的过程具有并行的特点。每个神经元都可以根据接收到的信息作独立的运算和处理，然后将结果传输出去，这体现了一种并行处理。神经网络对于一个特定的输入模式，通过前向计算产生一个输出模式，各个输出节点代表的逻辑概念被同时计算出来。在输出模式中，通过输出节点的比较和本身信号的强弱而得到特定的解，同时排出其余的解，这体现了神经网络并行推理的特点。 神经网络对信息的处理具有自组织、自学习的能力。神经网络中各神经元之间的连接强度用权值大小来表示，这种权值可以事先定出，也可以为适应周围环境而不断地变化，这种过程称为神经元的学习过程。神经网络所具有的自学习过程模拟了人的形象思维方法，这是与传统符号逻辑完全不同的一种非逻辑的方法。在神经网络研究的历史进程中，它在模式识别方面的应用一直是最活跃和最成功的领域。神经网络与它在模式识别中的应用是息息相关，密不可分的。2.2.3 概率神经网络的特点 Specht根据Bayes分类规则与Parzen窗的概率密度函数,提出PNN的层次模型,包括:输入层、模式层、求和层、竞争层。 概率神经网络的结构以及各层的输入输出关系量如下图所示，共由四层组成，当进行并行处理时，能有效地进行上式的计算。 输入层：神经元个数是特征向量维数。 样本层：神经元个数是训练样本的个数。 求和层：神经元个数是类别个数。 竞争层：神经元个数是类别个数。 输入层的传递函数是线性的,仅仅将输入样本完全不变的传递给模式层的各节点。模式层与输入层之间通过连接权wij相连,进行加权求和,即=x*,通过一个非线性算子运算后,传递给求和层。这里的非线性算子采用g()=exp(-1)/,模式层神经元数与输入样本矢量个数相同。求和层只是简单地将有对应样本中同一类的模式层传来的输入(属于某类的概率)进行累加,即(x)=g()及得到输入样本属于该类的最大可能性。第四层是决策层,它接收从求和层输出的各类概率密函数,概率密度最大的那个神经元输出为1,即所对应的那一类即为待识别的样本模式类别,其他神经元的输出全为0。 概率神经网络其训练过程简单,收敛速度快,PNN需要调节的参数少,隐含层数和隐含层神经元个数都不需要确定,比较容易使用,同时PNN总是收敛于Bayes优化解,稳定性高,并且样本的追加能力强,且可以容忍个别错误的样本。2.2.4 概率神经网络的Matlab神经网络工具箱函数 在设计概率神经网络时,首先要构建一个简单的网络结构,初始化网络,计算误差,确定传递函数,训练学习规则和网络,归一化训练参数以及训练样本。在Matlab7.0.1的PNN神经网络工具箱中包含了进行PNN分析和设计的许多函数,具体如下: （1）newpnn(P,T,SPREAD)该函数可以快速创建一个概率神经网络。该函数使得输入层的神经元数目和样本矢量的维数相等。其中,P为Q组输入向量组成的R*Q维矩阵,表示输入向量;T为Q组分类向量组成的S*Q维矩阵,表示期望输出向量(目标值),SPREAD是径向基函数的扩展系数,默认为1.0,如果SPREAD值接近于0,则创建的概率神经网络可以作为最邻域分类器,随着SPREAD的增大,需要更多地考虑该网络附近的设计问题,所以在网络设计中,需要用不同的SPREAD值进行尝试,以确定一个最优值。 （2）radbas()高斯径向基传递函数。该函数可由它的网络输入得到神经元的输出。在PNN中,就是使用高斯型激活函数,得到模式层的输出,传入求和层。 （3）dist(W,P)欧式距离加权函数。该函数对输入进行加权得到加权后的输入,在PNN的模式层中,计算输入特征向量与训练集中各个模式的匹配关系,一起送入传递函数,及此处的高斯型激活函数,得到模式层的输出。其中W为S*R维的权值矩阵,P为Q组输入(列)向量的R*Q维矩阵。 （4）train(net,P,T)神经网络的训练函数。其中的参数P、T表示的意义同(1)。 （5）sim(net,P)神经网络仿真函数。其中参数同(1)。 如果对神经网络的输入和输出的数据进行一定的预处理,可以加速训练,提高工作效率。Matlab神经网络工具箱提供了多种数据预处理的方法,但在PNN网络训练中主要用到归一化处理,对于输入矩阵P和输出矩阵T进行归一化处理的语句为Pn,minp,maxp,Tn,mint,maxt=premnmx(P,T),训练时使用归一化后的数据,即:net=train(net,Pn,Tn),训练结束后还应对网络的输出an=sim(net,Pn)做如下处理:a=postmnmx(an,mint,maxt),在用训练好的网络对新数据进行预测时,也做相应处理。2.2.5 PNN的设计及实例应用 概率神经网络主要用于分类和模式识别领域,其中分类方面应用最为广泛,它的优势在于用线性学习算法来完成非线性学习算法所做的工作,同时保证非线性算法的高精度等特性。在模式分类中,Bayes分类规则是具有最小“期望风险”的优化决策规则,可以处理大量样本的分类问题,一般情况下,应用于Bayes分类规则中的概率密度函数是未知的,但是大量的模式样本是已知的,用它们来训练网络。第三章 手写体数字识别3.1 手写体数字识别的常规预处理方法 神经网络为手写体数字识别提供了一个强有力的手段。目前，在神经网络模式识别中根据对输人样本的表达方式的选择有下面两大类：一类是直接将数字图像经数值化处理之后得到的像素点原始样本作为神经网络的输入；另一类则是对这种原始像素点构成的原始输人样本再作进一步的预处理或变换。虽然，在某些情况下，人们采用第一类样本表达获得了较好的识别结果，但这种输人方式，通常使得网络分类器结构的复杂程度大大增加，所以，对原始样本进行预处理，己成为神经网络模式识别成功的一个很重要的方面。对于手写体数字的预处理，人们己作了许多工作，但归根结底有下面几步： 首先是将手写体数字转化为mn像素点矩阵形式，再经二值化处理，可以得到原始的输入表达方式。接下来，对一原始样本表达进行一些常规变换，包括平滑、规格化和细化。 最后则是对样本进行各种的变换得到不同的特征以构成输入样本。相当于传统模式识别中特征提取与选择，论文中称这一过程为特征变换。特征变换的方法有许多，主要是获得数字主体特征，如数字宽度、长度及各笔划的长短、粗细和边缘轮廓特征。常规处理之后再进行特征变换的预处理方法，目前广泛用于手写体数字识别中。 数字的类别虽然只有十种，笔划又简单，其识别问题表面上是一个较简单的分类问题。但实际上，虽然各种新的识别算法不断的推出。其识别率和误识率仍距实用有相当距离。 手写体数字变形多、规律复杂。具体地说有两个：一是09十个数字中，其中的一些数字字形相差不大，使得准确区分某些数字相当困难;二是数字虽然只有十种，但同一数字写法千差万别。图3-1 各种手写体3.2 图像预处理3.2.1 图像预处理概述 预处理是字符识别重要的一环,它把原始的图像转换成识别器所能接受的二进制形式。 要识别手写体数字首先要对其字符图像进行预处理。预处理的主要目的是去除字符图像中的噪声、压缩冗余信息,得到规范化的点阵,为识别做好准备。这就要求预处理在消除图像中与识别无关的因素时尽量保持原图像的字符特征。 手写体数字图像预处理的过程，就一般情况而言，主要经过如图3-2所示的几个步骤。不同的识别方法对预处理的项目和要求有所不同。如结构识别方法，对字符规范化可以从简，甚至不需要。有的识别方法对细化要求很高，有的则不需要细化。本章中将分别对平滑去噪、二值化、归一化和细化分小节讨论。其中用到的Matlab神经网络工具箱函数：getfeature,m：得到图形，提取64*64二值图像的特征向量；Feature:长度为14的特征向量；bmp:图像中的数字部分；flag :标志位，表示数字部分的宽高比。图3-2 图像预处理基本流程 图像预处理流程图如图3-3所示。图3-3 图像预处理流程图3.1.2 图像的平滑去噪 平滑去噪就是除去孤立的噪声点、填充前景区域中的孤立白点、删除字符边缘线上的小凸起并填充凹陷，以利于后续算法的进行。 图像平滑去噪是数字图像处理中的重要环节和步骤。噪声会给以后的工作带来很多不便。因此，在处理图像的时候就要尽量去除图像中夹带的噪声。去噪效果的好坏直接影响到后续的图像处理工作，如字符切分、特征提取等。 目前比较经典的图像去噪算法主要有以下三种： 1均值滤波算法 均值滤波算法也称线性滤波，主要思想为邻域平均法，即用几个像素灰度的平均值来代替每个像素的灰度。有效抑制加性噪声，但容易引起图像模糊，可以对其进行改进，主要避开对景物边缘的平滑处理。 2中值滤波 中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性平滑滤波信号处理技术。中值滤波的特点即是首先确定一个以某个像素为中心点的邻域，一般为方形邻域，也可以为圆形、十字形等等，然后将邻域中各像素的灰度值排序，取其中间值作为中心像素灰度的新值，这里领域被称为窗口，当窗口移动时，利用中值滤波可以对图像进行平滑处理。其算法简单，时间复杂度低，但其对点、线和尖顶多的图像不宜采用中值滤波。很容易自适应化。本实验中采取的是中值滤波，其中用到的Matlab神经网络工具箱函数：中值滤波tmpt =medfilt2(tmp n(:,:,i),3,3); 3维纳滤波 维纳滤波是使原始图像和其恢复图像之间的均方误差最小的复原方法，是一种自适应滤波器，根据局部方差来调整滤波器效果。对于去除高斯噪声效果明显。 手写体