基于人工神经网络光学字符识别系统及硬件实现

1、1基于人工神经网络的光基于人工神经网络的光学字符识别系统及硬件学字符识别系统及硬件实现实现贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所2选题背景及意义选题背景及意义o人工神经网络目前已经广泛地用来解决模式识别和人工神经网络目前已经广泛地用来解决模式识别和人工智能领域的一些复杂问题。由于人工神经网络人工智能领域的一些复杂问题。由于人工神经网络的非线性以及并行性和鲁棒性等特点，在上述领域，的非线性以及并行性和鲁棒性等特点，在上述领域，其取得了以往传统算法无法获得的成功。其取得了以往传统算法无法获得的成功。o由于人工神经网络等新技术的引入，由于人工神经网络等新技术的引入，从上世纪从上

2、世纪70年年代以来，光学字符识别技术逐渐走向成熟。对于脱代以来，光学字符识别技术逐渐走向成熟。对于脱机印刷体字符的识别，目前已经有了很高的识别率；机印刷体字符的识别，目前已经有了很高的识别率；对于小规模的手写体字符识别，也已经走向实用。对于小规模的手写体字符识别，也已经走向实用。 o当前，由于半导体加工工艺的进步，微处理器的体当前，由于半导体加工工艺的进步，微处理器的体积越来越小，速度越来越快。这使得构建能够替代积越来越小，速度越来越快。这使得构建能够替代PCPC机功能而体积更小、造价更低的硬件平台成为可机功能而体积更小、造价更低的硬件平台成为可能。能。 贵州大学计算机软件与理论研究所贵州大学

3、计算机软件与理论研究所3选题背景及意义选题背景及意义o小规模光学字符识别系统应用广泛，有着巨大的小规模光学字符识别系统应用广泛，有着巨大的商业前景。如：邮政编码识别、汽车照牌识别、商业前景。如：邮政编码识别、汽车照牌识别、交通标示识别、产品编码识别等。交通标示识别、产品编码识别等。o能够处理视频的嵌入式设备也有着广泛的应用前能够处理视频的嵌入式设备也有着广泛的应用前景。如视频监控、视频通讯、机器视觉系统等。景。如视频监控、视频通讯、机器视觉系统等。贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所4研究了人工神经网络及光学字符识别的基本理论、一般方法：研究了人工神经网络及光学字符识别

4、的基本理论、一般方法：对人工神经网络的发展、现状、理论做了深入的研究。重点研究对人工神经网络的发展、现状、理论做了深入的研究。重点研究了了BP网络的原理、特点、应用方法。研究了脱机光学字符识别的方法、网络的原理、特点、应用方法。研究了脱机光学字符识别的方法、理论。重点研究了基于理论。重点研究了基于K-L变换的字符图像的特征抽取方法。变换的字符图像的特征抽取方法。o研究了基于研究了基于ARM技术的嵌入式系统的构造、设计：技术的嵌入式系统的构造、设计：通过实际动手，研究了基于通过实际动手，研究了基于ARM技术的处理器的基本构造、使用技术的处理器的基本构造、使用方法；使用并比较了三星方法；使用并比较

5、了三星4510b、atmel at91rm9200芯片的性芯片的性能；掌握了高频印刷版的设计工艺。能；掌握了高频印刷版的设计工艺。o研究了研究了Linux操作系统的结构及移植方法：操作系统的结构及移植方法：本文的嵌入式系统使用本文的嵌入式系统使用ucLinux或或Linux操作系统。通过对操作操作系统。通过对操作系统的移植及对其代码研究，掌握了在系统的移植及对其代码研究，掌握了在ARM系统上移植系统上移植ucLinux操操作系统和作系统和Linux操作系统的方法、步骤。操作系统的方法、步骤。本文所做的主要工作与创新之处贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所5o实现了图像处

6、理函数库：实现了图像处理函数库：针对脱机光学字符处理的应用需要，实现了一套高效的图像处理针对脱机光学字符处理的应用需要，实现了一套高效的图像处理函数库，包含图像转换、图像抽取、图像调整、图像变换、图像滤波、函数库，包含图像转换、图像抽取、图像调整、图像变换、图像滤波、边缘检测、轮廓跟踪、轮廓检测、简单几何形状识别几大类。边缘检测、轮廓跟踪、轮廓检测、简单几何形状识别几大类。o实现了实现了BP人工神经网络函数库：人工神经网络函数库：实现了基于矩阵运算的实现了基于矩阵运算的BP神经网络算法。能够利用神经网络算法。能够利用Matlab生成生成的网络数据进行快速的运算。的网络数据进行快速的运算。 o掌

7、握了利用掌握了利用Matlab工具构建人工神经网络系统的方法：工具构建人工神经网络系统的方法：Matlab包含了能强大的人工神经网络工具箱。包含了能强大的人工神经网络工具箱。BP神经网络的规神经网络的规模、激活函数的选择，直接影响了模、激活函数的选择，直接影响了BP神经网络的效果。而神经网络的效果。而BP神经网络神经网络的规模、激活函数的选择，目前并没有完善的理论做支持，必须通过的规模、激活函数的选择，目前并没有完善的理论做支持，必须通过实验来确定其规模或者激活函数。另外，实验来确定其规模或者激活函数。另外，BP神经网络的训练算法也必神经网络的训练算法也必须通过实验来选取一种最佳的方案。须通过

8、实验来选取一种最佳的方案。 由于由于Matlab工具具有可视化效工具具有可视化效果、果、Matlab具有完善的训练算法，因此，我们使用具有完善的训练算法，因此，我们使用Matlab来确定网来确定网络规模、结构，并使用络规模、结构，并使用Matlab训练训练BP网络。网络。本文所做的主要工作与创新之处贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所6o实现了小规模光学字符识别算法：实现了小规模光学字符识别算法：利用利用K-L变换，完成字符图像的特征抽取，利用变换，完成字符图像的特征抽取，利用BP网络，以网络，以K-L变换抽变换抽取的特征为输入，完成光学字符识别。文中利用美国取的特征为

9、输入，完成光学字符识别。文中利用美国USPS数据库，训练了手数据库，训练了手写体阿拉伯数字识别网络，识别率高于写体阿拉伯数字识别网络，识别率高于92%。o对样本的每个分类，单独构造一个对样本的每个分类，单独构造一个BP神经网络分类器：神经网络分类器：通常，在构造通常，在构造BP神经网络分类器时，输出层节点数目等于分类的数目，神经网络分类器时，输出层节点数目等于分类的数目，输出层每个节点就对应于一个分类。本文中对每个分类都构造一个输出层每个节点就对应于一个分类。本文中对每个分类都构造一个BP网络分网络分类器，每个分类器输出层包含一个节点，表示样本为本分类的概率。这样的类器，每个分类器输出层包含一

10、个节点，表示样本为本分类的概率。这样的设计，大大降低了设计，大大降低了BP网络的训练难度。网络的训练难度。o利用阿拉伯数字的拓扑结构。使用利用阿拉伯数字的拓扑结构。使用2级分类器，提高了识别率：级分类器，提高了识别率：在初级网络识别结果的基础上，进一步利用阿拉伯数字的拓扑结构，成在初级网络识别结果的基础上，进一步利用阿拉伯数字的拓扑结构，成像特征，构建了第像特征，构建了第2级分类器。第二级级分类器。第二级BP网络分类器的加入，大大提高的数网络分类器的加入，大大提高的数字的识别率。字的识别率。 o实现了用于邮件自动分拣机的邮政编码识别装置：实现了用于邮件自动分拣机的邮政编码识别装置：综合上述的研

11、究工作，文中实现了一个邮政编码识别装置。该装置能够综合上述的研究工作，文中实现了一个邮政编码识别装置。该装置能够识完成邮编的定位、邮编抽取、识别等系列工作。配合邮件自动分拣机的其识完成邮编的定位、邮编抽取、识别等系列工作。配合邮件自动分拣机的其他物理动作单元，完成邮件的自动分拣工作。他物理动作单元，完成邮件的自动分拣工作。本文所做的主要工作与创新之处贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所7n技术概述技术概述o技术详解技术详解 o应用前景应用前景内容提要贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所8人工神经网络及BP网络o神经网络领域研究的背景工作始于神经网

12、络领域研究的背景工作始于19世纪末和世纪末和20世纪初。它源于世纪初。它源于物理学、心理学和神经生物学的跨学科研究物理学、心理学和神经生物学的跨学科研究 。人工神经网络的第人工神经网络的第一个实际应用出现在一个实际应用出现在20世纪世纪50年代后期，年代后期，Frank Rosenblatt提出了提出了感知机网络和学习规则感知机网络和学习规则 。o神经网络的基本组成单元是神经元，在数学上的神经元模型是和神经网络的基本组成单元是神经元，在数学上的神经元模型是和在生物学上的神经细胞对应的。或者说，人工神经网络理论是用在生物学上的神经细胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来

13、描述客观世界的生物细胞的神经元这种抽象的数学模型来描述客观世界的生物细胞的。oBP神经网络是一种多层前馈神经网络，或被称为多层感知机。严神经网络是一种多层前馈神经网络，或被称为多层感知机。严格地说，这种神经网络之所以被称为格地说，这种神经网络之所以被称为BP神经网络，并非由于其网神经网络，并非由于其网络结构，而是由于其连接权值的训练是基于一种叫做误差反向传络结构，而是由于其连接权值的训练是基于一种叫做误差反向传播的算法播的算法(backpropagation)。BP算法实质是求取误差函数的最小算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速下降方法，按误差函值问题。这种算法采

14、用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。数的负梯度方向修改权系数。贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所9光学字符识别o光学字符识别（光学字符识别（Optical Character Recognition，OCR）技术出现）技术出现于上个世纪于上个世纪50年代。它是属于模式识别（年代。它是属于模式识别（Pattern Recognition，PR）领域的一个重要分支。）领域的一个重要分支。50多年以来，光学字符识别技术随着多年以来，光学字符识别技术随着模式识别和人工智能研究的发展而逐步趋于成熟模式识别和人工智能研究的发展而逐步趋于成熟 。字符识别

15、包含。字符识别包含联机识别和脱机识别两种。本文研究对象为脱机识别。联机识别和脱机识别两种。本文研究对象为脱机识别。o结构模式识别方法是人们最初用来进行手写字符识别研究的方法，结构模式识别方法是人们最初用来进行手写字符识别研究的方法，早期的研究主要集中在如何准确地抽取基元、轮廓、特征点等能早期的研究主要集中在如何准确地抽取基元、轮廓、特征点等能够反映字符结构信息的特征上。然而，单纯采用结构模式识别方够反映字符结构信息的特征上。然而，单纯采用结构模式识别方法的脱机手写字符识别系统，识别率较低，这就促使人们将目光法的脱机手写字符识别系统，识别率较低，这就促使人们将目光转向了统计模式识别方法。转向了统

16、计模式识别方法。o统计法具有良好的抗噪声、抗干扰的性能，其鲁棒性主要体现在统计法具有良好的抗噪声、抗干扰的性能，其鲁棒性主要体现在统计特征的抽取和模式匹配方法上。用于脱机手写字符识别的统统计特征的抽取和模式匹配方法上。用于脱机手写字符识别的统计特征，根据特征抽取区域的不同可粗略地分为全局统计特征和计特征，根据特征抽取区域的不同可粗略地分为全局统计特征和局部统计特征两大类。局部统计特征两大类。 贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所10光学字符识别o全局统计特征是将整个字符点阵作为研究对象，从整体上抽取特全局统计特征是将整个字符点阵作为研究对象，从整体上抽取特征。常用的是全

17、局变换特征：对字符图象进行各种变换，利用变征。常用的是全局变换特征：对字符图象进行各种变换，利用变换系数作为特征，常用的变换有换系数作为特征，常用的变换有Fourier变换、变换、Hadamard变变换、换、DCT变换、变换、Walsh变换、变换、Rapid变换、变换、K-L变换等。另外还变换等。另外还有：不变矩（有：不变矩（Moment）特征、笔画穿透数目特征、全局笔画方）特征、笔画穿透数目特征、全局笔画方向特征、背景特征。向特征、背景特征。o局部统计特征是将字符点阵图象分割成不同区域或网格，在各个局部统计特征是将字符点阵图象分割成不同区域或网格，在各个小区域内分别抽取统计特征，主要包括局部

18、笔画方向特征、细胞小区域内分别抽取统计特征，主要包括局部笔画方向特征、细胞特征、相补特征、方向线素特征、特征、相补特征、方向线素特征、GaborGabor特征、四角特征。特征、四角特征。o根据抽取特征的不同，可以选用不同的匹配方法，常用的统计匹根据抽取特征的不同，可以选用不同的匹配方法，常用的统计匹配方法有模板匹配、相关匹配、树分类器等。常用的距离度量有配方法有模板匹配、相关匹配、树分类器等。常用的距离度量有欧氏距离、城市块距离、马氏距离等欧氏距离、城市块距离、马氏距离等。 贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所11准备样本o针对特定的应用，准备样本集。并利用图像处理技术

19、，针对特定的应用，准备样本集。并利用图像处理技术，将样本标准化。将样本标准化。例：美国邮政服务（USPS）数据库贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所12对样本做主分量分析（PCA）o计算样本集的主分量（特征图），准备计算样本集的主分量（特征图），准备K-LK-L变换矩阵变换矩阵例：美国邮政服务（USPS）数据库的特征图贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所13抽取样本的特征o利用前面计算的利用前面计算的K-LK-L变换矩阵，计算每个样本图的特征变换矩阵，计算每个样本图的特征例：本文的数字识别研究中，利用K-L变换将16X16点阵的图像变换为维度为3

20、2或20的特征向量。贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所14训练BP网络分类器o利用样本集对应的特征向量集，在利用样本集对应的特征向量集，在MatlabMatlab中设计、训中设计、训练练BPBP神经网络神经网络例：本文的数字识别研究中，构造了10个20,20,16,8,1、输出层使用purelin函数，其他层使用logsig函数的BP神经网络。贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所15图像采集o利用摄像头采集大小适中、亮度适中的信封图像利用摄像头采集大小适中、亮度适中的信封图像贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所16邮政编

21、码的定位o利用邮政编码边框的颜色信息，分割出邮政编码边框图利用邮政编码边框的颜色信息，分割出邮政编码边框图像像贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所17邮政编码的定位o轮廓提取，并使用轮廓提取，并使用HoughHough变换，检测出邮政编码的具体变换，检测出邮政编码的具体位置位置贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所18邮政编码图像的提取o提取出邮政编码图像，并根据图像倾角，进行姿势校正提取出邮政编码图像，并根据图像倾角，进行姿势校正贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所19灰度化o将图像灰度化将图像灰度化贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所20二值化o将图像二值化将图像二值化贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所21笔画粗细调整o将图像中的文字笔画粗细做调整将图像中的文字笔画粗细做调整贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所22图像标准化并识别o将图像标准化为将图像标准化为16X1616X16大小，并识别大小，并识别贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所23贵州大学计算机软件与理论研究所贵州大学计算机软件与理论研究所24贵州大学计算机软件与理论研究所贵州大学计算机软件与