（计算机软件与理论专业论文）基于人工神经网络的光学字符识别系统及硬件实现.pdf

摘要 经过儿十年的研究，人工神经网络目前已经广泛地川米解决模式识别和人j 智能领域 的些复杂问题，并取得了以往传统算法无法获得的成功。光学字符识别( o c r ) 算法的 研究属于模式识别领域的一个重要分支。很自然地，我们在光学字符识别算法设计中引入了 人工神经网络。从上世纪7 0 年代以来，光学字符识别技术逐渐走向成熟。对于印刷体字符 的识别，目前已经有了很高的识别率；对于小规模的手写体字符识别，也已经走向实用。 相对于大规模字符识别( 如汉字识别) 系统，小规模字符识别系统实现难度相对较小， 但在日常生活中却应用广泛。如阿拉伯数字识别系统，仅对1 0 个阿拉伯数字和少量符号进 行识别，可以广泛应用于邮政编码识别、汽车牌照识别，流水线上产品编号识别等领域。本 课题选题的初衷，就是利用人工神经网络实现一套通用的小规模光学字符识别系统对邮政编 码进行识别。 当前，由于半导体加工工艺的进步，微处理器的体积越来越小，速度越来越快。由这 些微处理器组成的嵌入式系统，结构简单，成本低廉，被广泛应用于家电、工业控制等各个 方面。正是出于生产成本和产品尺寸的考虑，本文的硬件模块将使用基于a r m 系列微处理 器的嵌入式系统取代传统的p c 机。 本文的研究工作可以划分为硬件和软件话部分；所做 j 作、技术难点与技术创新如下： 1 研究a r m 体系的嵌入式系统的设计。 a )以a t m e l 公司的a t 9 1 r m 9 2 0 0 处理器为核心，设计一套嵌入式系统。 b ) 研究了高频电子印刷板的设计原理，并掌握了制作工艺。 c )研究l i n u x 操作系统代码，在嵌入式系统上移植了l i n u x 操作系统。 2 实现基于人工神经网络的光学字符识别算法 a )研究图像的获取、和预处理算法。 b ) 研究k - l 变换在字符特征抽取中的应用。 c )利用美国邮政服务数据库，训练了b p 网络的分类器。使用测试集，验证了我 们的分类器对手写体数字的识别率为9 2 。 d ) 研究了其他一些分类器，并同我们的人工神经网络分类器进行了性能比较。 本文所实现的光学字符识别系统，成本较低，体积较小。结构上具有一定的通用性， 能够使用在各种图像处理、图像识别或监控应用中。今后，我们将进一步改进视频采集部分， 提高视频图像的分辨率，将本文成果作为机器视觉系统产品进行市场推广。做论文期间，作 者己在计算机科学上发表论文篇。 6 关键词：光学字符识别、人工神经网络、k - l 变换、a r m 、嵌入式系统 中图分类号：t p 3 1 1 5 2 a b s t r a c t a f t e rm a n yy e a r sr e s e a r c h ，t h ea r t i f i c i a ln e u r a ln e t w o r k sa l r e a d yw i d e l yu s e df o rt os o l v e m a n yc o m p l e xp r o b l e m si np a t t e r nr e c o g n i t i o na n da r t i f i c i a li n t e l l i g e n c ed o m a i n ，a n dh a sg o tt h e s u c c e s sw h i c ht h et r a d i t i o n a la l g o r i t h mw a sh a r dt oo b t a i n t h er e s e a r c ho fo c r ( o p t i c a l c h a r a c t e rr e c o g n i t i o n ) i sa ni m p o r t a n tb r a n c ho np a t t e mr e c o g n i t i o nd o m a i n v e r yn a m r a l ，w e i n t r o d u c et h ea r t i f i c i a ln e u r a ln e t w o r k si n t oo c ra l g o r i t h md e s i g n s i n c el a s tc e n t u r y7 0 s ，t h e o c rt e c h n o l o g yh a sg r a d u a l l ym o v e dt om a t u r e l y f o rn o w , t h ep e r f o r m a n c eo ft h e p r i n t e d c h a r a c t e rr e c o g n i t i o ni sh i 曲，a n dt h es m a l l - s c a l eh a n d w r i r e nc h a r a c t e rr e c o g n i t i o nw o r k sv e r y w e l li np r a c t i c e c o m p a r e dw i t ht h el a r g e s c a l ec h a r a c t e rr e c o g n i t i o ns y s t e m ( f o re x a m p l e ，t h ec h i n e s e c h a r a c t e rr e c o g n i t i o n ) ，t h es m a l l - s c a l ec h a r a c t e rr e c o g n i t i o ns y s t e mi sm o r ee a s i l yt ob er e a l i z e d ， a n di ti sw i d e l yu s e di nd a i l yl i f e f o re x a m p l e ，t h ea r a b i cn u m e r a lr e c o g n i t i o ns y s t e m ，o n l y c a r r i e so nt h er e c o g n i t i o nt oa r a b i cn u m e r a l ，i sa p p l i e di ns om a n yd o m a i n ，s u c ha s z i p c o d e r e c o g n i t i o n ，t h el i c e n s ep l a t er e c o g n i t i o n ，p r o d u c ts e r i a ln u m b e rr e c o g n i t i o no na s s e m b l yl i n e ，e t c t h et o p i co fo u rs t u d yi su s i n ga r t i f i c i a ln e u r a ln e t w o r k st or e a l i z et h es m a l l s c a l ec h a r a c t e r r e c o g n i t i o ns y s t e m f o rp r e s e n t ，a sar e s u l to ft h ep r o g r e s so fs e m i c o n d u c t o rt e c h n o l o g y , t h em c ub e c o m e c h e a p e ra n dq u i c k e r u s i n gt h e s en e wm c u ，w ec a ne a s i l yd e s i g nt h eh i g hp e r f o r m a n c e e m b e d d e ds y s t e mi ni n d u s t r i a ld o m a i no rh o u s e h o l da p p l i a n c e s f r o mt h ec o s ta n dt h es i z e c o n s i d e r a t i o n ，w en s ea r mb a s e de m b e d d e ds y s t e mt oi m p l e m e n to u ro c rs y s t e m o u rw o r km a yd i v i d ei n t ot w ot o p i c s ：h a r d w a r ea n dt h es o f t w a r e o u rs t u d ya n di n n o v a t i o n i nt h i sp a p e ra sf o l l o w ： 1 w es t u d i e d t h ea r c h i t e c t u r e o f t h e a r mb a s e de m b e d d e ds y s t e m a ) u s i n g t h e a t m e l s a t 9 1 r m 9 2 0 0 ，t o d e s i g n o u r e m b e d d e ds y s t e m b ) s t u d y i n gt h ec r a f ta n dd e s i g no f t h ep c bi nh i 曲f r e q u e n c es i g n a ls y s t e m c ) s t u d y i n gt h el i n u xo p e r a t i o ns y s t e m ，t r a n s p l a n t i n gt h el i n n xs y s t e mi n t oo u r s y s t e m 2 w er e a l i z e dt h ea r t i f i c i a ln e u r a ln e t w o r k sb a s e do p t i c a lc h a r a c t e rr e c o g n i t i o na l g o r i t h m a ) s t u d y i n gt h ei m a g ee x w a c t i o n ，i m a g e - p r e p r o c e s s i n ga l g o r i t h m b ) s t u d y i n gt h ek - lt r a n s f o r m a t i o na p p l i e di nc h a r a c t e rf e a t u r e se x 仃a c t i o n c ) u s i n gt h eu sp o s t a ls e r v i c ed a t a b a s e ，t r a i n i n go u rb pn e t w o r kb a s e dc l a s s i f i e r ( a f t e rt r a i n i n g ，w eo b t a i naa r a b i cn u m e r a lc l a s s i f i e rw i t h9 2 c o r r e c tr a t e ) m s t u d y i n go t h e rs o m ec l a s s i f i e r sc o m p a r e dt h ep e r f o r m a n c eo f t h o s ec l a s s i f i e r sw i t h o u rb pn e t w o r kc l a s s i f i e r s 7 i nt h i sw o r k ，w er e a l i z e das m a l lv o l u m e ，l o wc o s ta n df l e x i b l eo c rs y s t e m o u rs y s t e mc a n b eu s e di ni m a g ep r o c e s s i n g ，i m a g er e c o g n i t i o no rv i d e om o n i t o r i n ga p p l i c a t i o n i nf u r t h e r , w e w i l li m p r o v et h ev i d e og a t h e r i n gc o m p o n e n t ，e n h a n c et h er e s o l u t i o no ft h ec a n l e i a ，a n dp u tt h i s s y s t e mi n t ot h em a c h i n ev i s i o nm a r k e t k e yw o r d s ：o c r ，a n n ，k a r h u n e nl o e v et r a n s f o r m a t i o n ，a r m ，e m b e d d e d s y s t e m 8 第一章人工神经网络和光学字符识别 1 1 人工神经网络 1 1 1 历史回顾 神经网络领域研究的背景工作始于1 9 世纪末和2 0 世纪初。它源于物理学、心理学和 神经生物学的跨学科研究，主要代表人物有h e r m a nv o nh e l m h o | t s ，e r n s tm a e h 和b a n p a v l o v 2 3 。这些早期的研究主要还是着重于有关学习、视觉和条件反射等一般理论，并没 有包含有关神经元工作的数学模型。 现代对神经网络的研究可以追溯到2 0 世纪4 0 年代w a r r e nm c c u l l o c h 和w a l t e r p i t t s 的 工作 2 3 。他们从原理上证明了人工神经网络可以计算任何算术和逻辑函数。通常认为他们 的工作是神经网络领域研究工作的开始。 人工神经网络的第一个实际应用出现在2 0 世纪5 0 年代后期，f r a n kr o s e n b l a t t 提出了 感知机网络和学习规则。r o s e n b l a t t 和他的同时构造了一个感知机网络，并公开演示了它进 行模式识别的能力。这次早期的成功引起了许多人对神经网络研究的兴趣。 但是，随之而来的m i n s k y 和p a p e r t 的书，利用数学证明单层感知器所能计算的根本局 限。在有关多层感知器的一节中，他们认为没有任何理由假定单层感知器的任何局限可以在 多层情况下被克服。许多人受到m i n s b 和p a p e r t 的影响，认为神经网络的研究已走入了死 胡同。同时由于当时没有强大的数字计算机来支持各种实验，从而导致许多研究者纷纷离开 这一研究领域。神经网络的研究就这样停滞了十年。 到了8 0 年代，随着个人计算机和工作站计算能力的急剧增强和广泛应用，以及不断引 入新的概念，克服了摆在神经网络研究前面的障碍，人们对神经网络的研究热情空前高涨。 其中，最有影响的事件就是几个不同的研究者分别开发出了用于训练多层感知机的反向传播 算法( b p 算法) 。该算法完全否定了m i n s k y 和p a p e r t 对多层感知机局限性的断言。这些新 的进展对神经网络研究领域注入了活力。在过去的2 0 年中，人们发表了成千上万的神经网 络研究论文。由于多层神经网络的非线性和自适应性等特点，神经网络已经在模式识别、人 工智能、自动控制等领域获得了成功的应用。 1 1 2 人工神经元模型 神经网络的基本组成单元是神经元，在数学上的神经元模型是 l l t l ! 生物学上的神经细 9 胞对应的。或者说，人工神经网络理论是用神经元这种抽象的数学模型来描述客观世界的生 物细胞的。很明显，生物的神经细胞是神经网络理论诞生和形成的物质基础和源泉。这样， 神经元的数学描述就必须以生物神经细胞的客观行为特性为依据。因此，了解生物神经细胞 的行为特性就是一件十分重要而必须的事。 在人脑的皮质中人约有1 0 0 亿个神经元。这些神经元细胞彼此相连接，形成复杂的网 状结构。这些神经元细胞，就是构成大脑的基础。 神经元细胞由细胞体、轴突、树突三部分构成。细胞体是由很多分子形成的综合体， 内部含有一个细胞核、核糖体、原生质网状结构等，它是神经元活动的能量供应地，在这里 进行新陈代谢等各种生化过程。神经元也即是整个细胞，整个细胞的最外层称为细胞膜。细 胞体的伸延部分产生的分枝称为树突，树突是接受从其它神经元传人的信息的入口。细胞体 突起的最长的外伸管状纤维称为轴突。轴突最长可达1 米以上。轴突是把神经元兴奋的信息 传出到其它神经元的出口。神经元细胞的构造见下图： 图1 1 神经元细胞 突触，是一个神经元与另一个神经元之间相联系并进行信息传送的结构。它由突触前 成分，突触间隙和突触后成分组成。突触前成分是一个神经元的轴突末梢。突触间隙是突触 前成分与后成分之间的距离空间，阔隙一般为2 0 0 一3 0 0 a 。突触后成分可以是细胞体，树突 或轴突。突触的存在说明：两个神经元的细胞质并不直接连通，两者彼此联系是通过突触这 种结构接口的。有时也把突触看作是神经元之间的连接。 目前，根据神经生理学的研究，已经发现神经元及其之间的突触起码有不同的4 种行 为。神经元的4 种生物行为有： 1 0 1 )能处于抑制或兴奋状态 2 )能产生爆发和平台两种情况 3 )能产生抑制后的反冲 4 ) 具有适应性 突触的4 种生物行为有： 1 )能进行信息综合 2 )能产生渐次变化的传送 3 )有电接触和化学接触等多种连接方式 4 1 会产生延时激发 目前，人工神经网络的研究仅仅是对神经元的第一种行为和突触的第一种行为进行模 拟，其它行为尚未考虑。所以，神经网络的研究只是处于起步的初级阶段，后边还有大量的 工作等人们去探讨和研究。目前，神经网络的研究已向人们展示了其美好的前景。只要按阶 段不断取得进展，神经元和突触的其它行为是完全可以实现人工模拟的。 人工神经网络对神经元的兴奋与抑制进行模拟，故而首先应了解神经元的兴奋与抑制 状态。 一个神经元的兴奋和l 抑制两种状态是由细胞膜内外之间不同的电位差来表征的。在 抑制状态，细胞膜内外之间有内负外正的电位差，这个电位差大约在一5 0 一1 0 0 m v 之间。在 兴奋状态，则产生内正外负的相反电位差，这时表现为约6 0 1 0 0 n 的电脉冲。细胞膜内 外的电位差是由膜内外的离子浓度不同导致的。细胞的兴奋电脉冲宽度一般大约为1 m s 。 对神经细脑的研究结果表明：神经元的电脉冲几乎可以不衰减地沿着轴突传送到其它 神经元去。由神经元传出的电脉冲信号通过轴突，首先到达轴突末梢，这时则使其中的囊泡 产生变化从而释放神经递质，这种神经递质通过突触的间隙而进入到另一个神经元的树突 中。树突上的受体能够接受神经递质从而去改变膜向离子的通透性使膜外内离子浓度差产 生变化；进而使电位产生变化。显然，信息就从一个神经元传送到另一个神经元中。 当神经元接受来自其它神经元的信息时，膜电位在开始时是按时间连续渐渐变化的。 当膜电位变化经超出一个定值时，才产生突变上升的脉冲，这个脉冲接着沿轴突进行传递。 神经元这种膜电位高达一定阀值才产生脉冲传送的特性称阀值特性。 神经元的信息传递除了有阀值特性之外，还有两个特点。一个是单向性传递，即只能 从前一级神经元的轴突末梢传向后一级神经元的树突或细胞体，不能反之。另一个是延时性 传递信息通过突触传递，通常会产生0 5 1 m s 的延时。 神经元对来自其它神经元的信息有时空综合特性。在神经网络结构上，大量不同的神 经元的轴突宋梢可以到达同一个神经元的树突并形成大量突触。来源不同的突触所释放的神 经递质都可以对同一个神经元的膜电位变化产生作用。因此，在树突上，神经元可以对不同 来源的输入信息进行综合。这就是神经元对信息的空间综合特性。对于来自同一个突触的信 息，神经元可以对丁不同时间传人的信息进行综合。故神经元对信息有时间综合特性。 从神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，而且 它对信息的处理是非线性的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数 学模型。l ：程上_ l = l j 的人i ：神经元模型如卜i 图所示。 图1 2 人工神经元模型 在上图中，x l ，x 2 ，x n 是神经元的输入，即是来自前级1 1 个神经元的轴突的 信息：e i 是i 神经元的阔值；w i l ，w i 2 ，w i n 分别是i 神经元对x 1 ，x 2 ，x n 的权系数，也即突触的传递效率；y i 是i 神经元的输出；】是激活函数，它决定i 神经元 受到输人x 1 ，x 2 ，x n 的共同刺激达到阀值时以何种方式输出。上述的神经元模型。 其数学模型表达式： rh l u i = _ 一b 1。1 【y i = f ( u i ) 其中，u i 又被称为诱导局部域。激活函数】通过诱导局部域u i 定义神经元的输出。 常用的激活函数有下面几种： 1 ) 阀值函数 2 )分段线性函数 3 1s i g m o i d 函数 4 ) 双曲函数 5 ) 辐射基函数 1 1 3 网络的结构 a t 神经网络是由人工神经元( 简称神经元) 组成。一般说来，人工神经网络有三种 不同的网络结构。 一种是单层前馈网络。在分层网络中，神经元以层的形式组织。最简单的分层网络就 2 是单层前馈网络。这种网络结构中，计算节点只有层。单层前馈网络包含一个输入层和 个输出层，只有输出层是计算层，输入层不进行计算。如f 图： 输入层输出层 图1 3 单层前馈网络 分层网络中，还有一种前馈网络不仅有输入层和输出层，还包含一层或多层隐含层。 这种网络叫做多层前馈网络。相应的计算节点被称为隐含神经元或隐含：肖点。隐含神经元的 功能是以某种方式介入输入层和输出层之间。加上一个或多个隐含层，网络可以引出高阶统 计特征。个典型的多层前馈网络如图： 隐台层 输出层 图1 4 多层前馈网络 还有一种人工神经网络被称为递归网络。递归网络和上面的两种前馈网络的区别在于 它至少有一个反馈环。而前馈网络中不存在环。由于反馈环的存在，对网络的学习和性能都 有深刻的影响。加入神经网络中包含非线性单元，这将导致网络的非线性的动态行为。f 图 显示了一个递门网络的结构： 1 1 4b p 神经网络 图1 5 递归网络 b p 神经网络是一种多层前馈神经网络，或被称为多层感知机。严格地说，这种神经网 络之所以被称为b p 神经网络，并非由于其网络结构，而是由于其连接权值的训练是基于一 种叫做误差反向传播的算法( b a e k p r o p a g a t i o n ) 。 误差反向传播算法是由d a v i dr u m e l h a r t ，g e o f f r e yh i n t o n 和r o n a l dw i l l i a m s ，d a v i d p a r k e r 以及y a n nl ec u r l 分别独立地发现的。这个算法因被包括在p a r a l l e ld i s t r i b u t e d p r o c e s s i n g 一书中而得到普及a 误差反向传播算法也称反向传播算法或b p 算法。由于这种算法在本质上是一种神经网 络学习的数学模型，所以，有时也称为b p 模型。b p 算法是为了解决多层前馈神经网络的 权系数优化而提出来的。故而，有时也称多层前馈网络为b p 模型。反向传播学习算法可以 对网络中各层的权系数进行修正，故适用于多层网络的学习。b p 算法是目前最广泛用的神 经网络学习算法之一，是多层前馈网络最有效的学习算法。 反向传播算法分二步进行，即正向传播和反向传播。这两个过程的工作简述如下。 1 ，正向传播 输入的样本从输入层经过隐单元一层一层进行处理，通过所有的隐层之后，则传向输 出层；在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输 出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。 2 ，反向传播 反向传播时，把误著信号按原米正向传播的通路反向传同，并对每个隐层的各个神经 1 4 元的权系数进行修改，以望误差信号趋向最小。 b p 算法实质是求取误差函数的最小值问题。这种算法采用非线性规划中的最速f 降方 法，按误差函数的负梯度方向修改权系数。算法的描述和具体推导。参见文献【2 7 】。 1 2 光学字符识别 1 2 1 历史和现状 光学字符识别( o p t i c a lc h a r a c t e rr e c o g n i t i o n ，o c r ) 技术出现于上个世纪5 0 年代。它 是属于模式识别( p a r e n ar e c o g n i t i o n ，p r ) 领域的一个重要分支。5 0 多年以来，光学字符 识别技术随着模式识别和人工智能研究的发展而逐步趋于成熟。特别是上世纪7 0 年代后期， 由于l s i 及c c d 器件的出现使其进入了一个崭新的实用阶段。并在计算机自动录入、票据 识别、信函分拣、资料分析等很多方面获得了广泛应用。 通常情况下，字符识别包含联机识别和脱机识别两种。就脱机识别而言，识别原理可 以简单地分为相关匹配识别、概率判定准则及句法模式识别三大类。7 0 年代初，我国开始 进行数字、英文、符号的识别研究。7 0 年代末，少数大学和研究所发表了一些论文，研制 出少量的模拟识别软件或系统。1 9 8 6 1 9 8 8 年开始，我国的印刷体字符识别技术开始进入 高潮期。陆续有1 1 家单位进行了1 4 次印刷体字符( 汉字) 识别的成果鉴定。1 9 9 8 年到目 前，字符识别系统逐步走向实用化。特别是印刷体字符的识别率，已经达到了9 5 9 9 的水 平。 1 2 2 字符识别方法简介 待识别文字通过光电扫描仪等输入设备转换成原始的二维图象信号，可以是灰度图象 ( o r a ys c a l ei m a g e ) 或二值图象( b i n a r yi m a g e ) 。做字符识别前，要对字符图像进行预处 理。预处理通常包括大小归一化、平滑、细化或轮廓化等处理过程。特征抽取与分类器的设 计是整个系统中最为重要的环节，稳定特征的抽取与良好性能的分类器的设计是整个识别系 统的核心。它们直接决定了识别系统的性能。每种特征有不同的抽取方法，这就使得判别方 法和准则以及所用的数学工具不同，形成了种类繁多、形式各别的字符识别方法。总的来说， 不同的特征抽取和分类器的设计方法决定了识别系统采用不同的处理方法，通常可以分为结 构模式识别方法、统计模式识别方法、统计与结构相结合的识别方法以及人工神经网络方法 等。 结构模式识别方法是人们最初用来进行手写字符识别研究的方法，一般需要先抽取笔 段或基本笔画作为基元，由这些基元再构成部件( 子模式) ，由部件的组合来描述字符( 模 式) ，最后再利用形式语言及自动机理论进行文法推断，即识别。然而，人们美好的初衷并 未能如愿以偿，这是因为从字符图象中抽取笔画等基元比较困难。通常，为了抽取笔画需要 将原始点阵图象进行细化处理，但是细化算法不仅速度慢，而且容易产生伪笔画段，如将一 个四叉点变成了二个二叉点，给准确抽取基元造成了困难。为了解决这个问题，有些学者试 图不经过细化直接从字符点阵图象中抽取笔画等基元，但效果仍不尽如人意。因此，有些研 究人员放弃了抽取笔画或笔段作为基元然后进行文法推断的思路，采用字符轮廓结构信息作 为特征，这一方案的识别结果优于基于基元抽取的方法，但识别方法需要进行松弛迭代匹配， 耗时严重，而且对于笔画较模糊的汉字图象，抽取内轮廓会遇到极大困难，外轮廓的抽取也 不太稳定。总之，早期的脱机手写字符识别研究者将精力主要集中在如何准确地抽取基元、 轮廓、特征点等能够反映字符结构信息的特征上，并且在假设这些特征已经比较准确地抽取 完毕的前提下，研究文法匹配、属性图匹配、松弛迭代匹配等。然而，单纯采用结构模式识 别方法的脱机手写字符识别系统，识别率较低，这就促使人们将目光转向了统计模式识别方 法。 与结构法相比，统计法具有良好的抗噪卢、抗干扰的性能，其鲁棒性主要体现在统计 特征的抽取和模式匹配方法上。用于脱机手写字符识别的统计特征，根据特征抽取区域的不 同可粗略地分为全局统计特征和局部统计特征两大类。全局统计特征是将整个字符点阵作为 研究对象，从整体上抽取特征，主要包括： 1 )全局变换特征：对字符图象进行各种变换，利用变换系数作为特征，常用的变换 有f o u r i e r 变换、h a d a m a r d 变换、d c t 变换、w a l s h 变换、r a p i d 变换、k - l 变换 等。 2 ) 不变矩( m o m e n t ) 特征 3 1 笔画穿透数目特征 4 )全局笔画方向特征：这种特征反映了在整个字符点阵中笔画的复杂度、方向及连接 关系。 5 1背景特征：字符图象的空白部分( 即背景) 和周围笔画的关系也含有一定的结构 信息，提取背景点在各个方向的笔画密度作为背景特征。 局部统计特征是将字符点阵图象分割成不同区域或网格，在各个小区域内分别抽取统 计特征，主要包括： 1 1 局部笔画方向特征 2 1 细胞特征 3 ) 相补特征 4 ) 方向线素特征 5 ) g a b o r 特征 四角特征 6 根据抽取特征的不同，可以选用不同的匹配方法，常心的统计匹配方法有模板匹配、 相关匹配、树分类器等。常川的距离度量有欧氏距离、城市块距离、马氏距离等。 1 2 3 神经网络在字符识别中的应用 基于串行符号处理的数字电子计算机在人工智能等研究领域遇到了一定的困难，促使 人们以更大的兴趣去研究以并行处理模式为特征的神经计算机。八十年代初，在美国、日本 和欧洲都掀起了一股研究神经网络理论和神经计算机的热潮，各个先进国家相继投入巨额资 金，制订出强化研究计划，并开展了对脑功能和新型智能计算机的研究。人工神经网络的主 要特征是：大规模的并行处理和分布式信息存储，良好的自适应性、自组织性，以及很强的 学习功能、联想功能和容错功能。目前的研究重点是将人工神经网络原理应用于图象处理、 模式识别、语音综合及智能机器人控制等领域。人工神经网络方法用于字符识别的研究主要 包括以下几个方面： 1 )神经网络用于特征抽取与选择：通常直接将字符点阵信息送入网络进行学习训练， 由网络抽取得到的特征不具有明显的物理含义 2 ) 神经网络用于学习训练及分类器的设计：这是目前人工神经网络在字符识别领域 的主要研究方向，也是最为成功的应用 3 )神经网络用于单字识别后处理 通常，用于字符识别的人工神经网络模型有：h o p f i e l d 神经网络、前向多层神经网络( 如 b p 算法、r b f 网络等) 、a r t 网络、自组织特征映射网络、认知器模型等等。目前常用的 做法是将神经网络方法和传统的识别方法结合起来使用，互相取长补短，如先用传统的方法 抽取较为稳定的特征，然后再用神经网络进行自组织聚类学习并设计性能良好的分类器等。 人们正以期盼的目光注视着人脑功能的揭示和神经网络的进一步发展。 7 第二章基于a r m 的硬件实现 2 1 硬件功能及硬件选型 2 1 1 硬件的基本功能 要在一个嵌入式系统上很好地运行本文所研究的基于人工神经网络的光学字符识别系 统，要求这个嵌入式系统具有如下特点： 1 ) 视频采集 2 1 较快的运算速度 3 ) 较大的存储器 4 ) 通讯口 嵌入式系统的视频采集部分大体有三种实现方式。第一种，使用c c d 采集光学图像， 并直接使用微处理器读取。第二种，使用模拟摄像头，并将模拟视频信号通过视频解码芯片 数字化，通过f i f o 存储器接驳微处理器。第三种，使用u s b 摄像头，将数字图像通过u s b 接口传输到嵌入式系统。对于这三种实现方式，前两种硬件实现最为复杂，而且造价较高。 因此，我们选择了第三种方式来实现视频的采集。 由于要进行视频( 图像) 的处理，这要求我们的系统有着较快的运算速度和较大的存 储器。这在当今的硬件条件下实现并不困难。有很多微处理器都具有高的运算速度和大的存 储器访问空间。通常的选择也有三种：第一种，使用i n t e r 的x 8 6 微处理器作为嵌入式系统 的微处理器。第二种，选择d s p 芯片作为嵌入式系统的微处理器。第三种，选择a r m 微 处理器。从实现的难度来说，第一种最为复杂，因为第一种方案要求我们设计大量的外围电 路。而的三种方案设计最为简单。由于a r m 体系结构的微处理器，集成了大多数的外围电 路甚至外围设备，我们仅需要实现最少的外围电路就能达到我们的硬件要求。同时，基于 a r m 芯片的嵌入式系统造价最低。 我们的嵌入式系统并非是个孤立的系统，它还要同其他系统( 如上位机) 进行通讯， 因此，要求其具有通讯接口。对于大多数a r m 系统，我们可以实现e t h e m e t 接口和u a r t 接口。而u a r t 接口几乎所有的a r m 微处理器都支持，而且实现最容易。因此我们的系统 选择u a r t 接口作为通讯接口。 整个系统工作时，通过u s b 口摄像头采集图像数据，并对图像进行处理。完成字符识 别后，将结果通过u a r t 口( p c 机上将u a r t 口实现为串口) 传给上位机。同时，上位机 8 通过嵌入式系统的u a r t 口完成控制信号的交互。 2 1 2 a r m 微处理器简介 a r m ( a d v a n c e dr i s cm a c h i n e s ) ，既可以认为是一个公司的名字，也可以认为是对 一类微处理器的通称，还可以认为是一种技术的名字。 1 9 9 1 年a r m 公司成立r 英国剑桥，主要出售芯片设计技术的授权。目前，采用a r m 技术知识产权( i p ) 核的微处理器，即我们通常所说的a r m 微处理器。已遍及工业控制、 消费类电子产品、通信系统、网络系统、无线系统等各类产品市场，基于a r m 技术的微 处理器应用约占据了3 2 位r i s c 微处理器7 5 以上的市场份额，a r m 技术正在逐步渗 入到我们生活的各个方面。 a r m 公司是专门从事基于r i s c 技术芯片设计开发的公司，作为知识产权供应商，本 身不直接从事芯片生产，靠转让设计许可由合作公司生产各具特色的芯片，世界各大半导体 生产商从a i l m 公司购买其设计的a r m 微处理器核，根据各自不同的应用领域，加入适当 的外围电路，从而形成自己的a r m 微处理器芯片进入市场。目前，全世界有几十家大的 半导体公司都使用a r m 公司的授权，因此既使得a r m 技术获得更多的第三方 ：具、制 造、软件的支持，又使整个系统成本降低，使产品更容易进入市场被消费者所接受，更具有 竞争力。 采用r i s c 架构的a r m 微处理器一般具有如下特点 6 1 ) 体积小、低功耗、低成本、高性能 2 ) 支持t h u m b ( 1 6 位) a r m ( 3 2 位) 双指令集，能很好的兼容8 位1 6 位器件 3 )大量使用寄存器，指令执行速度更快 4 ) 大多数数据操作都在寄存器中完成 5 )寻址方式灵活简单，执行效率高 6 ) 指令长度固定 a r m 微处理器目前包括下面几个系列，以及其它厂商基于a r m 体系结构的处理器， 除了具有a r m 体系结构的共同特点以外，每一个系列的a r m 微处理器都有各自的特点 和应用领域【6 】。 - - a r m 7 系列 - - a r m 9 系列 - - a r m 9 e 系列 - - a r m l 0 e 系列 一s e c u r c o r e 系列 一i n t e r 的x s c a l e 9 一i n t e r 的s t r o n g a r m 其中，a r m 7 、a r m 9 、a r m 9 e 羊a r m l 0 为4 个通崩处理器系列，每一个系列提 供一套相对独特的性能米满足不同应h 领域的需求。s e c u r c o r e 系列专门为安全要求较高的 应用而设计。 在本系统中，我们选用a r m 9 系列中的a r m 9 2 0 t 作为嵌入式系统的微处理器。a r m 9 系列微处理器在高性能和低功耗特性方面提供最佳的性能。具有以下特点【6 】： 1 )5 级整数流水线，指令执行效率更高 2 ) 提供1 i m i p s m h z 的哈佛结构 3 ) 支持3 2 位a r m 指令集和1 6 位t h u m b 指令集 4 ) 支持3 2 位的高速a m b a 总线接口 5 ) 全性能的m m u ，支持w i n d o w sc e 、l i n u x 、p a l mo s 等多种主流嵌入式操作 系统 6 )一m p u 支持实时操作系统 7 )支持数据c a c h e 和指令c a c h e ，具有更高的指令和数据处理能力 a r m 9 系列微处理器主要应用于无线设备、仪器仪表、安全系统、机顶盒、高端打印 机、数字照相机和数字摄像机等。 2 1 3 微处理器选型 随着国内外嵌入式应用领域的逐步发展，a r m 微处理器必然会获得广泛的重视和应 用。但是。由于a r m 微处理器有多达十几种的内核结构，几十个芯片生产厂家，以及千 变万化的内部功能配置组合，给开发人员在选择方案时带来一定的困难，所以，对a r m 芯 片做一些对比研究是十分必要的。 a r m 的选型，主要从考虑微处理器内核、工作主频、片内外围电路这几个方面。a r m 微处理器包含一系列的内核结构，以适应不同的应用领域，用户如果希望使用w i n c e 或标 准l i n u x 等操作系统以减少软件开发时间，就需要选择a r m 7 2 0 t 以上带有m m u ( m e m o r y m a n a g e m e n t u n i t ) 功能的a r m 芯片，a r m 7 2 0 t 、a r m 9 2 0 t 、a r m 9 2 2 t 、 a r m 9 4 6 t 、s t r o n g - a r m 都带有m m u 功能。 系统的工作频率在很大程度上决定了a r m 微处理器的处理能力。a r m 7 系列微处理 器的典型处理速度为0 9 m i p s m h z ，常见的a r m 7 芯片系统主时钟为2 0 m h z 1 3 3 m h z ， a r m 9 系列微处理器的典型处理速度为1 i m i p s m h z ，常见的a r m 9 的系统主时钟频率 为1 0 0 m h z 2 3 3 m h z ，a r m l 0 最高可以达到7 0 0 m h z 。不同芯片对时钟的处理不同，有 的芯片只需要一个主时钟频率，有的芯片内部时钟控制器可以分别为a r m 核和u s b 、 u a r t 、d s p 、音频等功能部件提供不同频率的时钟。 除a r m 微处理器核以外，几乎所有的a r m 芯片均根据各白不同的麻j h j 领域扩展 了相关功能模块，并集成在芯片之中，我们称之为片内外同电路，如u s b 接口、i i s 接口、 l c d 控制器、键盘接口、r t c 、a d c 和d a c 、d s p 协处理器等，设计者鹿分析系统的 需求，尽可能采川片内外同电路完成所需的功能，这样既可简化系统的设计，同时提高系统 的可靠性。 经过上述3 点的综合考虑，我们选择了美国a t m e l 公司a t 9 1 r m 9 2 0 0 作为微处理器。 a t 9 1 r m 9 2 0 0 为a r m 9 系列的a r m 9 2 0 t 型。a t 9 1 r m 9 2 0 0 中含有1 6 k 字节的指令c a c h e 和1 6 k 字节的数据c a c h e 。通常，其工作主频为2 0 0 m h z ，加上其1 1 m i p s m h z 的处理速 度，满足了本系统的处理速度要求。a t 9 1 r m 9 2 0 0 中包含了1 6 k 的s r a m 以及1 2 8 k 的r o m ， 另外，它还具有2 5 6 m 的外部存储器地址空间。其中，为s d r a m 或b u r s t f l a s h 提供了2 6 b i t 的地址线，最多能扩展“m 的s d r a m ，完全满足了我们的软件对内存的要求。 另外，a t 9 1 r m 9 2 0 0 内部集成了许多外围控制电路。它提供了兼容o p e nh c ir e v l 0 规范的u s bh o s t 接口以及u s bd e v i c e 接口。并且，满足u s b2 0 全速及低速规范。在本 文中，我们需用到u s bh o s t 接口连接摄像头。除了u s b 接口，a t 9 1 r m 9 2 0 0 也集成了u a r t 接口、e t h e r n e tm a c 接口、1 2 c 接口等许多常用接口电路。 因此，选择a t 9 1 r m 9 2 0 0 芯片，使我们的硬件开发难度减到了最小。我们仅需要在 a t 9 1 r m 9 2 0 0 的基础上设计很少的外围电路就能满足我们对硬件的需求。 2 2 硬件的设计 2 2 1 电源部分 从前面对a t 9 1 r m 9 2 0 0 的介绍可知，它集成了几乎所有我们需要使用的外围控制电路。 因此，我们的硬件设计特别简单。具体说来，我们只需要简单添加电源部分、复位电路、晶 振电路、s d r a m 、n a n df l a s h 、u s b 接口、u a r t 接口、j t a g 接口即完成了硬件电路的 设计。按照a t 9 1 r m 9 2 0 0 的说明书，我们需要对a t 9 1 r m 9 2 0 0 提供两路直流供电。这两路 直流供电，一个为3 3 v ，一个为1 8 v 。其中，3 3 v 供给芯片的各种端口以及u s b 的接口 转换使用；1 8 v 供