（计算机软件与理论专业论文）手写体数字识别.pdf

山东大学硕士学位论文 摘要 自从计算机问世以来，让机器具有模式识别能力一直是计算机科学家们的努 力方向。研究表明，对视觉和听觉信息的处理过程，不仅仅是一个感知过程，也 是一个认知过程。因此，研究模式识别，是理解人类智能的本质的重要途径。 字符识别是一个传统和典型的模式识别问题，脱机手写数字识别是一个典型 的大类别的模式识别问题。手写体数字具有不同字符字型相差不大、相同字符有 多种不同写法、数字没有上下文关系等等特点，使得脱机手写体数字识别成为识 别领域最大的难题和最终的目标。 在这种大类别识别的研究中，传统上大多采用匹配的方法来解决问题。原因 是方法的实现比较简单。但是，基于匹配的方法分类精度比较低。近年来，对人 工神经网络的研究表明，神经网络是一个高度并行的，非线性的，具有很高冗余 度的系统，同时，神经网络所具有的自学习自组织能力，是我们能在与外部世界 的交互作用下，实现无法用传统的计算理论表达清楚的功能。所有这些，使得人 工神经网络作为一种认知模型在模式识别中得到了成功的应用。更重要的一点 是，网络的学习机制为综合集成中倡导的人机集成的实现提供了有利的工具。 本文主要研究了手写字符识别。重点在利用人工神经网络手写数字识别的预 处理阶段，并对倾斜的数字图像提出了一种新的校正方法，这种方法既易于理解 又简单易行。传统的校正方法，都是在首先估算出数字图像的大概的倾斜角度， 然后再根据这个角度进行倾斜校正。但是估算出的倾斜角度往往误差较大，这对 于传统的用于模板匹配或是用力矩来识剐的识别算法影响不是很大。可对于利用 神经网络来识别手写数字来说，如果用来训练神经网络的特征向量是从校正的图 像中得到的，而待识别的手写数字却是未经校正或是校正误差比较大的，那么一 定会造成很低的识别率；如果用来训练神经网络的特征向量和用来识别的特征向 量都是从未经校正或是校正不完全的手写数字图像中提取出来的，那么识别率会 更低。因为系统不会知道数字是往哪个方向倾斜，倾斜多少度。 在将倾斜的数字图像校正以后，就可以从所有的数字图像中取出一部分来进 行神经网络训练，另一部分来进行识别验证。 关键字：模式识别；手写体数字识别；倾斜校正：特征向量；人工神经网络 山东大学硕士学位论文 a b s t r a c t s i n c ec o m p u t e ra p p e a r e d ，i th a sb e e na l le f f o r td i r e c t i o nf o rs c i e n t i s tt ol e tt h e c o m p u t e rh a s t h e a b i l i t y o fp a t t e m r e c o g n i t i o n r e s e a r c h i n g i n d i c a t e st h a tt h e p r o c e d u r e t od e a lw i t h s e e i n ga n dh e a r i n gn o to n l yap r o c e d u r eo f p e r c e p t i o n b u ta l s o c o g n i t i o n t h e r e f o r e ，s t u d y i n gp a t t e r nr e c o g n i t i o n i sa l l i m p o r t a n tw a y i n u n d e r s t a n d i n g t h em a n k i n d si n t e l l i g e n c ea n d a b i l i t y c h a r a c t e rr e c o g n i t i o ni sat r a d i t i o n a la n dt y p i c a lp a t t e mr e c o g n i t i o np r o b l e m ， a n dh a n d w r i t t e nn u m e r a l r e c o g n i t i o n i sa t y p i c a ll a r g ev o c a b u l a r yp a t t e r n r e c o g n i t i o np r o b l e m d i f f e r e n t c h a r a c t e r sd on o t v a r ym u c h ，t h e s a l t i cc h a r a c t e rc a i lb e w r i t t e ni nm a n y w a y s ，t h e r ei sn o c o n t e x tb e t w e e nc h a r a c t e r s ，a n ds oo n b e c a u s eo f s om a n y c h a r a c t e r i s t i c s ，h a n d w r i t t e nn u m e r a lr e c o g n i t i o n i sav e r yd i f f i c u l tp r o b l e m a n dc o m m o n l y r e g a r d e da so n e o f t h eu l t i m a t eg o a l so f c h a r a c t e rr e c o g n i t i o nr e s e a r c h i nt h er e s e a r c ho ft h i s l a r g ev o c a b u l a r yr e c o g n i t i o n ，t r a d i t i o n a l l y , m a t c h i n g a p p r o a c hi sa d o p t e d ，b e c a u s ei t i se a s yt or e a l i z e b u tt h ec l a s s i f i c a t i o np e r f o r m a n c e o f m a t c h i n ga p p r o a c h i sn o tg o o de n o u g h , a n di tc a n n o tr e a c ht h ed e s i r e d p r e c i s i o n i n r e c e n ty e a r s ，b yt h er e s e a r c ho fa n n ( a r t i f i c i a ln e u r o nn e t w o r k ) ，i ts h o w s u pt h a t a n ni sah i g h l yp a r a l l e l ，n o n l i n e a r , a n dh i g h l yr e d u n d a n ts y s t e m a n dw h e nw e i n t e r a c tw i t ht h ew o r l d ，t h ea n n sa b i l i t yo fs e l f - l e a r n i n gc a r lh e l pu sr e a l i z es o m e f u n c t i o n st h a tc a n n o tb es o l v e db yt r a d i t i o n a lt h e o r y a l lt h e s ec h a r a c t e r i s t i c sh a v e m a d ea n nac o g n i t i v em o d e lt h a ti ss u c c e s s f u l l yu s e di np a t t e r nr e c o g n i t i o n o n e m o r ei m p o r t a n t ，t h ea n n ss t u d ym e c h a n i s ms u p p l i e sa na v a i l a b l et o o lf o rt h e r e a l i z a t i o no f m a n - m a c h i n e i n t e g r a t i o n i nt h i sp a p e r , is t u d i e sh a n d w r i t t e nn u m e r a l r e c o g n i t i o n ip u tm ye m p h a s i so n t h ep r e p r o c e s so ft h er e c o g n i t i o nb ya n n a n dan e wm e t h o df o rc o r r e c t i n ga s k e w h a n d w r i t t e nn u m e r a l si s p r e s e n t e di nt h ep a p e r ；t h i sm e t h o di sn o to n l ys i m p l et o u n d e r s t a n db u ta l s oe a s yt oa p p l y t h et r a d i t i o n a lr e v i s i n gm e t h o d sa r ea l lb a s e d0 n t h eh a n d w r i t t e nn u m e r a li m a g e ss l a n t e da n g l et h a ti sp r e - c o m p u t e d a c c o r d i n gt ot h e a n g l e ，t h ei m a g ei se m e n d e d b u t ，t h e r ei s aq u e s t i o nt h a tt h ee r r o rb e t w e e nt h e e s t i m a t e da n g l ea n dt h er e a la n g l ei sn o tp r e c i s ee n o u g h w h e n u s i n gt h et r a d i t i o n a l 山东大学硕士学位论文 m e t h o d ，w ed on o tc a r et h ee r r o rv e r ym u c hb e c a u s et h ee r r o rd o e s n tm a k em u c h d i f f e r e n c e b u t ，a c c o r d i n gt ot h eh a n d w r i t t e nn u m e r a lr e c o g n i t i o nm e t h o do fu s i n g a n n ，b i g g e r s l a n te r r o rw i l lm a k et h e r e c o g n i t i o n r a t e b i g g e r b e c a u s e t h e r e c o g n i t i o ns y s t e md o e sn o tk n o ww h i c hd i r e c t i o nt h ei m a g es l a n t st o w a r da n dh o w m a n yd e g r e ei ts l a n t s a f t e rc o r r e c t i n gt h es l a n th a n d w r i t t e nn u m e r a l i m a g e ，w e c a ne x t r a c tt h en e e d e d c h a r a c t e rv e c t o rf r o ms o m eo ft h ei m a g e sw eh a v eg o tt ot r a i nt h ea n n ，a n do t h e r s t ob er e c o g n i z e di no r d e rt og e tt h e r e c o g n i t i o nr a t e k e yw o r d s ：p a t t e mr e c o g n i t i o n ；h a n d w r i t t e nn u m e r a lr e c o g n i t i o n ；s l a n t c o r r e c t i o n ；c h a r a c t e rv e c t o r ；a n n ( a r t i f i c i a ln e u r o nn e t w o r k ) ， i i 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体已经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留 或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅；本人授权山东大学可以将本学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：脚师签名：二 生日期：皇竺皂坐谚 山东大学硕士学位论文 第一章绪论 1 1手写数字识别发展历史及其应用和研究的意义 1 1 1 手写数字识别的来历 模式识别，就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。随着计算机技术的发展，人类有可能研究 复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的 识别。字符识别是模式识别领域中一个非常活跃的分支。这一方面是由于问题 本身的难度使之称为一个极具挑战性的课题。另一方面，是因为字符识别不是 一项孤立的应用技术，其中包含了模式识别领域中其他分支都会遇到的一些最 基本的和共性的问题。也f 是由于字符识别技术的飞速发展，才促使模式识别 和图像分析发展成为一个成熟的科学领域。 从采用的输入设备来分，字符识别可以分为联机识别和脱机识别，从待识 别字符的字体来分，脱机字符识别又分为印刷体识别和手写体字符识别，从对 书写者的要求来分，手写体字符识别又分为限制性( c o n s t r a i n e d ) 和非限制性 ( u n c o n s t r a i n e d ) 手写体字符识别。图1 1 为字符识别的各个分支。 字符识别 联机脱机( o c r ) ii 厂 厂l _ 限制性非限制性印刷体手写体 厂l 限制性非限制性 图1 1 字符识别的各个分支 本文主要讨论的是脱机无限制手写数字识别的问题。 山东大学硕士学位论文 1 1 2 手写数字识别的典型应用 手写数字识别有着极为广泛的应用前景，这也正是它受到世界各国的研究 工作者重视的一个主要原因。下面我们将介绍基于手写数字识别的应用系统的 特殊要求，以及一些以手写数字识别技术为基础的典型应用。 ( 一) 手写数字识别在大规模数据统计中的应用 在大规模的数据统计( 如：行业年鉴、人口普查等) 中，需要输入大量的数 据，以前完全要手工输入，则需要耗费大量的人力和物力。近年来在这类工作 中采用o c r 技术已成为一种趋势。 因为在这种应用中，数据的录入是集中组织的，所以往往可以通过专门设 计表格和对书写施加限制以便于机器的自动识别。 ( 二) 手写数字识别在财务、税务、金融领域中的应用 财务、税务、金融是手写数字识别大有可为的又一领域。随着我国经济的 迅速发展，每天等待处理的财务、税务报表、支票、付款单等越来越多。如果 能把它们用计算机自动处理，无疑可以节约大量的时间、金钱和劳力。 ( 三) 手写数字识别在邮件分拣中的应用 随着人们生活水平的提高，经济活动的发展，通信联系的需求使信函的互 换量大幅度增加，我国函件业务量也在不断增长，预计到2 0 0 0 年，一些大城市 的中心邮局每天处理量将高达几百万件，业务量的急剧上升使得邮件的分拣自 动化成为大势所趋。 1 1 3 研究手写数字识别的理论意义 手写数字识别作为模式识别领域的一个重要问题，也有着重要的理论价值： 1 、阿拉伯数字是唯一的被世界各国通用的符号，对手写数字识别的研究基 本上与文化背景无关，这样就为各国、各地区的研究工作者提供了一个施展刁 智的大舞台。在这一领域大家可以探讨，比较各种研究方法。 2 、由于数字识别的类别数较小，有助于做深入分析及验证一些新的理论。 这方面最明显的例子就是人工神经网络，相当一部分的人工神经网络模型都以 山东大学硕士学位论文 手写数字识别作为具体的实验平台，验证理论的有效性，评价各种方法的优缺 点。 3 、尽管人们对手写数字的识别已从事了很长时间的研究，并已取得了很多 成果，但到目前为止机器的识别本领还无法与人的认知能力相比，这仍是一个 有难度的开放问题。 4 、手写数字的识别方法很容易推广到其它一些相关问题，一个直接的应用 是对英文这样的拼音文字的识别。事实上，很多学者就是把数字和英文字母的 识别放在一块儿研究的。 1 2 国内外手写字符识别的研究现状及分析 由于人识字的机理及过程并未真正解开，传统方法只能停留在一般的模式 识别阶段，并没有很好地利用知识进行启发诱导，也没能模拟人脑从粗到细， 从整体到局部的思维过程。随着数学研究的深入与现代信号处理方法的发展， 人工神经网络、小波分析已渗透到手写字符识别领域，并为其发展注入了新的 活力。 人们模拟人脑识字的过程，即探索构造人工神经网络( a n n ) 的模型进行字符 识剐。大脑是巨大数量神经元连续、异步、并行计算系统，我们可以用层状网 代替任意的复杂网，用离散系统逼近连续系统，用高速串行运算模拟低速异步 运算，建立一个脑功能的局部模型，为手写字符识别研究提供新思路。人工神 经网络因能较好地模拟人脑的思维活动过程，具有较强的分类性能，国内外的 一些尝试均表明了其在手写字符识别中的优良性能，显示了其在手写字符识别 中潜力。 手写字符识射最为根本的目标是在一定速度前提下获得尽可能高的识别 率。也就是说一是速度，二是识别率。目前无论是传统方法还是一些新方法都 不可避免地存在无法解决的识别“死角”，而采用单一的识别方法来提高识别 率是十分困难的。因此，今后手写字符识别的研究趋势应该采用多种分类器组 合的多级匹配识别方法，即在特征抽取时以多种方法有效结合来获取优化特征， 互相补充，从而减少误识率，提高o c r 系统的性能。 山东大学硕士学位论文 第二章神经网络与模式识别 2 1 人工神经网络概述 2 1 1 引言 人的智能来自于大脑，大脑是由大量的神经细胞或神经元组成的。每个神 经元可以看作为一个小的处理单元，这些神经元按照某种方式互相连接起来， 构成了大脑内部的生理神经元网络。他们中各神经元之间连接的强弱，按照外 部的激励信号作自适应变化，而每个神经元又随着接收到的多个激励信号的综 合大小呈现兴奋或抑制状态。据现在的了解，大脑的学习过程就是神经元之间 连接强度随外部激励信息做自适应变化的过程，大脑处理信息的结果确由神经 元的状态表现出来。显然，神经元是信息处理系统的最小单元。虽然神经元的 类型有很多种，但其基本结构相似。 人工神经网络是生理学上的真实人脑神经网络的结构和功能，以及若干基 本特性的某种理论抽象、简化和模拟而构成的一种信息处理系统。从系统观点 看，人工神经网络是由大量神经元通过极其丰富和完善的联接而构成的自适应 非线性动态系统。由于神经元之间有着不同的连接方式，所以组成不同结构形 态的神经网络系统是可能的。 2 1 2 人工神经网络的历史回顾控约 人工神经网络的发展是曲折的，从萌芽期到目前，几经兴哀。可以将其发展 历史大体上分成如下五个时期。 1 萌芽期 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，这 一时期截止到1 9 4 9 年。在这个期间，产生了两个重大成果，它们构成了人工神 经网络萌芽期的标志。 1 9 4 3 年，心理学家m c c u l l o c h 和数学家p i t t s 建立起了著名的闽值加权和模 型，简称为m p 模型。1 9 4 3 年，m c c u l l o c h 和p i t t s 总结了生物神经元的一 山东大学硕士学位论文 些基本生理特征，对其一阶特性进行形式化描述，提出了一种简单的数学模型 与构造方法，这一结果发表在数学生物物理学会刊b u l l e t i no fm e t h e m a t i c a l b i o p h y s i c s ) ) 上。这为人们用元器件、用计算机程序实现人工神经网络打下了坚 实的基础。 1 9 4 9 年心理学家d o h e b b 提出神经元之间突触联系是可变的假说。他认 为，人类的学习过程是发生在突触上的，而突触的联接强度则与神经元的活动 有关。据此，他给出了人工神经网络的学习律联接两个神经元的突触的强 度按如下规则变化：在任意时刻，当这两个神经元处于同一种状态时，表明这 两个神经元具有对问题响应的一致性，所以，它们应该互相支持，其间的信号 传输应该加强，这是通过加强它们之间的突触的联接强度实现的。反之，在某 一时刻，当这两个神经元处于不同的状态时，表明它们对问题的响应是不一致 的，因此它们之间的突触的联接强度被减弱。称之为h e b b 学习律。h e b b 学习 律在人工神经网络的发展史中占有重要的地位，被认为是人工神经网络学习训 练算法的起点，是神经网络发展过程中的一个里程碑。 2 第一高潮期 第一高潮期大体上可以认为是从1 9 5 0 年到1 9 6 8 年，也就是从单级感知器 ( p e r c e p 仃o n ) 的构造成功开始，到单级感知器被无情地否定为止。这是人工神经 网络的研究被广为重视的个时期。其重要成果是单级感知器及其电子线路模 拟。 在2 0 世纪5 0 年代和6 0 年代，一些研究者把生理学和心理学的观点结合起 来，研究成功了单级感知器，并用电子线路去实现它。电子计算机出现后，人 们才转到用更方便的电子计算机程序去模拟它。 这个期间的研究以m a r v i nm i n s k y 、f r a n kr o s e n b l a t t 、b e r n a r dw i d r o w 等为 代表人物，代表作是单级感知器。它被人们用于各种问题的求解甚至在一段 时间里，它使人们乐观地认为几乎已经找到了智能的关键。 早期的成功，给人们带来了极大的兴奋。不少人认为，只要其他的技术条 件成熟，就可以重构人脑，因为重构人脑的问题已转换成建立一个足够大的网 络的问题。包括美国政府在内的许多部门都开始大批地投入此项研究，希望尽 快占领制高点。 山东大学硕士学位论文 3 反思期 正在人们兴奋不己的时候，m l m i n s k y 和s p a p e r t 对单级感知器进行了深 入的研究，从理论上证明了当时的单级感知器无法解决许多简单的问题。在这 些问题中，甚至包括最基本的“异或”问题。这一成果在1 9 6 9 年m i t 出版社 发行的( ( p e r c e p t r o n ) ) 一书中发表。以该书的出版为标志，人们对人工神经网络 的研究进人了反思期。由于“异或”运算是计算机中的最基本运算之一，所以， 这一结果是令人震惊的。由于m i n s k y 的卓越、严谨和威望，使得不少人对此结 果深信不疑。从而导致了许多研究人员放弃了对这一领域的研究，政府、企业 也削减了相应的投资。 虽然如此，还是有一些具有献身精神的科学家在坚持进行相应的研究。在 2 0 世纪7 0 年代和8 0 年代早期，他们的研究结果很难得到发表，而且是散布于 各种杂志之中，使得不少有意义的成果即使在发表之后，也难以被同行看到， 这导致了反思期的延长。著名的b p 算法的研究就是一个例子。 在这一段的反思中，人们发现，要想突破线性不可分问题，必须采用功能 更强的多级网络。逐渐地，一系列的基本网络模型被建立起来，形成了人工神 经网络的理论基础。m i n s k y 的估计被证明是过分悲观的。 这一时期一直延续到1 9 8 2 年j h o p f i e l d 将l y a p u n o v 函数引入人工神经网 络，作为网络性能判定的能量函数为止。在这个期间，取得的主要积极成果有 a r b i b 的竞争模型、k o h o n e n 的自组织映射、g r o s s b e r g 的自适应共振模型( a r t ) 、 f u k u s h i m a 的新认知机、r u m e l l h a r t 等人的并行分布处理模型( p d p ) 。 4 第二高潮期 人工神经网络研究的第二次高潮到来的标志是美国加州理工学院生物物理 学家j h o p f i e l d 的两篇重要论文分别于1 9 8 2 年和1 9 8 4 年在美国科学院院刊上 发表。总结起来，这个期间的代表作有： ( 1 ) 1 9 8 2 年，j h o p f i e l d 提出循环网络，并将l y a p u n o v 函数引人人工神经网 络，作为网络性能判定的能量函数，阐明了人工神经网络与动力学的关系，用 非线性动力学的方法来研究人工神经网络的特性。建立了人工神经网络稳定性 的判别依据，指出信息被存放在网络中神经元的联接上。这是一个突破性的进 展。 山东大学硕士学位论文 ( 2 ) 1 9 8 4 年，j h o p f i e l d 设计研制了后来被人们称为h o p f i e l d 网的电路。作 为该研究的一项应用验证，它较好地解决了著名的t s p 问题，找n t 最佳解的 近似解，引起了较大的轰动。 ( 3 ) 1 9 8 5 年，美国a n , h 大学圣地亚哥分校w c s d ) 的h i n t o n 、s e j n o w s k y 、 r u m e l h a r t 等人所在的并行分布处理( p d p ) 小组的研究者在h o p f i e l d 网络中引入 了随机机制，提出所谓的b o l t z m a r m 机。在这里，他们借助于统计物理学的方 法，首次提出了多层网的学习算法。 ( 4 ) 1 9 8 6 年，并行分布处理小组的r u m e l h a r t 等研究者重新独立地提出多层 网络的学习算法b p 算法，较好地解决了多层网络的学习问题。 这个期间，人们对神经网络的研究达到了第二次高潮，仅从1 9 8 7 年6 月在 美国加州举行的第一届神经网络国际会议就有1 0 0 0 余名学者参加就可以看到 这一点。 5 再认识与应用研究期 实际上，步入2 0 世纪9 0 年代后，人们发现，关于人工神经网络还有许多 待解决的问题，其中包括许多理论问题。所以，近期要想用人工神经网络的方 法在入工智能的研究中取得突破性的进展还为时过早。因此又开始了新一轮的 再认识。 与此同时，许多研究者致力于根据实际系统的需要。改进现有的模型和摹 本算法，以获取较好的性能。 就目前看来，人工神经网络的应用还远不能和传统的计算并驾齐驱，它还 在等待着基础研究的重大突破。人工神经网络的不精确推理，使得它因为结果 的精度较低而远远不能满足用户的需要。这在一定的程度上也影响了它的应用 面。为了解决这个问题充分发挥两种技术各自的优势一部分研究者在系统中 将其作为初步的“筛选工具”，取得结果后，再用传统的方法进行求精。大量的 实验表明，这种方法是一个有效的方法。 另外，目前还无法对人工神经网络的工作机理进行严格的解释，这使得它 的可信度成为一个不大不小的问题。目前，大多数的研究主要集中在以下三个 方面： ( 1 ) 开发现有模型的应用，并在应用中根据实际运行情况对模型、络的训练 山东大学硕士学位论文 速度和运行的准确度。 ( 2 ) 希望在理论上寻找新的突破，建立新的专用通用模型和算法。 ( 3 ) 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 2 1 3 人工神经元的基本原理”明 按照目前人们的认识，自然神经系统是由结构土相对独立的神经细胞构成 的，这些细胞被称为神经元( n e u r o n ) 。单个神经元完成相对比较简单的功能，然 而神经元之间的广泛连接、复杂结构使得神经系统具有高级智能活动的能力。 基于这种认识，人们提出了多种人工神经网络的模型从不同角度来模拟自然神 经系统。但总的都是通过大量神经元的互联实现智能作用。 对于每一个人工神经元来说，它可以接受一组来自系统中其他神经元的输 入信号，每个输入对应一个权，所有输入的加权和决定该神经元的激活 ( a c t i v a i o n ) 状态。这里，每个权就相当于突触的“联接强度”。基本模型见图2 1 ，1 。 设n 个输入分别用z l ，x 2 ，x 3 ，。x 。表示，它们对应的联接权值依次为 w i ，w 2 ，w 3 ，w 。所有的输入及对应的联接权值分别构成输入向量x 和联接权 向量w ： x = ( x i ，2 2 ，码，工n ) ，w = ( w 1 ，w 2 ，w 3 ，w 。) 。用n e t 表示 该神经元所获得的输人信号的累积效果，为简便起见称之为该神经元的网络输 入：n e t 2 乞t ，写成向量形式则是：n e t 2 乞x w 。 t 1t 1 图2 1 1 不带激活函数的人工神经元 神经元在获得网络输入后，它应该给出适当的输出。按照生物神经元的特性， 每个神经元有一个阈值，当该神经元所获得的输入信号的累积效果超过阈值时， 山东大学硕士学位论文 它就处于激发态；否则，应该处于抑制态。为了使系统有更宽的适用面，希望 人工神经元有个更一般的变换函数，用来执行对该神经元所获得的网络输入 的变换，这就是激活函数，也可以称之为激励函数、活化函数，用f 表示： 0 = f ( n e t ) 。其中，0 是该神经元的输出。由此式可以看出，函数f 同时也用来 将神经元的输出进行放大处理或限制在一个适当的范围内。典型的激活函数有 线性函数、非线性斜面函数、阶跃函数、s 型函数等四种，如图2 1 2 所示： 。j ；， 一 0 ， ， ( a ) 线性函数 d 口 o口一pr y ( c 阶跃函数 j d ， ：万一 一口 0 口 n t o i ( h ) 非线性斜面函数 。 口十 一 t 0 c ) i l e l ， 口 ( d ij 形函数 图2 1 24 种常用的激活函数 将人工神经元的基本模型和激活函数合在一起构成人工神经元，这就是著 名的m c c u l l o c h - - p i t t s 模型，简称为m p 模型，也可以称之为处理单元( p e ) 。 图2 1 3 人工神经元 山东大学硕士学位论文 2 1 4 人工神经元的链接模式1 在生物神经系统中，一个神经元接受的信号可以对其起刺激作用，也可能 对其起抑制作用。在人工神经网络系统中，注意到神经元是以加权和的形式接 受其他的神经元给它的信号的，所以无需特意去区分它们只用通过赋予联接 权的正、负号就可以了： 用f 号( “+ ”，可省略) 表示传送来的信号起刺激作用，用于增加神经元 的活跃度； 用负号( “一”) 表示传送来的信号起抑制作用，用于降低神经元的活跃 度。 那么，如何组织网络中的神经元呢。研究发现，物体在人脑中的反映带有 分块的特征，对一个物体，存在相应的明、暗区域。这一点启发我们可以格这 些神经元分成不同的组，也就是分块进行组织。在拓扑表示中，不同的块可以 被放人不同的层中。另一方面，网络应该有输人和输出，从而就有了输入层和 输出层。 层次( 又称为“级”) 的划分，导致了神经元之间三种不同的互联模式：层( 级) 内联接、循环联接、层( 级) 间联接。 1 层内联接 层内联接又叫做区域内( i n t r a - - f i e l d ) 联接或侧联接( l a t e r a l ) 。它是本层内的 神经元到本层内的神经元之间的联接，可用来加强和完成层内神经元之间的竞 争：当需要组内加强时，这种联接的联接权取正值；在需要实现组内竞争时， 这种联接权取负值。 2 循环联接 循环联接在这里特指神经元到自身的联接用于不断加强自身的激活值使 本次的输出与上次的输出相关，是一种特殊的反馈信号。 3 层间联接 层i n ( i n t e r - - f i e l d ) 联接指不同层中的神经元之问的联接。这种联接用来实现 层问的信号传递。 在复杂的网络中，层间的信号传递既可以是向前的( 前馈信号) ，又可以是 向后的( 反馈信号) 。一般地，前馈信号只被允许在网络中向一个方向传送；反 1n 山东大学硕士学位论文 馈信号的传送则可以自由一些，它甚至被允许在网络中循环传送。 2 1 5 人工神经网络的特性 人工神经网络具有如下特性。 1 并行分布处理。 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能 力和较快的总体处理能力。这特别适用于实时控制和动态控制。 2 非线性映射。 神经网络具有固有的非线性映射，这源于其近似任意非线性映射( 变换) 能 力。这一特性给非线性控制问题带来新的希望。 3 通过训练进行学习。 神经网络是通过研究系统过去的数掘记录进行训练的。一个经过适当训练的 神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型 和描述规则难以处理的控制过程问题。 4 适应与集成。 神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强 适应和信息融合能力使得网络过程可以同时输入大量不同的控制信号，解决输 入信息间的互补和冗余问题，并实现信息集成和融合处理。这些特性特别适于 复杂、大规模和多变量系统的控制。 2 1 6 人工神经网络的学习和训练m 3 人工神经网络最具有吸引力的特点是它的学习能力。人工神经网络的学习 过程就是对它的训l 练过程。所谓训练就是在将由样本向量构成的样本集合f 被 简称为样本集、训练集) 输入到人工神经网络的过程中，按照一定的方式去调整 神经元之间的联接权，使得网络能将样本集的内涵以联接权矩阵的方式存储起 来，从而使得在网络接受输入时，可以给出适当的输出。神经网络的训练方法( 学 习方式) 主要包括四种： 1 有导师( 也称外监督：o u t e r - s u p e r v i s e d ) 学习：待分类的模式类别同性已 知。对于每次模式样本的输入，网络输出端都有一个对应的指导( 监督) 信号与 山东大学硕士学位论文 其属性相匹配。基于网络输出端监督信号与实际输出的某种目标函数准则，通 过不断调整网络的连接权值，使得网络输出端的输出与监督信号的误差逐渐减 小到预定的要求。 2 无导师( 也称自组织：s e l f - o r g a n i s i n g ) 学习：待分类的模式类别属性未知。 网络结构和连接权值根据某种聚类法则，自动对周围环境的模式样本进行学习 调整，直至网络的结构和连接分布能合理地反映训练样本的统计分布。 3 自监督( s e l f - s u p e r v i s e d ) 学习：待分类的模式类别属性己知。对于每次模 式样本的输入，网络能够根据样本本身的特性，基于某种法则，通过不断调整 网络的连接分布，直至得到给定的精度要求。 4 有导师和无导师混合学习：待分类的模式类别属性已知。网络的内部结 构和参数接照无导师聚类方法学习，而网络输出端仍然有一个对应的指导( 监督) 信号。按照某种准则，通过不断调整隐层与输出层的连接权值，使得网络输出 端的输出与监督信号的误差逐渐减小到预定的要求。 2 2 模式识别概述 模式识别是一门很受人们重视的学科。虽然早在3 0 年代就有人试图以当时 的技术来解决一些识别问题，但只是在近代随着汁算机科学技术的发展和应用， 模式识别才真正发展起来。从6 0 年代至今，在模式识别领域中已取得了不少成 果。它的迅速发展和广泛应用的前景引起各方面的关注。 谈到模式识别就要先搞清楚什么是模式。那么究竟什么是模式昵? 广义的 说，存在于时问和空间中可观察的事物，如果我们可以区别他们是否相同或是 否相似，都可以称之为模式，模式不是指事物本身，而是我们从事物获得的信 息。因此，模式往往表现为具有时间或空间分布的信息。识别模式( 并以识别 为基础产生动作) 是所有生物系统共有的主要活动。人类作决定的过程通常于 模式识别有关。人类善于寻找模式的相关关系，并根据他们提取规律性。被识 别模式的特性可以是感觉识别或是理性识别，前者包括用诸如视觉或听觉刺激 等感觉信息对具体实体作出识别。物体、音乐、语音、签名等的识别可以看作 是感觉识别的例子。另一方面，理性识别包括诸如对解决一个问题或一个旧观 点的识别，它包括抽象实体而且在这种情况下不需要外界刺激。 山东大学硕士学位论文 设计一个模式识别系统的三种主要方法为：统计方法：按句法规则的或结构 化方法；以及人工神经网络方法。统计模式识别技术使用统计信息和估计理论 的结果，去获得从表达空间到解释空间的映射。这些结果依靠一个合适的特征 值组合来确定，这些特征值提供两种类别之间差别的测度。然而在某些情况下， 特征本身并不是重要的。而关于模式类别或模式属性的关键信息，包含在特征 的结构化关系之中。 2 2 1 统计法：原理、特点、系统构成阳1 模式识别中的统计法又称为决策论方法。这种识别就是用统计的方法在样 本空间中把待识别的样本划归为某一类别。一般情况下，统计法进行模式识别 时需要两个步骤，一是从输入模式中提取一组适当的特征，用这些特征表达的 样本代替了模板匹配中最原始的样本；二是在特征表达的基础上进行判别规则 的设计。 统计法模式识别的这两个步骤分别要解决两个问题。在第一步中，人们面 i 临的问题是什么样的特征是最适合分类的特征，如何提取这些特征。提取特征 实际上就是一个描述样本结构信息的过程。在很多情况中，样本描述起着举足 轻重的作用，比如图片、图形的识别。但是，日前还没有一种行之有效的理论 指导这一步的工作，甚至缺少准确衡量这一步工作结果的方法。 在统计法模式识别的第二个步骤中，面临的问题是如何得出分类规则。目 前基本的做法是，在某己知类别的样本集基础上确定某个分类准则，使按这种 规则所得的分类结果与己知情况相比错误识别率最小，或者损失最少。这些用 束确定分类准则的己知类别的样本( 集合) 称为训练样本( 集合) 。如果没有已知样 本，则通过分析样本集合的概率分布或样本间的关系确定分类。 统计模式识别的理论基础是统计决策理论，贝叶斯决策方法是其中的一个 基本方法。应用这种理论可以在己知各类别总体的概率分布和要决策分类的类 别数是一定的情况下，使得分类的错误率最小或者风险最小。 虽然利用贝叶斯决策方法设计的分类器，可以看成是最优分类器。但是在 许多实际问题中，要预先知道各个类别出现的先验概率和类条件概率密度并不 足很容易。因此，在实际应用中，往往利用样本集直接设计分类器。具体地既， 山东大学硕士学位论文 就是先给定某个判别函数类，然后利用样本集确定出判别函数中的未知参数。 而线性判别函数是一类较为简单的判别函数，因此线性判别函数法也是在实际 中更为常用的分类方法。线性函数的分界而是简单的超平面，用这种超平面的 分类结果所产生的错误率和风险可能要比贝叶斯分类器来得大，所以只是一种 次优分类器。但是由于它简单易于实现，所需计算量和存储量都较小，所以在 模式识别中被广泛使用。 另外一种常用的方法就是近邻法，它是分段线性判别函数的极端情况，其 基本思想就是看被识别样本离哪一类已知样本最近，就将其划归哪一类。具体 的方法又有最近邻法和k 近邻法等。虽然这种方法直观、易于理解但所需计算 量和存储量都较大。 基于统计方法的模式识别系统主要由4 个部分组成：数据获取，预处理， 特征提取和选择，分类决策。如图2 2 1 所示 图2 2 1基于统计方法模式识别系统的基本组成 下面对这几部分作一下简要说明： 数据获取 为了使计算机能够对各种现象进行分类识别，要用计算机可以运算的符 号来表示所研究的对象。通常输入对象的信息有下列三种类型，即： ( 1 ) 二维图像如文字、指纹、地图、照片这类对象。 ( 2 ) 一位波形如脑电图、心电图、机械振动波形等。 ( 3 ) 物理参量和逻辑值前者如在疾病诊断中病人的体温以及各种化验 数据等；后者如对某参量正常与否的判断或对症状有无的描述，如疼与不疼， 可用逻辑值即。和l 表示。在引入模糊逻辑的系统中，这些值还可以包括模 糊逻辑值，比如大、很大、比较大等。 通过测量、采样和量化，可以用矩阵向量表示二维图像或一维波形。这 山东大学硕士学位论文 就是数据获取的过程。 预处理 预处理的目的是去除噪音，加强有用的信息，并对输入测量仪器或其他 因素所造成的退化现象进行整理和复原。通过这两步，可以得到干净有效的 原始图像。 特征提取和选择 有图像或波形所获得的数据量是相当大的。例如，一个文字图像可以有 几千个数据，一个心电图波形也可能有几千个数据，一个卫星遥感图像的数 据量就更大了。为了有效的实现分类识别，就要对原始数据进行变幻，得到 最能反映本质的特征。这就是特征提取和选择的过程。一般我们把原始数据 组成的空间叫测量空间，把分类识别赖以进行的空间叫特征空间，通过变换， 可以把在维数较高的测量空间中表示的模式变为在维数较低的特征空间中 表示的模式。在特征空间中的一个模式通常也叫做一个样本，它往往可以表 示为一个向量，即特征空间中的一个点。 分类决策 分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。基 本做法是在样本训练集基础上确定某个判决规则，使按这种判决规则对被识 别对象进行分类所造成的错误识别率最小或引起的损失最小。通常使用的决 策规则有：基于最小错误的贝叶斯决策；基于最小风险的贝叶斯决策；最大 最小决策等等。