（系统工程专业论文）用于字符识别和动态系统辨识的人工神经网络设计.pdf

攘要 摘要 人工神经网络是基予摸仿大脑季枣经蹿终结构和功能两建立的种信怠处理 系统，已经在诸多领域得到了广泛威用，具有重要的实践意义和理论价值。本 论文在对入工神经网络进行了深入研究的基础上，根据各种神经网络自身所具 有的特点，精心挑选了几种人工神经网络用于字符识别和动态系统辨识。 目前提出和应用于字符识别的神经网络有很多种，如感知器网络、b p 神经 网络、模糊神经网络、r b f 神经网络、h o p f i e l d 网络等。由于每种网络的结构、 学习算法不圆，所以它们的识别能力也不露，备有特点。本论文的第一顼磷究 工作就是选择了三种具有模式识别功能的典型网络用于2 6 个英文字母的识别， 分别是单层感知器、b p 网络和h o p f i e l d 网络，并根据这三种网络在结构、算法 及其特性上的不同点，进行了具体的不同的设计过程。在对网络进行识别出错 率大小的测试时，是通过在标准字母上加上随机偏差模拟手写体字母作为网络 的输入进行测试的。通过实验结果给出的各网络的识别出错率，着重对所设计 的三种人工神经网络用于2 6 个字母识剐时网络容错性及识别能力的强弱进行了 对比分橱。 本论文的第二项研究工作是采用人工神经网络对动态系统进行辨识。为了 体现系统的动态特性，需要选择具有动态演化过程的神经网络。递归神经网络 是一种真正的动态享枣经嬲络，其网络结构中存在信息静延时及信患的反馈，所 以它具备逼近系统动态过程的性能。本论文选取的是对角递归神经网络，在给 出了对角递归神经网络的网络结构、学习算法以及保证网络稳定前提下的学习 速率取值范蠢螽，结合其体的系统，分别对一阶线性动态系统和二阶菲线性动 态系统进行了辨识，进行了详细的网络设计，包括网络结构的选定，网络参数 的训练过程以及学习速率的初始值选取及其调整顺序，并从网络训练时间、训 练误差及稳定性三方面角度分析了霹络各参数对网络调练的影晌。同时针对网 络使震的d b p ( 脚绷l cb a e 卸约粥艇i o n ) 算法具有陷入局部极小毽的缺点，弓| 进混沌 优化算法，利用混沌优化算法全局寻优的特点选取网络初始权值，将其与d b p 算法结合起来对网络进行训练，并对二阶非线性动态系统进行了辨识。仿真实 验结果表明混沌优化算法的弓l 进改善了辨识效果，验诞了改进方案的优越性。 所给出的递归网络的设计方法，可以适用予多种递归神经网络。 摘要 最后对论文工作进行了总结与展望。 关键词：人工神经网络感知器b p 网络h o p f i e l d 网络递归神经网络字符 识别动态系统辨识性能对比混沌优化 i i a b s t r a c t w e l la st h er a n g eo fl e a m i n gr a t e si nt h ep r e m i s eo f g u a r a n t e e i n gt h es t a b i l i t yo ft h e n e 帅r k t 1 1 e nd r n ni sd e s i g n e df o ri d e n t i f y i n gaf i r s t - o e rl i n e a rd y n a m i cs y s t e m a n das e c o n d o r d e rn o n l n e a r d y n 锄i cs y s t e mr e s p e c t i v e l y t h ep r o c e d u r eo f d e s i g n j n gi n c l u d e st h es e i e c t i n go f 啦es t r u c t u r eo ff h en e 似，0 r k ，t h en e t w o c p a r a m e t e r s n a i n i n gp r o c e s s ，t h ei n i t i a ls e l e c t i o na n da d j u s t m e n to r d e ro ft h el e a m i n g r a t e s t h ed i s s e r c a t j o na i s oa n a l y z e st h en e t w o r kp a r a m e t e r s j m p a c 矗0 no nt h e n e m o r kt r a i n i n gf r o mt h r e ep o i n t so fv i e w w h i c ha r et h et r a i n i n gt i m e ，t h et r a i n i n g e r r o r sa n dt h es t a b i l i 够o ft h en e t w o r k a tt h es a m et i m e ，t os o l v et h ep r o b l e mt h a tt h e d b p ( d y n a m i cb a c kp r o p a g a t i o n ) a i g o r i t h mm a yf a l li n t ot h el o c a lm i n i m u mv a l u e ， t h ec h a o s0 p t i m i z a t i o na i g o r i t h mi si n t r o d u c e d i ti su s e df o rs e l e c t i n gt h ei n i t i a l w e i g h tv a l u eb e c a u s eo fi t s 尼a t u r eo ff i n d i n gt h eg l o b a lo p t i m i z a t i o nv a l u e t h e c h a o so p t i mi z a t i o n a l g o r i t h mi s u s e dt ot r a i nt h en e t 、 ，o r kc o m b i n e dw i t hd b p a l g o r i t h m ，a n dt h e nu s et h en e t w o r kt oi d e n t i 母as e c o n d o r d e rn o n l i n e a rd y n a m i c s y s t e m t h es i m u l a t i o nr e s u l t ss h o wt h a tt h ei n t r o d u c t i o no fc h a o so p t i m i z a t i o n a l g o r i t h mi m p r 0 v e st h ei d e n t i f i c a t i o nr e s u i t sa n dp r o v e st h es u p e r i o r i t ) ，o ft h en e w a l g o r i t h m t h ed e s i g nm e t h o do fr e c u r r e n tn e u r a ln e t v 旧r i ( sp r o p o s e di sa p p l i c a b l et o v a r i o u sr e c u r r e n tn e u r a ln e t 、v o r k s f i n a l i y ；t h e r ei sas u m m a 呵a n dp r o s p e c to f t h ed i s s e r t a t i o n k e yw o r d s ：a r t i f l c i a ln e u r a in e t 、v o r k s ，p e r c e p t i o n ，b pn e t w o r k s ，h o p f i e l dn e t w o r i ( s ， r e c u r r e n tn e u r a ln e t w o r k s ，c h a r a c t e rr e c o g n i t i o n ，d y n a m i c a is y s t e m i d e n t i f i c a t i o n ，c o m p a r i s o no fp e r f o r n l a n c e ，c h a o so p t i m i z a t i o n i v 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：垡垄童煎 2 0 0 8 年5 月1 日 第l 章绪论 1 。1 人工神经网络的介绍 第董章绪论 1 1 1 人工神经网络的研究历史 人工神经网络( a r t i f i c i a in e u r a in c t w o r k s ，简称a n n ) 的研究最早可以追 溯到上个世纪4 0 年代，整个发展可以分为六个时期：( 1 ) 葫芽( c 锄c e p t i o n ) ， l 3 1 9 4 9 ；( 2 ) 诞生( 电s 馘i o 建a n db ；施) ，2 0 世纪5 0 年代；( 3 ) 初步发展( e 皴l y i n 鼬1 c y ) ，2 0 世纪5 0 年代来和6 0 年代初；( 4 ) 萧条期( s t u n t e dg r o 叭h ) ，1 9 6 9 1 9 8 l ； ( 5 ) 第一次高潮( l a t ei n 矗m c yi ) ，1 9 8 2 1 9 8 5 ；( 6 ) 第二次高潮( l a t ei n 胁c yi i ) ， 1 9 8 6 到现在。 1 9 4 3 年，美国心理学家m c c u l l o c h 和数学家p i t t s 提出m p 神经元模型，开创了 神经科学理论研究的时代；1 9 4 9 年，心理学家d o h e b b 关注于神经系统调节规 则的研究，在其专著强oo 喀馘i z 鼓i o no f b e 莪a v i 钟中提出神经网络学习桃理的 “突触修正假设”；1 9 5 1 年，r o s c n b l a l t 提出了著名的感知器( p e r c o p 的n ) 模型， 证明了感知器收敛定理，第一次把神经网络的研究付诸工程实现：1 9 6 2 年， w i d r o w 与h o 罐出了自适应线性元件( a d a p t i v cl i n e a re l e m e n t s ，筒称a d a l i n e ) 。 他们从工程实际出发，不仅在计算机上模拟了这釉神经网络，两且还做成了硬 件，成功地将人工神经网络用于抵消通讯中的回波和噪声；1 9 6 9 年，m i n s k y 和 p a p e r t 在合著的感知器一书中，从数学上证明了单层感知器只能进行线性分 类的局限性，并证甓单层感知器无法艇决篱单的线性不可分的拜舞或 逻辑运 算；1 9 8 2 年，美国加卅l 大学工学院h o 曲e l d 提出了著名的h o p f i e l d 模型，把神经 网络用于联想记忆和优化计算，推动了神经网络的发展；1 9 8 6 年，m c c l e l l a n d 和 弛掰e l h 烈提出了多层霹络的权值修正的算法一一误差反向传播法( e 嗽 b a c k - p r o p a g a t i o n ，简称b p 算法) 。基于b p 算法的b p 网络迄今仍然是应用最为广 泛和最流行的网络之一。从8 0 年代后期至今，神经网络处于持续不断的热潮中。 目前，随着神经网络的研究工作不断深入，应用领域更加广泛( s u ny u j u a n ， gy i l e i ，l it a o ，2 0 0 ? ，l i uj i n ，s h iy o n g l i a n g ，2 0 0 7 ) ，+ ： 枣经隧妻蓦蠹9 裹童 第1 章绪论 用领域已经拓展到了模式识别、建模、图像处理、信息及信号处理等诸多方面。 1 1 2 人工神经网络的基本特征 人工神经网络是生理学上的真实人脑神经网络的结构与功能以及若干基本 特征的某种理论抽象、简化和模拟而构成的一种信息处理系统。它是由大量高 度互连的简单处理单元构成的高度并行的自适应非线性动态系统。与传统的计 算机系统相比，神经网络显示出很多优越特征： a 高度的并行性。人工神经网络是由许多相同的简单处理单元组成，而且 神经网络之间的连接计算、神经元的输入输出映射都是并行进行的，虽然每个 单元的功能简单，但大量简单处理单元的并行活动，使得其对信息处理能力非 常强大。 b 自适应、自学习功能。人工神经网络能够自适应地学习训练样本中的输 入模式内部、输入与输出模式之间的内在规律，通过训练和学习来获得网络的 权值与结构，呈现出很强的自学习能力和对环境的自适应能力。 c 鲁棒性与联想记忆功能。人工神经网络能够将所学到的信息保存在神经 元及其连接权值中，是一种分布式的存储方式，所以使得网络具有良好的容错 性，对于缺省信息或带噪声信息具有高度的容错能力，并且具有联想记忆功能。 d 非线性。人工神经网络每个神经元都接受其他神经元的输入，并通过各 种激活函数产生输出，从而实现从输入模式到输出模式的非线性映射。 1 1 3 人工神经网络的分类 神经网络按照不同的特征有不同的分类方式。一般来说，神经网络的分类 可以按照以下标准： ( 1 ) 神经网络的作用，如用于模式识别、函数逼近或优化问题等； ( 2 ) 网络内部神经元的连接方式或程度，如全连接方式或局部连接方式； ( 3 ) 网络的拓扑结构( s i m p s o n ，1 9 9 0 ) ，如前向网络和反馈型网络； ( 4 ) 网络的学习规则( l i p p m a n n ，1 9 8 7 ) ，如监督式( 也称有导师) 学习和无 监督式( 也称无导师) 学习。监督式学习指的是将每个样本的输入数据加载到 网络后，根据网络实际输出与期望输出的误差定义某种目标函数准则，通过不 断调整网络的连接权值，使目标函数值逐渐减小到预定的期望要求，w h 规则 2 第l 章绪论 和b p 学习规则就属予监督式学习规剩。焉对于无监督式学习，弼络结构和连接 权值是根据某种聚类法则，自动对周围环境的样本进行学习和调整，直至网络 的结构及其连接分布能合理地反映出训练样本的统计分布，h e b b 学习规则就是 一种无监督式学习。 1 1 4 人工神经网络的应用领域 随着人工神经网络技术的发展，其应用领域越来越多。人工神经网络已经 被广泛应用于模式识别、信号处理、知识工程、专家系统、优化组合、智能控 制等各个方面( 李香薄，2 0 0 7 ，张冰凌，许英姿，潘全文，2 0 0 7 ，l i 锄gx 娃曲i n ， w a n gj u n ，2 0 0 0 ) 。具体而畜，其主要用于以下几个方面： ( 1 ) 模式分类( p a 位e mc l a s s 丘c a t i o n ) 在实际应用中存在许多分类闯题，比如字母识别、语音识别及车牌识别等 等。 ( g u o q i a n gp e t e rz h a n g ，2 0 0 0 ) 模式分类处理方式有两种。一种方式是，输入一组未知的样本，利用监督 式学习，把样本舞为一些事先分好的类中。采取的分类原则是基于它们的一种 或多种特征，如图l 。l ( a ) 所示。与此相对应还有另外一神方式，即所谓的聚类 ( c l u s t e r i n g ) ，如图1 1 ( b ) 所示。它是采用无监督式学习，根据输入样本之间 的穰同与不同翔力不嗣的类。 一壤 一 x l 秘 转喇障l ：瞒i e 冀稿寿8 i 蠡e a 荫饼l 3 第l 章绪论 ( b e l 燃托秭藏g 图1 1 模式分类示意图( g u o q i a n gp e t e rz h a n g ，2 0 0 0 ) 传统模式分类的分析理论是基于贝叶斯理论的事后概率方法。随着人工神 经网络的发展，大量关于人工神经网络分类的研究确立了神经网络可以作为传 统分类方法的一种可行的替代品。神经网络用于模式分类，具有良好的容错能 力，分类能力强，并具有并行处理能力和自学习能力。 ( 2 ) 函数逼近( 建模)( f u n c t i o na p p r o x i m a t i o no rm o d e l i n g ) 神经网络用于函数逼近，就是通过用输入矢量和相应的输出矢量训练一个 网络，来逼近输入输出之间存在的映射关系，如图1 2 所示。 图1 2 函数逼近( 丛爽，2 0 0 1 ) 理论上已经证明多层人工神经网络可以任意精度来逼近任意有理函数。函 数逼近用于建模时，只需通过实验和观察获得的数据训练网络，无须写出具体 的数学模型表达式。神经网络在这方面已经得到了广泛的应用。c o c a s a n i 在1 9 9 l 第l 章绪论 年发现了神经网络与生态系统的相似性，提出了可以将神经网络用于生态建模， 并且取得了较大的成功，之后其他学者也做了相应的研究。 ( 3 ) 最优化闯题。 最优亿是指求一个露标函数的极大值或极小值。最优化酌理论是比较成熟 的，将人工神经网络的目标函数与网络的能量函数对应起来，网络向能量函数 极小值方向移动的过程就是优化问题的求解过程。典型的应用就是t s p ( 旅行推 镑贯) 路径求解阕题。 ( 4 ) 信息及信号处理。神经网络的分布式存储方式使得神经网络能够在不 完整的信息源环境中处理信息。神经网络的自适应自学习能力使得它能对各种 信号进行加工处理，如自适应滤波、通信编码和解码等。 诧努，入工裤经藤络还广泛应用于其领域，翔预测( 瓣e a 或弧g ) 雄m 蠢f 。 a t i y a ，2 0 0 1 ) ，联想( a s s o c i a t i v e )( l i p p m a n n ，1 9 8 7 ) ，图像处理( j i a n gj ，1 9 9 9 ， e g m o n t - p e t e r s e nm 等，2 0 0 2 ，a n a 8 t a s i o n s 等，2 0 0 0 ) ，复杂控制( l u i s ad ev e 眦 等，1 9 9 5 ，y l l nl i 等，1 9 9 6 ) 。 1 2 论文主要研究内容和章节安排 本论文戆主要研究工雩# 有琵项： 1 ) 根据人工神经网络自身所具有的特点，精心选择了三种具有模式识别功 能的典型网络，将其应用于2 6 个萸文字母的识别中；根据每种网络在结构、算 法及其特性上的不阕点，具体地进行了感知器蹿络、秘网络和瀚p f i e 王d 网络对 2 6 个英文字母识剃的设计；着重对三种网络在字母识别应用中出错率的大小进 行了容错性和识别能力强弱的对比分析。 2 ) 利用对角递归神经网络网络结构中存在信息延时及信息反馈，具有逼近 系统动态过程麓特点，将其应用予动态系统的辨识。在给塞了对角递舞神经溺 络的网络结构、学习算法以及保诋网络稳定前提下的学习速率取值范围后，结 合具体的系统，分别对一阶线性动态系统和二阶非线性动态系统进行详细的网 络设计，包括网络结构韵选定，网络参数的训练过程以及学习速率的初始值选 取及其调整顺序，并从霹络训练射阂、诩练误差及稳定性三方兹角度分析了两 络各参数对网络训练的影响。同时针对网络使用的d b p ( d y n 锄i c b a c k p r o p a g a t 妇o 算 法具有陷入局部极小值的缺点，引进混沌优化算法，利用混沌优化算法全局寻 5 第l 章绪论 优的特点选取网络初始权值，将其与d b p 算法结合起来对网络进行训练，并对 二阶非线性动态系统进行了辨识。仿真实验结果表明混沌优化算法的引进改善 了辨识效果，验证了改进方案的优越性。所给出的递归网络的设计方法，可以 适用于多种递归神经网络。 论文总共包括六章内容。 第一章为绪论，简单介绍了人工神经网络的研究历史、基本特征、分类及 其应用领域，并给出了本文的主要研究内容。 第二章主要介绍了人工神经网络的设计基础。就研究过程中所涉及到的单 层感知器、b p 网络、h o p f i e l d 网络及对角递归网络，对它们的网络结构、学习 规则、训练和设计过程以及各神经网络的特点进行了详细的介绍。 第三章选择了三种具有模式识别功能的典型网络用于2 6 个英文字母识别， 分别是单层感知器、b p 网络和h o p f i e l d 网络，并根据各不同网络自身所具有的 特点，给出了具体的不同的设计过程。通过对各网络识别出错率大小的测试， 对这三种人工神经网络在字母识别时的容错性和识别能力的强弱进行了对比分 析，从中可以看出这三种人工神经网络用于字符识别时各自的优缺点，为选择 神经网络进行字符识别提供了一定的依据。 第四章主要从理论上介绍和分析对角递归神经网络的网络结构和学习算 法，着重给出了保证网络稳定前提下对角递归神经网络学习速率取值范围的推 导过程。 第五章结合具体的系统，分别对一阶线性动态系统和二阶非线性动态系统 进行辨识，进行了详细的网络设计，包括网络结构的选定，网络参数的训练过 程以及学习速率的初始值选取及其调整顺序，并从网络训练时间、训练误差及 稳定性三方面角度分析了网络各参数对网络训练的影响。同时针对网络使用的 d b p ( d y n 锄i cb a c k p r o p a g a t i o n ) 算法具有陷入局部极小值的缺点，引进混沌优化算法， 利用混沌优化算法全局寻优的特点选取网络初始权值，将其与d b p 算法结合起 来对网络进行训练，并对二阶非线性动态系统进行了辨识。仿真实验结果表明 混沌优化算法的引进改善了辨识效果，验证了改进方案的优越性。所给出的递 归网络的设计方法，可以适用于多种递归神经网络。 第六章是对论文工作的总结与展望。 6 第2 章人芝神经网终鳇设诗基础 第2 章人工神经网络的设计基础 2 1 人工神经网络结构模型及学习规则 人工神经阙络的基本组成单元是神经元，毒嘻l 经元是一个多输入苹输出豹信 息单元，而且它对信息的处理是非线性的。根据神经元的特性和功能，可以把 神经元抽象为一个简单的数学模型，如图2 1 所示。 局 岛 ： i ； 反 图2 1 单个神经元模型图 a 其中，p ，( = l ，2 ，) 是输入分量，b 是阀值，w ，( = l ，2 ，) 分别是神 经元对p ，( 歹= l ，2 ，7 ) 的权值分量，a 是神经元的输出，厂( ) 是激活函数。 输入矽，乘上权值拶，得到w ，p ，髯将其送入累瓣器。另一个输入l 乘上闺值 b ，再将其送入累加器。累加器的输出被送入一个激活函数( f ) ，在，( ) 巾产生 神经元的输出a 。 衩值w ，穰输入p ，酶矩阵形式可噬豳矽的行矢量以及尹的列矢量来表示： 妙= 【珧屿雌】 p = 【p l 见p ，】r 神经元模型的输出矢量可表示为： 么= ( 形中+ = ，( w ，尹，+ 妨 常用的激活函数有以下几种：( 1 ) 阀值型：4 ( 2 ) 线性型；( 3 ) s 型( s i g m o i d ) 。 按照网络结构分类，人工神经网络可以被分为前向神经网络和反馈神经网 络。下蘧就这两类分裂分绍神经网络的结构模型及学习规则。 ? 第2 章入工神经网终豹设计基础 2 1 1 前向神经网络结构模型及学习规则 前向神经网络，其结构分为输入层，隐含层和输出层。网络的输入层接受 输入信息，经过豫含层节点的计算传送，蔫息裂达输基层，产生输出。输入接 和输出层都只有一个，而隐含层根据需要，可以有一个或多个。另外，隐含层 和输出层的节点都参与计算，而输入层的节点没有计算功能。 前向神经网络包括感知器网络，b p ( b 鑫e k p 妁p a 斟i o n ) 网终，自适应线性 元件等。本节主要分绍单层惑知器网络和b p 网络。 2 1 1 1 单层感知器的结构模型及学习规则 感知器是模拟人的褫觉，接受环境信怠，并由享枣经能够冲动进行信息传递 的享孛经网络，它由美国计算机科学家罗森布拉特于挎5 7 年提出。感知器是一个 具有一层神经元、采用阀值激活函数的前向网络。通过对网络权值的训练，使 得网络对一组输入矢量的响应输如为o 或l ，从而实现对输入矢量分类的目的。 蚕2 。2 给赛了单层感知器李孛经元模型蘑。 a 见 ： ； ； p t 图2 。2 感知嚣神经元模型 a 其中，每一个输入分量p ，( ，= 1 ，2 ，) 通过一个权值分量w ，进行加权求和， 并作为阀值函数的输入。偏差6 的加入是为了使网络多了一个可调参数，从而 为网络输出达到期望凳标矢量提供了方便。 1 ) 感知器的网络结构模型 感知器神经网络是单层网络，有j 个感知神经元，个输入，对应的一组权 值为 蛳 ( f = l ，2 。，墨；歹= l ，2 ，d ，表示连接第歹个输入和第f 个神经元的权 值。对予具有输入矢餐弓蹿，和鼙标矢量& 。窖的感知器网络的筒俄结构如图2 。3 所示。 s 第2 章人工神经鼹终的设诗基础 p 王 s c l 图2 3 感知器简化结构图 根据网络结构可以写出第f 个输出神经元( f 一1 ，2 ，s ) 的加权输入和聊及 其输出臻： ，鞋 绣2 o 臻 关联层： 霉鼻2 孳! 一n ，= l 乏，箨； q ，l ? l ( 素 嚣( 鳓 输嫩堪： 岁嵇) = 谚葛转) 缎，l 耪 其中，善? 为递归麟络第f 个节点的输入；， 露) ，x i ) 分别表承隐含层第f 个节煮 的输入及输出；葶 蛾岛国表示关联层第；个带点的输入及输出；器。力输入屡节点 数；撵，为隐含层繁点数；婚 袭汞输出层节点的输出。苁净表示隐含层豹激活爱 数；鹕，w ，耐分掰表示隐含层、关联层和输出层的联接权值。 2 ) 瓣焦递嬲神经阏络的学习靓爨| l 由于递归神经网络的输崽不仅与毒时刻的输入有关，丽且还与老以前时刻的 输入信号有关，所以涉及妥精确计算对，必需采用动态的学习瓶赠。 在莆向b p 瘸络中，对学习算法推嚣时，采用的是链式法翼| j 的算法。褥在对 递烟网络算法的磺究中，则有所不同，般采用有序链式法则的算法 l 吞 第2 章人工害枣经霹终的设计基础 ( c 鑫翔p o 王娃e e i 段u n e i n i 匙1 9 9 9 ) 。在4 3 。l 节中将有详细介绍。 2 2 人工神经网络训练及设计 要使网络模型实现某种功能，必须对它进行训练，让它逐步学会要做的事 情，并把所学到的知识记忆在网络的权值中。人工神经网络权值的确定是通过 网络自身调练来完成的。这是入工神经网络在解决问题的方式上与其袍方法的 最大不同点。借助于现代计算机强大的计算和信息处理能力，享枣经网络豹训练 与调整过程能够在很短的时间内完成。 人工神经元网络设计者的主要任务是确定三点内容：一是网络的类型，即 确定选用什么样的典型神经元嬲络；二是霹终的结构，包括网络输入和输出的 节点数；三是网络的参数，即网络的权值，这是根据适当的算法训练出来的。 而前两个任务是根据具体所要解决的问题转化来的，因为网络唯一的任务就是 只能处理数据，所以任何需要人工神经元隧络解决的翔题都必须转变成或者说 是“预处理”成网络能够接受或称为认识的数值，再让网络来解决。 2 2 。 前向神经网络训练及设计 前向季睾经网络包括感知器网络，b p ( b a c 珏p p a g a t i o n ) 网络，自适应线性 元件等。本节主要介绍单层感知器网络和b p 网络的训练及设计。 2 。2 。1 。l 单层感知器网络的训练及设计 感知器的训练过程如下：设网络输入为p ，网络的实际输如么，期望输出为 乃误差肛m ，沿着误差函数斜率下降的方向上根据学习规则进行权值和偏差 的调整；重新计算网络在新权值作蔫下的输入，重复权值调整过程，直到网络 的实际输出么等于期望输出f 或训练次数达到事先设置的最大值时训练结束。 感知器设计训练的步骤可总结如下： 1 ) 对于所要解决的问题，确定输入p 和期望输出r 以及确定网络结构神经元数 毽； 2 ) 参数初始化：设置权矢量初始值w ( o ) 为较小的随机非零初始值及最大训练循 环次数： 3 ) 求感知器的实际输盘：根据输入夕以及最薪权矢量职计算网络实际输出z ； l 第2 章人工神经霹终的设计基础 4 ) 检验：检验实际输出么与期望输出f 是否相圊，如果是，或已达到最大循环 次数，训练结束否则转入5 ) ； 5 ) 权值调整：根据( 2 4 ) 式感知器的学习规则调整权矢量，并返回3 ) 。 感知器的算法撰则属于梯度下降法，如果曩标向量存在，那么经过有限次 循环迭代后，一定能够收敛到正确的目标向量。由此可见，学习结束后的网络， 将样本模式以权值和阀值的形式，分别存储于网络中。 此井，对于单层感知器还有一个重要的定理，就是只要输入矢量是线性可 分的，感知器在有限的时间内总能达到目标矢量。也就是说，感知器一定可以 成功地将两类线性可分模式进行正确分类。由此可以得出另外一个结论，即如 果输入的两类模式并非线性可分的，那么学习算法就不会收敛。判断一组向量 集合是否为线性可分相当困难，因此熟果尝试利用感知器对非线性可分的向量 集合进行分类时，学习算法将无休止循环，无法收敛。这是感知器的一个严重 缺陷。感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得 很多时，可能导致较馒的收敛速度。 2 。2 。 。2 静网络的训练及设计 l 。b p 网络的训练及设计 训练一个b p 网络，先计算出网络加权输入矢量和、网络输出以及误差矢量， 然后求得误差平方和。当误差平方和小于误差目标，训练停止，否则计算误差 变化，采用反惫传播学习靓刚来调整权值，并重复此过程。 1 ) 网络的层数 理论上一个具有偏差，并且至少有一个s 型隐含层和一个线性输出层的网 络，熊够逼近任何有理丞数。所以在选择网络层数时，一般优先考虑增加隐含 层中的神经元数，然后再考虑增加隐含层层数。这是因为增加层数虽然可以进 一步降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训 练时问。丽增加隐含层中的神经元数豳同样可以提高误差精度，并且调练效果 比增加层数更容易观察积调整。 2 ) 输入层和输出层的设计 输入神经元数可以根据需要求解的问题和数据所表示的方式确定。如果输 入的是模拟信号波形，那么输入层可根据波形豹采样点数虽决定输入神经元的 维数，也可以用一个神经元，这时输入样本为采样的时间序列。如果输入为图 第2 章人工神经嚣终鳇设计基础 像，则输入单元可以为匿像的象素，也可以力经过处壤后的蓬像特征。 输出层的维数可根据使用者的要求确定。如果将b p 网络用作分类器，类别 模式一共届个，那么输出层神经元的个数为历或l o g ：肼。 3 ) 隐含层的设计 隐含层的神经元数目选择是一个十分复杂的问题，往往需要根据设计者的 经验和多次实验来确定，在理论上并没有一个明确的规定。网络隐含层神经元 个数太少，网络不能很好的学习，需要调练的次数也多，训练精度也不高；神 经元个数越多，功熊越大，但神经元个数太多时，一方恧使得训练时阉增加， 另一方面还会产生不协调的拟合等问题。通常是对不同神经元数进行训练对比， 在熊够解决问题的前提下，适当地加一点余量。 此外，还有3 个公式霹用予选择最佳隐含层神经元数的参考公式： 嚷 露，其中露为样本数，氇为隐单元数，嚣为输入单元数。如果f 穗， ，拦o = o o ；刀+ 聊+ 口，其中脚为输出神经元数，刀为输入单元数，a 为 1 ，l o 之问的常数。 强= l 0 9 2 搿，其中露为输入单元数。 ) 初始值的选取 由于系统是非线性的，初始值对于学习能否达到局部最小和是否能够收敛 的结果关系很大。一个重要的要求是：初始权值在输入累加时使每个神经元的 状态值接近于零，权值一般取随视数，而且数值要比较小。因为如果初始权值 太大，使得加权后的输入和落在了s 型激活涵数的饱和区，会导致蛾一o ，调 节过程几乎停顿下来。输入样本也同样希望进行归一化处理，使那些比较大的 输入仍落在激活函数梯度大的地方。在m | 硒已a b 工具箱中可采用函数i n i t n w m 初始化隐含层权值。 5 ) 学习速率 大的学习速率可能会使系统发生麓荡，导致系统的不稳定；小的学习速率 又会使训练时闻过长，导致收敛很慢甚至会陷入局部极小值。和初始权值的选 取过程一样，通过对几个不同的学习速率进行训练对比来判断所选定的学习速 l 爹 第2 章人工神经网络的设计基础 率是否合适。对于每一个具体网络都存在一个合适的学习速率。但对于较复杂 网络，可能在不同的时间需要不同的学习速率，比较合适的方法是采用变化的 自适应学习速率，使网络的训练在不同的阶段自动设置不同学习速率的大小。 2 b p 网络的不足与改进 虽然b p 网络得到了广泛的应用，但其自身也存在一些缺陷与不足，主要包 括几个方面问题。 1 ) 由于学习速率是固定的，因此网络收敛速度较慢，需要较长的训练时间。 对于这个问题，可采用的改进方法有：附加动量项、变化的学习速率或自适应 的学习速率来加以改进。 2 ) b p 算法可以使权值收敛到某个值，但并不能保证收敛到的是全局最小值， 这是因为b p 算法采用的是梯度下降法，可能产生局部极小值。为了尽量避免这 种现象发生，可采用多层网络和较多的神经元，有可能得到更好的结果，或者 选用几组不同的初始条件对网络进行训练，从中挑选它们的最好结果。 3 ) 网络的学习和记忆具有不稳定性。也就是说，如果增加学习样本，训练 好的网络对于以前的权值和阀值是没有记忆的，需要从头开始训练。 2 2 2 反馈网络训练及设计 本节主要介绍h o p f i e l d 网络和对角递归网络的训练及设计。 2 2 2 1 h o p f i e l d 网络的训练及设计 h o p f i e l d 网络采用的是正交化的权值设计方法，这一方法的基本思想和出发 点是为了满足下面四个要求( 丛爽，2 0 0 3 ) 1 0 l ： 1 ) 保证系统在异步工作时的稳定性，即它的权值是对称的，满足岣= w ， f ，= l ，2 ，j ； 2 ) 保证所有要求记忆的稳定平衡点都能收敛到自己： 3 ) 使伪稳定点的数目尽可能的少； 4 ) 使稳定点的吸引域尽可能的大。 虽然正交化设计方法的数学设计较为复杂，但所设计出的平衡稳定点能够 保证收敛到自己并且有较大的稳定域。在m a t l a b 工具箱中可直接调用函数 n e w h o p m ： n e t = n e w h o p ( t ) ； 第2 霉入王静经薅络麴设计纂磋 w 2 勰l l w l ，l ，b 。n 蘸 l 其中t 为题标矢量，即一组题标平衡点，由函数n e w h o p 搬可以设计出对应 反馈网络，保证网络对给定的目标矢量的输入能收敛到稳定的平衡点。旦设 诗努瓣络，霹潋爝一个或多个输久矢量藩箕进行测试。这些输入将趋近程标平 衡点，最终找到它们的尽标矢量。 2 。2 2 。2 对角递归神经网络的训练及设计 为了训练一个对角递归神经网络，嗣b p 网络类似，需要定义网络权值调整 的误差函数以及误差舀标，当所训练矢量的误差平方和小于误差目标，训练则 停盘，否则分别在输逝层、戆含溱、关联层计算误差变纯，且采用d b 瑚盼n 勰i e b a c 蚴粕粥g 器l i o n ) 学习舰贝| 来调整权值，劳重复此过程。当网络完成训练殿，对 网络输入一个不是训练集合中的矢量，网络将以泛化方式给出输出结果。 在动手编写阙络翁程痔设计之蓠，努须善先摄撬具钵德霹题绘出翁输入矢量 p 与毯标矢量弘著选定所要设计的神经网络的结构，其中包括以下态容；髓 络的层数；输入输出节点数：每层的激活函数。 阏络的屡数 递归醒络的霹终层数豁多少与系统复杂程度毒关。懿果一个系统较势复杂， 可以考虑采用带有多个隐含层的递归神经网络。虽然增加层数主要可以更进一 步的降低误差，提高精度，僵是，如此一来，必然带来网络参数的增加和网络 谢练时阕翁延长。磊误差精度懿提高实际上邈霹以通过增燕隐含瑟串熬糟经元 数县来获譬譬，其训练效果也比增加层数更容易观察和调整。所以一般情况下， 应优先考虑增加隐含层中的神经元数。因此，如何平衡网络辨识的精确度与网 络参数复杂度，是设计大受必须考虑戆露题。逶常的，将遂照神经元敖餮在递 躲网络的隐含层。对动态系统进行建模时，嚣体现其动态特性，蔗递归神经元 以其自身特性，可以反映系统的多阶延时。 输入输出节点数 与麓蠹网络一样，鼹络静输入、输遗繁点数是叁簿题本身决定鹣。当然， 不同的考虑问题的方式可能带来不同的输入、输出节点数。输入神经元数可以 根据需要求解的阔题和数据所表示的方斌来确定。如果输入的是电压波形，那 么可檄据电压波形嚣采样点数来决定输入神经元麴个数，遣可叛焉一个榜经元， 使输入样本为采样的时间序列。如果输入为图像，那么输入可以用躅像的象素， 2 l 第2 章人工神经网络的设计基础 也可以为经过处理后的图像特征来确定其神经元个数。总之问题确定后，输入 与输出层的神经元数就随之定了。在设计中应当注意尽可能地减少网络模型的 规模，以便减少网络的训练时间。 网络各层的激活函数 为表现递归网络的非线性逼近能力，通常都采用s 型激活函数来达到目的。 它可以位于递归网络的隐含层与输出层。值得注意的是，若在网络输出层引入s 型激活函数，固然可以加快网络训练的速度，但此时网络输出被限制在( 一l ，1 ) 内，而实际系统的输出通常在( 一所，纷) 间( 小，门= 常数，且朋，疗1 ) ，所以，应先将 系统的输入输出作归一化处理。一般地，为简便起见，可以采用线性函数作为 网络输出层的激活函数。一般地，分别取隐含层与输出层的激活函数为s 型函 数和线性函数。 2 3 小结 本章主要介绍了人工神经网络的设计基础。就后面研究过程中所涉及到的 单层感知器、b p 网络、h o p f i e l d 网络及对角递归网络，对它们的网络结构、学 习规则、训练和设计过程以及各神经网络的特点进行了详细的介绍。 第3 牵尾予字符谈裂的三静久芝李牵经溪络戆性麓研究 第3 章用于字符识别的三种人工神经网络的性能研究 借助现代计算机强大的计算和信息处理能力，人工神经网络已经被广泛应 用予模式识别、信号处理、知识工程、专家系统、优化组合、智能控制等各个 方瑟。其中人王神经网络模式识别方法具有一些传统技术所没有的优点：良好 的容错能力，分类能力强，并行处理能力和自学习能力( 武强，童学锋，季隽， 2 0 0 3 ) 。使用人工神经网络方法实现模式识别，其运行速度快，自适应性能好， 具有较高的分辨率。 3 1 字符识别问题的重要性与实际应用背景 模式识别是六十年代初迅速发展起来的一门学科。由于它研究的是如何使 用机器来实现人( 及某些动物) 对事物的学习、识别和判断能力，因而受到了 很多科技领域研究人员的注意，成为人工智能研究的一个重要方面。一个模式 识别系统的基本职能是对系统所要处理的模式魍麓哪类傲如判剐，从该系统 的模式输入到系统输出之间做出判别，主要包括信息检测、预处理、特征抽取 和分类几大环节( 孙即祥，2 0 0 2 ，边肇祺，张学工，2 0 0 0 ) 。 字符识别是模式识嬲领域孛的一个薯# 常潘跃的分支，有羞广羯的应用前景， 这是因为在日常生活中，大量的数字化信息需要进行手工录入，耗时且由于长 时间工作引起的疲劳而不可避免地产生差错，这目益成为阻碍信息化发展的瓶 颈离题。如何将人们放这种烦琰的简单重复劳动中解敖出来，是模式识剐领域 中的一类重要阉题。 字符是人们在日常生活工作中相互交流的主要工具。从图的角度看，它是 简单的图形：从技术看，字符图形的谈别相对比较简单，易于处理和分类。目 前，字符识别一般是识别字母、数字、符号、汉字( 1 氆洋d o 鞫s ，o 妇￥l 瓣ok o c c h i n e g r 0s ，1 9 9 l ，g o v i n d a nvk ，s h i v a p r a s a da 只1 9 9 l ，m a n t a sj ，1 9 8 6 ) ；按所 识别的字体来分有印刷体字符识别、手写体字符识别及符号的识别系统( m o r is ， 强怒锄渤y a s 疆妇m ，1 9 蹁s 疆。羲cxb e 礁醴髓醚。蠢s ， 9 8 0 ) 。 字符识别的用途非常广泛，如车辆牌照自动识别系统( 李中凯，王效盛，魏 第3 章用予字符识别的三静人工神经阏络的性能磷究 修亭，2 0 0 4 ，廖翔云，许锦标，龚仕伟，2 0 0 3 ，万国红，王敏，黄心汉等，2 2 ) 、 手写识别系统( 汪同庆，居琰，任莉，2 0 0 3 ) ，办公自动化等等( 杨庆雄，2 0 0 5 ) ， 还可以用来进行文本和数据的臼动阅读以及作为一种高速信息自动录入的手 段：也可以用来作为未来计算机的重要智能接口；也可用来阅读邮件地址，实 现邮件的自动分拣；也可用来识别支票、汇票、贸易单据、身份证及其他证件； 也可用于文件检索和语言翻译等。它可以代替入和控制器的工作，自动地把字 符和其绝信息送给诗算视，解决了字符自动输入计算据鹃阕题，辩字符识别有 效地节省了人们从事类似字符录入所用的大量时间，并且使人们从这种烦琐的 工作中解脱出来，得以从事更为重要的工作。 尽管很多学者己研究了多年，但爨前国际土仍有许多学者在研究它。这是 因为一方面是问题本身的难度使之成为一个极具挑战性的课题；另一方厩，字 符识别不是一项孤立的应用技术，其中包含模式识别领域中其他分支都会遇到 的一些基本和共性的问题，并且在不同的课题中，由于具体条件的不同，解决 的方法也不尽相同，因恧字符识别的研究仍具有理论和实践意义。从5 0 年代开