（计算机软件与理论专业论文）调节系数的bp神经网络在字符识别中的研究.pdf

- c l a s s if i e di n d e x ： u d c ： ad i s s e r t a t i o nf o rt h ed e g r e eo fm e n g b pn e u r a ln e t w o r kb a s e do na d j u s t m e n t c o e f f i c i e n ti nt h es t u d yo fc h a r a c t e r r e c o g n i t i o n c a n d i d a t e ：z h a n gl i q i s u p e r v i s o r ：p r o f iz h a n gj i a n p e i a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l i t y ：c o m p u t e rs o f t w a r ea n dt h e o r y d a t eo fs u b m i s s i o n ：d e c e m b e r2 8 ，2 0 0 9 d a t eo fo r a le x a m i n a t i o n ：m a r c h15 ，2 010 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s i t y - 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用己在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其它个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均己在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 作者( 签字) ：召杉参磋 日期：劲f d 年弓月| f 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 口在授予学位后即可囤在授予学位1 2 个月后 口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：弓捌 日期：勘f 9 年月( s e t 翩c 面坼 加f d 年弓月心日 哈尔滨丁程大学硕十学位论文 摘要 b p 神经网络是当前获得最广泛应用的神经网络模型之一，但其也存在固 有的缺点，例如收敛速度慢、易陷入局部极小、网络结构难以确定等，这些 缺点受到越来越多的科研学者的高度重视。本文针对b p 神经网络在一些领 域应用并不是很好的情况，提出了一种调节系数的b p 改进算法，并且通过 实验来验证新算法的有效性。 本文对b p 神经网络模型进行了详细的介绍，并对b p 网络存在的缺点进 行了分析，总结了一些经典的b p 神经网络的改进算法，之后针对b p 网络训 练速度慢这个缺点，给出了带有调节系数的动量b p 模型，给出了新的权值 调整公式，给出该算法的思想以及它采取的一些优化措施，完成了b p 模型 的建立，并且提出了网络训练算法的步骤。 为验证本文给出的新的算法的可行性和有效性，本文把动量b p 算法和 调节系数的b p 算法应用于字符识别当中，对两种算法在完成对网络的训练 所花费的训练次数上进行比较，实验结果表明：第一，在相同的网络参数下， 本文提出的算法的训练次数明显小于动量b p 算法，大大降低了完成网络训 练的次数，加快了训练速度。第二，从2 个实验的对比可以看出，在不同的 网络参数时，应该采取不同的调节系数。对于字符识别的问题，当学习率和 动量因子较大时应采用较小的调节系数，当学习率和动量因子较小时应采用 较大的调节系数，这样的组合可以达到很好的降低网络训词次数的效果。 关键词：b p 神经网络；字符识别：调节系数；权值；训练次数 哈尔滨下稗大学硕+ 学位论文 a b s t r a c t c u r r e n t l y ，b pn e u r a ln e t w o r ki so n eo ft h em o s tw i d e l yu s e dn e u r a ln e t w o r k m o d e l b u tt h e r ea r ea l s oi n h e r e n td e f e c t s ，s l o wc o n v e r g e n c ea n de a s yt of a l li n t o l o c a lm i n i m u m ，a n dt h en e t w o r ks t r u c t u r ei sd i f f i c u l tt od e t e r m i n ea n ds oo n b ya g r o w i n gn u m b e ro fr e s e a r c hs c i e n t i s t sa r eh i 曲l yv a l u e d c o n s i d e r i n gb pn e u r a l n e t w o r ka p p l i c a t i o n si ns o m ea r e a si sn o tag o o ds i t u a t i o n ，t h ep a p e rp r o p o s e da n e wi m p r o v e da l g o r i t h mo fb pn e t w o r k ，a n dt h r o u g he x p e r i m e n t st ov e r i f yt h e v a l i d i t yo ft h en e wa l g o r i t h m i nt h i st h e s i s ，i n t r o d u c e db pn e u r a ln e t w o r km o d e li nd e t a i l ，a n a l y z e dt h e s h o r t c o m i n g so fb pn e t w o r k ，a n ds u m m a r i z e ds o m eo ft h ec l a s s i c a lb pn e u r a l n e t w o r ki m p r o v e da l g o r i t h m b e c a u s et h eb pn e t w o r ke x i s ts h o r t c o m i n g ss u c ha s m o r et r a i n i n gt i m ea n ds l o w l yt r a i n i n g s p e e d ，m o m e n t u mb pm o d e lw i t h a d j u s t m e n tc o e f f i c i e n ti sp r o p o s e dt h a tg i v e nt h ee s t a b l i s h m e n to ft h eb a s i so ft h e a l g o r i t h m ，百v e nan e ww e i g h ta d j u s t m e n tf o r m u l a , a n dp r o p o s et h ei d e ao ft h e a l g o r i t h m ，a sw e l la st a k e nan u m b e ro fo p t i m i z a t i o nm e a s u r e st oc o m p l e t et h eb p m o d e l ，a n dp u tf o r w a r dt h en e t w o r kt r a i n i n ga l g o r i t h ms t e p s t ov e r i f yt h ef e a s i b i l i t ya n de f f e c t i v e n e s so ft h en e wa l g o r i t h mp r e s e n t e di n t h i sp a p e r , t h em o m e n t u mb pa l g o r i t h ma n da d j u s tt h ec o e f f i c i e n to fm o m e n t u m b p a l g o r i t h ma l ea p p l i e dt oc h a r a c t e rr e c o g n i t i o n c o m p a r i n gt h et i m e st h a t t h e p a i no ft w ok i n d so fa l g o r i t h mt oc o m p l e t et h et r a i n i n go ft h en e t w o r kt r a i n i n g ， e x p e r i m e n t a lr e s u l t ss h o wt h a t ：f i r s t l y , t h es a m en e t w o r kp a r a m e t e r s ，t h et r a i n i n g a l g o r i t h mi sp r o p o s e d i nt h i s p a p e rs i g n i f i c a n t l yl e s st h a nt h e n u m b e ro f m o m e n t u mb pa l g o r i t h m ，g r e a t l yr e d u c e dt h en u m b e ro ft i m e st oc o m p l e t et h e n e t w o r kt r a i n i n gt os p e e du pt h et r a i n i n gs p e e d s e c o n d l y ：f r o mt h ec o m p a r i s o n o ft w oe x p e r i m e n t sc a l lb es e e ni nad i f f e r e n tn e t w o r kp a r a m e t e r s ，w es h o u l d a d o p tad i f f e r e n ta d j u s t m e n tf a c t o r f o rt h ec h a r a c t e rr e c o g n i t i o np r o b l e m ，w h e n t h el e a r n i n gr a t ea n dm o m e n t u mf a c t o r a r eg r e a t e r ，w es h o u l du s eas m a l l e r a d j u s t m e n tc o e f f i c i e n t w h e nt h el e a r n i n gr a t ea n dm o m e n t u mf a c t o ra r es m a l l e r , 哈尔滨t 稃大学硕十学位论文 w es h o u l du s et h el a r g e ra d j u s t m e n tc o e f f i c i e n t t h i sc o m b i n a t i o nc a l la c h i e v ea g o o dn e t w o r ko f a d m o n i t i o nt or e d u c et h en u m b e ro fr e s u l t s k e yw o r d s ：b p n e u r a ln e t w o r k ；c h a r a c t e rr e c o g n i t i o n ；a d j u s t m e n tc o e f f i c i e n t ； w e i g h t ；t r a i n i n gt i m e s 哈尔滨t 稃大学硕十学侍论文 目录 第1 章绪论”1 1 1 论文研究的目的与意义1 1 2 国内外研究现状一2 1 3 课题的研究内容3 1 4 论文的组织结构4 第2 章人工神经网络基本理论5 2 1 神经网络的概论”5 2 2 神经网络各种模型及其发展趋势7 2 3b p 神经网络算法的分析”8 2 4b p 算法的缺点1 1 2 5 几种改进的b p 、算法1 3 2 6 本章小结“1 7 第3 章引入调节系数的b p 算法18 3 1 学习率h 、动量因子a 在b p 模型中的作用1 8 3 1 1 学习率”的选取及其对b p 模型的作用1 8 3 1 2 动量因子a 对b p 模型的作用1 9 3 2 带有调节系数的b p 模型的建立2 1 3 2 1 神经网络节点数的确定“2 1 3 2 2 激励函数的选取”2 5 3 2 3 数据预处理“2 6 3 2 4 网络学习参数的选取”2 7 3 2 5 权值的调整2 7 3 2 6 误差的选取”2 9 3 2 7b p 网络训练的实现步骤3 0 4 2 对数字识别的仿真实验3 2 4 2 1 仿真实验结构的确定”3 2 4 2 2 仿真实验参数设置及实验结果分析”3 4 4 3 对字母识别的仿真实验3 8 4 3 1 仿真实验结构的确定”3 8 4 3 2 仿真实验参数设置及实验结果分析”3 9 4 4 两个实验的对比分析”4 2 4 5 本章小结”4 3 结论4 4 参考文献4 5 攻读硕士学位期间发表的论文和取得的科研成果5 0 致谢51 哈尔滨t 稗大学硕十学何论文 第1 章绪论 1 1 论文研究的目的与意义 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) ，是受到人脑的启发， 通过研究大脑神经之间的联系原理，通过大量简单神经元或节点互连组成的 具有大规模并行分布式信息处理和非线性动力学的网络，它具有很多结构可 变性、并行性、高度非线性、自动学习性和自动组织性等特点，所以，它能 解决的问题都是一些一般处理方法难以解决或无法解决的问题，尤其是那些 形象思维、推理和意识方面的问题。经过几十年的发展，神经网络的发展己 不断得到扩大，应用的领域范围也越来越广了，在很多领域中都有很好的应 用。如今，神经网络已经在许多方面得到应用。模式识别、心理学、信息科 学、计算机科学、自然语言理解、自动目标识别与跟踪、机器人研究、专家 系统图像处理、非线性优化、语音处理与识别、等各个领域，并取得了令人 瞩目的成果。神经网络理论也已成为涉及生理神经科学、认识科学、数理科 学、微电子学、生物电子学等多学科的新兴的、综合性的前沿学科【l j 。 b p 网络是一种反向传递并修正误差的多层映射人工神经网络，它是现有 的神经网络模型中最典型的一种神经网络模型，也是在当前获得广泛应用的 神经网络模型之一。b p 网络的应用已经得到了很好的发展，已经运用到很多 的领域，例如，自动控制领域( 主要有系统建模和辨识，参数整定，极 点配置，内模控制，优化设计，预测控制，最优控制，滤波与预测容错 控制) 、模式识别( 手写字符，汽车牌照，指纹和声音识别，还可用于目 标的自动识别，目标跟踪，机器人传感器图像识别及地震信号的鉴别) 、 图像处理( 对图像进行边缘监测，图像分割，图像压缩和图像恢复) 、机 器人控制( 对机器人轨道控制，操作机器人眼手系统，用于机械手的故 障诊断及排除，智能自适应移动机器人的导航，视觉系统) 、医疗领域( 乳 房癌细胞分析，移植次数优化，医院费用节流，医院质量改进等方面均 哈尔滨t 程大学硕十学位论文 有应用) 。 英文字符和阿拉伯数字是在世界上流行的通用的语言符号，在很多 国家都有很广的使用范围，在某些应用领域，比如申请单据、个人业务受 理、银行支票处理等方面，可以大大提高手写字符的识别效率，所以对英文 字符和阿拉伯数字的识别研究具有很好的实际意义。 现在很多学者都在字符识别方面做了大量的研究，虽然研究者对字符识 别问题取得了很多成果，但到目前为止计算机识别字符的能力还无法与人的 认知能力相比，这些仍是我们急需解决的问题。 1 2 国内外研究现状 对b p 网络的研究大致分为应用型和理论型两个类别。应用型是对其已 有的理论加以应用，将其运用到不同的领域，目前b p 网络的主要应用领域 有：模式识别、图像处理、故障检测、企业管理、信启、处理、智能控制和市 场分析等。理论型是对经典b p 网络的固有缺陷进行研究和改进，对网络性 能进行改进，使b p 网络的理论体系趋于完善。目前对b p 网络的理论型改进 研究，主要有3 个方面：( 1 ) 对网络训练算法进行修改；( 2 ) 研究新的激活 函数，以及由单一激活函数到组合函数：( 3 ) 对网络的结构进行研究，变化网 络结构。 在最新的研究成果中，国内一些专家首次把反向传播( b p ) 神经网络应 用到水库水坝测压管水位异常诊断中，取得了良好的效果。在国外的最新研 究中，美国现在已经正在开发过程中的一项基于人工神经网络的技术把人 工神经网络与传统的电脑显示器相结合形成了虹膜显示器，所谓虹膜就是在 人的眼晴的视网膜上显示计算机的数据，从而取代显示器。 字符识别是模式识别领域中一个重要的研究方向。针对这一问题，各个 领域的专家和学者都做了大量的研究工作，并取得了一定的成果。在我国邮 电系统单位在这方面做了很多的研究，为了快速有效的对信件进行分类处理， 识别信封上的邮政编码。目前用传统方法进行字符识别研究的有中国科学院 哈尔滨t 稃大学硕十学俯论文 自动化研究所，这个单位对手写体数字识别的研究已经有2 0 多年了，在最新 的研究成果中，利用有限状态自动机为主的识别方法识别1 1 0 0 个手写体数 字，识别率达9 5 2 ，拒识4 ，误识0 2 。上海交通大学基于压缩子结构 特征的手写体数字识别算法选取1 2 6 0 0 个样本组成训练集，6 0 0 0 个样本组成 测试集，用b p 网络进行分类，识别正确率为9 7 5 8 ，误识率为1 0 4 ，拒 识率为1 3 8 。德国的f f i e h d e l m s h e n k e r 采用s - v r b f 4 0 对手写体数字进行 识别，测试样本1 0 0 0 0 个，识别正确率为9 8 5 6 清华大学采用s v m 对金融 票据中的手写体数字进行识别，测试样本2 0 0 0 0 个，识别率约为9 2 。这些 方法虽然已经达到了很好的效果，但是要么对书写的正规程度有要求，要么 其测试样本和训练样本出于同一批人之手。总之，现在大多数识别方法对书 写人员限制较多，或者对书写的正规程度有要求，或者对书写位置有要求， 或者对所用笔、纸有要求，例如对税务报表的识别就要求用规定的字型书写 数字，并且对书写的位置有要求，而真正的无限制手写体字符识别的研究还 有待进一步提高。 正是因为b p 网络自身的缺陷使得其在应用过程中存在一些需要解决的 问题，在某些方面严重地影响了b p 网络的进一步发展和应用。所以关于b p 网络的研究一直是学者们讨论的话题。目前关于算法的研究有很多，出现的 各种算法一般都是针对某一领域解决某些方面的不足，b p 网络算法的研究 有待进一步深入和完善。 1 3 课题的研究内容 b p 算法虽然在诸多领域得到了广泛应用，并取得很好的应用效果，但在 某些领域仍然存在一些问题尚待解决。本文在总结了目前已存在的诸多改进 的b p 算法之后，针对经典的动量b p 算法在某些领域有待改进的情况，提出 了一种带有调节系数的动量b p 算法。提出了一种新的权值调整公式，打算 先通过公式从理论上验证了算法的正确性和可行性，给出了算法的思想，并 且完成网络的建立，给出网络训练的算法。在仿真实验中，把动量b p 算法 哈尔滨t 稃大学硕十学何论文 和调节系数的动量b p 算法应用于字符识别当中，通过对两种算法在完成对 网络的训练所花费的训练次数上的比较，来验证算法在降低训练次数方面的 有效性。并且通过实验验证b p 网络在选取不同的参数时，调节系数该如何 选取能更有效的降低网络f l 勺t j l l 练次数。 1 4 论文的组织结构 本文共分为四章，其组织结构如下： 第1 章阐述课题的研究目的和意义、国内外研究现状。最后给出了本文 的主要研究内容和组织结构。 第2 章介绍人- r - 申经网络基本理论，神经网络各种模型与分析。深入的 研究了b p 神经网络，b p 算法的思想，标准b p 算法公式，归纳了b p 算法 的缺点以及针对b p 算法的缺点提出的一些经典的b p 改进算法。 第3 章针对动量b p 算法在某些领域的不适用的情况，提出了带有调节 系数的动量b p 算法。从公式上为新算法在理论上提供了依据，并且证明了 算法的可行性，完成整个模型的建立过程，并且提出了网络的训练算法 第4 章在前一章给出改进算法的基础上，把动量b p 算法和调节系数的 动量b p 算法应用于字符识别当中，通过对网络训练次数的比较来证明新算 法的有效性。并且通过实验来验证，在不同的网络参数时，如何选取调节系 数能最好的减少网络f l 删l l 练次数。 结论部分对全文进行总结并对未来工作进行展望。 4 哈尔滨t 稃大学硕+ 学位论文 第2 章人工神经网络基本理论 2 1 神经网络的概论 人工神经网络，是受到动物神经系统的启发，按照生物神经系统的 特点，对信息进行大规模处理的应用模型。人工神经网络系统非常复杂， 它的工作原理是通过调整其结构里面的节点之间的连接方式，可以进行 较多的变换，这样可以对信息进行处理。人工神经网络的特点是有着极 高的自我学习能力和适应环境的能力，它可以通过对一些有着同一规律 的数据进行分析，分析它们的特点和规律，并且把这些规律记录下来， 当以后出现的数据具有这种规律的时候，网络就可以根据原先的经验把 这些数据分辨出来，人工神经网络分析数据的规律并记录下来的过程称 为网络学习【。 人工神经网络中，其处理的数据非常广泛，结点处理单元可以处理 很多不同形式的数据，像数据的特点、特征、数字、汉字等，神经网络 中处理单元一共可以分为三种形式：输出结点、输入结点和隐单元。输 入结点是接收输入数据的，一般情况下输入数据都是要经过处理的，但 在处理过程中还保持了原数据的主要特征，因此不会出现失真现象；输 出结点对网络得到的数据进行输出，与我们预先的理想输出进行比较： 隐结点是连接输入结点和输出结点的单元。神经结点之间的的连接权值 表示结点之间的联系。现在人工神经网络的应用范围已经非常广泛，模 式识别、心理学、信息科学、计算机科学、自然语言理解、自动目标识别与 跟踪、机器人研究、专家系统图像处理、非线性优化、语音处理与识别、等 各个领域，并取得了令人瞩目的成果。神经网络理论也己成为涉及生理神经 科学、认识科学、数理科学、微电子学、光学、生物电子学等多学科的新兴 的、综合性的前沿学科。 从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的过程， 哈尔滨t 稗大学硕十学何论文 即人工神经网络的研究，自2 0 世纪4 0 年代以来，它的发展经历了一条由兴 起、萧条和兴盛三个阶段构成的曲折道路【 】。神经网络发展主要有以下一些 阶段。 ( 1 ) 神经网络来自人类对自己的研究，背景性研究起始于1 9 世纪末2 0 世纪初。 ( 2 ) 现代方式的神经网络研究神经网络研究，1 9 4 0 年，两个科学家： w a r r e nm c c u l l o c h ，w a l t e rp i t t s ，给出人工神经网络模型。 ( 3 ) h e b b 规则，1 9 4 9 ，生物神经元学习机制。 ( 4 ) 1 9 5 8 年，r o s e n b l a t t 真正造了一个神经网络，号称p e r c e p t r o n ，感知 器。 ( 5 ) 1 9 6 0 年，b e r n a r dw i d r o w , t e dh o f f 给出自适应线性神经网络，利用 了w i d r o w h o f f 学习规则，应用于消除回声。 ( 6 ) 1 9 6 9 年，m i n s k y 与p a p e r t 的书批评了感知器与自适应线性神经网络， 打击了神经网络发展。从此神经网络发展陷入低谷。 ( 7 ) 科学发展需要冷静，1 9 7 2 年，t e u v ok o h o n e n 与j a m e sa n d e r s o n 发 明自组织神经网络，s t e p h e ng r o s s b e r g 观察到自组织神经网络的许多新性质。 ( 8 ) 1 9 6 0 1 9 8 0 计算机飞速发展，缺乏新想法与强力计算机进行试验。 1 9 8 0 年以后，神经网络又一次飞速发展，有点戏剧性。 ( 9 ) 1 9 8 2 年h o p f i e l d 用统计机制解释神经网络，使人们对神经网络的认 识前进了一大步。1 9 8 6 年b p 学习算法，解决了m i n s k y 与p a p e r t 的问题。 d a v i dr u m e l h a r t 与j a m e sm c c l e l l a n d 给出。 ( 1 0 ) 1 9 8 6 年以后，大量的神经网络研究文章和研究项目，发现了很多 神经网络的新性质和新应用。人工神经网络一定很有前途，现在缺乏真正的 应用，用起来不方便。 一个神经元的结构，如图2 1 所示。 6 哈尔滨t 稃大学硕十学1 _ 7 ：论文 x l x 图2 1 一个神经元结构 线性分割空间示意图，如图2 2 所示。 图2 2 线性分割不恿图 将整个平面用线隔开，若该点在a 区域，则神经元输出l ，在b 区域则 输出0 。 2 2 神经网络各种模型及其发展趋势 目前，神经网络已经得到了广泛的应用，而且已经出现了很多种神经网 络，其中最有特点有以下几种【2 】： ( 1 ) 感知器是最早的神经网络模型，是最早可进行学习的的分类器，现 在已经使用很少了。 ( 2 ) b p 网络是现在最流行的和应用最广的多层前馈网络，在选择适当 的网络参数下，使实际输出和目标输出之间的误差达到规定的范围，应用范 围很广在模式识别、语言识别、自适应目标识别、自适应控制等都有广泛的 应用。但由于其结构的原因，有训练时间长、易陷入局部极小等缺点。 哈尔滨丁稃大学硕十学何论文 ( 3 ) b s b 网络：是在固定单一网络之间传播，主要是通过知识单元来得 到知识。缺点是执行能力低。 ( 4 ) b o l t z m a n n 机( 简称b m ) ：是根据b p 网络得来的，其原理是在该 该网络中加入系数t ，克服了陷入极小值的缺点，其缺点是学习时间长，噪 声也影响着其应用范围，应用不是很广泛。 ( 5 ) 模型认识机( n e o e o g n i t r o n ) 由f u k u s h i a 于1 9 7 2 年提出，其具有 庞大的网络结构。通过无指导学习，具有分辨性强的能力。缺点是耗用节点 及互连多，参数比较多并且不容易确定。 ( 6 ) 双向联想记忆网络：是只有一种状态的模型，适应能力较强，能很 快存储新模式。缺点是存储空间小，且容易发散。 ( 7 ) 学习矩阵网络( l r n ) 是种具有单层的网络。采用非主动学习的 方式，功能比较单一，可用于简单的分类模型。 经过几十年的发展，神经网络的发展己不断得到扩大，应用的领域范围 也越来越广了，在很多领域中都有很好的应用。如今，神经网络已经在许多 方面得到应用。模式识别、心理学、信息科学、计算机科学、自然语言理解、 自动目标识别与跟踪、机器人研究、专家系统图像处理、非线性优化、语音 处理与识别、等各个领域，并取得了令人瞩目的成果。神经网络理论也已成 为涉及生理神经科学、认识科学、数理科学、微电子学、光学、生物电子学 等多学科的新兴的、综合性的前沿学科。 2 3b p 神经网络算法的分析 b p 网络是1 9 8 6 年由r u m e l h a r t 和m c c e l l a n d 为首的科学家小组提出， 是一种按误差来向前传播算法训练的多层前馈网络，是目前应用最广泛的神 经网络模型之一【4 7 】。b p 网络有适应和储存有联系的映像关系，不需要学习 映像方程。通过训练学习不断调整网络的参数，主要是权值和阈值的调整， 使网络的误差达到规定的范围内。b p 神经网络的多层结构包括输入单元、隐 含单元和输出单元。每层由不定数目的神经元组成，b p 网络的神经元与生物 哈尔滨丁稃大学硕十学位论文 系统的神经元相似，原理也有很多相同的地方。网络层与层之间的神经元的 连接方式是完全连接的，但是在同一层的神经元与神经元之间不用连接。虽 然单独的神经元的功能有限，但大量神经元组合到一起构成的网络系统所能 实现的功能却是非常强大的。b p 网络结构如图2 3 所示。 图2 3b p 网络结构不惹图 第一层1 1 个神经元，第2 层2 个神经元，第g 层玎q 个神经元。m 弓表示 地s 层第f 个神经元的连接权值，i ：i ：i j 到i 的。彤表示第s 层第f 个神经元的 门限值。 仃呓x 厂纠，i = 1 ，2 ， i ( 2 - 1 ) j = l x ；= f ( c r ? ) ，卢1 ，2 ，以l ( 2 - 2 ) = 嵋x ；一钟，i = 1 ，2 ，1 1 ，s = 2 ，q ( 2 - 3 ) j - - i x ；= ( 盯j ) ，i = 1 ，2 ，n s , s = 2 ，q ( 2 - 4 ) y z = x ? ，i = 1 ，2 ，r e - r g ( 2 5 ) 在b p 网络的三层结构中，输入节点与输出节点根据实际问题的需要来 确定，但隐层节点的确定是一个复杂的问题。隐层是连接输入层与输出层之 间的桥梁，隐层的主要作用是从输入层中读取信息，这个信息主要是特征向 9 哈尔滨丁程大学硕十学何论文 量，一个特征向量只表示一个类别的数据，之后将取出的特征传递给输出层， 整个训练过程，不断通过误差的反馈来调整各层之间的权值，最终达到能够 表示为输入模式特征的过程。 b p 算法把网络训练过程分为两个过程：第一步( 向前传播过程) ，输入数 据通过隐含单元逐层处理，并且通过对输出数据的计算在输出单元得到输出 值：第二步( 反向过程) ，若误差没有达到规定的范围内，就计算出误差，然 后根据权值调整公式对权值进行调整0 1 。 b p 网络学习公式主要思想是：对b p 网络的权值( ，毛) 修正与阈值( 0 ) 修正，使误差函数( e ) 沿负梯度方向下降【3 5 】。 1 输出节点的输出p 的计算： ( 1 ) 输入单元节点的输入：置 ( 2 ) 隐单元节点的输出： 只= ( w , j x j 一只) ( 2 - 6 ) 其中w o 为连接权值， 鼠为节点阈值。 ( 3 ) 输出单元节点的输出： d = ( t o y , 一曰) ( 2 7 ) 其中乃为连接权值，只为节点f - 值。 2 输出层( 隐单元到输出单元间) 的修正公式 ( 1 ) 输出节点的期望输出： ( 2 ) 误差控制 所有学习样本的误差： = 亨e k s ( 2 - 8 ) - - - - - i k = l 其中一个样本的误差： e k = i t “一纠 ( 2 9 ) ，置l 其中p 为样本数，n 为输出节点数。 1 0 ( 七+ 1 ) = 嘞( 后) + 7 7 _ ( 2 1 4 ) ( 3 ) 阈值修正公式： 9 ( 七+ 1 ) = 9 ( 七) + 7 7 巧 ( 2 - 1 5 ) 其中隐单元节点产生的误差中的巧乃表示输出单元节点l 的误差巧通过 权值乃，向隐节点i 反向传播成为酶节点的误差【i i 1 3 1 。 2 4b p 算法的缺点 b p 神经网络因为其特有的思想，因此具有很多优点，得到很广泛的应用。 但是，在实际应用过程中发现b p 网络在某些领域存在着缺点和不足，主要 包括以下几个方面【体17 】： ( 1 ) 学习速度慢 影响b p 算法的学习速度的因素有很多，其中包括：网络参数的选取、 b p 网络固有的缺点等，当网络训练到一定程度的时候，在一些区域中，误差 变化较小，即使对权值有很大的调整，误差的变化缓慢等。b p 网络本质不断 训练的过程，利用计算出的误差对网络的权值和阈值的进行调节，以求达到 哈尔滨t 稃大学硕十学何论文 最终误差最小。为了保证网络不发散，因此学习率r 1 必须控制在一定的范围 内。这就决定了b p 网络的学习速度缓慢。 ( 2 ) 易陷入局部极小值 b p 网络采用误差下降法，训练是从某一误差较大的点逐渐达到误差的最 小值。对于复杂的网络，其误差曲面也是极其复杂的，我们拿碗来做一下比 喻，其碗底是误差最小的点。但是如果这个碗底不是平的，可能在训练的过 程中达到了一个比较小的点，而这个点只是局部最小点，并不是全局最小点 这时由这个点向各方向变化均使训练误差增加。具有局部极小的网络曲线如 图2 4 所示。 全局最小点 图2 4 多个极小值点的连接权空间 在图2 4 中，若开始时在a 点的位置，按照网络误差调整的时候，只能 达到局部最小点：同理若开始时在c 点的位置，按照网络误差调整的时候，只 能达到局部最小点，只有开始在b 点时网络误差才能达到全局最小值。 ( 3 ) 隐层节点难以确定 在b p 网络实际应用中，网络的结构一般是不固定的，没有通用的网络 结构。具体地说，在实际应用中，b p 网络的层数和适当的节点数是影响网络 性能的重要因素之一。影响着网络的训练速度。另外，网络的结构对于实际 应用中资金的投入有很大的影响，具有实际意义和经济价值。到现在为止， 对于b p 网络如何确定隐层数目以及隐层的节点数目还没有统一的定论，大 哈尔滨t 稃大学硕+ 学伊论文 i i 都是根据实际问题和经验来确定。而且，对于不同的实际问题处理的方法也 不一样，这个问题给b p 网络大范围的应用带来了很大的障碍。 2 5 几种改进的b p 算法 由于b p 网络固有的缺点，在一些应用中得到了限制，为了加大b p 网络 的适用范围，解决标准b p 算法的一些缺点：因此出现了很多改进算法【1 8 。2 。 ( 1 ) 附加动量法 动量b p 算法在权值调整方面进行了改进，其核心思想是把前一次网络 训练的权值调整的一小部分拿过来，作为这次网络训练权值调整的依据之一， 其特点是借鉴了上次调整的经验，并不是只根据误差对权值进行调整，带有 动量因子的权值调整公式为： w ( 七十1 ) - m c a w ( k ) + 肛聊c _ b e ，0 l r o 2 蚓1 2 ( 2 2 6 ) ( 4 ) 拟牛顿算法 哈尔滨丁稃大学硕十学何论文 拟牛顿算法是受到牛顿算法的启发而得来的。在传统的牛顿算法中，模 型的权值调整公式如下： w k + l = w k 一日= g i ( 2 - 2 7 ) 其中，h 是海森矩阵。 b r y d e n f l e t h e r g o l d f a d s h a n o ( b f g s ) 算法，b f g s 算法是在拟 牛顿算法最常用到的一种算法，其网络权值调整公式为： = 帆+ ( + 篙皆a w k i 一坐吗拶协2 8 ， 其中，m 是海森矩阵得到的相似值，w 为模型训练的权值，g 为搜索方向，k 是学习次数。虽然b f g s 算法通常经过很少的学习次数就可以达到收敛的效 果，但这种方法每次训练的计算量和内存需求量都大于共扼梯度法。所以对 于比较复杂的网络，弹性b p 法和共扼梯度法的效果会比较好。 一步割线( o n e s t e p s e e a n t ，o s s ) 算法是一种结合算法。在一