（计算机软件与理论专业论文）基于协同进化的神经网络优化方法的研究与应用.pdf

山东师范大学硕_ j 学位论文 基于协同进化的神经网络优化方法的研究与应用 摘要 像天气预报一样，空气质量状况评价结果的发布，为广大民众增加了一 个了解未来一段时间空气质量情况的渠道，通过这一渠道，市民可以了解空 气质量状况，以便合理安排自己的工作和出行。此外，各企业可以根据空气 质量状况，适当调整工厂生产，以此协助国家和地方环境保护部门采取削减、 控制污染物排放量的措施，防止或减少污染事件的发生。决定空气质量状况 的因素很多，根据我国空气污染特点和污染防治重点，目前计入空气污染的 指标有空气中可吸入颗粒物、二氧化硫和氮氧化物，由于这三项指标与评价 结果间并没有直接的线性关系，同时存在着明显的非线性特征，而神经网络 恰好能够很好的应用于非线性问题，并具有较好的实验效果，因而在此使用 神经网络模型来进行空气质量状况评价。 人工神经网络是大量的神经元相互连接，通过模拟人的大脑处理信息的 方式进行并行处理和非线性转换的复杂网络系统，具有很强的自适应、自组 织、自学习能力。近年来，人工神经网络广泛应用于故障诊断、模式识别、 水文预报等领域。神经网络尤其是b p 神经网络具有逼近任意非线性映射的 能力，将神经网络应用于非线性系统的建模与辨识，通过大量的数据训练获 得网络的内在模式，进而用训练好的网络模型来进行评价。在实际应用中， 神经网络也暴露出了一些自身固有的缺陷：权值的初始化是随机的，容易陷 入局部极小，并且学习过程中隐含层节点数目和其它网络参数的选择要根据 使用者的经验来确定，收敛时间过长等。而遗传算法具有良好的全局搜索能 力，并且搜索不依赖于梯度信息，本文利用遗传算法的优势来弥补神经网络 存在的一些固有缺陷，将两者进行结合来解决评价问题。 本文致力于研究基于遗传算法的神经网络空气质量评定模型的构建及应 用问题，目的是利用遗传算法对神经网络权系进行协同进化，以达到对神经 网络的优化效果，避免神经网络的学习陷入局部极小，提高模型的评价精度。 主要工作为： 1 通过分析影响空气质量状况的多种因素，找出决定空气质量状况的主要因 素，建立了空气质量状况评定模型的评定指标体系，为下一步进行空气质量 状况的评定打下了坚实的基础。 2 构建了基于b p 神经网络的空气质量状况评价模型，并使用m a t l a b 软件予 以实现。将b p 神经网络作为一种输入输出的高度非线性映射，构建空气质 量状况评价模型，通过网络的多次训练，抽取输入与输出之间内在的非线性 映射关系，进而建立b p 网络模型，并将训练好的模型用于检验数据。 山东师范大学硕i 学位论文 3 使用遗传算法对神经网络进行协同进化，构建基于遗传算法的神经网络空 气质量状况评价模型。针对b p 神经网络固有的缺陷，仅仅靠本身的改进难 以从根本上解决问题并容易陷入局部最优，遗传算法的引入就显得尤为必要， 遗传算法的全局搜索功能恰能弥补b p 神经网络的不足。 关键词：协同进化；遗传算法；b p 神经网络；权系优化；适应度 分类号：t p l 8 3 山东师范大学硕士学位论文 t h er e s e a r c ha n da p p l i c a t i o n0 fn e u r a ln e t w o r k o p t i m i z a t i o nm e t h o db a s e d o nc o e v o l u t i o n a b s t r l a c t l i k ew e a t h e rf o r e c a s t ，t h ei s s u eo fe v a l u a t i o nr e s u n a b o u ta i rq u a l i t ys i t u a t i o n ， i n c r e a u s e sac h 锄n e ll l r l d e r s t a n d i i l ga i rq u a l i t ys i t u a t i o nf o rt h eg e n e r a lp o p u l a c ei n ap e r i o do ft i m e ，t h r o u 曲t h i sc h 锄e l ，m er e s i d e n tm a yu i l d e r s 伽d 吐l ea i rq u a l i t y s h a t i o n ，i no r d e rt oa r r 趾g eo w nw o r ka n dt 1 1 ej o 啪e yr e a s o n a b l y - h 1a d d i t i o n ， v a r i o u se m e 印r i s e sm a ya c ta p p r o p r i a t er e a d j u s t m e n tt op r o d u c t i o na c c o r d i n gt o m ea i rq u a l i t ys i t u a t i o n ，s oa st om 呔em ee n v i r o m n e n t a lp r o t e c t i o nd 印a r 呦e n to f c o u l l t r ya 1 1 d1 0 c a lg o v e 加m e n tt a k em e a s l l r et or e d u c ea 1 1 dc o n 廿0 1p o l l u t 孤t ， p r e v e mo rr e d u c ep o l l u t i o ne v e n t so c c u l t e n c e t h e r ea r em a n yf a c t o r st l l a td e c i d e a i rq u a l i t ys i t u a t i o n ，a c c o r d i n gt oo u rc o u n 时sa i rp 0 1 l u t i o nc h a r a c t 嘶s t i ca i l d p o l l u t i o np r e v e n t i n ge m p h a s i s ，a tp r e s e n t ，t h ep r o j e c t si n c l u d e di nt h ea i rp o l l u t i o n i n d e xa r e ：a b s o r b a b l ep a n i c l e si nt l l ea i r ，t l l es u l m rd i o x i d ea 1 1 dm en i t l o g e l lo x i d e c o m p o u n d ，b e c a u s e 也e r ea r en od i r e c tl i n e a rr e l a t i o n sb e t w e e nt h e s en l r e et a r g e t s a i l dt h ee v a l u a t i o nr e s u l t ，s i m u l t a l l e o u s l y ， m e r ea r eo b v i o u sn o n l i n e a r c h a r a c t e r i s t i c s ，b u tt h en e u r a ln e t w o r kc a nb e u s e di nt h en o n 一1 i n e a rp r o b l e m e x a c t l y a n dt h ee x p e r i m e n t a le f r e c ti sg o o d ，也u sc 枷e so ne v a l u a t i o ni no ft h ea i r q u a l i t ys i t u a t i o nu s i n g n e u r a ln e t w o r km o d e l a n i 矗c i a ln e u r a ln e 觚o r ki st h ec o m p l e xn e 铆o r ks y s t 锄b yi n t e r a c t i v e c o n n e c t i o no fm a s s i v en e u r o n sa 1 1 ds i m u l a t i n gb r a i n s m e 1 0 di np a r a l l e l p r o c e s s i n g趾dt h en o n l i n e a “t yt r a n s f o n n ， h a sv e r ) ， s t r o n 9 1 ya u t o - a d a p t e d ， a u t o o 唱孤i z a t i o n ，a u t o 一1 e a n 血gc a p a b i l i q h lr e c e n t y e a r s ， a i t m c i a ln e l i r a l n e t 、o r ki sw i d e l ya p p l i e di nb r e a k d o w nd i a 髓o s i s ，p a t t e mr e c o g 【1 i t i o n ，h y d r o l o g y f b r e c a s ta n ds oo n n e u r a ln e t w o r ke s p e c i a l l yb pn e u r a ln e t w o r kh a s 也er a l l d o m n o n 一1 i n e a rm 印p i n ga b i l i t yi np a r t i c u l a r 印p r o a c h e s ，印p l i e st h en e u r a ln e 艄r o r ki n * m en o n l i n e a rs y s t e mm o d e l i n ga u l dm ei d e l l t i f i c a t i o n ，o b t a i n st h en e 佃o r k st h e i n t r i n s i cp a t t e mt h r o u g ht h em a s s i v ed a t at r a i n i n g ，t 1 1 e nc a 玎i e so nt h e 印p r a i s a l w i t hm et r a i n e dn e t w o r km o d e l 1 1 1t h e p r a c t i c a la p p l i c a t i o n ，t h en e u r a ln e t v v o r k a l s oe x p o s e ds o m eo w ni n h e r e n tn a w s ：t h ew e i 曲ti n i t i a l i z a t i o ni ss t o c h a s t i c ，e a s y t of a l li i l t op a r t i a lm i l l i m 啪，a n dm ei m p l i c i ts 打a t an o d e sn 啪b e ra n do t h e r n e 慨o r kp a r a m e t e rn e e dt ob ed e t e r m i n e da c c o r d i n gt ou s e r se ) ( p 缸e n c ei nt h e s t l l d yp r o c e s s ，r e s 仃a i n i n gt i m ei se x c e s s i v e l yl o n ga l l d s oo n ，b u tm eg e n e t i c a l g o r i t h mh a st 1 1 eg o o do v e r a l ls e a r c h i n ga b i l i t y ，a n dt h es e a r c hd o e sn o tr e l yo n t h eg r a d i e n ti n f o m a t i o n ，t h i sa n i c l eu s e st h eg e n e t i ca l g o r i 也m ss u p 砸o r i t yt o m a k eu dt h en e u r a ln e 俩o r k si 矗h e r e mn a w s ，c 秭e so nt h eu m o no ft h eb o 也t o l i i 山东师范大学硕f 学位论文 s o l v et h ee v a i u a t i o nq u e s t l o n t h ea n i c l ed e v o t e st or e s e a r c h i n ga i rq u a l i t ym o d e l sc o n s t m c t i o na n dt h e a p p l i c a t i o no fn e u r a ln e t w o r kb a s e do nt h eg e n e t i ca l g o r i t h m ，t h e9 0 a l i st oc a r r y o nm ec o o r d i n a t i o ne v o l u t i o nu s i n gt l l eg e n e t i ca l g o r i t h mt ot h en e u r a ln e t v v o r k w e i 曲t ，a c h i e v e dt on e u r a ln e 觚o r k so p t i m i z i n ge f r e c t ，a v o i d i n gs t u d y o fn e u r a l n e t w o r kf a l l i n gi n t op a r t i a lm i n i m 岫，e n h 孤c i n gt h em o d e l sa p p r a i s a lp r e c i s i o n t h e p r i m et a s ki s ： 1 f i i l d i n gt h em a i nf a c t o r st h a td e c i d et h ea i rq u a l i t ys i t u a t i o nb y 孤a 1 ) ，z i n gm 趾y f a c t o r st h a tm a yb er e l a t e dt ot h ea i rq u a l i t ) ，s i t u a t i o n ， c o n s t m c t i n g s o l i d f o m l d a t i o nf o rt h ea i rq u a l i t ys i t l l a t i o n se v a l u a t i o n 2 c 0 1 1 s t m c t i n ga i rq u a l 毋a p p r a i s a lm o d e lb a s e do nt 1 1 eb pn e u r a ln e 觚o r k ，a 1 1 d u s i i l gm em a t l a bs o 炯，a r et or e a l i z e c 0 n s 仃u c t i n ga i rq u a l i t ys i 讥a t i o na p p r a i s a l m o d e lb yt a 虹n gb pn e u r a ln e t 、7 l ，o r ka so n e 虹n do fn o n 一1 i i l e a rm 印p i n go f i n p u t o u t p u t ，t ：【1 r o u 班t r 砒 1 i n gm en e t w o r km a n yt i m e s ，e x 打a c t i n gt h e i n t r i n s i c n o n l i n e a rm 印p i n gr e l a t i o n sb e 帆e 髓t h ei n p u ta n dm eo 咖u t ，t 1 1 e l le s t a b l i s h e st h e b pn e 觚o r km o d e l ，a n du s e sm et r a i n e dm o d e li ne x a r n i n i n gd a t a 3 c a n 姐n go nm ec 0 0 r d i n a t i o ne v 0 1 u t i o nt ot h en e u r a ln e t 、o r ku s i n gg e n e t i c a l g o r i t l u n ，c o n s t m c t i n gn e u r a ln e t w o f ka i rq u a l i t ys i t l l a t i o na p p r a i s a l1 1 【o d e lb 4 s e d o n 也eg e l l e t i ca l g o r i t l 衄1 bt h eb pn e u r a ln e 研o r ki 1 1 l l e r e n tf l a w ，i ti sd i 伍c u l tf o r b pn e l l r a ln e t w o r ki t s e l ft oi n l p r o v em n d a m e n t a l l ys oa st os o l v et h ep r o b l e mm d e a s yt o f a l li n t op a r t i a l l ym o s ts u p e r i o r i ta p p e a r se s p e c i a l l ye s s e i l t i a lf o rm e g e n e t i ca l g o r i t l l i l l si n t r o d u c t i o n ，t h eg e n e t i ca l g o r i t h m so v e r a l ls e a r c h i i l g 觚c t i o n c 弛m a k eu pt h eb pn e u r a ln e 研o r ki n s u m c i e n c ye x a c t l y k e y w o r d s ： c o e v 0 1 u t i o n ；g e n e t i ca 1 9 0 r i 她； b pn e u r a ln 舐v o r k ； o p t i m i z a t i o no fw e i 曲t 觚dc o e 伍c i e n t ； f i t n e s s c l a s s i f i c a t i o n ：t p18 3 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得( 注： 如没有其他需要特别声明的，本栏可空) 或其他教育机构的学位或证书使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：闺国壳 导师签字 学位论文版权使用授权书 本学位论文作者完全了解堂撞有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权堂撞可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。( 保密 的学位论文在解密后适用本授权书) 学位论文作者签名：l 乱i 虱毛 导师签字： 签字日期：2 0 08 年5 月弓口日签字日期：2 0 0 孑年5 月弘日 山东师范大学硕士学位论文 1 1 研究现状 第一章绪论 1 1 1 人工神经网络的研究现状 人工神经网络是由大量简单的基本组件神经元相互连接，通过模拟 人的大脑处理信息的方式，进行信息并行处理和非线性转换的复杂网络系统 【1 1 。从系统观点看，人工神经网络是由大量的神经元通过丰富和完善的连接 而构成的自适应非线性动态系统。因神经元之间有着不同的连接方式，可组 成不同结构形态的神经网络系统。 神经网络的研究始于2 0 世纪4 0 年代，其发展经历了一个由兴起到衰退、 又由衰退到兴盛的曲折发展过程。 1 早期阶段 1 9 4 3 年，心理学家w s m c c u l l o c h 和数学家w p i t t s 在研究生物神经元的 基础上提出了一种简单的人工神经元模型，即后来所谓的“m p 模型”，在 该模型中，神经元的活动表现为“兴奋 和“抑制”两个状态，其基本工作 原理与现在的阈值单元模型基本相同【2 1 。虽然m p 模型过于简单，且只能 完成一些简单的逻辑运算，但它的出现开创了神经网络研究的先河，并为以 后的研究提供了依据。1 9 4 9 年，心理学家d o h e b b 发表了论著行为自组 织，首先提出了一种调整神经网络连接权值的规则【3 】。他认为，学习过程是 在突触上发生的，连接权值的调整正比于两相连神经元活动状态的乘积，这 就是著名的h e b b 学习律，直到现在，h e b b 学习律仍然是神经网络中一个极 为重要的学习规则。1 9 5 7 年f r o s e l l b l a t t 首次提出并设计了著名的感知器 ( p e r c e p t i o n ) 【4 】，它是一种多层的神经网络，由阈值性神经元组成，实质上是 一个连续可调的m _ p 神经网络，通过调整权重的学习，它可以实现分类， 但是由于当时电子技术的限制和其它一些原因，神经网络的研究随后进入低 潮。 2 过渡阶段 二十世纪七十年代，一些科学家又提出了各种不同的神经网络模型和学 习算法，其中贡献较大的有美国麻省理工学院的d a v em a r r 、波士顿大学的 s t e p h e ng r o s s b e r g 等，美国加州工学院物理学家j o l l l lh o p 丘e l d 于1 9 8 2 年提出 著名的h o p f i e l d 模型 5 】，它是一个互连的非线性模型，其解决问题的方法是 一个反复运算的动态过程，m c c l e l l a n d 和r u m e l h a n 于1 9 8 6 年提出了多层网 络的误差反传算法( b a c kp r o p a g a t i o n ) 6 1 ，自此神经网络的研究又进入了一个高 潮。 山东师范大学硕士学位论文 3 八十年代后期至今 1 9 8 7 年6 月国际神经网络协会成立，神经网络研究又空前繁荣，应用领 域较先前广泛的多，神经网络和专家系统相结合成为重要发展趋势，理论上 不断发展，训练算法进一步完善。 1 2 协同进化的研究现状 生物学领域中的进一步研究表明，生物界中不仅存在达尔文的“适者生 存，优胜劣汰”的自然进化规律，同时还存在着多个个体或多个物种通过相 互之间的合作而共同进化的自然规律【7 】，协同进化正是源于这种思想。在协 同进化中，个体之间不仅存在竞争关系，同时也存在相互合作、相互促进的 关系，各个群体之间也可以通过一定的机制相互学习【8 】。 协同进化思想是近十几年来在进化论基础上发展起来的，其特点在于： 协同进化在进化算法的基础上，考虑了种群与种群之间在进化过程中的协调， 由于协同进化的诸多优越性，越来越多的学者对此进行了研究，成为当前进 化计算的一个热点问题。 1 1 3 评价问题的研究现状 用人工神经网络进行评价，其基本思想是：首先收集数据去训练网络， 然后用人工神经网络的算法去建立数学模型，进行评价【9 】。系统评价问题是 神经网络的一大应用领域，基于人工神经网络的评价已经得到越来越多的关 注。最近几十年来，评价理论作为一门综合性学科，广泛应用于经济、社会 等领域，得了巨大发展。所谓评价问题，实质上就是以评价指标作为输入， 在评价模型的作用下，得到对应的评价输出的过程。为了保证评价的准确性 要求，在自动化方面、在数据和信息的自动采集方面、在整个工作的系统性 方面都要求评价理论向智慧面发展。近十年来，随着智慧技术的发展，提出 了几种较为新颖的方法，如统计理论评价技术、人工神经网络评价技术等【1 0 1 。 与传统的评价方法相比，人工神经网络评价模型具有许多优越性【1 1 1 。如 可以确定输入输出之间的对应关系等，其精度比一般统计方法高。用人工神 经网络方法进行计算的复杂性和计算量也均低于一般统计方法。 1 - 2 本文的研究内容和思路 本文在分析总结目前神经网络研究成果的基础上，运用遗传算法优化神 经网络，建立基于协同进化的b p 神经网络空气质量状况评价模型，进行空 气质量状况评价，并对模型在空气质量评价中应用的数据基础进行了分析， 2 山东师范大学硕卜学位论文 为模型的应用提供良好的条件，具体内容如下： 1 通过分析影响空气质量状况的多种因素，找出决定空气质量状况的主要 因素，建立了空气质量状况评定模型的评定指标体系，为下一步进行空 气质量状况的评定打下了坚实的基础。 2 构建了基于b p 神经网络的空气质量评价模型，并使用m a t l a b 软件予以实 现。将b p 神经网络作为一种输入输出的高度非线性映射，构建空气质 量状况评价模型，通过网络的多次训练，抽取出输入与输出之间内在的 非线性映射关系，进而建立b p 网络模型，并将训练好的模型用于测试数 据。 3 将遗传算法用于神经网络权系的优化，构建基于协同进化的神经网络空 气质量状况评价模型。针对b p 神经网络固有的缺陷，仅仅靠本身的改进 难以从根本上解决问题并容易陷入局部最优，遗传算法的引入就显得尤 为必要，遗传算法的全局搜索功能恰能弥补b p 神经网络的不足。 1 3 本文的组织结构 本文的组织结构如图1 1 所示： 图1 - 1 论文的组织结构图 第一章绪论。 第二章介绍了构建协同进化b p 网络模型的理论基础，包括人工神经 网络的基本理论、工作原理、遗传算法的基本理论、基本操作以及两者结合 的理论基础及方法。 第三章讨论了构建空气质量状况评价模型的数据准备问题。指出了实 验数据的来源，建立了空气质量状况评价模型的指标体系，为以后模型的构 建提供了坚实的数据基础。 山东帅范大学顾上学位论文 第四章本章和第五章共同构成了本论文研究工作的主体。本章构建了 基于b p 神经网络的空气质量状况评定模型。首先介绍了评定模型构建的背 景及建模原理，然后构建了b p 网络评定模型并将其应用到空气质量状况的 评定，最后根据实验结果进行性能分析。本章为第五章模型的构建提供了重 要参考。 第五章在第四章评价模型的基础上，构建了基于协同进化b p 网络空 气质量状况评定模型。首先介绍了利用遗传算法对b p 神经网络进行优化的 原因及优化的方法，然后利用优化后的网络进行空气质量状况的评价，通过 实验结果的对比证明优化后的网络模型具有更高的评价精度。 第六章总结了本文的工作和进一步的研究方向。 4 山东师范大学硕士学位论文 第二章构建基于协同进化的神经网络模型的相关技术研究 基于遗传算法的神经网络技术是本文所提出的空气质量状况评定模型的 基础，为此本章首先介绍了神经网络和遗传算法的基本原理，然后分析了它 们各自的性能特征及两者结合的可行性，在此基础上，简要地概括了基于遗 传算法的神经网络模型的基本原理。 2 1 人工神经网络的发展状况 人工神经网络( a n i f i c i a ln e u r a ln e t 、o r k ，简称删是在对人脑组织结构 和运行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统【1 2 】。 早在本世纪4 0 年代初期，心理学家m c c u l o c h 、数学家p i t t s 就提出了人工神 经网络的第一个数学模型，从此开创了神经网络科学理论的研究时代。其后， f r o s e n b l a t 、w i d r o w 和j j h o p 矗e l d 等学者又先后提出了感知模型，使得人工 神经网络技术得以蓬勃发展。 2 1 1 神经网络的基本原理 神经网络的工作过程主要分为两个阶段。一个阶段是学习期，此阶段各 联机上的权值通过学习算法来逐步调整，学习过程根据输出结果来决定是否 需要重新开始。当学习完成后，进入第二个阶段，即工作期。此时连接权固 定，通过网络的计算就可以得到相应的输出【1 3 】。 2 1 2 神经元模型 人工神经网络是对生物神经网络的一种抽象、简化和模拟。生物神经网 络中神经元被转化为人工神经网络中的“网络节点”，而突触则转化为“连接 权重( 或称连接权值) ”。通过规定网络节点的连接方式和连接权重的调整规则 就可以实现人工神经网络的基本功能【l4 1 。人工神经元又称为节点，用数学来 表达生物神经元的信息处理方式，是生物神经元的形式化描述【1 5 】，如图2 1 所示。 它由三个基本要素组成：一是连接权，连接强度由各连接上的权值w 表 示，权值为正表示激励，为负则表示抑制；二是求和单元，用于求各输入信 息的加权和，图2 1 表示第i 个单元；三是非线性激励函数，起非线性映像作 用并限制神经元输出幅度在一定的范围之内( 一般限制在 o ，1 】或 - 1 ，1 】之间) 。 山东师范大学硕：t 学位论文 此外，还有一个阈值谚。 x l 置 x i 图2 1 人工神经兀模型 上述神经元模型可用公式表述如下： = 嘞m 一谚 ( 2 1 ) ，；1 m = 厂( 厶) ( 2 2 ) 其中：一输入信号，m 一输出信号，一位于第i ，j 节点之间的连接 权，2 阈值，厂o 一激励函数。 另外，若输入的维数增加一维，即可将阈值岔包括进去，则有： t = 嘞q = 0 ( 2 3 ) = 厂( )( 2 4 ) 此时，输入，为一1 或十1 ，权值w 。为q ，如图2 一l 所示。 神经元模型中常见的激励函数类型如图2 2 所示： 厂( 工) 。| 1 名 - l o 文 ( a ) 线性函数 ( 1 ) 线性函数 ( 2 ) 阈值函数 6 厂( 力。 l 1 o文 ( x ) 。 i r ”二= ：；j 。a l 皂 卫 o 文 r l ， 1 ， o 文 ( b ) 阈值函数( c ) 斜坡函数( d ) s i g m o i d 函数 图2 2 四种常见的激励函数 厂( 石) = 衙+ c ( 2 5 ) 厂。，= l ，二三三 c 2 6 ， 山东师范大学硕士学位论文 ( 3 ) 斜坡函数 m ，= 瞄兰 ( 4 ) s i g m o i d 函数 该类函数具有平滑性和渐进性，并保持单调性，最常用的函数形式为： 参数口 o 可控制其斜率。 2 1 3 神经网络的分类 ( 2 7 ) m ) = 南 ( 2 8 ) 人工神经网络发展至今己多达上百种，可按以下不同的方式进行分类。 1 根据神经元之间的连接方式可分为两种类型： ( 1 ) 层次型结构 层次型结构的神经网络将神经元按功能分成若干层，如输入层、隐含层 和输出层，各层顺序相连【1 6 】。 x l k - o k ) y 1 x 2 h 卜+ o k ) - y 2 ： ： ： ： ： ： x n 叫( 卜双) - + y n 图2 3 简单的分层网络 ( 2 ) 互连型结构 互连型结构的神经网络中任意两个节点之间都可能存在连接途径。 图2 4 互连网络 7 山东师范大学硕+ j j 学位论文 2 根据网络内部信息传递方向可分为两种类型： ( 1 ) 前馈型网络 网络信息处理方向是从输入层到隐含层再到输出层逐层进行，前一层的 输出作为下一层的输入，只有隐层节点具有信息处理能力【l ”。前馈型网络在 网络运算过程中不存在任何回馈。它的输入输出关系可看作是一种映像关系， 这种映像是高度非线性映像，它的信息处理能力也来自于简单非线性函数的 多次组合【1 8 】。前馈型网络是一种强有力的学习系统，并不是一种强有力的计 算系统，其大部分都是学习网络，但它们的分类能力和模式识别能力一般都 强于回馈型网络。 ( 2 ) 回馈型网络 所有节点都具有信息处理能力，且每个节点既可以从外界接受输入，同 时又可以向外界输出。回馈型网络是一种回馈动力学系统，具有较强的计算 功能【1 9 】，主要有h o p 丘e l d 模型，q o s s b e r g 自联想器、双联想记忆网络等。 3 根据学习方式又可分为以下三种类型： ( 1 ) 有导师学习网络 也称有监督学习【2 0 1 ，这种学习模式采用的是纠错规则，在学习训练过程 中要不断给网络成对地提供一个输入模式和一个期望网络正确输出的模式， 称为“目标输出”或“教师信号 。将网络的实际输出与期望输出进行比较， 当网络输出与目标输出不符时，根据差错的方向和大小按一定的规则调整权 值，以使下一次网络的输出更接近期望的结果。 ( 2 ) 无导师学习网络 也称无监督学习【2 1 1 ，此学习过程中不存在“教师信号”，学习系统完全按 照环境所提供数据的某些统计规律来调节自身参数或结构( 是一种自组织过 程) ，其结果对属于同一类的模式进行自动分类。在这种学习模式中，网络的 权值调整不取决于外来“教师信号”的影响，可以认为网络的学习评价标准 隐含于网络的内部。 ( 3 ) 再励学习网络 也称强化学习【2 2 1 ，这种学习模式介于上述两种模式之间，外部环境对系 统输出结果只给出评价( 奖或惩) 而不给出正确答案，学习系统通过强化那些受 奖励的动作来改善自身性能。再励学习中网络的权值一旦设计好了就不再变 动，因此其学习是一次性的，而不是一个训练过程。 2 1 4 神经网络学习规则及其基本特点 1 学习方式 通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点。 8 山东师范大学顾七学位论文 在一般情况下，性能的改善是按某种预定的度量通过调节自身参数( 如权值) 随时间逐步达到的【2 3 】。 根据学习时有无教师示教，学习方式分为有监督学习和无监督学习两大 类。有监督学习又可分为纠偏型和增强型两种。若根据输出偏差的大小来修 正权值，称为纠偏型学习：若只根据输入样本能否使网络产生期望的输出来判 定是否修改权值，称为增强型学习。在有监督学习过程中，将经过选择的学 习样本以样本对的形式依次加在初始权值随机设定的网络中，再按一定的算 法调整网络权值及结构，直到网络实际输出与期望输出完全相同或充分接近。 由于按一个样本对学习好的权值不一定满足其他样本对的要求，因此需要反 复地学习。算法的好坏、样本的数量与质量以及对误差大小的要求等都对学 习的快慢产生影响。 2 学习规则 神经网络卓越的信息处理能力来自于网络中各神经元之间的连接权值。 要模拟人脑的信息处理能力，就必须使神经网络具有学习功能2 4 1 。学习的本 质就是调整各神经元之间的连接权值，而如何调整连接权值就构成了不同的 学习算法。针对不同的网络用途，人们已经提出了许多神经网络学习规则， 基本的有以下四种： ( 1 ) h e b b i a l l 学习规则【2 5 】 这种学习规则源自于h e b b 关于生物神经元学习过程的假设：当两个神经 元同时处于兴奋状态时，它们之间的连接权应当加强。令彬，表示从神经元j 到神经元i 的连接权值，则彬，按下式确定的变化量调整： ， = g ) ，f o ) ，( f ) 办 y ，0 ) ，心 ( 2 9 ) 上式为有教师的h e b b i a n 学习规则，其中自变量t 表示当前时间，f ；( f ) 为 教师信号，g o 和| j l ( ) 为适当的非线性函数。 当没有教师信号时，可以设g o 的函数值为咒( f ) ，办o 的函数值正比于 乃( f ) ，因此，式( 2 9 ) 成为： = 7 7 乃( f ) y ，( f ) ( 2 1 0 ) 其中，7 7 o 为表示学习速率的系数。上式为无教师的h e b b i a i l 学习规则， 它反映了“当两个神经元同时处于兴奋状态时，它们之间的连接应当加强” 的性质。 此算法同时也存在一定缺陷：本质上不可能对隐含层单元权重进行调节，因 为隐含层单元的期望输出未知，因而不能应用于多层网络的学习，对于非线 性可微问题，算法不收敛。 ( 2 ) d e l t a 学习规则【2 6 】 9 山东师范大学硕上学位论文 在式( 2 9 ) 中，如果以g ( ) 的函数值正比于教师信号f 如) 与神经元i 的输出 ”( f ) 之间的差值，即： g y ，( f ) ，( f ) = 7 7 。【f f ( f ) 一) ，( f ) = 7 7 1 仃 ( 2 1 1 ) 其中7 7 1 o 为系数，并且办( ) 的函数值与神经元j 的输出y 如) 成正比，即： 办 y ，( f ) ，】= 刁2 y f o ) ( 2 1 2 ) 其中仉 o 为系数，则由h e b b i a i l 学习规则可得： = 7 7 盯y 肜) ( 2 1 3 ) 上式即为仃学习规则，其中刁 0 为表示学习速率的系数。 在盯学习规则中，教师信号可视为期望输出，因此式( 2 1 1 ) 中的盯反映了 神经网络期望输出与实际输出之间的差异。这种学习规则要求神经元启动函 数可微，易于推广到非线性启动单元，实质就是通过迭代计算逐步调整网络 权值彤，直到使误差达到最小，当误差函数存在多个局部极小点时，一般而 言，梯度算法得不到全局最小解。盯学习规则又称为“误差修正规则”，其中 7 7 一般为与计算步长有关的参数。在很多神经网络中都采用了这种学习方法。 ( 3 ) 概率式学习规则 概率式学习规则的典型代表是b 0 1 t z m 锄网络学习规则，它是基于模拟 退火的统计优化算法，因此又称为模拟退火算法。b o l t z m a l l i l 网络模型是包括 输入层、隐含层和输出层的多层网络，在隐含层间存在互联结构且层次不明 显 2 7 1 。网络的学习训练过程是根据下述规则对神经元i 与神经元j 之间的连接 权值进行调整： 嘞= 刁( 劈一巧) ( 2 1 4 ) 上式中7 7 为学习率，嚣、巧分别是神经元在系统收到学习样本的约束状态时 和自由状态时实现连接的概率。当譬 弓时权值增加，否则嘞减小。 ( 4 ) 竞争式学习规则【2 8 】 竞争式学习规则认为，神经网络是由许多“区域”组成的，各个区域包 含一定数量的神经元，当有外界刺激输入时，在同一个区域里的各个神经元 发生竞争性响应，其结果是只有一个神经元获胜从而达到兴奋状态，其余的 神经元则被抑制。在竞争式学习规则中，网络的权值仍然基于h e b b i a n 规则 或类似的规则调整。 3 神经网络的基本特点 神经网络是由大量的神经元按照一定的拓扑结构和学习算法所构成的。 它是一个具有高度非线性的超大规模连续时间动力系统，其主要特点是： ( 1 ) 分布存储和容差性 信息在神经网络内的存储是把内容分布于许多神经元中，部分的信息丢 l o 山东帅范大学硕卜学位论文 失仍可以使完整的信息得到恢复，因而网络具有容差性和联想记忆功能。 ( 2 ) 自适应性和自组织性 神经元之间的连接具有多样性，各神经元间的连接强度具有可塑性，因 而网络可以通过学习和训练进行自组织，以适应不同的信息处理要求。 ( 3 ) 并行处理性 网络的各个单元可以同时进行类似的处理过程，整个网络的信息处理方 式是大规模并行的。 ( 4 ) 层次性 信息在不同层次的神经回路中逐级进行加工和处理。同时神经网络具有 一般的非线性动力学系统的共性，如不可评价性、不可逆性、多吸引子、可 塑性、耗散性等特性，因此神经网络实际上是一个大规模非线性连续时间自 适应信息处理系统。 2 2 误差反向传播算法( b p 算法) 技术研究 2 2 1b p 算法的基本原理 b p 算法是一种有效的神经网络学习算法，当输入与输出之间是非线性关 系时，以及训练数据充足的情况下，该算法非常有用。典型的b p 学习算法 有一个输入层、一个输出层和至少一个隐含层组成，同层节点之间无任何连 接，对隐含层的层数没有限制，通常是一层或多层。 b p 网络的学习由四个过程组成【2 9 】： ( 1 ) 输入模式由输入层经由中间层向输出层的“模式顺传播 过程； ( 2 ) 网络的期望输出与网络的实际输出之差的误差信号，由输出层经由中 间层向输入层逐层修正连接权的“误差逆传播”过程； ( 3 ) 由“模式顺传播”与“误差逆传播”的反复交替进行的网络“记忆训 练”过程： ( 4 ) 网络趋向收敛即网络的全局误差趋向极小值的“学习收敛”过程。 当目标值与实际输出的偏差达到要求或训练达到一定次数时，学习过程 结束。 归纳起来为：“模式顺传播”“误差逆传播”“记忆训练 学 习收敛过程”。 下面以单元输入输出模式k 为例介绍b p 网络算法【3 0 】，设输入模式向量： 五= ( 雄。，以：，) 丁，输出向量瓦= ( y 儿：，) 丁，对应输入丘的期望输出 为= ( 以。，y ：，珐) r ，其中n 、m 为输入、输出节点数。 设第k 个学习模式的网络期望输出与实际输出的偏差为： 山东师范人学硕十学位论文 = ( 一) = 1 ，2 ，坍 ( 2 1 5 ) 的均方差为： 也= 去( 螃一) 2 ( 2 1 6 ) 现在的问题是如何调整权值使邑最小。 根据梯度下降法知，函数任意点沿着负梯度方向下降的最快，权系数的 迭代方程为： w ( 七+ 1 ) ：w ( 后