（地球探测与信息技术专业论文）神经网络方法与高信噪比方法联合拾取初至.pdf

摘要 神经网络方法与高信噪比方法联合拾取初至 作者简介：李洪林，男，1 9 8 1 年1 月生，2 0 0 5 年师从周熙襄教授，钟本善 教授，2 0 0 8 年6 月毕业于成都理工大学地球探测与信息技术专业，获得工学硕士 学位。 摘要 地震记录初至拾取一直是一个基础而又很重要的问题。它在折射波静校正、 v s p 解释、浅层折射波勘探和层析成像勘探中都起着重要的作用，它的准确与 否直接影响到处理结果的好坏。初至拾取在数据处理中所占的工作量是很大的， 它的速度直接影响到数据处理工作的效率。 到目前为止，已经提出了许多初至拾取的方法【9 1 ：如相关法、能量比法、 最大振幅法、分形维法及神经网络法等。对于地震初至简单的地区，用一般的 初至拾取方法就能满足要求，但对复杂地区，由于初至波形变化较大，各种波 相互干扰，常常难以判断初至时间，这是一直困扰着我们的一个难题，神经网 络是一门交叉学科，它以生物大脑的结构和功能为基础、以简单的数学方法完 成复杂的智能分析，能有效地处理问题的非线性、模糊性和不确定性关系。神 经网络技术以其大规模并行处理、分布式存储、自适应性、容错性等优点被广 泛地应用于生物、电子、计算机、数学和物理等领域。 本文研究和分析了经典b p 神经网络的理论，首先对共炮道集记录和共偏移 距道集记录进行了小波整形，再利用高信噪比方法拾取出的初至作为b p 神经网 络的学习样本，最后分析了基于共炮道集和共偏移距道集的b p 神经网络拾取初 至的方法，通过实际资料证明了基于共偏移距道集的b p 神经网络方法拾取初至 效果更好，效率更高。 关键词：神经网络b p 算法初至拾取能量比 成都理工大学硕士学位论文 c o m b i n et h en e u r a ln e 伽o r km e t h o dw i t ht h eh i g hs n r m e t h o d1 bp i c ku pf i r s ta r r i v a ld e t e c t i n g i n t r o d u c t i o no fm ea u t l l o r ：l ih o n g l i n ，m a l e ，w a sb o mi nj a r m a r y ，l9 81w h o s e t u t o rw 嬲p r o 缸s o rz h o ux i x i a i l ga n dp r o f e s s o rz h o n gb e n s h a n h eg r a d u a t i e d 劬m c h e l l g d uu i l i v e r s i t vo ft e c l l l l 0 1 0 9 yi ne 椭e x p l o r a t i o n & i n f o m a t i o nt e c h l l i q u 鹪 m a j o ra n dw a s 对锄t e dm em a s t e rd e 簿e ei nj u n e ，2 0 0 8 a b s t r a c t f i r s ta r r i v a l sd e t e c t i n go ns e i s m i cr e c o r di s i m p o r t a n ta t a l lt i m 9 i th 嬲 s i 擘面f i c a i l tm n c t i o no nt h er e 矗a c t i o ns t a t i cc o l l r e c t i o n ，v s pi n t e r p r e t a t i o n ，s h a l l o w r e 仔a c t i o na i l ds e i s m i ct o m o g r a p h ys u r v e y s f i r s t 枷v a ld e t e c t i n gi sa c c u r a t eo rn o t c a nd i r e c t l ya 虢c tt h er e s u l to fp r o c e s s i n g t h ew o r k l o a do ff i r s ta 币v a ld e t e c t i n gi s p r o d i g i o u si ns e i 锄i cd a t ap r o c e s s i n g ，s oi t ss p e e dh 弱c n l c i a le 侬脱t ot h ee 伍c i 饥c y o fs e i s m i cd a t ap r o c e s s i n g b yf 扯m a i l ym e t l l o d s 觚dt h e o r i e sh a v eb e e n1 3 r u tf o 刑a r d ，s u c ha sc 0 订e l a t i o n m e m o d ，r a t i oo fe n e r g ym e t h o d ，m a x i m a l 锄p l i t u d em e m o d ，行a c t a ld i m e n s i o nm e m o d 觚dn e u r a ln e t 、7 l r o r k f o rs o m ea r e a st h a th a v es i m p l ef i r s ta m v a l s ，i tc a i lr e a c h l e r e q u i r eu s i n gn o m a lm e t h o d ，b u t f o rc o m p l i c a t e da r e a s ，f i r s t 删v a l sd e t e c t i n gi s d i 瓶c u l t ，i ti sad i 伍c u l tp r o b l e n lf o ru sf o ra1 0 n gt i m e ，a n n ( a n i f i c a ln e u r a l n e 研o r l ( ) i sac r o s ss u b j e c t ，w 1 1 i c hc a i lc o m p l e t ed i 伍c u l t 缸e l l i g e n ta i l a l y s i sa l l d p r o c e s se 矗i e c t i v e l yn o l l l i n e a r ，r 亿z ya l l du n c e r t a i np r o b l e m sw i n ls i m p l em a t h 锄a t i c m e m o d s b e c a u s eo fi t sm a s s i v e p a r a l l e lp r o c e s s i n g ， d i s t r i b u t e ds t o r a g e ， s c l f 二a d a p t a t i o na n de n o ra l l o w a n c e ，m 州h a sb e e nw i d e l ya p p l i e di nb i o l o 踽 e l e c t r o n i c s ，c o m p u t e r s ，m a t h e m a t i c sa n dp h y s i c s 。 i nt l l i sp a p e r ，w er e s e a r c ha n da n a l y s i so ft h ec l a s s i c a lb pn e l l r a ln e t w o f kt h e o r y f i r s t ，w ed ow a v e l e tp l a s t i ct ot h ec s pr e c o r d sa l l dt l l ec o pr e c o r d s t h e l lw ep i c k u pf i r s ta 砸v a ld e t e c t i n gb yn l ew a yo ft h e1 1 i 曲s n rm e t h o df o rn l eb pn e u r a l n e 咐o r k1 e a n l i n gs a m p l e s f i n a l l y ， w ea n a l y s i st h eb pn e u r a ln e t 、7 l ，o r km e m o dt 0 p i c ku pt h ef i r s ta r t i v a ld e t e c t i n gw h i c hb a s e do nt h ec s pr e c o r d sa l l dt l l ec o p r e c o r d s ，t h r o u g ha c t l l a ld a t ai ts h o w st h a tt h eb pn e u r a ln e t w o r km e t h o dw 1 1 i c hb a s e d o nm ec o pr e c 0 r d st op i c ku pf i r s t 硎v a ld e t e c t i n gi sm o r eb e t t m o r ee 伍c i e i l t k e y w o r d s ：n e 哪ln e t w o r k b pa 1 9 0 r i t l l mf i r s t 硎v a ld e t e c t i n g姐t i oo f 饥凹g y 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得虞都理王太堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：杏浩腻 巾f 年岁月 f r 日 学位论文版权使用授权书 本学位论文作者完全了解虞壑堡王太堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权盛都理王太堂可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：杰融株 学位做作者导师签名f 式盟款 l 汨 第1 章绪论 1 1 国内外研究现状 第1 章绪论 近年来，国内外不少学者从不同的角度研究了不同的初至自动拾取方法并 取得了很大的进展。传统的初至拾取方法主要分为两类：一类是基于地震记录 瞬时特征的方法，如极值法( 峰值检测) 、差分法等。这类方法对噪声比较敏感， 当地震记录的噪声较严重时，难以准确拾取初至。另一类方法是基于地震记录 整体特征的方法，如相关法等。这类方法虽然对噪声有较好的抑制作用，但受 到地震道之间相似性等因素的影响，对于复杂地震记录，初至拾取的精度也会 受到影响。 下面简单介绍几种常见的初至拾取方法： 相关法【1 0 】选择某一炮作为母炮，以初至时间作为相关起点，利用该炮与其 余各炮进行互相关，从而提取初至。优点：对噪声有一定的抑制作用；缺点： 受初至的“续至”影响较大，并且与母炮的选择关系十分密切，同时要求选择合适 的时窗范围。这些在实际工作中都有一定的难度。 能量比值法【8 】使用周期内的信号能量与总时窗能量的比值，将比值的最大 值点作为初至的近似值并作适当的时移，即为初至时刻。优点：对于低噪声的信 号，拾取结果准确；缺点：对噪声敏感，当地震记录信噪比较低时，难以准确 拾取。 时间域分形维法【l l 该方法是基于在地震道随着信号的出现其分形维值发 生变化的特征来确定地震道初至【1 7 】。优点：分行算法拾取地震波初至与相邻道 的相关性无关且与初至波型无关，因此，可以克服由炸药震源产生的各炮初至 子波波型的不一致性以及由折射波、反射波半波损失产生的相位跳跃。缺点： 拾取过程必须插值，且结果强烈的依靠插值的准确性，对时窗和步长的选取十分 敏感，稍有不慎就会严重的影响其结果。 神经网络法根据样本提取参数，并对参数进行学习，构造神经网络模型系 统，然后对其它研究对象进行模式识别。优点：利用多参数特征进行模式识别， 充分利用地震记录的瞬时( 局部) 特征和整体特征。缺点：非常慢的训练速度，高 维曲面上局部极小点的逃离问题，收敛问题等。 总的来讲，只要地震信号具有足够高的信噪比，初至拾取结果就有较理想 的效果，否则，就难以准确拾取初至波或者根本拾取不到初至波。 1 2 研究的目的和意义 成都理工大学硕士学位论文 地震初至时间的检测一直是一个基础而又很重要的问题，它在折射波静校 正、v s p 解释、浅层折射波勘探和层析成像勘探中都起着重要的作用。静校正 问题是地震资料处理的基础问题，它很大程度上制约着整个剖面处理的最终效 果。在地震数据处理时，可以应用地震记录的初至或初至折射波求取静校正量， 这种方法在很多地震地质条件较差地区的资料处理中得到应用且效果显著，尤 其在西部地区应用效果更佳。初至时间检测的速度直接影响到数据处理工作的 效率，因为数据处理过程中，初至拾取工作往往需要花费很多的时间和精力。 初至拾取是地表低降速带静校正的基础，特别是在地表速度较为复杂的地区， 这种静校正更为重要也更为复杂。准确拾取地震波走时还是地震层析成像方法 中计算速度的重要依据，地球表面的未压实层和风化层相对于较深部的固结层 和岩石层的速度存在相当大的差异，表层厚度及速度的估算直接影响其下覆地 层速度估算的准确性。 1 3 主要研究内容 本文主要分析了经典b p 神经网络方法与高信噪比初至拾取方法，改进了经 典b p 神经网络方法中的部分缺点，利用高信噪比初至拾取方法拾取出的初至作 为改进后的b p 神经网络方法的训练样本文件，提出了基于共炮道集和共偏移距 道集的b p 神经网络拾取初至的方法，并通过实际的资料进行了试验，最终得到 的结果表明基于共偏移距道集b p 神经网络方法比基于共炮道集的b p 神经网络 方法有一定的优点。 ( 1 ) 分析神经网络的原理，并重点分析经典b p 神经网络的学习、工作原理， 分析现有算法在解决问题中的弱点，并针对其弱点研究相应的改进措施和方法， 提高了经典b p 神经网络方法的收敛速度以及实用性。 ( 2 ) 由于地形的复杂性和各种波的相互干扰等因素，在初至拾取过程中，很 难利用单一的特征将初至波分辨出来。因此，本文通过深入分析地震信号的多 种特征提取多参数，以提高识别初至波的能力。 ( 3 ) 分析了高信噪比初至拾取方法，提取出的好初至波作为神经网络的学习 样本文件。 ( 4 ) 提出了基于共炮道集与共偏移距道集的b p 神经网络初至拾取方法，并通 过实际资料对两种方法进行了验证。 1 4 论文的结构 第一章是本文的绪论部分，叙述了本文研究的目的和意义，初至波拾取的 历史现状。 一 2 第l 章绪论 第二章阐述神经网络的基础理论，并重点介绍了经典b p 神经网络方法的算 法原理和工作过程，并针对经典b p 神经网络存在的问题提出了改进算法。 第三章阐述了高信噪比初至拾取方法的原理，并利用该方法进行了实际资 料实验。 第四章介绍了小波整形的思想，把利用高信噪比方法拾取出的初至作为b p 神经网络方法的训练样本文件，提出了基于共炮道集的b p 神经网络初至拾取方 法和基于共偏移距道集的b p 神经网络初至拾取方法。 第五章应用基于共炮道集的b p 神经网络初至拾取方法和基于共偏移距道 集的b p 神经网络初至拾取方法进行了实际资料试验并分别对实际资料进行了 初至拾取。 成都理工大学硕士学位论文 2 1 神经网络 第2 章b p 神经网络 人工神经网络舢呵n ( a n i 矗c i a ln e l l r a ln e 呐o d 【s ) 亦称为神经网络是8 0 年代 兴起的一门非线性科学，它是在现代神经科学研究成果的基础上提出来的。它 模拟人的大脑加工、储存和检索信息的机制，并将其原理应用于人工智能、模 式识别、工业生产系统控制、文字语音处理、飞行器识别跟踪及市场预测等各 个领域，取得了多方面成就，显示出巨大的潜力。它在石油勘探领域的应用也 取得了令人鼓舞的效果。 2 1 1 神经网络的定义 h e c h t - n i e l s e l l 【1 9 9 0 】给出的神经网络定义【2 3 】： 神经网络是一种并行的分布式信息处理结构，它通过称为联接的无向信号 通道将一些处理单元( 具有局部存储并能执行局部信息处理能力) 互连而组成。 每一个处理单元都有一个单输出到所期望的连接。每一个处理单元传送相同的 信号处理单元输出信号。处理单元的输出信号可以是任一种所要求的数学 模型。在每一个处理单元中执行的信息处理在它必须完全是局部的限制下可以 被任意定义，即它必须只依赖于处理单元所接受的输入激励信号的当前值和处 理单元本身所存储记忆的值。 人的思维有逻辑性和直观性两种方式。逻辑性的思维是指根据逻辑规则进 行推理，先将信息转化成概念，用符号表示，然后，根据符号运算按串行模式 进行逻辑推理，这一过程可以写成串行的指令，让计算机执行。直观性的思维 是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。 这种思维方式的根本之点在于以下两点： ( 1 ) 信息是通过神经元上的兴奋模式分布存储在网络上。 ( 2 ) 信息处理是通过神经元之间同时相互作用的动态过程来完成的。 神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其 特色在于信息的分布式存储和并行协同处理。神经网络首先要以一定的学习准 则进行学习，然后才能工作。 神经网络按不同组织形式分为神经元模型、组合式模型、网络级模型、神 经系统级模型、智能型模型。按网络的结构方式可分为前馈模型和反馈模型。 按网络的应用特性可分为连续性和离散性网络、确定性和随机性网络。按学习 方式可分为有监督学习和无监督学习网络。按连接突触的特性可分为一阶线性 关联网络和高阶非线性关联网络。 。 4 第2 章b p 神经网络 神经网络的工作过程可分为两个阶段：一是学习期，在这一阶段通过执行 学习规则，即执行修正权值的算法，获得合适的映射关系和其他系统性能；二 是工作期，在这个阶段，网络利用各个已固定连接权值，计算单元状态变化， 最后达到一个稳定状态。第一个阶段的工作过程较为缓慢，也称为长期记忆 ( l 1 m ) ，第二个阶段工作较快，可以快速得到精确或近似的输出，也成为短期记 忆( s 研哪。 2 1 2 神经网络的原理 神经网络( n e t l r a ln e t 、7 i ，o r k ) 是由大量处理单元( 神经元) ，广泛互连而成的网络， 它是在人类对其大脑工作机理认识的基础上，以人脑的组织结构和活动规律为背 景，反映了人脑的某些基本特征，可以说是对人脑的某种抽象、简化和模仿。简单 地讲，它是一个数学模型，可以用计算机来模拟人的自然智能。它是从人脑的生理 结构出发来研究人的智能行为，模拟人脑信息处理的功能。神经网络是一个并行、 分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。这些处理单 元口ep r o c 髂s i n ge 1 e i l l e n t ) 具有局部内存，并可以完成局部操作。处理单元的输出 信号可以是任何需要的数学模型信号，每个处理单元中进行的操作必须是完全局 部的。神经网络是巨量信息并行处理和大规模平行计算的基础，它既是高度非线 性动力学系统又是自适应系统，可用来描述认知决策及控制的智能行为，它具有 存储和应用经验知识的自然特性，与人脑相似之处可以概括为两个方面：一是通 过学习从外部环境中获取知识；二是内部神经元具有存储知识的能力。 神经网络首先要以一定的学习准则进行学习，然后才能工作。现以神经网 络对手写“a ”、”b ”两个字母的识别为例进行说明，规定当“a ”输入网络时， 应该输出“1 ”，而当输入为“b ”时，输出为“o ”。所以网络学习的准则应该是： 如果网络做出错误的判决，则通过网络的学习，应使得网络减少下次犯同样错 误的可能性。首先，给网络的各连接权值赋予( 0 ，1 ) 区间内的随机值，将“a ” 所对应的图像模式输入给网络，网络将输入模式加权求和、与门限比较、再进 行非线性运算，得到网络的输出。在此情况下，网络输出为“1 和“o 的概 率各为5 0 ，也就是说是完全随机的。这时如果输出为“1 ( 结果正确) ，则使 连接权值增大，以便使网络再次遇到“a ”模式输入时，仍然能做出正确的判断。 如果输出为“o ”( 即结果错误) ，则把网络连接权值朝着减小综合输入加权值的 方向调整，其目的在于使网络下次再遇到“a ”模式输入时，减小犯同样错误的 可能性。如此操作调整，当给网络轮番输入若干个手写字母“a 、 “b ”后， 经过网络按以上学习方法进行若干次学习后，网络判断正确率将大大提高。这 说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆 在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够做出迅 5 成都理工大学硕士学位论文 速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记 忆、识别的模式也就越多。 2 1 - 3 神经网络的构成 神经元及其突触是神经网络的基本器件，因此，模拟神经网络首先该模拟 神经元，在神经网络中，神经元常称为“处理单元”，有时从网络的观点出发常 常也称为“节点”。神经网络的信息处理由神经元之间的相互作用来实现，知识 与信息的存贮表现为网络元件互连分布式的物理联系，神经网络的学习和识别 决定于各神经元连接权系数的动态演化过程；神经元的突触是调节神经元之间 相互作用的基本结构和功能单位，它能加载兴奋或抑制。 ( 1 ) 神经元的建模 目前人们提出的神经元的模型有很多，其中最早提出且影响最大的，是1 9 4 3 年心理学家m c c u l l o c h 和数学家w p i t t s 在分析总结神经元基本特性的基础上首 先提出的m - p 模型。该模型经过不断的改进，形成目前广泛应用的形式神经元 模型。关于神经元的信息处理机制，该模型在简化的基础上提出以下6 点假设 进行描述： 每个神经元都是一个多输入单输出的信息处理单元； 突触分兴奋性和抑制性两种类型； 神经元具有空间整合特性和阀值特性； 神经元输入与输出间有固定的时滞，主要取决于突触延搁； 忽略时间整合作用和不应期； 神经元本身是非时变的，即其突触时延和突触强度均为常数。 显然，上述假定是对生物神经元信息处理过程的简化和概括，它清晰地描 述了生物神经元信息处理的特点，而且便于进行形式化的表达。 ( 2 ) 神经元的数学模型 图2 1 为一个具有突触连接和能执行非线性转换的简单处理单元神经元一 般模型 毛 籍入伍_ ， l l y = f 睚珥一固簧掇值 图2 1 神经元结构模型 我们令t ( f ) 表示t 时刻神经元j 接受的来自神经元i 的信息，y j ( f ) 表示t 时 6 第2 章b p 神经网络 刻神经元j 的信息输出，则神经元j 的状态可以表达为： y ，( f ) = 厂 【w 剪石f ( f - 勺) 卜秒，) 式中 f 打输入输出间的突出时延； 口，神经元j 的阀值； w f ，神经元i 到j 的突触连接系数或称权重值； 厂o 神经元转移函数； y ) 神经元的输出信息； 为简单起见，我们将上式中的突触时延取为单位时间，则上式可写为： 乃1 3 f + 1 ) = 八匹嘞薯】一够) 上式描述的神经元数学模型表达了神经元模型的6 点假定。其中输入t ( f ) 的下标i = 1 ，2 ，n ，输出y 以) 的下标j 体现了神经元模型假定中的“多 输入单输出”。权重值嵋，的正负体现了假定中“突触的兴奋与抑制 。秒，代表 了假定中神经元的“阀值”；输入总和常称为神经元在t 时刻的净输入，用 删翮= 嘞t ( f ) 表示，玎p f ：( f ) 体现了假定中提到的神经元j 的“空间整合特性”而未考虑时间 整合，当刀刃j ( f ) 一口， o 时，神经元才能被激活，乃o + 1 ) 与工，( f ) 之间的单位 时差代表所有神经元具有相同的，恒定的工作节律，对应于中的“突触延搁 ； w ，于时间无关，体现了假定中的神经元的“非时变 。 ( 3 ) 神经元的转移函数 神经元的各种不同数学模型的主要区别在于采用不同的转移函数，从而使 神经元具有不同的信息处理特性，神经元的转移函数反映了神经元输出与其激 活状态之间的关系，常用的转移函数有以下几种形式： 阀值型转移函数阀值型转移函数采用图2 2 所示的单位阶跃函数，在工 程文献中，这种函数一般称为h e a v i s i d e 函数，用下式定义 删= 托裟 7 成都理工大学硕士学位论文 j f ( z ) 一 o 工 图2 - 2 阀值函数 具有这一作用方式的神经元称为阀值型神经元，这是神经元模型中最简单 的一种，经典的m p 模型就属于这一类。函数中的自变量x 代表刀甜：( f ) 一秒， 即当甩e ( f ) 色时，神经元为兴奋状态，输出为1 ；当力p f ：( f ) 一书中，对具有非线性连续转移函数的多层前馈网络的误差反向 ( e n o rb a c kp r o r a g a t i o n ，简称b p ) 算法进行了详尽的分析。 b p 神经网络( b a c kp r o p a g a t i o nn e u t r a ln e 附o r k ) 通常是指基于误差反向传播 算法( b p 算法) 的多层前向神经网络。多层前向神经网络具有如下特点：( 1 ) 能够 以任意精度逼近任何非线性映射，为复杂系统的建模带来了一种新的非线性的 表达工具。( 2 ) 能够同时处理定量知识和定性知识，能以模式信息表示系统的知 识，并以事例为基础进行学习推理。( 3 ) 它可以学习和自适应未知信息，如果系 统发生了变化可通过修改网络的联接值而改变控制效果。( 4 ) 多输入多输出的结 构模型，可方便用于多变量控制系统，由于具有分布特性，所以多层神经网络 的系统特别适合处理比较复杂的问题。因此b p 神经网络是目前应用最广泛的神 经网络模型。其基本的运算原理是：通过它的学习规则即通过反向传播( b p ) 来调 整网络的权值和阈值使网络误差的平方和最小，这是通过在最速下降方向上不 断调整网络的权值和阈值来实现的。b p 神经网络具有强大的非线性映射能力和 l o 第2 章b p 神经网络 泛化功能，任一连续函数或映射均可采用三层网络加以实现。这样，把它作为控 制器就能够找到相对最优的答案。 b p 算法的基本思想，学习过程包括信号的正向传播与误差的反向传播两个 过程。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出 层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误 差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给 各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单 元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，是周 而复始的。权值不断调整的过程，也就是网络的不断学习训练过程。此过程一 直进行到网络输出的误差减少到可接受的程度，或进行预先设定的学习次数为 止。 但是b p 算法也有其弱点。非常慢的训练速度，高维曲面上局部极小点的逃 离问题，收敛问题等都是困扰b p 网络的严重问题，尤其是后面的两个问题，甚 至可以导致整个网络的失败。虽然它有这些不足，但是，广泛的适用性和有效 性使得神经网络的应用范围得到了较大的扩展。 2 2 1b p 神经网络的结构 采用b p 算法的多层前馈网络是至今为止应用最广泛的神经网络，在多层前 馈网的应用中，以图2 8 所示的单隐层网络的应用最为普遍1 。b p 神经网络由 输入层、若干隐含层和输出层相互连接构成，前、后相连层的任意两节点均连 接，本层和非相邻层各节点间无连接。隐含层的转移函数一般为非线性的s 型 函数坟】沪1 ( 1 + p 。) ，输出层的转移函数可以是线性或非线性的函数。 工l 工霉 n 。m t 图2 8 三层b p 网络结构 当一对学习样本提供给网络后，神经元的激活值从输入层经各中间层向输 出层传播，在输出层的各神经元获得网络的输入响应，接下来按照减少目标输 成都理工大学硕士学位论文 出和实际误差的方向，从输出层经过各中间层逐层修正各连接权值，最后回到 输出层，这种算法称为“误差反向传播算法 ，即b p 算法【6 1 。随着这种误差逆 向传播修正的不断进行，网络对输入模式的响应的正确率也不断上升。 三层前馈网络中，设输入层神经元数为n ，则输入向量为 x = ( 工，x ：，工p ，x 露) r ；设隐含层神经元数为m ，则隐层输出向量为 y = ( y ，y 2 ，y r ，y 。) ，隐含层神经元阀值为秒；设输出层神经元数为t ， 则输出层输出向量为d = ( d 。，d ：，吼，q ) r ，期望输出向量为 d = ( j 。，d ：以，j ，) r ，输出层神经元阀值为r ；输入层到隐层之间的权值矩 阵用w 表示，形= ( ，w 2 ，w m ) ，其中列向量为隐含层第k 个神经 元对应的权向量；隐层到输出层之间的权值矩阵用v 表示， y = ( 1 ，。，y ：，y ，v ，) ，其中列向量y ，为输出层第j 个神经元对应的权向量。 下面分析各层信号之间的数学关系。 对于输出层，有 d t = 厂o 刃。i 一，) k = l ，2 ，t( 2 1 ) 以甜t = y y 撸) ， k = 1 ，2 ，t( 2 2 )以甜t2 乞y fk 2 1 ，2 ，t( 2 2 ) = o 对于隐层，有 j ，f = 厂( 刀刃，一缈j = 1 ，2 ，m ( 2 3 ) 咒甜，：y 五j = l ，2 ，m ( 2 4 ) 咒甜j2 乞嘞薯 j 2 l ，2 ，m ( 2 4 ) f = o 以上两式中，转移函数厂( x ) 均为单极性s i 舯o i d 函数。( 2 1 ) 一( 2 4 ) 式共同构 成了三层前馈网的数学模型。 2 2 2 基本b p 算法 b p 学习算法( b a c kp r o p a g a t i o na 1 9 0 r i t l l i n ) 是训练人工神经网络的基本方 法，它也是一个非常重要且又经典的学习算法，利用它可以实现多层前馈神经 网络权值的调节。这种学习算法的提出对神经网络发展起到了很大的推动作用。 b p 算法的实质是求解误差函数的最小值问题。它是通过一个使代价函数最小化 来完成输入到输出的映射，代价函数是指所有输入模式上输出层单元期望输出 与实际输出的误差平方和。在计算过程中，首先求出输出层神经元输出值的计 算误差，再沿着正向计算过程的反向，将误差信息传递，对连接权进行修正计 算，因此这一计算过程称为反向计算过程，工作信号( 也称为正向传播过程) ： 输入信号向前传播直到在输出端产生的实际输出的信号，工作信号是输入信号 和网络权值的函数；误差信号( 也称反向传播过程) ：实际输出与应有输出之间 1 2 第2 章b p 神经网络 的差值即为误差，误差信号由输出端开始逐层向前传播。 。一、_ ，一、 l r l 。厂、。1 ) 1 l - - 工作信号 误差信号 图2 9 工作信号和误差信号的传播示意图 由图2 9 可知，网络的信号传送是由两部分组成，即正向传播与反向传播， 在正向传播阶段，学习样本送入输入层，经隐含层运算后，传至输出层，每一 层神经元的状态只能影响下一层的神经元的状态，如果输出层没有得到理想的 输出结果，即网络的实际输出与期望输出之间存在一定的误差，那么计算输出 层的误差变化值，进入到输入误差反向传播阶段，此时误差信号沿着原来的连 接从输出层返回到输入层，并逐层调整连接权值，从而使误差达到最小，输出 层对产生误差的调整，首先必须通过改变隐层与输出层之间的连接权值来实现， 而隐层要能继续对输出层反传过来的误差反转，也要调整前一隐层( 或输入层) 与它之间的连接权值，如此下去，这就是b p 网络学习过程的一个重要特点。 ( 1 ) b p 学习算法 下面以三层前馈网为例介绍b p 学习算法，然后将所得的结论推广到一般的 多层前馈网的情况。事先约定，在全部推导过程中，设输入层，隐含层，输出 层神经元数目分别为n ，m ，t ；对输出层均有j = 0 ，1 ，2 m ； k - 1 ，2 t ； 对隐含层均有j = 1 ，2 m ；i = o ，1 ，2 n 。隐含层与输出层神经元的阀 值为o 。 网络误差与权值调整 当网络输出与期望输出不等时，存在输出误差e ，定义如下 ，1f 2 e = 寺( d d ) 2 = 寺( 以一) ( 2 5 ) 二 二量= l 将以上误差定义式展开至隐层，有 e = 去泓柏甜= 三泓喇弧) f ( 2 6 ) 二树树间 进一步展开至输入层，有 1 3 成都理工大学硕士学位论文 e = 去p 。一九厂( 刀p f ，) 】) 2 = 专 以一九厂( 嘞) 】) 2 ( 2 7 ) = l j = 0 t = l 2 u i 钏 由上式可以看到，网络输出误差是各层权值y 髓，的函数，因此调整权值 可以改变误差e 。 显然，调整权值的原则是使误差不断的减小，因此应该使权值的调整量与 误差的负梯度成正比，即 21 嚣 嵋叫嚣 j = o ，1 ，2 m ；l 产1 ，2 t ( 2 8 a ) j = 1 ，2 m ； i o ，1 ，2 n ( 2 8 b ) 式中负号表示梯度的下降，常数7 7 ( o ，1 ) 表示比例系数，在训练中反映了学 习速率。 b p 算法的数学推导 式( 2 8 ) 仅仅是对权值调整思路的数学表达，而不是具体的权值调整计算 式。下面推导三层b p 算法权值调整的计算式。 对于输出层和隐含层，式( 2 8 ) 可写成 饥：一7 7 堕：一7 7 旦咝 ( 2 9 a ) 加矿叩瓦一刁瓦贡 坦，副 w 沪一7 7 堕：吲旦丝 ( 2 9 b ) 名= 一7 7 _ = - 一= 刀= ：_ l ：z y d 夕 二 洲q硼e t 洲口 对于输出层和隐含层各定义一个误差信号，令 础：一生 ( 2 1 0 a ) “ 锄 万，：一竺 ( 2 1 0 b ) j 翻e t j 结合式( 2 2 ) 和式( 2 1 0 a ) 可以将( 2 9 a ) 的权值调整式改写为 1 ，庸= 移群y f ( 2 1 1 a ) 结合式( 2 4 ) 和式( 2 1 0 b ) 可以将( 2 9 b ) 的权值调整式改写为 咄= 7 7 j ? 五 ( 2 1 l b ) 可以看出，只要计算出式( 2 1 1 ) 中的误差信号群和万? ，权值调整量的计 算推导即可完成。下面继续推导如何求艿? 和万f 。 对于输出层，醒可以展开为 1 4 第2 章b p 神经网络 群一岳一署畚一嚣八训 眩协， 对于隐层，彤可以展开为 彤一嚣一考告一若伽。， 眨m ， 下面求式( 2 1 2 ) 中误差对各层输出的偏导。 对于输出层，利用式( 2 5 ) ，可得 鲨l = 一( d 。一d 。) ( 2 1 3 a ) u o x 对于隐层，利用式( 2 6 ) ，可得 筹一缸飞扒删以 ( 2 1 3 b ) 将以上结果代入式( 2 1 2 ) ，并根据f 【x ) 具有连续，可导的特点，并且有 厂。( 炉厂( x ) 【l 厂( x ) 】 可以得到 醒= 口i d i ) 吼( 1 一d 七) ( 2 1 4 a ) 彤= ( 掣1 ，肛) y 羽一少，) ( 2 1 4 b ) 至此两个误差信号的推导已经完成，将式( 2 1 4 ) 带回到式( 2 1 1 ) ，得到三层前 馈网的b p 学习算法权值调整计算公式为 = 刁群y ，= 刁( 吐一d i ) d i ( 1 一d 七) 夕j j 蛳口= q 6 x l = q 匹6 ：v j o y j q y j 、) x j 七= l ( 2 ) b p 算法的实现步骤： b p 学习算法分为输入前向计算和误差反向传播两个阶段，以三层b p 神经 网络为例，假设输出层和隐含层神经元的激活函数为单极性s i 舯o i d 函数，网络 有n 个输入，q 个输出，隐含层有p 个神经元，整个学习过程可分为以下几个步 骤，如图2 1 0 所示。 1 5 成都理工大学硕士学位论文 图2 1 0 b p 算法实现过程 初始化网络及学习参数 初始化参数包括网络输入层和隐含层神经元之间的连接权值w 。、隐含层和 输出层神经元之间的连接权值1 ，。、隐含层神经元的阀值口，、输出层神经元的阀 值，这些参数通过可以用【1 ，1 】之间的随机数来对其初始化。 除了上述参数外，通常还需要指定学习速率孙误差限定值占等参数。 输入训练样本 b p 神经网络的训练样本由两部分组成：输入向量x ， 矸，x ：，x ：】和 对应的期望输出向量y ， y ? ，少；，y ：】，k 表示第几个训练模式，即样本对。 计算隐含层各神经元的输入激活值s ；和响应输出值z ； 隐含层各神经元的输入激活值s ；的计算公式为： s j = 坳x ? 一b f = i 其中j = 1 ，2 p 。隐含层各神经元的响应输出值z ；= 厂( s ；) ，函数厂是隐含层 神经元的激活函数( 或称为转换函数、传递函数) ，通常采用非线性、可微、非递 减的s i 肿o i d 型函数。 1 6 第2 章b p 神经网络 计算输出层各神经元的输入激活值譬，和响应输出值t 输出层各神经元的输入激活值口的计算公式为： 口= v 乒z ；一 j = l 其中仁1 ，2 q 。输出层各神经元的响应输出值c ? = 厂( 矿) 。函数厂是 s i 舯o i d 型函数。 计算网络的全局平方和误差e 在b p 学习算法中，可用网络的全局平方和误差e 来判断网络输出层的实际 响应输出是否与期望响应输出一致，其计算公式为： e = b 耻圭鳢掣 其中臣为第k 个训练模式的输出平方和误差。 判断网络学习是否结束 当网络的全局平方和误差e 小于预先设定的限定值s ( 当网络收敛时) 或学习 次数n 大于预先设定的数值m ( 当网络无法收敛时) 时，网络就会停止学习。若 网络的全局平方和误差e 超出了预先设定的限定值s ，则继续后面的步骤。 通常，g 可以取1 0 。3 ，或更小的值，最大训练次数m 一般要根据实际情况 来选取。 计算输出层和隐含层各神经元的修正误差 若输出层神经元的期望输出向量为】，【计，少；，y ：】，实际输出向量 为c 置= 瞄，e 】，则输出层各神经元的修正误差为： d ? = ( y ；一c ? ) c ? ( 1 0 ) 其中仁1 ，2 q 。 根据已经计算出的输出层各神经元修正误差d 广以及1 ，f 和z ；，可以计算 隐含层各神经元的修正误差为： 弓= 匹d 7 】z ；( 卜z ；) 其中j = l ，2 p 。 根据修正误差的反向传播，逐层修正连接权值及阀值 标准b p 学习算法用最速梯度下降法，反向调整连接权值及阀值，使误差最 小。隐含层与输出层神经元之间的连接权值调整公式如下式( 2 1 5 ) ，输入层与隐 含层之间的连接权值调整公式如式( 2 1 6 ) 。 1 7 成都理工大学硕士学位论文 v ，f ( + 1 ) = v f ( ) + v f ( + 1 ) ( 2 1 5 ) 嘞( + 1 ) = 嘞( ) + ( + 1 ) ( 2 1 6 ) 其中仁1 ，2 n ，n 为迭代学习次数，v 。( + 1 ) 为第n + 1 次学习时隐含层和输 出层神经元之间连接权值的修正量。，( + 1 ) 为第n + 1 次学习时输入层和隐 含层神经元之间连接权值的修正量。 加f ( + 1 ) = 私? z ； ( 2 1 7 ) ( + 1 ) = 彬；( 2 1 8 ) 此外，输出层、隐含层神经元的阀值调整公式分别如式2 1 7 、式2 1 8 所示。在 式2 1 7 、式2 1 8 和式2 1 9 、式2 3 0 中，叩为学习速率，是一常数。 ( + 1 ) = ( 9 + 7 7 d ?( 2 1 9 ) 乡，( + 1 ) = p ，( ) + 7 矽； ( 2 2 0 ) 返回步骤继续训练，直到网络的全局平方和误差e 满足条件为止。 ( 3 ) b p 算法的优点与不足 总的说来，b p 网络的主要优点有【2 5 】： 算法推导清楚，学习精度较高； 经过训练后的b p 网络，运行速度很快，有的可用于实时处理： 多层( 至少三层) b p 网络具有理论上逼近任意非线性连续函数的能力； 神经网络是一个复杂的非线性网络，其网络误差也是一个复杂的非线性函 数，它不仅与连接权值有关系，而且与输入样本和输出期望值有关系。就连接 权而言，权值空间为一高维的复杂空间。因此，网络误差是在高维空间中具有 复杂形状的曲面，对这样复杂的误差曲面，沿负梯度方向调整连接权值，可能 出现不同的情况。如图2 1 1 w w 女镕 警“。 。 图2 1l 神经网络的误差曲面 ( 1 ) 收敛到局部极小点。b p 算法采用的是梯度下降法，训练是从某一起始点 沿着误差函数的斜面逐渐达到误差的最小值。而网络误差曲面是高维的凹凸不 平的复杂的曲面，在学习中很容易到达某个局部极小点。 $哮toffltt*霉4ftl#童 #0#蓥# 曩鬻曩餐辨= 第2 章b p 神经网络 ( 2 ) 在平坦区域连接权值调整缓慢。误差曲面往往存在一些平坦的区域，由 于激活函数的导数趋于零，使得修正量形趋于零，因而网络连接权的调整过