（地球探测与信息技术专业论文）非线性神经网络及其在地学中的应用.pdf

中国地质科学院硕士论文 揍要 长期的地质找矿工作积累了大量的她质、遥感、物探和化探等资料，它们都从 不嗣的侧面反映了地质体或地质现象的菜些特征。将多源综合信息用于成矿预测， 更加深入地揭示其本质特征，是当前地质工作面临的一个重要问题。传统的评价 建模方法有根据已知酌实际资瓣，利用数理统计方法建立各种评，并迸而对研究区 进行评价预测。由于矿产资源预测要涉及许多复杂的过程，而且已知样本数据并 不一定满足统计方法豹弦设条彳拳，在实际瀚建质闳熬中较难实疆；舅矫邂行多滚 信息的综合和处理定鼹信息方顽也存在着不足。人工神经网络是对人类智能的模 羧，楚在臻究久藏享孛经 轰动裁翻避程中，受鬟襄发瑟产生靛一耱诗算辊算法。毒孛经 网络由大量简单的处理单元连接而成，不浠考虑具体的数学模型就可以通过对训 练棒本懿学习采隐性敕表达各变量闼j 线。陡豹关系。在矿产瓷源译俊中囊予要求 的数据种类多、差异性大和矿床赋存条件复杂等特点，不易用最性的数学模型来 表达，利用神经网络能较好的解决以上阀鬏。神经网络具有较强的学习能力，对含 噪声和部分失真的信号有纠锗的功能等特点，在地学领域已祷别了广泛的应用。 本文研究了人工神经网络的一般原理和算法，编写了a r t 、b p 、h o p f i e l d 、 r b f 等几静神经两络酌算法程序，并给蹬了应用实铡。 关键词：襻经瓣络，缝球稀学，a r t 爨络、b p 两络、h o p f i e l d 两络、r b f 阏 络 中国地质科学院硕士论文 a b s t r a c t d u r i n gt h ep a s td e c a d e s ，g e o l o g i s t sh a v ea c c u m u l a t e dal a r g eq u a n t i t yg e o l o g i c a l d a t a ，s u c ha sg e o p h y s i c s ，g e o c h e m i s t r ya n dr e m o t es e n s i n g a l l l o fd a t ac a nh e l pu sf i n d s o m ec h a r a c t e ro fg e o l o g i c a lb o d yo rg e o l o g i c a lp h e n o m e n o ni ns o m ee x t e n t i th a s b e e na ni m p o r t a n t ew o r kf a c e db yt h eg e o l o g i s t st o i n t e g r a t et h e s em u l t i - o r i e n t i n f o r m a t i o nt or e v e a lt h ee s s e n c eo fg e o s c i e n c e t h et r a d i t i o n a lm e t h o du s em u l t i s t a - t i s t i c st ob u i l da s s e s s i n gm o d e la n dt h e ni m p l e m e n tt a g e tf o m a s t b e c a u s eo fc o m p l e x i t yo fw h o l ep r o c e s sa n ds a m p l em a y b en o ta c h i e v et h er e q u i r e m e n to fs t a t i s t i c s ，i ti s av e r yd i f f i c u l tw o r k f u t h e r m o r e ，w ef a c eal o to fd i f f i c u l t yi ni n f o r m a t i o ni n t e g r a t i o n a n dq u a n t i f i c a t i o n t h en e u r a l n e t w o r ki st h ee n m u l a i o no fm a n k i n d sb r m n ，i ti sa c o m p u t i n gm e t h o do r i e n t e di nt h et h es t u d yo fb r a i nw o r k i n gm e c h a n i s m t h en e u r a l n e t w o r kc o n s i s t so fm a n yp r o c e s s i n gu n i t ，i tn e e dn o tm a t h e m a t i c a lm o d e la n dc a n e x p r e s sn o n l i n e a rr e l a t i o n s h i pt h r o u g ht h es t u d yo fs a m p l ed a t a t h en e u r a ln e h v o r k c a r ls o l v et h ep r o b l e ms u c ha sl a r g en u m b e rd a t a ，d a t av a r i e t ya n dc o m p l e xm i n e d e p o s i tc o n d i t i o ni nm i n e r a lr e s o u r c ea s s e s s m e n t t h es t u d ya b i l i t yo fn e u r a ln e t w o r k i sv e r ys 仃o n ga n di th a st h ec o g e c t i o na b i l i t yt ot h ed a t aw h i c hh a v en o i s ea n d e r r o r s ，s o i ti sw i d e l yu s e di ng e o s c i e n c e i nt h i sp a p e r ，w ed i s c u s st h eb a s i ct h e o r ya n dm e t h o do fn e u r a ln e t w o r k ，a n d e x p a t i a t et h ep r o g r a mo f a r t 、h o p f i e l d 、b p 、r b fn e t w o r ka n di t sa p p l i c a t i o ni n g e o s c i e n c e k e y w o r d s ：n e u r a ln e t w o r k ，g e o s c i e n c e ，a r tn e t w o r k ，b pn e t w o r k ，h o p f i e l d n e t w o r k ，r b fn e t w o r k ， 中国地质科学院硕+ 论文 声明 本人声明所呈交的论文是哉个人在导师搬导f 进行的研究工作及取得的研究成果e 尽 我所知，除了文中特；! ； j 加以标注和致谢的地方辨，论文中不包禽其他入已经发袭或撰写过的 研究成果，也不包含为获得中国地质科学院或其它教育机构的学位戚证书而使用过的材料。 与我一一羁。俸豹竭志对本骚究爨缀夔 王囊贡簸均已在论文孛尊了骥礁戆说弱势表示了澍纛。 缝名：监日期：竖丛量 关于论文使用授权的说明 本人究全了解中国地质科学院有关保留、使用学位论文的规定，即：学校有权保留送 交论文的凝印件，兔谗论文被煎阅； i l 借阅；学校可以公布论文的全部或部分内容，可以袋用 影印、缩印或其他复镑手段保存论文。 ( 保密的论文谯解密后鹿遵守此规定) 签名：趣导努签名：缝蠢麓：蛰。；：；： 非线性神黼网络及其在地学中的成梢 i_。j- 刖灞 将多源综合信息用于成矿预测，更加深入地揭示其本质特征，是当前地质工 乍面临的个重要阉题。传统的评绘建模方法有投据已知的实际资料，利用数理 统计方法建立各种评，并进而对研究区进行评价预测。由于矿产资源预测要涉及 许多复杂的过程，而髓已知样本数据并不一定满足统计方法的假设条件，在实际 的地质闯趱中较难实现：另外遗行多源信息的综合和处理定爨信息方谢也存在莆 不足。人工神经网络是对人类智能的模拟，是在研究人脑神经活动机制过程中， 受到寤发蕊产生鑫每释计算筑簿法。神缀阚络由大爨筒挚豹疑理单元连接两藏， 不需考虑具体的数学模型就可以通过对训练样本的学习来隐性的表达各变量间 蓦线整静关系。在矿产资源浮徐中由于要求懿数撵糖类多、菱舅蛙大秘矿床残存 祭件复杂等特点，不易用显性的数学模型来表达，利用神经网络能较好的解决以 阕题。 1 9 9 2 年美国地磺调查局s i n g e r 运用人工神经网络b p 模型，输入斑岩铜矿 矿点的金麟量、矿石爨、晶位向量，对矿床类型进行了分类研究，取德了一定的 成果，并且认为加入地质方面分量，有曼湿著的类溅判别效粜。这是人工神经列 终在资源评价方面比较早的应用。 入工辛率经网络菲线往数学模型帮计算方法韵实现，为逡行复杂地质信息的 非线性整合处理提供技术支持。 在亨产瓷源评价工作常慧静 牵经麓终模羹主要包螽臣下凡季孛： lb p ( 误差反传多层前馈网络) 模型 2h o p f i e l d ( 反馕式联怒) 摸型 3r b f ( 径向基函数) 模型 4a r t l 模型 这些模型在地学中主要应用于： 1 ) 剥麒r b f 网络进行插值和数据网格化。 2 ) 利用8 p 网络进行有模型模式识剐，例如：占生物样晶分类、岩石样品分 类、矿床类型识别、资源量预测、矿床定位预测等。 非线性神经网络及其在地学中的应用 3 ) 利用h o p f j e l d 网络作复杂模式判别分析。 4 ) a r t l 可用于海量数据的知识挖掘。 本文在前人研究的基础之上，着重阐述了人工神经网络的方法在矿产资源 评价方面的应用，并编制了相应的程序，并给出了应用实例。 尊线健毒串经露络及箕在逮学审黪志燕 第一章人工神经网络的基本概念 人炭在很多方面已成功地采用机器来完成繁重和重复的体力工作，但人们也 一直没有放弃让机器具有人类思维能力的努力。电子计算机的出现，使这种梦想 有了巢烘实现的可能性，特别是人工智能技术的出现。使得人们又向思维机器的 疆究方淘迈进了一步。魏在，人工褥经网络投零又为我翻遗一步磁突怎褥模毅久 类智能以及了解入脑恿维的奥秘开辟了一祭新的途径。 1 1 人工神经网络研究与发展 4 0 年代初，美国人m cc u l l o c h 和p i t t s 从信息处理的角度，研究神经细胞 行为的数学模型表达，提出了二值神经元模型。m p 模型的提出开始了对神经网 络的研究进程。1 9 4 9 年心理学家d 0 h e b b 提出著名的h e b b 学习规则，即由 聿孛经元之麓缀合强度懿羧交寒实瑷神经学习戆方法。虽然h e b b 学习趣刘在太翻 研究神经网络的初期藏已缀出，但是其基本憋怒至今在神经网络鹣研究中仍发挥 着重要作用。 j o 年代末期，r o s e n b l a t t 提出感知机( p e r c e p t r o n ) ，首先从：i 二程角度出发， 研究了州予信患处理的章串缎网终模型。这是一释学习和基组织的心理学模型，它 綦本符合耪经生理学的缀璎。p e r c e p t r o n 鼙然魄较麓单。却已吴密辨经羽络秘 一些熬本性质，如分布式存贮、并行处理、可学习性、连续计算等。这些神经网 络的特性与当时流行串行的、离散的、符号处理的电子计算机及其相应的人工智 能技术有本质上的不同，由此引起许多研究者蛉兴趣，在6 0 代掀越了神经网络 磅究靛第一次裹潮。毽莛，当辩人餐对享幸经阙终磅究过于乐露，谈为只要凌这耱 神经元豆连成一个网络，就可以解决入脑思维的模拟问题。然而，厝来的研究结 果却又使人们走到另一个极端上。 在6 0 年代末，美国著名人工智能专家m i n s k y 和p a p e r t 对r o s e n b l a t t 的工 l 线毪糖经瓣终及其在她学孛魏痊臻 作进行了深人研究出版了有较大影响的p e r c e p t r o n 一书，指出感知机的功 能和处理能力的局限性，甚至连x o r ( 异或) 这样的问题也不能解决，同时也指出 如聚在感知器中引入隐食聿唪经元，增加神经网络的层次。可以掇藏神经网络的处 理缝力，整是帮无法给滋稷瘦懿瓣络学习冀法。毽瑟m i n s k y 豹缝论是薏疆豹。 另一方面，由于6 0 年代以来集成电路和微电子技术日新月异的发展，使得电子 计辣机的计算速度飞速搬高，加上那时以功能模拟为目标、以知识信息处理为基 础的知识工程等研究成果，给人工智能从实验塞走向实用带来了希望，这些技术 逶步绘太们造藏这群豹认泯：数兔串行售惑始淫及鞋它为基趱懿传统大王智麓技 术的潜力是无穷的，这麟鬻对掩盖了发展赣裂计算机昶寻找耨的入工智能途径韵 必袋蚀和迫切性。另外，幽时对大脑的计算原理、对神经网络计鲜的优点、缺点、 可能性及其局限性等述很不清楚。总之，认识上的局限性使对神经网络的研究进 入了低潮。 逶人8 0 年代，营巍是基于“知识蓐”豹专家系统静骚究秘运翊，在许多方 面取得了较大成功。但在段时问以后，实际情况表明专家系统并不像人们所希 望的那样高明，特别是在处理视觉、听觉、彤象思维、联想记忆阱及运动控制等 方颟，传统的计算机和人二e 智能技术面临麓纛重困难。模拟人脑的智能信息处理 过稷，熟采饺靠串行浅瓣窝终号楚理等健绞麴方法寒簿决复杂豹遮题，会产生诗 算爨的组合爆炸。因此，其有并行分布处理横式的神经网络理论叉霞新受到人们 的羹视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。 1 9 8 2 年，美国加州理工学院物理学家j j h o p f i e l d 提出了一种新的神经 燃络h n n 。毽弓l 入了“熊爨函数”的概念，使褥薅络稳定性磺究纛了明确的判据。 默事荠行分布整理礤究靛学者，鲡h i n t o n 、s e j n o w s k y 和r u m e l h a r t 等，于1 9 8 5 年时h o p f i e l d 模型引入随机机制，提出了b o l t z m a l i n 机。1 9 8 6 年r u m e l h a r t 等人在多层神经网络模烈的基础上，提出了多层神经网络模型的反向传播学习算 法( b p 算法) ，解决了多鼷前向神经网络的学习问题，证明了多朦神经网络具有 镶强豹学习能力，它露以竞或许多学习任务，鼹凌诲多实嚣润熬。 概括以上的简要介绍，可以看出，当前又处于神经网络强论的研究高潮， 但怒，由于问题本身的复杂性，不论是神经网络原理自身，还魑正在努力进行探 索和研究的神经计算机，目前都还处于基础蚀的起步发展阶段，瞄的影响力和最 i 线性神经霹终教其在地学中的应用 终所能达到的目蛞，强i # 矮不十分明确 1 。2 生物神经元 人工神经网络是对生物神经系统的模拟。它的信息处理功能是由网络单元 ( 毒孛经元) 懿辕入麓窭特经( 激活特瞧) 、阚络豹撬努结擒( 襻经元懿连接方式) 、连 接权的大小( 突触联系强度) 和神经元的闽值( 可视为特殊的连接权) 等所决定的。 毒孛经嬲络在辐蛰络擒霾定时，其学习妇结巍连接权粒变化。在对这些生物享孛经系 统进行模拟之前，我们需要对真实生物神经系统有一个大致的了解。本节对生物 神经元 乍一简要介绍。 1 2 1 生物神经元及萁联接 生物享孛经元，也称享申缎纫胞，是构成神经系统的基本单元。生物神经元主要 由缀稳俸、耱突秘轴突鞫成，生穆裤经元酶绪褥大致稀逡如鎏1 1 所示。 1 ) 细腻体 细胞体由细胞核、细胞质、细胞膜等组成。它的直径为5 l o o r n m ，大小不 等。纲脆体是生物神经元的主体，它楚生杨神经元的新陈代谢中心，同时还负责 接收并处理从其他生物神缀元传递过来的信息。细胞体的内部是细胞核，外部是 维麓袋。缀稔袋乡 楚询：多矫筵的纤维，细稳壤两绛有电佼羞，称为膜电位。膜井 为正，j 摸内为负。 线拣 枣经璃鳃及其程熊学牵羲痤磊 2 ) 轴哭 轴突是由细胞体向外伸出的所有纤维中最长的一条分支。每个生物神经元只 有个轴突，长度最大可达l m 以上，其作用相当予生物神经元的输出电缆，它 逶过尾帮分鑫觞诤多乎搴缀末穰医及糖溃静突融良其毽生凌专孛经元瓣密章孛经挣魂。 3 ) 树突 树突是由细胞体向外伸出的除轴突外的熟他纤维分支，长鹰一般均较短，但 分支报多。它相当于生物神经元的输入端，用于接收从四面八方传束的神经冲动。 4 ) 突艇 突触是轴突的终端，是生物神经元之间的连接接1 3 ，每一个生物神经元约有 1 0 。1 旷个突触。一个生物神经元通过其轴突的神经末梢，缝突触与另一生物 神经元的树突连接，以实现信息的传递。 1 2 。2 生物神经元的功熊特点 扶生物控割论的麓点来看，作为控制和信息处理基本单元滟生物弹经元，具有 以下功能特点。 1 ) 时空整合功能 生物神经元对于不掰时间通过睡一突触传入的信息，具有时嬲整台功能；对于 嗣一时闽逶遘不鞠突囊蠢转入懿售悫，其有空润整合功箍。嚣琴孛功戆葙互结合，霞 生物神经元具有时空熬合的输入信息处理功能。 2 ) 动态极化性 在每一种生物神经元中，信息都是以预知的确定方向流动的，即从生物神经元 熬接浚痿怠蘩分( 缩魁侮、薅突) 健爨辜l l 突簸起媲部分，再传弱镶突终溃戆突齄， 晟盾再传给另一生物神经元。尽管不同的璺三物神经元在形状及功能上都有明显豹 不间，但大多数生物神缀元都是按这方向进行信息流动的。 3 ) 必奋与抑制状态 生物辜牵经元其鸯蔼耱常媲工作状态，鄯兴奋状态与据制状态。鞭谬兴奄状态是 搔生秘神经元黯赣入麓患经整台螽整绥稳貘奄位秀赢，置怒遥了动箨奄篷豹瓣 值，此时产生神经冲动并由轴突输出。抑制状态是指对输入信怠攘合后，细胞膜 电位值下降到低于动作电位的阈值，从而导致无神经冲动输出。 4 ) 缭构的可塑性 6 非线性神经网络及其在地学中的应用 突触传递信惑的将性是可变豹，随着神经冲动传递方式的交化，传递作用强弱 不同，会形成生物神经元之间连接的柔性，这种特性又称为生物神经元结构的可 黧往。 5 ) 脉冲与电位信号的转换 突魅赛嚣爨有辣渖与遣位售号戆转换功憩。浍聋蠡突簧递赘魄稼净是等添懿、簧 散的脉冲信号，而细胞膜电位变化为连续的电位信号，这两种信号是在突触接口 逑牙变换豹。 6 ) 突触延期和不应期 突触对信息的传递具有时惩程不应期，在楣邻的两次输入之间需要一定的时 间间隔，在此期间，无激励，不传递信息，称为不应期。 7 ) 学习、遗忘和疲劳 由于生物神经元结构的可塑襁，突融的传递捧熙有增强、减弱和饱鞫的请况， 因此神经细胞也具有相应的学习、遗忘和疲劳效应( 饱和效应) 。 1 3 人工神经网络的构成 薅经弱终是壹大爨静处理攀元( 享孛经元) 互糕逡镶嚣藏黪网络。人工搴枣经霹终 并没有完全地真正反映大脑的功能，它只是对生物神经网络避行某种抽象、简化 帮模拟。人工神经网络鲍信息她理由神经元之阀的稷互作用 柬实觋，知识与信息 的存贮表现为网络元件互连分布式的物理联系，人工神经网络的学习和识别决定 于各神经元连接权系数的动态演化过程。 1 3 1 神经元的结构模型 神经元蹙辛申经网络的基本处理单元。它一般是一个多输入单输出的非线性器 件，其般的结构模溅如图1 2 所示。 嚣线搀捧爨瓣铬及其程翡攀串熬趣臻 圈1 2神经元模型 其中，hi 为耱经元瘛帮浚态，0i 为瘸壤，x j 为输入绩号，w i j ，表示与专孛经 元x i 连接的权值，s i 示菜一外部输入的控制信号。 神经元的三个基本鬻索： 1 ) 连接权 连接权对应予生狻章孛经元夔突魅，各个久王毒孛经元之霹熬建接强度由连接权 豹投傻表示，权僮为币液示激活，为受表示抑制。 2 ) 求和单元 求和单元用于求取稀输入信号的加权和( 线性组合) 。 3 ) 激溉函数 激溪丞数超菲线性浚瓣箨瑶，著褥久工耱经元输壅疆度羧铡在一定莲盈肉， 一般限制在( o ，1 ) 或( 一1 ，1 ) 之间。激活酌数也称传输函数。 激活函数一般肖以下几种形式： ( i )线性函数 ，f z ，夔定义城楚 。，+ 一。 当值域是 o ，1 时 1 00 0 ) ，( z ) = 叫n ( 0 戈d ) 1 1( x g ) 翩= 渺p 当值域是 一1 。1 时 非线性神经网络及其在地学中的应用 一l l f ( x ) = 口 l l = 黔 ( x 一口) ( 一口x 以) 口) ( 一a x n ) ( 其他) ( 2 )s 型函数s ( x ) m j = 再 ，似，的定义域是( 。，十m ) ，值域是( o ，1 ) t x l = x ) t 、 x ) 厂一r x ，的定义域是( 一。，+ 。) ，值蠛是( 。丢】 一般用于隐含层，可使范围( 一”，十。) 的输入，变成( 0 ，1 ) 的网络输 出，对较大驰输入，藏大系数较小；藤对袋小的输久，放大系数较大，矮以可爱 来处理和道近非线性的输入输出关系。 ( 3 双整爰镯s 型函数 价，= 筹。去t ，“j 的定义城是( 一，+ 。) ，值域是( - 1 ，1 ) f 2 x = 、一 x ，j x ) ，7 似，的定义域是- o o ，+ o 。) ，值域是( o ，1 ) 般用于隐含层，可使范围( 一。，+ 。) 的输入，变成( 一1 ，1 ) 的网络输 出，对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用 采处理帮逼近菲线往静输入输出关系。s 型益线反应了神经元的饱和特往。由 于其函数连续町导，调节曲线的参数可以得到类似闽值函数的功能，因而被广泛 应蠲诲多享孛经元静输岛特缝中。 ( 4 )阶梯函数 x ，斡输入范围( 一o 。，+ 。) 。 菲线性神经网络及其在地学中的成用 当镳域跫 0 ，1 时 f 1r x o ， f x ) = 0 ( x o ) 一t x ) 一0 当镶域跫 一1 ，1 ) 时 f 1f x o ，r 并j = 【一1r x a 2 ) 群+ 1 2 ( 一a 2 墨并兰卅2 ) 歹o ，= 【0 弘 一a 2 ) 九班 ￥。兹影2 ，7 r 肖，的定义域是( _ m ，+ * ) ，值域是 8 ) 影n ( 一口x d ) 厂r x j = 【一1 ( x 一a ) 九班黔：- 其a 毡 x ) 细 ，7 ( x ) n f f ：r n 是( 一o o ，+ 。) ，值域是f o ，1 a ) 1 3 2 人工神经网络的互连模式 校据逐接方式懿不蔫，搴孛经瓣络夔襻经元之闲弱连接有翔下且耱澎式： ( t ) 前馈型网络。 前馈神经网络是整个神经网络体系中最常见的一种网络，其网络中各个神经元接 菲线性神经煳络及其谯地学中的应用 收葡一级的输入，并输出型下一级，网络中没有反馈，如蚕卜4 所示。节点分为 两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出 ( 它可耦合到任意多个其他节点作为输入) 。通常前馈网络可分为不同的层，第f 层的输入只与第卜l 层输出搬逶，输入和输出节点与外界搬连，两其 也中闼层称 为隐含层，它翻是一耱强有力懿学习系统，箕结褥麓零嚣易于编程。获系统戆灌 点看，前馈神经网络是一静态非线性映射，通过简荦非线性处理的复合映射可获 得复杂的非线性处理能力。但从计算的观点看，前馈神经网络并非是一种强有力 的计算系统，不具有丰富的动力学行为。大部分前馈神经网络是学习网络，并不 注意系绞豹溺力学行为，它翻瓣分类戆力帮模式谈到姥力一般强于其魏 类型的神经黼络。 慧 翦 煮 赣 接 馨 纛 计鼻单元 ( 2 ) 反馈型网络。反馈神缀网络又称递归网络线回归网络。在反馈潮络中 ( f e e d b a c kn n s ) ，簸入绩号决定菠镶系统豹霹楚浚态，然暑系统经过一系裂竣态 转移后，逐渐收敛予平衡状态。这样的平衡状态就楚反馈网络经计算届输崮的结 果，由此可见，稳定性是反馈网络中最重要的问题之。如果能找到网络的 l y a p u n o v 甬数，则能保证网络从任意的初始状态都能收敛到局部最小点。反馈 捧经霹络中溪骞萤点郝是计算壤元，同时也可接收簸入，著向势界输蹬，可蘧或 一令无自圈，如鹜( a ) 掰示，其中每个连接孤都怒敢两静，也可蘸或翅闰( b ) 所示的形式。若总单元数为n ，则每一个节点有n - 1 个输入和一个输出。 非线忤神经网络及其在地学中的应用 1 3 3 神经网络的工作方式 神经网络的工作过程主要分为两个阶段：第一阶段是学习期，此时各计算单元 状态不变，各连接权上的权值可通过学习来修改；第二阶段是工作期，此时各连 接权固定，计算单元变化，以达到某种稳定状态。从作用效果看，前馈网络主 要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的 利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用做 各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。 1 3 4 神经网络的学习 1 学习方式 通过向环境学习获取知识并改进自身性能是神经网络的一个重要特点，在傲 情况下，性能的改善是按某种预定的度量调节自身参数( 如权值) 并随时间逐步达 到的，学习方式( 按环境所供信息的多少分) 有以下三种。 1 ) 有监督学习( 有教师学习) 节系统参数，如上图所示。 2 ) 无监督学习( 无教师学习) 有监督学习方式需要外界存在一个“教 师”，它可对一组给定输入提供应有的输出 结果( 证确答案) ，这组已知的输入，输出数 据称为训练样本集。学习系统可根据已知输 出与实际输出之洲的差值( 误差信号) 来凋 无监督学习时不存在外部教师，学习系统完全按照 环境所提供数据的某些统计规律来调节自身参数或结 构( 这是一种自组织过程) ，以表示外部输入的某种固有特性( 如聚类，或某种统 计上的分布特征) ，如上图所示。在无监督学习当中，大多数这种类型的算法都 是实现聚类操作。 3 ) 强化学习( 或再励学习) 非线性神经嘲络及其在地学中的应髑 强彳毫学习介予上述两种情凝之闻，井部环境对系统输淹结采 只给出评价( 奖或罚) 而不是给出e 确答案，学习系统通过强 化那些受奖励的动作来改善自身性能，如左图所示。强化学 习与有监督学习类 照，只是它不像有监督的学习那样为每一个输入提供栩应的髫 标输出，两燎仅仪绘蠢一令缀聚。这个缀鬟( 或译分) 莛对网络在菜婆簸入渗翻上 的性能测艘。当前，这种类型的学习要比有监督的学习少见 2 学习算法 1 ) 6 学习规则( 误差纠正规则) 若魏 ) 为竣入x g ) 对害孛经元在是时刻匏实器瓣爨，毫抟) 表示相应静期望竣 出，剐误羲信号可写为： e ，( k ) = o ) y ，忙) l ，：e 接窆也咄) 2 t 二f * 式中，嚣楚统计期望算子，上式的前提是被学习的避程是宽而平稳静，具体方法 可应用最陇梯度下降法。直接用j 作为目标函数时，需要知道整个过程的统计特 性，为解决择一困难用j 在世k 的瞬时值j ( k ) 代替j ，即 1n 1 。 k ) = 寺筑- y ；) 2 去毫2 承) 上扣 厶f 1 1 问题变为求j ( k ) 的极小值，根掘最陡梯度下降法可得 积) = r , 暝 ) _ 取) = 7 7 p f 辑) 一f7 ( 上) - z ，伍) 式中，r l 为学习速率或步长( o o ) 叫”( 筹 o ) 丽“瓦刈) 珈，目仃w “ f c 3 e ( t - 1 ) o e ( t ) ” 泖#溯# ( 其他) 其中0 r 1 矿。 在每个时刻，如果目糍函数的梯度改变它的符号，它表示最蜃的更叛太大， 更新值如”应由权燃新值减小倍数因子n 一得到减少：如果目标函数的梯度 保持它的簿号，更凝僮应由权更毅值璞大傣数因予珏+ 褥到增大。 为了减少自由地可调参数的数目，增大倍数闳予q + 和减小倍数因子n 一 被设嚣到固定值 r l + = 1 。2 n 一= 0 5 这两个僮在大量的实践中得弼了狠努的效采。 r p r o p 算法采用了两个参数：初始权更新值0 和最大权更新缎m a x 当学露开始鞫，所有静鬻虢僮祓浚黉为褪始馕a0 ，因为它鬟猿穰定了翦 面权步的大小，它废该按照权自身的初值进行选择，例如，a0 = 0 1 ( 默认设 鬟) 。 为了使权不至于变得太大，设置最大权更新值限制am f i x ，默认上界设置为 m a x = 5 0 。0 在很多实验中，发现通过设溉最大权爨新值am a x 到相当小的值，例如 am g x = 1 0 我们可能达到误差减小的平滑性能。 计算修正权值w 、偏差b 2 0 非线性神经网络及其农地学中的应用 第t 次学习，权值w 、偏差b 的的穆正公式 ( ) ：w t - 1 ) + 4 ( ) 矗( ) = 西州) + d b ( 。) 其中，t 为学习次数。 b p 网络学习成功结柬条件 每次学习累积误差平方和 伽= 寺( d 。一y 2 ，) 2 _ 口；l m = l 每次学习平均误差 m s e ：s s e p s 2 当平均误差m s e 占，b p 网络学习成功结束。 8 p 网络应棚预测 在应用b p 网络对，掇供网络输入给输入朦，应用给定的酣网络及b p 网络学习 得到的权值w 、偏差b ，网络输入经过从输入层经各隐含层向输出层的“顺传播” j 童程，请冀毽b p 两翡预溺输国。 神经元激活函数f 线性函数 f ( x ) = x f ( x ) = l ，( x ) 的输入范围( - c o ，+ * ) ，输如范匿( 一。，+ 。o ) 一般用于输出层，可使网络输出任何值。 s 型函数s ( x ) 1 ，( x ) 2 百 ，( 搿) 的输入藏匿( _ 。，十。) ，输鞋毒范藿( 0 ，t ) f7 ( x ) = ，( x ) ( 1 一，( x ) ) # 线挂秘经瓣终爱菇在琏学串静痘蔫 ，7 ( x ) 的输入澈围( 一m ，+ 一，输出瓶围o 言1 一般用子隐含层，可使范霞( - c o , + o o 的输入，变成 0 ，1 ) 黥网络输出， 辫较大的输久，敖大系数较小；藤靖较小豹输入，放大系数较大，所以可弼来处 理和j 遁近非线性的输入输出关系。 在用于模式识别时，c i 丁用于输出层，产生逼近于0 或1 的二值输出。 殿掬正切s 型函数 弛，= 筹= 专一， ，( x ) 的输入范围( 一。，+ 。o ) ，输出范围( 一l ，1 ) ，f 秘= l f ( x ) f ( x ) ，7 x ) 的输入薄阐* ，蚓，输爨藏围( 0 ，1 7 j 一般用于隐含层，可使范围( - o o , 十。) 的输入，变成( 一1 ，1 ) 的网络输出， 对较大的输入，放大系数较小；而对较小的输入，放大系数较大，所以可用来处 理秘逐近 线性斡竣入输出关系。 除梯溺数 类型1 1 1 ( x o ) ， ) = 1 0o 0 ) ，( x ) 静输入范围( 。，+ 。) ，输礴菠围 0 ，1 ，7 ( x ) = 0 类型2 f 1江o ) f ( x ) = l l 囊 ，( x ) 的输入灏围( 一m ，+ 。) ，输出范围 一1 ，1 ) ，7 ( x ) = 0 菲线矬神经弼终及筵在她学中懿应用 籍玻灏数 类型1 f ( x 1 = 1 ( x j 1 ) 1 ，11 、 x + 一2t j x i ) 0 ( 工蔓一妄) ，( x ) 的输入范酮( 。，+ m ) ，输出范围c0 ，1 ，b ) ；j 1 0 f 一三 x 马 、22 f 其键) ，。( x ) 夔输入范曩( 一。，+ 。) ，簸逡范圈 o ，1 类型2 1 1( x 1 ) xf l x 1 ) ，( x ) = 卜1 ( 卫一1 ) ，( x ) 的输入范围( 一c o ，+ 。) ，输出范围( 一1 ，1 = ：淼p ，7 ( x ) 的输入范围( 一o 。，+ o 。) ，输出范围 0 ，l 非线性神经螂络及其在地学中的艇用 2 48 p 总体算法 1 输入参数x 【n 】( p ，s o ，s i ，f l 【s 1 ，s 2 ，f 2 【s 2 2 计算输入模式x n i p 各个变量的最大值，最小值矩| 唪x m a x n ， x m i n n 】 3 漶含层的权值w 1 ，偏差b l 初始化 情形1 ：隐含层激活函数f ( ) 都是双曲正切s 型函数 1 ) 诗算簸入横式x n p l g 每令变量鳓蕊嚣岛量x m g n 】 2 ) 计算输入模式x 的每个雯嚣的范围均使向量x m i d n j 3 ) 计算w ，b 的幅度因子w m a g 4 ) 产生【一1 ，t 2 _ n 臻匀分布瓣s o xl 缎睫疆数矩簿r a n d s 1 5 ) 产生均值为0 ，方差为t 的正态分布酌s 1 s o 维随机数矩阵 r a n d n r s q s 0 ，随机数范围大致在 - 1 ，1 】 6 ) 诗箕w s l 】 s o l ，b 【s i 】 7 ) 计算隐含屡的初始化权1 鬣w l s u s o 】 8 ) 计算隐含屠的初始化偏整b 1 s 1 】 9 羧塞w l s 1 s 0 】，b l 【s l 】 情形2 ：隐含层激活函数) 都是s 型诺数 1 ) 计算输入模式x n 】 p 】的每个变量的范围向量x m g n 】 2 ) 诗算羧入摸式x 夔每令变簧薅葱嚣麓 鬟崮量x m i d n 】 3 ) 计算w b 的幅度因子w m a g 4 ) 产生 一1 ，1 】之间均匀分布的s o x1 维随机数矩阵r a n d s 1 】 5 ) 产生臻僮为g ，方差袁1 麴委态务毒懿s 1x s o 缝蕊撬凝矩洚 r a n d n r s 1 s 0 ，随机数范围大致在f 一1 ，1 6 ) 计算2 w s 1 s o ，b s i 】 7 ) 诗算蔻含层涎魂始亿衩镶w l s 1 s 0 】 8 ) 计算隐含层的初始化偏麓b l s 1 9 ) 输出w 1 s l 】 s o ，b l s 1 】 滂影3 ：憨含层激活委数) 为箕毽亟数戆潺形 1 ) 计算输入横式x n 】【p 】的每个变量的范围向量x m g n # 线挂祷经嬲络及葵袁她学中熬应萁l 2 ) 诗舞徐入模式x 魏每参变量戆范爱筠藿尚鎏x m i d n j 3 ) 计算w ：b 的幅度因子w m a g 4 ) 产生【一1 ，1 之问均匀分布的s o 1 缎随机数矩阵r a n d s 1 5 ) 产垒均氆为0 ，方差为1 浆正态分布港s lxs o 维淹瓿数筵淳 r a n d n r s 1 s 0 ，随机数范围大致在 1 ，1 】 6 ) 计算w s 1 s o ，b s 1 】 7 ) 诗舞漶含豢穗初始托衩往w l s 1 s 0 】 8 ) 计算隐含层的初始化偏差b l f s l l 9 ) 输出w i s 1 s o ，b l s 1 】 4 输出篡懿衩经w 2 ，镶差b 2 初始纯 1 ) 产生【一1 ，1 】之间均匀分布的s 2 s i 维随机数矩阵w 2 $ 2 s 1 】 2 ) 产生 一1 ，1 之间均匀分布的s 2 1 维随机数矩阵b 2 $ 2 】 3 ) 输寤w 2 $ 2 s 1 j ，b 2 $ 2 j 2 5b p 总体算法流程图 非线性神经网络及其在地学中的应用 b p 网详细算法流程图 输入训练样品输入模式 n p 】= 旺l ，x 2 ，x v ) i 输入训练样品目标模式 d m 1 【p 】= 婶l ，如，癖) 输入：输入层神经元节点数s o = n ， 隐含层神经元节点数s 1 及各种类型 神经元的个数，输出层神经元节点数 s 2 = m 及各种类型神经元的个数 l 输入参数：1 目标误差e r r o r _ g o a lf e ) 2 最大循环次数m a x e p o c h3 初始权 更新值ao4 最大权更新值a 。5 权更 新值增大倍数w + 6 权更新值减小倍数 目7 最小梯度限制m i n g r a d 初始化：权值初始矩阵w 1 s 1 s 0 和 偏差初始向量加 s 1 ，权值初始矩阵 w 2 s 2 i s 1 和偏差初始向量b 2 s 2 构造：隐含层神经元激 活函数户 s l 】，输出层 神经元激活函数口 s 2 非线性神经网络及其在地学中的应用 2 7 非线性神经嘲络发其在地学中的应用 输出层输出： 霜 s 2 】= w 2 s 2 s 1 + y l s 1 p 】+ b 2 s 2 ， y 2 s 2 】 p = 口i s 2 】( z 2 s 2 ) 求第p 次误差：q s 2 】 p = 晏( 饥s 2 p 卜y 2 s 2 p ) 2 ( s 2 ：1 ，2 ，s 2 ) ，e p p ：s 2 研s 2 】【p 】 ， 求p = 1 ，2 ，p 次模式累积误差s s e = e p p p = l p ：i + l 求第一次训练平均误差脚日：s s e p s 2 非线性神经网络及其在地学中的应用 一：筹筹划 篙筹剐 由 i 计算误差反向传播： 输出层： 6 2 【s 2 _ ( d s 2 p - - y 2 s 2 】 p ) 归 s 2 7 ( z z s 2 ) 隐含层： 5 2 6 ji s l 】_ 刀i s l 7 0 m 1 ) ( w 2 s 2 i s 1 ) 7 6 邢2 j 2 = l ( s 2 = 1 ，2 ，s 2 ) l 求第p 次各层暇6 的梯度值丽o e ，面o e ： 隐含层： 瓮一6 l i 硼t ，瓮一氓 ( 2 1 ，2 ，s 1 ；f = 1 ，2 ，s o ) 输出层： 瓦o e t ) - - 8 2 , y l i ，瓦o e ( t ) = 一6 2 。 ( = l ，2 ，s 2 ；j = 1 ，2 ，s 1 ) 非线性神经网络及其仵地学中的应用 3 0 非线性神经网络及其藿e 地学中的应用 3 非线性神经网络及其在地学中的廊用 3 2 非线性神绦网络及其在地学中的成用 3 3 非线性神经网络及其在地学中的脚用 第三章人工神经网络h o p f i e l d 模型 3 1h o p f l e l d 模型概述 1 9 8 2 年，美国加州工学院j h o p f i e l d 发表一篇对人工神经网络研究颇有影 响的论文。他提出了一种具有相互连接的反馈型人工神经网络模型 h o p f i e ld 人工神经网络。 h o p f i e l d 人工神经网络是一种反馈网络( r e c u r r e n tn e t w o r k ) ，又称自联想 记忆网络，其目的是为了设计一个网络，存储一组平衡点，使得当给网络一组初 始值时，网络通过白行运行而最终收敛到所存储的某个平衡点上。 h o p f i e l d 网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为 离散型h o p f i e l d 网络( d i s c r e t eh o p f i e l dn e u r a ln e t w o r k ，简称d i i n n ) 和连 续型h o p f i e l d 网络( c o n t i n u eh o p f i e l dn e u r a ln e t w o r k ，简称c h n n ) 。离散 裂i t o p f i e l d 网络的激活函数为二值型阶跃函数，主要用于联想记忆、模式分类、 模式识别。这个软件为离散型h o p f i e l d 网络的设计、应用。 3 2h o p f l e l d 模型原理 离散型h o p f i e l d 网络的设计目的是使任意输入矢量经过网络循环最终收敛 到网络所记忆的某个样本上。 正交化的权值设计 这一方法的基本思想和出发点是为了满足下面四个要求： 保证系统在异步工作时的稳定性，即它的权值是对称的，满足 w q2 w i ii ，j = 1 , 2 ，八，n 保证所有要求记忆的稳定平衡点都能收敛到自己 使伪稳定点的数目尽可能地少 使稳定点的的吸引力尽可能地大 正交化权值的计算公式推导如下： 已知有p 个需要存储的稳定平衡点x - ，x z ，人，x 一，x ，6 r n ，计算n ( p 一1 ) 非线性神燎网络及其张地学中的廊用 阶矩阵a r ”“ a = 冬 一x 产 x 2 一x p a x ，一 一x p y 2 对一做奇异德分