（计算机软件与理论专业论文）基于极大似然法的神经网络研究与应用.pdf

摘型 题目： 专业： 硕士研究生： 导师： 摘要 基丁极人似然法的神经网络研究与应川 计算机软什与理论 董i ij 华 千十同教授 日前，神经网络的理论和麻研究得到了极人的发展，而且已经渗透到儿乎所有的i ：程 麻川领域。b p 网络是一种多层前馈神经网络，名字源丁i 网络权值的调整规则采h j 的是反向 传播学习算法，即b p 学习算法。据统计，在神经网络的实际应h j 中，8 0 9 0 的神经网 络模型是采川b p 网络或它的变化形式。虽然在理论上，人们已经证明了多种前馈刑网络， 都能以任意精度逼近丁r 限1 类或更广泛的1 f 线性函数，但是，在实际中如何获得网络的最 优权值，并1 f 容易。对丁b p 算法来说，目前仍术能有效地克服其收敛速度慢、易陷入局部 最优、外推能力差等缺陷。尤其是当1 f 线性对象受剑较严重的噪声干扰时，输入一输出数据 不匹配( m i s m a t c h ) ，此时的迭代学习收敛慢，甚至不收敛即使收敛也升1 硼近丁| 真实系 统。冈此，如何有效地提高b p 网络学习算法的抗噪能力和泛化能力，是一个重要的、无法 同避的问题。 针对b p 网络存在的问题，人们进行了深入的研究并提出了许多的改进方法。冈为b p 学习规则的推导是基丁最小均方误筹准! i ! j ，网络的训练过程是由其误筹函数来导向的，所以 本文从虽小均方误莘l s 型误差函数着手，对b p 网络的缺陷进行了分析，将极人似然方法 引入剑传统的b p 神经网络之中舍弃了人们k 期使心的l s 型误筹函数，重新定义了基丁 极人似然法的鲁棒误筹函数并讨论了基r 极人似然法的b p 神经网络算法的实现，通过仿 真实例分析了基丁- 极人似然法的神经网络的抗啭能力和眨化能力。在实际的廊川中通过实验 结果证明了本方法住提高神经网络的抗噪能力和泛化能力的可行性和优越性。 关键词：极人似然法；神经网络：b p 算法；抗噪能力；泛化能力 江南j 、学顺l 生学位论文 a b s t r a c t t i l t e ：t h er e a s e a r c h a n da p p l i c a t i o no fn e u r a ln e t w o r kb a s e do nt h em a x i m u ml i k e l i h o o d m e t h o d s u b j e c t ：c o m p u t e rs o f t w a r e a n dt h e o r y g r a d u a t es t u d e n t ：d o n gz h a n - h u a t u t o r ：d r s h it o n gw a n gp r o f e s s o r a tp r e s e n t ，t h et h e o r ya n da p p l i c a t i o ns t u d i e so ft h en e u r a ln e t w o r kh a v eg o tav e r yb i g d e v e l o p m e n t ，a n da l r e a d yp e r m e a t e dt on e a r l ya l lp r o j e c ta p p l i c a t i o nf i e l d s t h eb pn e u r a l n e t w o r ki so n ek i n do fm u l t i l a y e rf e e df o r w a r dn e u r a ln e t w o r k ，n a m e df r o mb a c k p r o p a g a t i o n a l g o r i t h m ，w h i c hi st h ea d j u s t m e n tr e g u l a t i o no ft h en e t w o r k s w e i g h t a c c o r d i n gt ot h es t a t i s t i c s ， 8 0 一9 0 o ft h en e u r a ln e t w o r km o d e l sa d o p t e db pn e u r a ln e t w o r k so ri t sm o d i f i e dv e r s i o n s p e o p l eh a v ep r o v e dt h a ti nt h e o r yt h ev a r i o u sf e e d f o r w a r dn e u r a ln e t w o r k sc a l la p p r o x i m a t et h e l 2 r f u n c t i o n so rm o r eg e n e r a ln o n l i n e a rf u n c t i o n si na n ya c c u r a c y h o w e v e r , h o wt og a i nt h e o p t i m u mn e t w o r kw e i g h i si nr e a la p p l i c a t i o n si sn o te a s y a sf o rb pa l g o r i t h m ，i tu s u a l l yf a i l st o o v e r c o m et h ed i f f i c u l t i e s ，s u c ha ss l o wc o n v e r g e n c es p e e d ，w e a kg e n e r a l i z a t i o na b i l i t i e sa n ds oo n e s p e c i a l l y , w h e nt h ed a t a s e tc o n t a i n i n gn o i s e si su s e df o rt r a i n i n gn e t w o r kw e i g h t s ，b pa l g o r i t h m u s u a l l yc o n v e r g e ss l o w l ya n de v e nf a i l st oc o n v e r g e t h e r e f o r e ，h o wt oe f f e c t i v e l ye n h a n c et h e a n t i n o i s ea b i l i t i e sa n dg e n e r a l i z a t i o np e r f o r m a n c eo ft h eb pn e t w o r ki sav e r yi m p o r t a n tr e s e a r c h t o p i c t h el e a r n i n gr u l e so fc l a s s i c a lb pn e u r a ln e t w o r k sa r eg a i n e df r o mt h ee n e r g yf u n c t i o no f l e a s tm e a ne r r o rc r i t e r i o n ，a n dt h et r a i n i n gp r o c e d u r eo fn e t w o r kw e ：i g h t si sg u i d e db yt h ee n e r g y f u n c t i o n f i r s t ，i nt h i ss t u d y , t h ew e a k n e s s e so f c l a s s i c a lb pn e u r a ln e t w o r k sa r ea n a l y z e df r o mt h e e n e r g yf u n c t i o n t h e nt oo v e r c o m et h ew e a k n e s s e s ，t h em a x i m u ml i k e l i h o o dm e t h o di si n t r o d u c e d i n t ot h et r a d i t i o n a lb pn e u r a ln e t w o r ks e c o n d ，an o v e le n e r g yf u n c t i o ni sp r o p o s e da n dw i t ht h e m a x i m u ml i k e l i h o o dm e t h o dt h en e wl e a r n i n gr u l e sa r eo b t a i n e dt ot r a i nt h en e t w o r kw e i g h t s m a n ys i m u l a t e de x p e r i m e n t sa r ec o n d u c t e dt ot e s tt h ep e r f o r m a n c eo fo u rn e wm e t h o d t h e e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a to u rn e wm e t h o dh a st h eb e t t e rr o b u s t n e s sa n dg e n e r a l i z a t i o n a b i l i t i e s f u r t h e r m o r e ，t h en e wm e t h o di su s e dt os o m er e a la p p l i c a t i o n s t h ee x p e r i m e n t a lr e s u l t s a l s os h o wi i sa d v a n t a g e s k e y w o r d ：m a x i m u ml i k e l i h o o dm e t h o d ；n e u r a ln e t w o r k ；b pa l g o r i t h m ；a n t i - n o i s ep r o p e r t y g e n e r a l i z a t i o na b i l i t i e s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为获得江南大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：三豪牡日期：。7 年口f 月，7 日 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签名：垄兰经 导师签名： 日期：一 第一章绪论 1 1 问题的提出 第一章绪论 白从1 9 8 6 年以r u m e l h a r t 和m c c l e l l a n d 【1 1 为首的科研小组提山了适h j 丁多层前向神经 网络学习的r 义6 学习规则误莘反向传橘( e r r o r b a c k p r o p a g a t i o n - - b p ) 算法以来，b p 神经网络已经成为目前麻_ 【f j 虽广泛的一种神经网络模砸。在a n n 的实际麻h j 中，8 0 9 0 的a n n 网络模型是采川b p 网络或它的变化形式。b p 网络在模式识别、函数逼近、语 音识别、智能控制、信号处理、生物i ：科、1 | 线性优化等领域部有人鼙的麻h j ，显示了其巨 人满力。b p 网络实质上就是多层感知器( m u l l i p l a y e rp e r c e p e t r o n - - - m l p ) 。由丁其学习算法采 州b p 算法所以义铍称为b p 网络。b p 网络得剑如此人昔的麻川得益丁有人从理论上证明： 任一迕续函数或映射均可川一个二层网络加以实现口j 。b p 网络是前向网络的核心部分，体 现了神经网络中晟精华、最完美的内容。但是b p 网络也有一些不足和缺陷 3 - 5 1 ： b p 网络本质上是静态网络，只能实现1 f 线性静态映射，不具有动态信息处理能力，并不是 一个1 f 线性的动力学系统。b p 网络只是一种学习网络，并不注重系统的动力学行为。b p 网 络的输入层点、输山层仃点可以根据实际问题确定，确定隐含层仃点个数的理论依据却没 有找剑。在b p 网络中神经元仃点的1 f 线性变换函数取为| 卉| 定的s i g m o i d 犁函数也没有理论 依据。b p 网络连接权值的学习过样可以认为是在给定学习样本f 的一个计线性无约求极值 问题的求解过榉。标准b p 算法采h 的是诈线性无约束极值问题求解方法中昂占老义十分基 本的方法一梯度r 降法( 最速r 降法) 。由1 f 线性优化知识可知，最速f 降法只是对局部而肓， 对整体米说却不一定是最速f 降方向。晟速f 降法逼近极小点的路线是锯齿形的，并且越靠 近极小点收敛速度越慢。由丁标准b p 算法的学习步kn 采川确定值，这样为了极小化总误筹， 在学习过样中学习步kq 应足够小，但是小的q 将使学习过程很慢。人的n 虽然可以加快学 习速度，但义可能导致学习过样的震荡，从而收敛不剑期望值。另外，由丁算法本身的原冈，学习 过程可能收敛丁- 局部极小点。 b p 神经网络训练算法是基丁确定性模删的，以l s 型误差函数指导整个学习过程进 行的是1 f 平滑内插，不考虑训练样本本身的误差( 比如噪卢的干扰) 。而实际应_ l j 中。训练 样本往往会受到噪声干扰，片j 这些带有噪卢的样本来训练网络，为了使误差函数e ：，达剑最 小，b p 算法必然使辨识模型| j j 插所有的训练样本，而不是逼近真正的对象模型。这样就导 致了辨识模型的偏离，网络的收敛速度变慢其至不收敛，并且影响了网络的泛化性能和抗噪 性能1 6 一o l 。 针对b p 网络存在的问题，人们进行了深入的研究并提山了许多的改进方法i i ”“。冈为 b p 学习规则的推导是基丁i 最小均方误莘准则，网络的训练过稃是由其误筹函数米导向的， 所以本文从蛀小均方误筹l s 型误筹函数着手，对b p 网络的缺| 5 f ；进行了分析，将极人似然 方法引入剑传统的b p 神经网络之中以期能解决其中的一些问题。该课题的研究对丁促进 目前前馈神经网络相关领域的研究具有重要的意义。 1 2 本文研究内容 本文的研究l ：作是对传统b p 算法进行改进，提出了基丁极人似然法的神经网络。主要 江南人学坝i j 生学位论文 有以r 二个方面： ( 1 ) 对传统b p 神经网络所存在的缺陷进行了分析。特圳是针对b p 神经网络在对含有 啭卢的数据进行训练时容易出现“过拟合”现象，训练时能完全逼近带噪声的数据但并不 能反映数据真实的规律，冈此在洲试时，拟合的效果就会很蓐。传统b p 算法的基本思想主 要是基丁最小1 二乘方法冈此从最小_ 二乘法的角度对传统b p 算法的误羊函数进行了剖析， 解释了b p 神经网络容易出现过拟合现象泛化能力平抗嵘能力不高的原闪。 ( 2 ) 将极人似然估计的思想引入剑传统b p 算法中，构造了一个新的鲁棒误筹函数， 捉山了基丁极人似然法的神经网络。最小二乘估计和极人似然估计都是川丁参数估计的数学 方法，虽小- 二乘估计本质上是一种“确定性”的筇法，主要针对确定性的模刑，不能考虑训 练样本的误筹。极人似然估计则不仅可以考虑训练样本的误差，还可以从全局的角度对网络 进行学习。闪此基丁极人似然法的神经网络的泛化能力和抗噪能力都比b p 神经网络有了较 人提高。 ( 3 ) 将所建立的极人似然神经网络模删应h j 丁i 椒盐噪声滤波系统、地震等级预测和股 票市场预测等系统中，得剑了很好的效果。 1 3 文章内容安排 本文由八个独立的章竹组成，各章的主要内容安排如f ： 第一章为绪论，分为3 个小1 i 。第1 小1 7 为问题的提山；第2 小1 ，简要介绑了课题研究 的内容；第3 小协! l ! l j 介纠了本文的章竹安排。 第一二章是基丁- 极人似然法的神经网络。这一章的内容首先是较全面的总结平同顾了人i ： 神经网络的知识，然后对b p 神经刚络的算法进行了推导，对b p 网络所存在的问题进行了 分析，晟后提出了极人似然神经网络模删。第1 小1 ，简单介绍了神经网络的概念并州顾了神 经网络的发展历史，而且还介纠了儿种多层前馈神经网络的拓扑结构；第2 小仃则土要介纠 了b p 神经网络的网络结构、枷、准b p 算法、b p 神经网络的缺陷及其分析；第3 小1 y 则重点 提出了基丁极人似然法的神经网络。 第二章是基- r 极人似然神经网络的椒盐噪卢滤波算法。 第四章是极人似然神经网络住地震预测中的麻川。 第五章是极人似然神经网络在股票预测中的应用。 第二、第四、第无这二章是基_ r 极人似然神经网络的府_ l i j 实例。通过二个实际的例子说 明了基丁极人似然神经网络不易出现“过拟合”现象，在泛化能力和抗噪能力方面比传统的 b p 神经网络有一定的优越性。 第八章是总结与展望。 2 第一章革f 撇人似然注的种绎i 叫络 第二章基于极大似然法的神经网络 2 1 人工神经网络简介 人f 神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是对人类人脑系统的一阶特性的 一种描述。简单地说它是一个数学模型，可以h j 电子线路来实现，也可以川计算机程序米 模拟，是人l ：智能研究的一种方法口i 。 2 1 1 人工神经网络的概念 人i ：神经网络是人脑及其活动的一个理论化的数学模型，它由人耸的处理单元通过适当 的方式且迮构成，是一个人规模的1 | 线性白适应系统。1 9 8 8 年，h e c h t n i e l s e n 曾经给人j ： 神经网络f 了如f 的定义： 人i ：神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互 连而成。这些处理单元( p e - - p r o c e s s i n ge l e m e n t ) 具有局部内存，并可以完成局部操作。 每个处理单元有一个单一的输出联接这个输出可以根据需要被分支成希望个数的许多并行 联接，且这些并行联接都输山相同的信号，即相应处理单元的信号，信号的人小不囡分支的 多少而变化。处理单元的输山信号可以是任何需要的数学模犁，每个处理单元中进行的操作 必须是完全局部的。也就是说，它必须仅仅依赖丁i 经过输入联接剑达处理单元的所有输入信 号的当前值和存储住处理单元局部内存中的值。 该定义土要强调了四个方面的内弈：并行、分布处理结构：一个处理单元的输出可以被 任意分支，且人小不变；输山信号可以是任意的数学模础：处理单元完全的局部操作。这里 所说的处理单元就是人i ：神经元( a n - - a r t i f i c i a ln e u r o n ) 。 按照r u m e l l h a r t 、m c c l e l l a n d 、h i n t o n 等人提山的p d p ( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 理论框架( 简称为p d p 模型) ，人i ：神经网络由八个方面的要素组成： ( 1 ) 一组处理单元( p e 或a n ) ； ( 2 ) 处理单元的激活状态( a j ) ； ( 3 ) 每个处理单元的输山函数( f ) ； ( 4 ) 处理单元之间的联接模式； ( 5 ) 传递规则( yw z d f ) ； 一。 ( 6 ) 把处理单元的输入及当前状态结合起来产生激活值的激活规则( f ；) ( 7 ) 通过经验修政联接强度的学习规则； ( 8 ) 系统运行的环境( 样本集合) 。 可以将p d p 模砸表示成幽2 1 的形式。 3 江南j 、学f l ；! i 生学位论文 图2 1p d p 模型r 的人j ：神经元网络模型 以上这两种定义都比较详细、复杂。为了使川方便，1 9 8 7 年，s i m p s o n 从人j ：神经网络 的拓扑结构山发给山了一个虽然不太严格但却是简明扼要的定义。它对丁一般的麻_ 【i 】来说， 是足以说明问题的： 人l ：神经网络是一个1 f 线性的有向l 芏| ，幽中含有可以通过改变权人小米存放模式的加权 边，并且可以从不完整的或未知的输入找剑模式。 人i ：神经网络除了可以叫做并行分布处理系统( p d p ) 外，还可以叫做人l ：神经系统 ( a n s ) 、神经网络( n n ) 、白适应系统( a d a p t i v es y s t e m s ) 、白适应网( a d a p t i v en e t w o r k s ) 、 联接模型( c o n n e c t i o n i s m ) 、神经计算机( n e u r o c o m p u t e r ) 等。 人i 神经网络不仅住形式上模拟了生物神经系统，它也确实具有人脑的些基本特征： ( 1 ) 神经元及其联接 从系统构成的形式上石由丁 人l ：神经网络是受生物神经系统的启发构成的，从神经元 本身剑联接模式基本上都是以与生物神经系统相似的方式l 作的。这里的人l ：神经元( a n ) 与生物神经元( b n ) 相对麻可以改变蚀度的联接则与突触相对麻。 ( 2 ) 信息的存储与处理 从表现特征来看，人l 神经网络也力求模拟生物神经系统的基本运行方式。例如，可以 通过相应的学习训练算法，将蕴含住一个较人数槲集中的数捌联系抽象山来。就像人f j 可 以不断地摸索规律、总结经验一样，可以从先前得到的例子按要求产生出新的实例，在一定 样度上实现“举一反二”的功能。 2 1 2 神经网络的发展历史回顾 目前，神经网络的理论平应川研究得剑了极人的发展，而且己经渗透剑儿乎所有的i 样 府川领域。但是，人i ：神经网络的发展过样并不是一帆风顺的。从萌芽删剑目前，儿经兴衰。 可以将人l 幸p 经网络的发展历史人体上分为如f 五个时期。 2 1 2 1 萌芽期 人i ：神经网络的研究最早可以追溯剑人类开始研究白己的智能的时期，这一时期截i r 剑 1 9 4 9 年。 开始时，人类对自身的思维感剑1 r 常奇妙，从而也就有了许许多多关丁i 思维的推删，这 些推测既有解剖学方面的，也有精神方面的。一直剑了神经解削学家平i l 神经生理学家提出人 脑的“通信联接”机制，我们才对人脑有了一点了解。剑了，2 0 世纪4 0 年代初 i | 】，对神经元 的功能及其功能模式的研究结粜才足以使研究员通过建立起一个数学模型米检验他”j 提山 的再种猜想。在这一时期，产生了，两个重人成果，它们构成，人i 神经网络萌芽期的杯忠。 1 9 4 3 年，心理学家m c c u l l o c h 币i 数学家p i t t s 建立了并名的阑值加权和模型，简称为m p 模型。1 9 4 3 年，m c c u l l o c h 和p i t t s 总结了生物神经元的一些基本生理特征对其一阶 特性进行形式化描述，提出了一种简单的数学模型与构造方法这结果发表在数学生物物 4 第一帝牡t 。板人似然法的种纤m 络 理学会刊b u l l e t i no fm a t h e m a t i c a lb i o p h y s i c s ) ) 上。这为人 j 刚元器件、h 计算机样序实现 人i ：神经网络打f 了坚实的基础。 1 9 4 9 年，心理学家d o h e b b 提出神经元之间突触联系是可变的假说。他认为，人类的 学习过稃是发生在突触上的而突触的联接强度! i l l j 与神经元的活动有关。据此，他给山了人 l + 神经刚络的学习律联接两个神经元的突触的强度按如f 规! i ! l j 变化：在任意时刻当这 两个神经元处丁- 同一种状态时，表明这两个神经元具有对问题响应的一致性，所以它”j 麻该 互相支持，其间的信号传输麻该加强，这是通过加强它”j 之间的突触的联接强度实现的。反 之在某一时刻，当这两个神经元处丁不同的状态时，表明它f j 对问题的响应是不一致的， 冈此它f j 之问的突触的联接强度铍减弱。该学习律即并名的h e b b 学习律。h e b b 学习律在 人i ：神经网络的发展史中，i 有重要的地位，被认为是人i ：神经网络学习训练算法的起点是 里群碑。 2 1 2 ，2 第一高潮期 第一高潮期人体上可以认为是从1 9 5 0 年剑1 9 6 8 年，也就是从单级感知器( p e r c e p t r o n ) 的构造成功开始，剑单级感知器被无情的否定为i r 。这是人l ：神经网络的研究被广为重视的 一个时期。其重要成果是单级感知器及其电子线路模拟。 在2 0t h = 纪5 0 年代和6 0 年代一些研究者把生理学和心理学的观点结合起来，研究成 功了单级感知器，并_ l j 电子线路去实现它。电子计算机山现后，人们才转剑川更方便的电子 计算机拌序去模拟它。由下_ l i j 程序进行模拟既便丁i 修改义便丁测试而且更重要的是，这种 方法的费川特别低。所以，直剑今大，人批的甚至是人多数的研究人员仍然在_ l j 这种模拟的 方法进行研究。 这个期间的研究以m a r v i nm i n s k y 、f r a n kr o s c n b l a t t 、b e r n a r dw i d r o w 等为代表人物， 代表作是单级感知器。它铍人们川丁各种问题的求解，甚至在一段时间里，它使人们乐观地 认为已经找到了智能的关键。 早期的成功，给人f j 带来了极人的兴奋。不少人认为，只要其他的技术条什成熟，就可 以重构人脑，冈为重构人脑的问题已经转换成建立一个足够人的网络的问题。包括美国政府 在内的许多部fj 都开始人批地投入此项研究，希望尽快- - 领制高点。 2 1 2 3 反思期 止在人们兴奋不己的时候，m l m i n s k y 和s p a p e r t 对单级感知器进行了深入的研究， 从理论上证明了当时的单级感知器无法解决许多简单的问题。在这些问题中，甚至包括最基 本的“异或”问题。这一成果在p e r c e p t r o n ) ) 一 5 中发表，该i5 由m i t 山版社在1 9 6 9 年 山版发行。以该l ；的山版为标，占人们对人i ：神经网络的研究进入了反思期。 由丁i “异或”运算是计算机中的最基本运算之一，所以这一结果是令人震惊的。由丁 m i n s k y 的卓越、严谨币j 威望，使得不少人对此结果深信不疑。从而导致了许多研究人员放 弃了对这一领域的研究政府、企业也消减了相麻的投资。 虽然如此，还是有一些具有献身精神的科学家在坚持进行相应的研究。在2 0 世纪7 0 年代和8 0 年代甲期，他们的研究结果很难得到发表，而且是散布丁各种杂忠之中，使得不 少有意义的成果即使在发表之后，也难以被同行看到，这导致了反思期的延长。! 若名的b p 算法的研究就是一个例子。 在这一段的反思中，人们发现，有一类问题是单级感知器无法解决的，这类问题是线性 不可分的。要想突破线性不可分问题，必须采川功能更强的多级嘲络。逐渐地，一系列的基 本网络模刮被建立起来，形成了人i 神经网络的理论基础。m i n s k y 的估计铍证明是过分悲 观的。 可以认为，这一时期一直延续剑1 9 8 2 年j h o p f i e l d 将l y a p u n o v 函数引入人i ：神经网络， 作为网络性能削定的能苗函数为l r 。在这个期间，取得的主要积极成果有a r b i b 的竞争模型、 5 江南人学颂l j 生学位论义 k o h o n e n 的白组织映射、g r o s s b e r g 的臼适麻共振模删( a r t ) 、f u k u s h i m a 的祈认知机、 r u m e l l h a f l 等人的并行分布处理模删( p d p ) 。 2 1 2 4 第二高潮期 人j ：神经网络研究的第二次高潮期剑米的标忠是美【j j 加州理i ：学院生物物理学家 j h o p f i e l d 的两篇重要论文分别丁1 9 8 2 年币f1 9 8 4 年在美国科学院院刊上发表。总结起来， 这个期间的代表作有： ( 1 ) 1 9 8 2 年，j h o p f i e l d 提山循环网络，并将l y a p u n o v 函数引入人1 ：神经网络，作为 网络性能判定的能苗函数，阐明了人i ：神经网络与动力学的关系。h j l f 线性动力学的方法米 研究人i 神经网络的特性，建立了人j ：神经网络稳定性的判别依据，指山信息被存放在网络 中神经元的联接上。实际上这里所指的信息是长期存储的信息( l o n gt e r mm e m o r y ) 。 这是一个突破性的进展。 ( 2 ) 1 9 8 4 年j h o p f i e l d 设计研制了j 亓来被人们称为h o p f i e l d 网的电路。在这里，人 j ：神经元川放人器米实现，而联接! j ! i j 是川其他电子线路实现的。作为该研究的一项麻川验证， 它较女f 地解决了并名的t s p 问题找剑了最佳解的近似解，引起了较人的轰动。 ( 3 ) 1 9 8 5 年，美国加州人学圣地弧哥分校( u c s d ) 的h i n t o n 、s e j n o w s k y 、r u m e l h a r t 等人所的并行分布处理( p d p ) 小组的研究者在h o p f i e l d 网络中引入了随机机制提山所谓 的b o l t z m a n n 机。在这里他们借助丁- 统计物理学的方法首次提出了多层网的学习算法。 但由丁j 它的不确定性其收敛速度成了较人的问题，目前主要刖来使网络逃离训练中的局部 极小点。 ( 4 ) 1 9 8 6 年。并行分布处理小组的r u m e l h a f l 等研究者匝新独立地提山多层网络的学 习算法一b p 算法。较盘f 地解决了多层网络的学习问题。类似的算法分别被p a k e r 乖iw e r b o s 在1 9 8 2 年和1 9 7 4 年独立地提出过，只不过当时没能被更多的人发现并受剑麻有的重视。 b p 算法的提出对人j ：神经网络的研究与麻刚起剑了重人的推动作h j 。 这个 c | j 间人们对神经网络的研究达到了第一二次高潮。我们住这方面的研究要滞后一点， 国内首届神经网络人会是1 9 9 0 年1 2 月在北京举行的。 2 1 2 5 再认识与应用研究期 实际上，步入2 0 世纪9 0 年代后，人们发现，关丁1 人l ：神经网络还有许多待解决的问题， 其中包括许多理论问题。所以，近期要想用人i 。神经嘲络的方法在人l ：智能的研究中取得突 破性的进展还为时过甲| ，冈此义开始了新一轮的再认识。 目前，_ 人多数的研究士要集中在以f 二个方面： ( 1 ) 开发现有模型的应刚并在席川中根据实际运行怙况对模删、算法加以改造，以 提高网络的训练速度和运行准确度。 ( 2 ) 希望在理论上寻找新的突破，建立新的专川，通川模刑和算法。 ( 3 ) 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 2 1 3 多层前向神经网络 人i ：神经网络的模型和算法种类很多，按其性能可分为迕续叩j 神经网络和离散掣神经网 络按其结构可分为前馈掣神经网络和反馈型神经网络按其学习方式义可分为有导师学习 网络手无导师学习f 白组织学习1 网络。 前馈喇神经网络义称为多层前向网络或简称前馈网络，它是指拓扑结构为有向无环 i f j 的 神经网络。在前馈神经网络中，各神经元接受前一层的输入，并将计算结果输给f 层，没 有反馈。除了输入层之外，隐层和输出层神经元都实现一定的运算，冈此称为计算仃点。在 前馈神经网络中的神经单元其输入与输山戈系，可采h j 线性闳值硬变换或单调上升的1 r 线性 6 第一章毕f 极人似然汪的神纤州络 变换，它f j 的迮接权的算法i j 的都是有导师6 学习律，但由丁神经元输入输山变换函数的莘 异，学习律及某屿结构上的别分为备类不同的模q 4 口”。比较并名的前馈网络模删有单层 感知器叫络( 只有输入层和输出层，没有隐层) ，多层感知器网络( 至少含有一个隐层) ，径 向基函数神经网络雨l 级联相关神经网络。幽2 2 一幽2 5 所示为常址的儿种前馈神经网络的 拓扑结构l z ”。 2 1 3 1 单层感知器网络 幽2 2 所示为单层感知器网络。该网络只有输入层平输山层，其中输山层神经元为计算 节点，其基函数取线性函数，激活函数取埂极限函数。该网络一般川丁线性分类。 x i 而 ： x n y 图2 2单层感知器网络 2 1 3 2 多层感知器网络 幽2 3 所示为多层感知器( m l p ) 网络，该网络有一个输入层、一个输出层千多个隐层( 本 图中含有个两个隐层) ，其中隐层和输出层神经元为计算竹点。多层感知器的基函数取线性 函数，激活函数可以取多种形式。如粜所有的计算仃点都取硬极限函数，则网络称为多层离 散感知器：如果所有的隐层1 y 点都取s i g m o i d 函数，则就是所谓的b p 网络，此时网络权值 和闽值可朋误差反向传播学习算法( 即b p 算法) 学习。b p 网络输山1 7 点的激活函数根据 麻川的不同而异：如果b p 网络h 丁分类，则输出层仃点一般 js i g m o i d 函数或硬极限函数； 如果b p 网络川丁函数逼近，! j i | 输出层竹点麻该h j 线性函数。 x t x 2 ： z l 生| 2 3 多层感知器网络 2 1 3 3 径向基函数神经网络 幽2 4 所示为释向基函数( r b f ) 神经网络，该网络有一个输入层、一个隐层和一个输 出层，其中隐层和输山层神经元为计算1 ，点。r b f 网的隐层单元的基函数取距离函数，激 活函数般取坝极限函数。类似丁多层感知器，如果r b f 网丁分类，则输山层竹点一般 川s i g m o i d 函数或硬极限函数；如果r b f 网川丁函数逼近，则输山层仃点可以_ 【f j 线性函数。 7 江南人学倾l 生学位论史 j i x 2 ： 轴 i 玺| 2 4释向基函数神经网络 2 1 3 4 级连相关神经网络 i 璺| 2 5 所示也是一种并名的前向神经网络，称为级迮相关神经网络，该网络可以h j 级连 相关实现快速训练。 而 x 2 ： x n y l y m 厂、j l 7 1 o _ 厂、- l一， 。 l 2 2b p 神经网络 幽2 5级迮相关神经网络 b p ( e r r o rb a c kp r o p a g a t i o nn e t w o r k ) 神经网络是目前麻川屉为广泛和成功的神经网络 之一。它是在1 9 8 6 年由r n m e l h a r t 和m c c l e l l a n d 提出的。是一种多层网络的“逆推”学习 算法。其基本思想是，学习过拌由信号的止向传播与误莘的反向传播两个过程组成。止向传 播时，输入样本从输入层传入，经隐层逐层处理后传向输小层。若输出层的实际输出与删钽 输出( 导师信号) 不符，则转向误筹的反向传播阶段。误芹的反向传播是将输山误筹以某种 形式通过隐层向输入层逐层反传并将误筹分摊给各层的所彳| i 单元，从而获得各层单元的误 筹信号，此误等信号即作为修正各单元权值的依据。这种信号j l 向传 番与误差反向传 罱的再 层权值调整过样是周而复始地进行。权值不断调整的过样也就是刚络的学习训练过挫。此 过拌一直进行剑网络输山的误筹减少剑可以接受的样度，或进i j 剑预先设定的学习次数为l r 阢27 1 。 8 第一章早卜饭人似然注的种纤l 叫络 2 2 1b p 网络结构 b p 网络与线性i 蚓值单元组成的多层感知器网络结构完全相同只是再隐层1 y 点的激活 函数使川了s i g m o i d 函数所以b p 网络也称激活函数采h 】s i g m o i d 函数的多层感知器。b p 网络输山1 t 点的激活函数根据麻川的不同而异：如果i j 丁| 分类| j ! l j 输出层仃点采j js i g m o i d 函数或硬极限函数：如果_ l j 丁- 函数逼近，则输出层仃点采川线性函数。 与线性阑值单元组成的多层感知器一样，b p 网络采_ i j 多层结构，包括输入层、多个隐 含层、输出层。各层间实现全连接。i 墨| 2 6 为b p 网络结构的拓扑幽。 输入层隐层 图2 6b p 网络结构 2 2 2 标准b p 学习算法 广、卜_ + 输 | j 层 标准b p 学习算法的基本思想是利h j 最小- 二乘法，即l s m 算法，采川梯度搜索技术 以期使网络的实际输山值与期望输出值之间的误筹平方和为晟小。r 面以含有两个隐层的 b p 网络为例，如i 芏| 2 7 所示，具体推导b p 学习算法【舢】。 而 而 ： h m = ( 1 ，2 ，一，m ) i 一( 1 2 ，一，) ，= ( 1 ，2 ，j ) p 。( l 2 。一，尸) | 芏l2 7 含有_ 二个隐层的b p 网络 2 2 2 1 印学习算法推导 设输入层为m ，即有m 个输入信号，其中的任一输入信号川m 表示；第1 隐层为， 即有，个神经元，其中的任一神经元_ l j f 表示；第2 隐层为，即有- ，个神经元，其中任一神 9 江南人学帧i 生学位论义 经元_ 【 表示，输山层为p ，即有p 个输山神经元，其中任一神经元川p 表示。 输入层与第1 隐层的突触权值h j 咙表示；第1 隐层与第2 隐层的突触权值h j 坩表 示；第2 隐层与输山层的突触权值川蟛表示。 神经元的输入川“表示激励输山h jy 表示，u ，v 的上标表示层，r 标表示层中的某 个神经元，如“，表示，层( 即第1 隐层) 的第f 个神经元的输入。假殴所有的神经元的激励 函数均刚s i g m o i d 函数。 设训练样本集为x - 【z 。，x 2 ，x i ，x 】- 对应任一训练样本 x 。= 【爿“，工，r ，( t - 1 2 ，) 的实际输出为ki 【y r ，y ，y ? r ，期望输 山为以昌【d r ，d r ，d r 。设月为迭代次数，权值和实际输出是n 的函数。 网络输入训练样本x i ，由l ：作信号的止向传播过程可得各层的输入币i 输山分别为： m ，、 “( n ) 。荟蟛。域，( h ) - ，【荟咙o 磁j = 坛7 1 n ) = 套皑b 州m o ) ，”( n ) = ，( 砉蚶b 硝气n ) ) = 1 ，2 ，j “斯) 2 善蟛州忙协 v ，p ( k ) c n ，目，( 耄w ：c n ，v j “c n ，) 掣。，( ；l ；咄咖b ) ) p = 1 ，2 ，p ( 2 - 1 ) 输山层第p 个神经元的误差信号为：e 爹研) = d f o ) 一y 爹0 ) ，根据最小_ 二乘准! i ! l l 均方误差应为各输山单元误差平方之和，即 e o o ) = 寺“? o ) 一y ? o ) ) 2 ( 2 2 ) 当所有样本都输入一次厉总误筹为 邑。荟趴小主荟荟( d 一y ) 2 亿 设w ，q ( n 1 为网络中的一个连接权值，根据梯度f 降法增锚方式r 的权值修止蟮为 峭一叫瑞 1 0 ( 2 - 4 ) 第：章皋卜饭人似然法的种蛘叫络 f i 批处理万式pr 可仅值修止草则r 月 喽( 一) 叫砚o e 丽a ( 2 5 ) 式中，r 是学习步k 。 f 面以批处理方式为例米推导b p 算法学习规! l ! | j 。 ( 1 ) 隐层，与输山层p 之间的权值修d s _ 鹫 权值修止量应为皑协叫巍，所以隐层- ，与输山层p 之间的权值修止鼙 为：删。) 叫礤o e a ( n 而) 务求解删姘所示： 芭：型塑。毒型塑竺攀掣掣 a w ：( n )白抑：( n )白a e ? o ) 砂? ( n ) 孔0 ) a w ：( n ) 。y 协斗，。埘v 纵n ) ；一善8 箩( 月) ) ，萝( 1 一y 笋( n ) ) p 1 耻( 月) 设局部梯度 ( 2 6 ) 6 茹o ) = e 爹q ) ，。q ；仙o ) ) = e 爹o ) y ? o ) ( 1 一y ? o ) ) ( 2 - 7 ) 根据6 学习规则，睇o ) 的修正蕈为 姑o ) 2 叩荟6 踟垆( n ) 协8 则f 一次迭代时隐层，上任一- 1 卜点与输山层尸上任一节点之间的权值为： w 踟+ 1 ) e 蟛( n ) + w = 皑n ) + 叩荟6 踟) v ) 弦9 ( 2 ) 隐层，与隐层j 之间的权值修正苗 蚓”一叩巍