（计算数学专业论文）高阶双并联神经网络批处理梯度算法收敛性.pdf

大连理工大学硕士学位论文 摘要 b p 神经网络是目前应用最为广泛的前馈神经网络之一，具有很多优点，但传统的 b p 网络只有求和神经元，在处理复杂的非线性问题时效率很低。为了解决这一问题， 人们引进了求积神经元等高阶神经元，用以增加网络的非线性映射能力。这些以高阶神 经元构建的网络统称为高阶前馈神经网络。另外，工程上有一类带有线性部分的非线性 问题，简单的感知器不能解决这类问题，且常见的前馈神经网络来解决这类问题的效果 也不是很好。为此，学者们提出了一类双并联神经前馈网络( d o u b l ep a r a l l e lf e e d f o r w a r d n e u r a ln e t w o r k s ，简称d p f n n ) 。基于这两种网络的网络结构和特点，本文提出了一种 高阶双并联神经网络( h i g ho r d e rd o u b l ep a r a l l e ln e u r a ln e t w o r k s ，简称h o d p n n ) ，用 来解决这类带有线性部分的复杂非线性问题。试验表明，该网络在处理这类问题时，与 p i s i g m a 高阶前馈神经网络和双并联前馈神经网络相比，具有明显的优势。 梯度算法是一种简单的优化算法，经常被用于神经网络训练中。梯度法有两种不同 的运行方式，分别是在线运行方式和批处理运行方式。本文主要研究用批处理梯度算法 训练高阶双并联神经网络的收敛性。 本论文的结构及内容如下：第一章回顾了神经网络相关的一些背景知识。第二章介 绍了高阶双并联神经网络，并给出了其批处理梯度算法的弱收敛性、强收敛性证明。第 三章给出了两个关于函数逼近的数值试验，并对网络的学习效果进行了讨论。 关键词：高阶神经网络；双并联神经网络；高阶双并联神经网络；批处理梯度算法 高阶双并联神经网络批处理梯度算法收敛性 c o n v e r g e n c eo f b a t c hg r a d i e n td e s c e n ta l g o r i t h mf o rh i g ho r d e rd o u b l e p a r a ll e ln e u r a ln e t w o r k s a b s t r a c t b pn e u r a ln e t w o r ki sak i n do ff e e d f o r w a r dn e u r a ln e t w o r k sa n di sw i d e l yu s e di nm a n y a p p l i c a t i o n s b pn e t w o r kh a sm a n ya d v a n t a g e s ，b u t i t o n l yu s e sa d d i t i v en e u r o n sa n dh e n c e h a sp o o rc a p a b i l i t yf o rs o l v i n gc o m p l e xn o n l i n e a rp r o b l e m s t or e s o l v et h i sp r o b l e m , p r o d u c tn e u r o n sa r ea p p l i e di nf e e d f o r w a r dn e u r a ln e t w o r k st oe n h a n c et h en o n l i n e a r m a p p i n gc a p a b i l i t y 刚sk i n do ff e e d f o r w a r dn e u r a ln e t w o r kb a s e do nh i 曲o r d e rn e u r o n si s c a l l e dh i 曲o r d e rf e e d f o r w a r dn e u r a ln e t w o r k s o nt h eo t h e rh a n d ，t h e r ea r em a n yn o n l i n e a r p r o b l e m sw i ml i n e a rp a r ti ne n g i n e e r i n g w h i c hc a nn o tb er e s o l v e db yas i m p l ep e r c e p t r o n o rac o m m o nf e e d f o r w a r dn e u r a ln e t w o r k s d o u b l ep a r a l l e lf e e d f o r w a r dn e u r a ln e t w o r k s ( d p 孙n ) a r ep r o p o s e df o rt h i sc a s e i nt h i st h e s i s ，h i 曲o r d e rd o u b l ep a r a l l e ln e u r a ln e t w o r k ( h o d p n n ) i sp r o p o s e d ，b a s e do nt h en e t w o r ks t r u c t u r e sa n df e a t u r eo ft h ea b o v et w o n e t w o r k s t or e s o l v et h i sk i n do fc o m p l e xn o n l i n e a rp r o b l e m sw i t h1 i n e a rp a r t n u m e r i c a l e x p e r i m e n t si n d i c a t et h a tt h en e u r a ln e t w o r kh a sab e t t e rl e a r n i n gp e r f o r m a n c ei ns o l v i n g t h i sk i n do fp r o b l e m ，c o m p a r e dw i t hp i s i g m an e u r a ln e t w o r ka n dd p 刚 g r a d i e n ta l g o r i t h mi sas i m p l eo p t i m i z a t i o na l g o r i t h ma n di so f t e na p p l i e df o rn e u r a l n e t w o r k st r a i n i n g t h e r ea r et w od i f f e r e n tw a y st oi n p u tt h es a m p l e sd u r i n gt h et r a i n i n g p r o c e s s ：o n l i n ev e r s i o na n db a t c hv e r s i o n 1 1 1 em a i nw o r ko ft h i s t h e s i si st o s t u d yb a t c h g r a d i e n td e s c e n ta l g o r i t h mf o rh o d p n n i nc o n v e r g e n c e t h es t r u c t u r eo ft h i st h e s i si so r g a n i z e da sf o l l o w s ：c h a p t e r1g i v e sab r i e fi n t r o d u c t i o no f a r t i f i c i a ln e u r a ln e t w o r k c h a p t e r2g i v e sp r o o fo fw e a kc o n v e r g e n c ea n ds t r o n gc o n v e r g e n c e o fb a t c hg r a d i e n td e s c e n ta l g o r i t h mf o rh o d p n n f i i l a l l y t w on u m e r i c a le x p e r i m e n t so n f u n c t i o n a la p p r o x i m a t i o na r ec a r r i e do u ti nc h a p t e r3 ，w h e r et h el e a r n i n gp e r f o r m a n c eo ft h e n e t w o r ki sa l s od i s c u s s e d k e yw o r d s ：h i g ho r d e rn e u r a ln e t w o r k ；d o u b l ep a r a l l e l f e e d f o r w a r dn e u r a l n e t w o r k ；h i g ho r d e rd o u b l ep a r a t t e tn e u r a ln e t w o r k ；b a t c hg r a d i e n ta l g o r i t h m 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：墨煎塑薹墼窒里竺因丝垡丛! 竺查壅垒堡! 鳖丝 作者签名： 垒圭鲨至 日期：j 竺生年2 月上二- 日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期阎 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：鸯豳趟塑挫豳丝拯! 塾壅丝庭笪这丛丝丝 作者签名： 耋壬肇掌日期：4 年乙月竺日 导师签名：白峥魄4 年上月三日 大连理工大学硕士学位论文 1绪论 1 1人工神经网络概论 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简记作a n n 或n n ) 是对人类大脑系统的 一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以 用计算机程序来模拟，是人工智能研究的一种方法，是一个由大量简单的处理单元组成 的高度复杂的大规模非线性自适应系统。在神经网络已经学会需要知道什么以后，训练 后的神经网络依据特定应用可以用来执行特定的任务。神经网络具有从环境中学习的能 力和以类似生物的交互方式适应环境的能力。这样，存在用人工神经网络来执行某些功 能的巨大可能性，使得用人工神经网络( 在一定程度上) 能够模仿与生物类似的功能i l 】。 近3 0 年来，神经网络逐渐走上了稳步发展的道路并不断渗透到生命科学、工程科 学、金融学等科学研究的诸多领域，例如图像识别【2 卅和金融预测【7 叨等，形成- - 1 7 交叉 学科。以下如不特别声明，神经网络指的是人工神经网络，神经元指的是人工神经元。 1 1 1 神经网络发展概况 人们对神经网络的研究在2 0 世纪4 0 年代初就开始了，至今己有半个多世纪的历史 了。在这期间，神经网络经历了一条曲折的研究和发展道路，关于神经网络的发展大体 可以分为以下3 个阶段【渺川。 ( 1 ) 萌芽阶段 1 9 4 3 年美国心理学家m c c u l l o c h 和数学家p i t s 合作，用逻辑的数学工具，从信息处 理的角度，首先提出了二值神经元模型( 简称m p 模型) ，把神经元作为双态开关，并 用布尔逻辑等数学工具研究客观事件的形式神经网络的模拟。m p 模型的提出开始了对 神经网络的研究进程。1 9 4 8 年，w i e n e r 在发表的控制论中，多次谈到他和m c c u l l o c h 、 p i t s 以及r o s e n b l a t 等人在生物神经系统、信息、控制等方面的亲切讨论、交流和合作。 可以说，w i e n e r 的杰出工作对神经网络的研究起到了重要的推动作用。1 9 4 9 年心理学 家h e b b 提出著名的h e b b 学习规则，即由神经元之间结合强度的改变来实现神经学习 的方法。虽然h e b b 学习规则为假设提出，正确性在3 0 年后才得到证实，但其基本思想 至今仍在神经网络的研究中仍发挥着重要作用。1 9 5 8 年，美国学者r o s e n b l a t t 提出并设 计制作了著名的感知机模型( p e r c e p t r o n ) 。这是一种学习和自组织的心理学模型，它基 本符合神经生理学的原理。感知机虽然比较简单，却已具有神经网络的一些基本性质， 如分布式存贮、并行处理、可学习性、连续计算等。这是人类第一次从理论研究转入工 程实现阶段，而且这些神经网络的特性与当时流行的串行的、离散的、符号处理的电子 高阶双并联神经网络批处理梯度算法收敛性 计算机及其相应的人工智能技术有本质上的不同，由此引起许多研究者的兴趣，掀起了 第一次研究神经网络的高潮。但是，当时人们对神经网络研究过于乐观，认为只要将这 种神经元互连成一个网络，就可以解决人脑思维的模拟问题，然而，后来的研究结果却 又使人们走到另一个极端上。 1 9 6 2 年，w i d r o w 提出了自适应线性原件网络，简称a d a l i n e ，它是一种连续取值的 神经网络，主要用于自适应系统。1 9 6 9 年，美国著名人工智能专家m i n s k y 和p a p e r t 发 表的专著感知器一书指出：感知机的功能和处理能力有限，甚至连x o r ( 异或) 这样 的问题也无法解决；同时也指出即使在感知器中引入隐含神经元，增加神经网络的层次， 虽然可以提高神经网络的处理能力，但是却无法给出相应的网络学习算法。m i n s k y 悲 观的结论使得神经网络的研究进入了“黑暗的年代 。 ( 2 ) 过渡时期( 7 0 年代) 在这一时期，虽然神经网络的研究进入了低潮期，但关于神经网络的研究并未因此 而中断。仍有一些学者在神经网络模型和学习算法的基础理论上进行着艰苦的研究，提 出了许多有意义的理论和方法。1 9 6 9 年，美国学者s g r o s s b e r g 与g a c a r p e n t e r 提出 了自适应共振理论( a r t ) 模型，并在以后的若干年发展了a r t l ，a r t 2 ，a r t 3 三种神 经网络模型。日本的甘利俊一教授从1 9 7 0 年起，就对神经网络的性质及其局限性作了 许多理论研究，取得了一定的成果。1 9 7 2 年，j a m e sa n d e r s o n 和芬兰的t u e r ok o h o n e n 分别提出了各自的联想技术，a n d e r s o n 的模型后来经过发展，成为盒中脑状态b s b ( b r a i n s t a t e i nab o x ) ，k o h o n e n 最著名的成果是学习向量量化l v r ( l e a r n i n gv e c t o r q u a n t i z a t i o n ) 网络，两种模型发展出了各自的人工神经元系统。 ( 3 ) 8 0 年代后的新高潮阶段 从1 9 7 0 年到1 9 8 6 年，经过许多科学家长期不懈努力研究，取得了突破性的重要成 果，使得神经网络领域的研究工作摆脱了困境，进入健康发展的新时期。a n n 研究进 入第二次高潮的标志是美国加州工学院物理学家j j h o p f i e l d 于1 9 8 2 和1 9 8 4 年在美国 神学院院刊上发表的两篇文章。1 9 8 2 年他提出了h o p f i e l d 网络模型，并首次引入能量 函数( 李亚普诺夫函数) 的概念，提出了网络稳定性的判据。1 9 8 4 年，他提出了网络模型 实现的电子电路，为神经网络的工程实现指明了方向。在这一年，h i n t o n 和s e j m o n s k i 提出了并行分端处理( p d p p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 理论，19 8 6 年又提出了误差反 向传播算法( b a c kp r o p a g a t i o n ，简称b p 算法) 。1 9 8 7 年6 月在美国圣地亚哥召开的第一 届世界神经网络会议，宣告了国际神经网络协会的成立，也标志着神经网络研究在世界 范围内形成了高潮。现在，无论在国外还是国内，神经网络的研究都受到了空前的关注 大连理工大学硕士学位论文 并引起了许多领域研究人员的兴趣。尤其进入上个世纪9 0 年代以来，i e e e 神经网络汇 刊的问世，各种专著逐年增加，许多期刊不断推出研究专辑，使得神经网络的研究进入 了平稳发展的新时期。 1 1 2 神经网络模型 神经网络是对生物神经网络的模拟，由大量的神经元依照一定的规则连接而成，用 以完成不同智能处理信息任务的一种大规模非线性动力系统。不同神经元之间的相互作 用通过突触权值来表示。 神经元之间的连接方式不同，网络的拓扑结构也不同。常见的层结构有三种：输入 层、隐层和输出层，如图1 1 ，其中，隐层神经元的输入与输出都在网络内部，对外界 是不可见的，这就是隐层名称的由来。输入层上的神经元接收来自外界的输入信息，然 后传递给各个位于第一隐层上的神经元；隐层是神经网络的内部信息处理层，负责将网 络中的信息进行处理后传递给下一层，根据信息交换的需要，隐层可以是一层或多层， 最后一个隐层将处理后的信息传递到输出层；输出层中的各神经元将这些信息进一步处 理后即完成一次从输入到输出的信息处理，由输出层向外界输出信息处理结果。也就是 说，神经网络的输入层接受外部环境的输入，产生输出，然后这个输出被用于隐层的输 入。这个过程一直持续到满足某个特定条件或直接从输出层输出到外界。 x 1 x 2 _ 卜只 卜咒 卜一此 输入层隐层输出层 图1 1 神经网络层结构 f i g 1 1l a y e ro fn e u r a ln e t w o r k 神经元通过权值相互连接，将一个神经元的输出传给另一个神经元的输入。这些连 接可能是单向的，也可能是双向的。一个神经元既可能有一个或多个输入，也可以有一 个或多个输出。同层之间的神经元可能有连接，也可能没有连接。 高阶双并联神经网络批处理梯度算法收敛性 不同层之间神经元的连接，即层间互连( i n t e r 1 a y e rc o n n e c t i o n s ) 的方式【1 5 17 】： 全连接( f u l l yc o n n e c t e d ) ：第一层的神经元与第二层所有的神经元都全连接； 部分连接( p a r t i a l l yc o n n e c t e d ) ：第一层的神经元不一定与第二层所有的神经元都 有连接； 前向( f e e df o r w a r d ) 连接：第一层神经元的输出传给第二层的神经元，但是它们不 接受第二层神经元的输出； 双向( b i d i r e c t i o n a l ) 连接：第一层神经元的输出传给第二层的神经元，同时它们 也接受第二层神经元的输出； 层级( h i e r a r c h i c a l ) 连接：只有上下两层之间的通信，没有跨层通信； 共振( r e s o n a n c e ) 连接：全连接，并且层间反复传递消息直到满足某种条件。 同层的神经元间也有连接，称之为层内互连( i n t r a - l a y e rc o n n e c t i o n s ) ： 递归( r e c u r r e n t ) 连接：同层的神经元之间全连接或部分连接，神经元之间相互通 信，直到满足条件，才输出到另一层； o n c e n t e r o f f s u r r o u n d ：神经元对它的邻居有兴奋性连接，对其它神经元则是抑 制性连接。 人工神经元是对生物神经元的一种形式化描述，是神经网络的基本单元，也是对生 物神经元的结构和功能的模拟。人工神经元也被称为“节点 或“处理单元”。这里给 出具有个输入和单个输出的神经元模型，见图1 2 ，这是最早且影响最大的是m p 模型，即处理器取为求和器。该模型经过不断改进，已经成为目前广泛应用的神经元模 型。 输入 毒2 掌 氛l = 一1 图1 2 多输入单输出神经元模型 f i g 1 2 m o d l eo fn e u r o nw i t hm u l t i i n p u t sa n do n eo u t p u t 一4 一 大连理工大学硕士学位论文 在图1 2 中l ( i = 1 ，2 ，n + i ) 为外部向神经元输入的n + 1 个信号，其中，知+ ，为定 值- 1 ，彬( f = 1 ，2 ) 为输入毒( f - 1 ，2 ，) 与神经元的连接权值，口为神经元的激活阈 值，g ( ) 为激活函数，f 为神经元的输出。 神经元对外界传入的n + 1 个信号孝= ( 磊，色，氨+ 。) 经权值形= ( 形，w n ) 及阈值 秒处理后，用线性求和器得到“综合印象 ，乞一伊，再由激活函数g ( 。) 对此综合印 z2l 象作出非线性反应f = g ( ! 形点一目) 。 。 一、j l = i 激活函数可以是线性的，也可以是非线性的。常用的激活函数有以下一些类型。 ( 1 ) 硬极限函数 硬极限函数的表达式如下： y = g ( x ) = 燃 ( 1 1 ) 或 y = g ( z ) = s g n ( x ) = 絮o 。 ( 1 2 ) 式( 1 1 ) 的硬极限函数也叫单极限函数，式( 1 2 ) 的硬极限函数也叫双极限函数， 硬极限函数常用于分类。 ( 2 ) 线性函数 如果激活函数采用线性函数，则神经元输出取“综合印象 ，即 y = g ( x ) = x 。 ( 1 3 ) 该激活函数常用于实现函数逼近的神经网络的输出层神经元。 ( 3 ) 饱和线性函数 饱和线性函数的表达式如下： y = g ( x ) = 去( | x + l i j x l i ) ， ( 1 4 ) 该函数也常用于分类。 ( 4 ) s i g m o i d a l 函数 s i g m o i d a l 函数也叫s 函数，是一类非常重要的激活函数，无论神经网络用于分类、 函数逼近或优化，s i g m o i d a l 函数都是常用的激活函数。s i g m o i d a l 函数的表达式为： 1 1 y 2 g ( x ) 2 ( 1 5 ) l + p 一 或 高阶双并联神经网络批处理梯度算法收敛性 y = g ( x ) = 去 ( 1 6 ) l 十p 式中，参数称为s i g m o i d a l 函数的增益，其值决定了函数非饱和段的斜率，越大， 曲线越陡。式( 1 5 ) 的函数称单极性s i g m o i d a l 函数，式( 1 6 ) 的函数称双极性s i g m o i d a l 函数或双曲正切函数。 与硬极限函数相比，s i g m o i d a l 函数是连续可微的，使得神经元的权值可用于误差 反向传播学习算法( b p 算法) 调节。 ( 5 ) 高斯函数 高斯函数( 也称钟形函数) 也是极为重要的一类激活函数，常用于径向基函数神经 网络( i 国f 网络) 。高斯函数的表达式为 三 y = g ( x ) = p ( 1 7 ) 式中，参数艿称为高斯函数的宽度或扩展常数。万越大，函数曲线就越平坦；反之，万越 小，函数曲线就越陡峭。 近年来，由于越来越多的神经网络模型被提出，神经元种类也越来越多，新增的比 较常见的神经元有模糊神经元f 1 8 1 、过程神经元【1 9 - 2 0 1 。 1 1 3 神经网络的学习 生物之所以能适应环境，是因为生物神经系统具有对周围环境进行学习的能力。对 于神经网络，最具有吸引力的特点就是它的学习能力。1 9 6 2 年，r o s e n b l a t t 给出了人工 神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。所谓的学习 从狭义上讲，就是确定网络中神经元之间的连接权值以及神经元阈值的过程，从广义上 讲还包括网络结构的学习和网络中神经元激活函数的学习等。神经网络的表达能力大大 限制了它的学习能力。神经网络的学习过程就是对神经网络的训练过程。一般情况下， 网络性能的改善是按某种预定的规则调整自身参数( 如连接权等) 随时间逐步达到。训 练过程中权值的调整方式称为神经网络的学习规则【2 1 2 2 】。 目前，已经提出的神经网络的学习方式已经有几十种，按照样本所提供的信息，学 习方式可以分为三类： ( 1 ) 有监督学习( s u p e r v i s e dl e a r n i n g ) ，也称有导师学习，这种学习方式是纠错规 则。这种学习方式需要外界存在一个“导师 也称为期望输出，它可对一组给定的输入 样本提供应有的输出结果。这组已知的输入输出数据称为训练样本集。对于有导师学 习样本( 专，q ) ，扛1 ，2 ，n ，神经网络学 - - j 的目的是：通过调节各神经元的自由参数， 一6 一 大连理工大学硕士学位论文 使网络产生期望的行为，即当输入样本为毒时，网络输出尽可能接近q 。通常为了保证 训练的成功，需要很多的训练样本和很长的训练时间。常见的有导师学习方式有离散感 知器学习规则、万学习规则和w i d r o w - h o f f 学习规则等，下面我们将分别简单介绍。 离散感知器学习规则： 当神经元的激活函数是硬极限函数时，该神经元就是但神经元感知器。它的学习规 则称为离散感知器学习规则，是一种有导学习方式。对输入样本为f ，神经元的期望输 出为o ，当前输出为y ，而神经元的激活函数取符号函数。则离散感知器学习规则中， 权值调整量为 a w ( t ) = p ( f ) 善， ( 1 8 ) 其中误差信号为 p ( ，) = o - y = o - s g n ( w 1 孝) 。 ( 1 9 ) 神经元的初试权值可以取任意值，离散感知器学习规则常用于单层及多层离散感知 器网络。 万学习规则： 万学习规则也称梯度法或最速下降法，是最常用的神经网络学习方法，是一种有导 学习算法，常用于单层及多层感知器、b p 网络。用万学习规则调节神经元权值，激活 函数常取s i g m o i d a l 函数，因为s i g m o i d a l 函数是连续可微的，满足梯度法的需求。 关于神经元权值调节的艿学习规则的目的是：通过训练权值w ，使得对于训练样本 对( 孝，d ) ，神经元的输出误差 11 e = 去( d y ) 2 = 去( d g ( w 7 善) ) 2 ( 1 1 0 ) 么z 达最小。通过计算梯度向量 v 瓦= ( o - y ) g ( w 7 ) 孝， ( 1 1 1 ) 并令a w ( t ) = 一椤瓦，即可得到万学习规则的权值更新公式 a w ( t ) = - r l ( o - y ) g ( w 7 孝) 孝， ( 1 1 2 ) 其中叩称为神经元学习率，神经元的初试权值一般在零附近取值。 w i d r o w h o f f 学习规则： w i d r o w h o 行学习规则也称为w h 学习规则，由w i d r o w 和h o f f 提出，常用于自 适应线性单元( a d l i n e ) ，是一种有导师学习算法。该规则和万学习规则类似，只是激活 函数取硬极限函数，在这不详述。 高阶双并联神经网络批处理梯度算法收敛性 ( 2 ) 无监督学习( u n s u p e r v i s e dl e a r n i n g ) ，也称无导师学习或自组织学习( s e l f o r g a n - i z e dl e a r n i n g ) 。无监督学 - - j 时，没有外部的导师或评价来监督学习的过程，神经元和连 接呈现某种程度的自组织性。学习时，只规定学习方式或某些规则，具体的学习内容随 系统所处环境( 即输入样本) 而异，系统可以自动发现环境特征和规律。无导师学习具 有分类灵活，算法简练的优点，但误差较大。常见的无导师学习规则有h e b b 学习规则、 竞争学习规则等，下面我们将分别介绍这两种规则。 h e b b 学习规则睇j j ： h e b b 学习规则又称为相关学习规则，由神经心理学家h e b b 提出，是一种无导师 学习算法，常用于自组织网络或特征提取网络。其基本思想是：如果两个神经元同时兴 奋或抑制，则它们之间的突触连接就得以增强，反之则减弱。在第k 次训练时，以孝耻) 。表 示神经元i 的激活值，善，耻表示神经元歹的激活值，蟛表示神经元i 到，的权值。那么 采用h e b b 学习规则后的权值改变量及更新规则为 蟛= 4 4 , 圆白 ( 1 1 3 ) “1 ) ：w 9 4 - w ) ( 1 1 4 ) 其中。为两个神经元激活值的运算算子，五为学习步长。 竞争学习规则【2 4 j ： 竞争学习规则又称k o h o n e n 规则，由t e u v ok o h o n e n 提出。在竞争学习时，网络 各输出单元间相互竞争，胜者获得学习机会( w i n n e rt a k e sa 1 1 ) 。获胜的神经元在更新 自己权值的同时，抑制其它神经元的活动。k o h o n e n 规则不需要期望输出，属于无导师 学习，适用于竞争型网络，如自组织特征映射网络。最常用的竞争学习规则可以写为： w目cn，=誉。船一w移挖x聿茎茎淼。 c ，5 ， ( 3 ) 自监督学习( s e l f - s u p e r v i s e dl e a r n i n g ) ，也称强化学习，这种学习方式介于上 述两种情况之间。在强化学习中，输入输出映射的学习是通过与环境的不断交互完成的， 外部环境对系统输出结果只给出评价( 奖或惩) 而不是给出正确答案，网络通过强化那 些受到奖励的动作来改善自身性能，直至达到给定的精度要求。 学习是基本的认知活动，是经验和知识的积累过程，也是对外部事物前后关联地把 握和理解以便改善网络的性能的过程。学习的目的是通过有限个例子( 训练样本) 的学 习，找到隐含在例子背后的规律( 例如函数形式) 。通过网络学习解决问题，是神经网 络的一个主要特点。 一8 一 大连理工大学硕士学位论文 1 1 4 神经网络的特性及应用 作为一种由大量简单的处理单元并行分布组成的处理机，神经网络具有存储和应用 经验知识的自然特性。同时，作为对生物神经网络的模拟，它吸收了生物神经网络的一 些优点，形成了其固有的特性： ( 1 ) 并行分布处理 神经网络并行处理的含义和目前的并行处理机有很大的区别，它的并行处理能力是 通过分布式结构来实现的，即由不同个数的神经元以及它们之间的连接形式和方法来表 现处理过程。因此，其具有强大的并行计算能力，很强的稳定性和抗干扰性，能快速处 理数据。 ( 2 ) 高度非线性映射能力 单个神经元可以是线性或者非线性的，但神经网络的非线性是天生的，神经元之间 的连接是非线性的。这一特性可以适用于非线性控制问题。 ( 3 ) 自适应学习能力 神经网络通过调整自身权值，以适应外晃变化。学习能力是神经网络最重要的特性 之一，这是从生物神经网络那里吸收过来的，与人脑的工作原理相似。 ( 4 ) 容错性 神经网络的并行结构和分布存储使得其具有很强的容错性和鲁棒计算能力。也就是 说，神经网络在部分信息不完全，或者说丢失或损坏甚至有错误信息时，仍能恢复出原 来正确的完整信息。 ( 5 ) 可硬件实现 神经网络不仅可以用软件或可借助软件实现并行处理，还可以通过集成电路进行模 拟。这使得神经网络具有快速和大规模处理能力。 ( 6 ) 神经网络集成 神经网络集成是用有限个神经网络对同一问题进行各自学习，该集成在某个输入下 的输出由各神经网络在同输入下的输出共同决定，这样可以解决网络输入信息间的互补 和冗余问题。 神经网络的这些特性，使得当前人们可以在几乎所有的领域内发现人工神经网络应 用的影子 2 5 3 0 】。当前神经网络的主要应用领域有：信息处理领域( 如自适应信号处理、 模式识别、数据压缩) 、自动化领域( 如非线性系统辨识、神经控制器、智能检测) 、 工程领域( 地震预测、故障检测) 、通信领域( 自适应均衡、回波抵消、路由选择) 、 医学领域( 检测数据分析、生物活性研究、医学专家系统) 和经济领域( 信贷分析、市 场预测、股市预测) 。 一9 一 高阶双并联神经网络批处理梯度算法收敛性 1 1 5 神经网络发展前景 以神经网络为代表的链接主义模式，从大规模并行分布式信息处理和非线性系统的 认知机理上来反映人脑信息处理和思维的本质，其发展的推动力来源于它特有的非线性 适应性信息处理能力。目前，神经网络正处于由简单的并行处理模型机制的研究到对其 变换能力、变化机制进行深入的和严格意义数学理论分析的研究，许多学者正在对神经 网络结构的整体能力和限制进行深入的理论分析。 ( 1 ) 增强对智能和机器关系的认识 神经网络是由大量处理单元组成的非线性、自适应、自组织系统，它是现代神经科 学研究成果的基础上提出的，试图模拟神经网络加工、记忆信息的方，设计一种新的机 器，使之具有人脑风格的信息处理能力。智能理论所面对的课题来自“环境一问题一目 的”，有极大的诱惑力与压力。它的发展方向就将是，把基于联结主义的神经网络理论、 基于符号主义的人工智能专家系统理论和基于进化论的人工生命这三大研究领域，在共 同追求的总目标下，自发而有机的结合起来。可以预测，在2 1 世纪初，智能的机器实 现问题的研究将有新的进展和突破。 ( 2 ) 探索更有效的学习新算法 虽然当前神经网络已经取得不错的发展，大规模并行处理也带来了计算上的改进， 但是依然存在诸多需要解决的问题。例如，学习新样本模式会对旧的已有知识造成破坏、 大多数学习算法还都是局部算法、等等。因此，探索更有效的学习新算法是神经网络当 前研究的一个热点，而且也取得了很多成果。首先是神经网络自身的改进，主要是产生 新型网络或者引进新的算法。如a m a r i 运用微分流形理论创建的信息几何，首次将非欧 氏空间的研究带入了神经网络模型的研究。同时，将神经网络和其他的算法结合起来也 取得了不错的成果。如神经网络与遗传算法、混沌理论等产生了遗传神经网络、混沌神 经网络等。或者将神经网络与各种控制方法有机结合，其建模算法和控制系统的稳定性 等研究也是当前的热点问题。 ( 3 ) 数学理论上的研究 用数理方法探索智能水平更高的神经网络模型，深入研究网络的算法和性能，如神 经计算、进化计算、稳定性、收敛性、计算复杂性、容错性、鲁棒性等，开发新的网络 数理理论。现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转交给了 学习算法来完成，具体来说，增加处理机数目一般不能明显增加近似求解的规模。可以 说，有些神经网络模型的计算( 学习) 时间与神经元有多少事实上关系不太大，却与学 习的样本有明显的依赖关系。值得注意的是，尽管采用大规模并行处理机是神经网络计 大连理工大学硕士学位论文 算的重要特征，但我们还应寻找其它有效方法，建立具有计算复杂性、网络容错性和坚 韧性的计算理论。由于神经网络的非线性，因此非线性问题的研究是神经网络理论发展 的一个最大动力。特别是人们发现，脑中存在着混沌现象以来，用混沌动力学启发神经 网络的研究或用神经网络产生混沌成为摆在人们面前的一个新课题，因为从生理本质角 度出发是研究神经网络的根本手段。 ( 4 ) 神经网络软件模拟，硬件实现的研究以及神经网络在各个科学技术领域应用 的研究 神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的物 理前提。它体现了算法和结构的统一，是硬件和软件的混合体，这种硬软混合结构模型 可以为意识的作用和基本机制提供解释。未来的研究主要是针对信息处理功能体，将系 统、结构、电路、器件和材料等方面的知识有机结合起来，建构有关的新概念和新技术， 如结晶功能体、最子效应功能体、高分子功能体等。在硬件实现上，研究材料的结构和 组织，使它具有自然地进行信息处理的能力，如神经元系统、自组织系统等。目前有些 学者正在研究从硬件技术到应用之间的映射理论，将会出现一些新的方法。由于神经网 络可以用传统计算机模拟，也可以用集成电路芯片组成神经计算机，甚至还可以用光学 的、生物芯片的方式实现，因此研制纯软件模拟，虚拟模拟和全硬件实现的电子神经网 络计算机潜力巨大。如何使神经网络计算机与传统的计算机和人工智能技术相结合也是 前沿课题，如何使神经网络计算机的功能向智能化发展，研制与人脑功能相似的智能计 算机，如光学神经计算机、分子神经计算机、将具有十分诱人的前景。 1 2 高阶神经网络 人工神经网络是对人脑活动的简单模拟，其发展依赖于对大脑思维过程的正确理解 和对大脑结构与功能关系的研究新进展。生物神经学的最新研究成果表明突触连接除了 二体相互作用基本类型( 如轴体突触、轴树突触、轴轴突触) 外，还存在着多个神经 成分依次排列相互作用产生的超微结构，例如神经元中的侧棘，其在大脑的高级神经活 动学习和记忆中起着重要作用。这种超微结构在中枢神经系统内很多部位出现，并在很 大程度上决定大脑发育的完善程度。因此，仅仅考虑生物神经系统二体突触相互作用的 神经网络模型的性能指标往往具有局限性。如果在模型中能够进一步考虑生物神经系统 的超微结构，可提高神经网络的各项性能指标，有利于神经网络的应用。在人工神经网 络中，我们可以将这种超微结构数学模型化，这就是高阶神经网络模型【3 。常见的高阶 神经网络有h i g h o r d e r 神经网络( h o n n ) 、s i g m a p i 神经网络( s p n n ) 和p i s i g m a 神经 网络( p s n n ) 等，下面三节将对这几种高阶神经网络进行简单的介绍。 高阶双并联神经网络批处理梯度算法收敛性 1 2 1 h i g h - o r d e r 神经网络 h i 曲o r d e r 神经网络( h i g h - o r d e rn e u r a ln e t w o r k s ，简称h o n n ) 是l e e 等1 9 8 6 年 提出的一类前馈神经网络的改进形式。它既保留了单层网络收敛速度快的特点，又具有 高度非线性映射能力和较强的存储能力【3 2 3 3 1 ，已经广泛用于图像识别、分类、函数逼近 和控制等领域1 3 4 。 一个三阶单输出的h o n n 神经网络的结构如图1 3 所示。 图1 3h i g h - o r d e r 神经网络 f i g 1 3h i g h - o r d e rn e u r a ln e t w o r k 该网络的输出值为： y = g ( z 心t + 喙t + 畅_ 五) ( 1 1 6 ) jj k j il 从式( 1 1 6 ) 可以看出，网络的输出值中包含样本f = ( x 1 ，x 2 ，h ) 各分量值的高阶项。 与传统的多层感知器( m u l t i l a y e rp e r c e p t r o n ，简称m l p ) 相比，h o n n 具有以下特 占 、 ( 1 ) h o n n 具有较强的非线性映射力，克服了一般网络的对称性。解决相同的分类 问题，相比m l p ，h o n n 需要的隐节点更少。 ( 2 ) h o n n 能将几何变换的不变性构造引入网络，即h o n n 利用输入模式的已知 关系，将所需要的不变量直接引入、构造网络。h o n n 被“预训练后，不需要学习几 何变换的不变量，只需要针对每个要识别对象，而不是识别对象的各种变形进行学习， 也就不需要通过迭代更新权值，因此提高了网络的训练速度和计算精度。 大连理工大学硕士学位论文 ( 3 ) h o n n 只包含输入层和输出层，不包含隐层，这样使得训练时间大大减少， 同时避免了隐层数和隐层节点数的选取问题。 ( 4 ) h o n n 的缺陷是随着网络阶数的提高，所需权值的个数成指数阶增加，造成 所谓的“维数灾难 。 1 2 2s i g m a p i 神经网络 s i g m a - p i 神经网络是由s i g m a p i 单元构成的前馈神经网络，是一种稀疏连接形式的 h o n n 。该网络同时在网络中增加了由求和神经元和求积神经元交替构造的隐层【3 5 】，其 网络结构如图1 4 所示。s i g r n a - p i 神经网络既保留了h o n n 的高度非线性映射能力，又 增加了网络的灵活性，即根据具体问题构造合适的网络结构，提高了网络的学习效率， 并在一定程度上解决了h o n n 随网络阶数的提高，所需权值个数成指数增加带来的“维 数灾难 。文献【3 6 3 7 1 验证了局部黎曼可积函数作为s i g m a - p i 神经网络激活函数的特征条 件与连续函数时的情形在进行函数逼近时是一致的。 s i g m a - p i 单元是s i g m a - p