（计算数学专业论文）pisigma神经网络随机输入在线梯度法的收敛性.pdf

大连理工大学硕士学位论文 摘要 b p 神经网络是目前应用最广泛的前馈神经网络模型之一但其收敛速度慢也成为它 的一个重要局限高阶神经网络既拥有比b p 神经网络更强的非线性分类能力，又将训练 时间大大减少p i s i g m a 神经网络( h - s i g m an e u r a ln e t w o r k ，简称p s n n ) 是ys h i n 和j g h o s h 在1 9 9 1 年提出的一种新的高阶神经网络【l 】它的结构是简单的单层感知器，因此 收敛速度快，同时又具有高阶神经网络特有的强非线性映射能力，而且避免了高阶神经 网络存在的“维数灾难”问题p i s i g m a 神经网络和以其为模块构造的神经网络广泛应 用于求解各种分类和逼近问题【2 - 4 】 关于神经网络的收敛性，以往的结论往往是概率性的近年来，吴微教授等人 在b p 神经网络确定性收敛方面做了大量的工作，也得到了许多成果【孓一1 l 】但关于 高阶神经网络尤其是p i s i g m a ；冲经网络的确定收敛性方面的工作才刚刚开始关于p 扣 s i 鲫a 神经网络离线梯度法和顺序样本输入在线梯度法的收敛性结论已经分别在文 献1 1 2 1 和 1 3 1 中给出本文推广了这些结果，给出了p i - s i g 咖神经网络随机输入在线梯 度法的收敛性结论及证明其中包括：每一轮输入后误差函数的单调递减性，以及 该算法的弱收敛性和强收敛性另外，本文通过数值试验给出了学习率和初始权值 对p i - s i g m a 网络收敛性的影响，并对这些现象进行了分析，给出了一些改进方法和解决 措施 关键词：p i s i g m a 神经网络；在线梯度法；随机输入；单调性；收敛性 大连理工大学硕士学位论文 c o n v e r g e n c eo fo n l i n eg r a d i e n ta l g o r i t h m w i t hs t o c h a s t i ci n p u t sf o r p i - s i g m an e u r a ln e t w o r k s a b s t r a c t b pn e u r a ln e t w o r k ( b p n n ) i so n eo ff e e d f o r w a r dn e u r a ln e t w o r k sa n dw i d e l yu s e di n m a n yf i e l d s b u ti t sm o s td r a w b a c ki st h ep o o rc o n v e r g e n c e h i g ho r d e rn d l r a ln e t w o r k so w n s t h eg r e a t e rn o n l i n e a rc a p a c i t yt h a nb pn e u r a ln e t w o r k s ，a n dc a ni m p r o v et r a i n i n ge f f i c i e n tf o r t h es a n l ep r o b l e m p i s i g m an e u r a ln e t w o r kf p s n n ) p r o p o s e db yys h i na n dj g h o s hi n 1 9 9 1i s a k i n d o f n e w h i g h o r d e r n e u r a l n e t w o r k s 1 t h e s t r u c t u r e o f p s n n i s r e l a t i v e l ys i m p l e s i n # el a y e rs u u e t n r e ，w i t hf a s tc o n v e r g e n c ec h a r a c t e r m o r e o v e r , i ta l s ot h ep o w e r f u ln o n l i n e a r m a p p m gc a p a c i t yo w n e db yh i g h e ro r d e rn e u r a ln e t w o r k s d u et oi t ss p e c i f i cs t r u c t u r e ，t h e w e l l - k n o w nd i m e n s i o nd i s | e r ，w h i c ht r a p sm a n yo t h e rh i g h e ro r d e rn e u r a ln e t w o r k s c a l lb e e f f e c t i v e l ya v o i d e db yp s n n s ot h en e t w o r k sc o n s t r u c t e di nt e r m so fp s n n 瓣w i d e l y u s e d t oi m p l e m e n tt h ec l a s s i f i c a t i o na n da p p r o x i m a t i o nt a s k s 渊 t h et h e o r e t i ca n a l y s i so ft h ec o n v e r g e n c eo fn e u r a ln e t w o r k si sa l m o s ti nt h ev i e wo f p r o b a b i l i t y r e c c n f l y , m a n yr e s u l t sa b o u t t h ed e t e r m i n a c yc o n v e r g e n c eo fb p n nh a v e b e e ng o t b y p r o f w u e t a 【5 - 1 l 】h o w e v e r , t h e r e s e a r c h o f t h e d e t e r m i n a c y c o n v e r g e n c e i n t h e f i e l d o f h i g h o r d e r n e u r a l n e t w o r k s ( e s p e c i a l l y p s n n ) i s a t t h e b e g i n n i n g i n t h e l i t e r a t u r e s 【1 2 a n d f l 3 a r et h ec o n v e r g e n c er e s u l t sa b o u tt r a i n i n gp s n nw i t hb a t c hb pa n do n l i n eg r a d i e n tm e t h o di n af i x e do r d e r , r e s p e c t i v e l y i nt h i sp a p e r , t h er e s u l t sa b o v ea r ee x t e n d e dw i t ht h ec o n v e r g e n c eo f 在m n i n g p s n n w i t h o n l i n e g r a d i e n t m e t h o d i n a s p e c i a l s t o c h a s t i c o r d e r p r o p o s e d c o n v e r g e n c e r e s u l t sa n dt h em o n o t o n i c i t yo ft h ee r r o rf u n c t i o na f t e re a c hb a t c ha l ep r o v e d a d d i t i o n a l l y , w e f i n dt h ee f f e c tt ot h ec o n v e r g e n c em a d eb yt h ea d o p t i o nt ol e a r n i n gr a t ea n di n i t i a lw e i g h t s t h e s c h e m ei sp r o p o s e dt os o l v et h ep r o b l e mb ya n a l y s i st ot h ep h e n o m e n o n k e yw o r d s ：p ! i s i g m an e u r a ln e t w o r k ；o n l i n eg r a d i e n ta l g o r i t h m ；s t o c h a s t i ci n p u t s ；c o n v e r - g e n c e ；m o n o t o n i c i t y 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学 或者其他单位的学位或证书所使用过的材料与我一同工作的同志对本研 究所做的贡献均已在论文中做了明确的说明并表示了谢意 作者签名：j b 奎垒日期：竺五! ：翌 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使 用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇 编学位论文。 作者签名盘毫岱瓦营历。 导师签名：盈丝 丑年月l 日 大连理工大学硕士学位论文 1绪论 1 1 神经网络概论 神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简称a n n ) 是- - f - j 新兴的交叉学科，是模拟 人脑智能结构和功能而开发出来的非线性信息处理系统，它是在对人脑组织结构和运 行机制的认识理解基础之上模拟其结构和智能行为的一种工程系统这门新兴的学科 近年来发展十分迅速，虽然它的发展道路曲折坎坷，几经兴衰，但在研究神经网络的 学者不懈努力下，在神经网络模型、学习算法以及神经网络技术应用等方面取得了一 些令人鼓舞的进步 1 1 1 神经网络的诞生与发展 一般认为，最早用数学模型对神经系统中的神经元进行理论建模的是美国心理学 家w m c c u l l o c h 和数学家w p i t t s ，他们于1 9 4 3 年建立了m p 神经元模型这是第一 个用数理语言描述脑的信息处理过程的模型，从此开创了神经网络理论研究的时代 上世纪五十年代末到六十年代初，研究者对神经网络在人工智能领域的应用 报以很大的期望，神经网络的研究迎来了第一个高潮1 9 6 1 年，美国计算机学家 f r o s e n b l a t t 提出了著名的感知器( p e r c e p l r o n ) 模型1 9 6 2 年，另外两位美国工程 师b w i d r o w 和霍夫m h o 鼬黾出了自适应线性元件( a d a p t i v el i n e a re l e m e n t ，简称 a d a l i n e ) 它是感知器的变化形式，尤其在权向量的算法上进行了改进，提高了训练 收敛速度和精度 但是，在1 9 6 9 年，作为人工智能创始人之一的m m i n s k y 和s p a p e r t 等合作发表 了颇具影响的感知器( p e r c e p t r o n ) 一书，该书指出，简单的神经网络只能运用于 线性问题的求解，能够求解非线性问题的网络应该具有隐层，而从理论上还不能证明 将感知器模型扩展到多层网络是有意义的因此证明了单层感知器分类能力的局限 性，并指出只有做某些改进才会使其能力得到增强至于能否找到一种有效的改进算 法，m i n s k y 的态度是悲观的他们的分析恰似一瓢冷水，让很多学者感到前途渺茫而 纷纷改行在这之后近l o 年，神经网络研究进入了一个缓慢发展的萧条期不过值得 庆幸的是，在此期间仍有不少研究人员不断努力，为神经网络研究的复兴与发展奠定 了理论基础1 9 6 9 年，s g r o s s b e r g 和g a c a r p e n t e r 提出了著名的自适应共振理论 亢喜岱：p i s i g m a 神经网络随机输入在线梯度法的收敛性 ( a d a p t i v e r e s o n a n c e t h e o r y ) 模型；1 9 7 2 年，t k o h o n e n 提出了自组织映射( s o m ) 理论；k f u k u s h i m a 提出了神经认知机网络模型 二十世纪八十年代，以逻辑符号处理为主的人工智能理论遭遇了自己的发展 瓶颈同一时期，并行处理模式的神经网络的研究成果使研究者看到了新的希 望1 9 8 2 年，美国加州理工学院的j h o p f i e l d 在 嘲究中取得了突破性的进展， 提出了一种新的网络模型即h o p f i e l d 网 络h o p f i e l d 网络首次引进了网络能量函数的概 念，提出了网络稳定性的明确判据，即网络能量函数的最小化1 9 8 5 年，h o p f i e l d 使用 该模型求解了推销员问题( t r a v e l i n gs a l e s m a np r o b l e m ，简称r s p ) ，引起了学术界的 广泛关注h o p f i e l d 网络证明了神经网络可以部分解决逻辑符号处理方法难以解决的 问题，给人工智能带来了新的希望1 9 8 4 年，h i n t o n 和s e j n o w s k i 在神经网络研究中引 入了统计物理学的概念，并提出了采用多层网络学习算法的网络模型，称为b o l t z m a n n 机为保证网络能收敛到全局极小值，h i n t o n 和s e j n o w s k i 在网络的学习机制中引入了 模拟退火的概念1 9 8 6 年，d e r u m e l h a t t 和j l m c c e l l a n d 出版了具有轰动性的 著作并行分布处理认知微结构的探索，提出了并行分布处理( p a r a l l e ld i s t r i b u t e d p r o c e s s i n g ，简称p d p ) 网络思想而且他们提出的解决多层神经网络权值修正的算法 一一误差反向传播法( b a c k p r o p a l i o n ，简称b p 算法) ，解决了长期以来没有权值调整 有效算法的难题，回答了感知器( p e r c e p t r o n s ) 中关于神经网络局限性的问题并 将这种网络应用于信息处理、模式识别和数据压缩等领域都取得了较好的效果，从实 践上证实了神经网络有很强的运算能力推动a n n 研究达到了一个新高潮 在h 6 e l d 以及r u m e l h a n 和m c c e n 锄d 点燃的神经网络复兴的火炬照耀下，神经 网络进入了一个蓬勃发展的时代1 9 8 7 年，首届国际神经网络大会在圣地亚哥召 开，国际神经网络联合会( i n n s ) 成立随后i n n s 创办了刊物 n 即r a ln e t w o r k s ) ， 其他专业杂志如( n e u r a lc o m p u t a t i o n ， 0 ，( 功= 一 【0 $ 0 ，0 ) = - 3 一 ( 1 2 ) ( 1 3 ) ， o 为学习速率，且 一叩器 = 叩( 碥一靠) ，( 碥) j = t = ，7 馘 j = l 馘= ( 醵一矗) 一( 碥) 1 2 ， ( 2 1 b ) cr m ，并 ( 2 2 ) 为此，一个简 ( 2 3 ) ( 2 4 ) 曲 p 州 “ = 力“ = 厶 甲， ”g 脚 棚 p 一 g 旷 一 ，焉 吖似 桫m 嘲 ，等触 l一212 = = 大连理工大学硕士学位论文 而 p 磁= 喀 p = l ( 2 5 ) 是隐层单元对第m 个输出层单元的线性输入进一步，我们可以得到当前权值h 的改 变量应为： 其中 嘶唧瓦c g e = 一刀垂筹罨 = ，7 ( 碥一铭) ，( 琢) w 钿( 嘭) 靠 = ，7 鲁w 抽( 嘭) 露 ( 2 6 ) 2 1 2b p 神经网络学习中应注意的问题 1 ，活化函数9 ( 。) 的选择 活化函数通常选为符号函数的光滑逼近，e p s i g m o i d 型函数例如： g ( $ ) = 再丽翮1 夕( 功= t a n h ( p z ) ( 2 7 ) ( 2 8 ) ( 2 9 ) 其中p o 是适当选定的常数一般地，s i g m o i d 珏! j数满足如下性质：光滑，单调 递增，上、下有界( 称为饱和性) 饱和值可以是0 l ( 例如( 2 8 ) ) ，也可以是士1 ( 例 - 1 3 铭 脚 = ， 鸽 m 嘲 劫 畎 = 霹 亢喜岱：p i s i g m a 神经网络随机输入在线梯度法的收敛性 如( 2 9 ) ) 而以上列举的两个函数还有一个特点，就是它们的导数值可以由其函数值给 出，分别有 v ( z ) = 2 卢( 1 9 ( z ) ) g ( ( 2 1 0 ) 9 ( z ) = p ( 1 一夕仁) ) 2( 2 1 1 ) 这一性质有利于减小计算量因此，它们成为最常用的s i g m o i d 型函数 当然，也可以选择其他活化函数例如，径向基函数、小波函数、样条函数等 等这些函数在某些逼近性质方面可能比s i g r n o i d 型函数好，但是s i g m o i d 型函数的鲁 棒性更好 另外，( 2 1 ) 中两层的活化函数可以选成不相同的例如在做逼近问题时可以 将( 2 1 a ) q 。的9 ( $ ) 选为线性函数 2 、初始权值的选取 初始权值护，w o 通常选取为接近于零的均匀分布的随机数，初始权值太大可能使 系统过早地陷入饱和区( 例如对于s i g m o i d i 菊数9 0 ) ，当h 较大时，( 茁) o ) ，不利 于进一步学习 3 、学习速率卵的选择 在梯度下降法中，学习速率( 或步长) 町如果太小，则收敛速度很慢；如果町太 大，有可能引起迭代的剧烈震荡町的选择并非易事文献【1 7 - 1 9 】讨论了这个问题 而在优化中，最优梯度法的学习速率，7 本应是可交的，是一维搜索的结果然而，由 于b p 网络结构复杂，误差函数是极复杂的非线性函数，从而使得求最优的学习率的难 度不亚于求误差函数的极小值 一般来说，如果误差曲面比较平坦，我们应当加大学习速率使得尽快收敛；而如 果误差曲面比较剧烈时，我们应当减小学习速率以避免引起震荡从而可以采取变步 长的算法同时。在无法求得最优学习率的情况下，我们可以求一些可行的学习率， 从而产生了像变学习速率、共轭梯度法等非精确线性搜索的优化算法应用到神经网络 上来 4 、在线梯度法 在迭代公式( 2 3 ) f t 玎( 2 6 ) 中。我们必须将所有训练样本) 名l 全部输入到网络中， 然后才能对当前的权值叫和w 做一小步调整，这种梯度法法被称为离线梯度法( 也被称 1 4 大连理工大学硕士学位论文 为批处理方法) 实际应用中，样本数常常很大，上述做法看来不够经济因此，广 泛应用的是下述所谓在线梯度法：随机选取一个样本，对当前权值伽和，定义权 值增量为 嗡= 口毛矗， ( 2 1 2 a ) t 喙= 7 晶， p = l p ；竹= 1 ；m = 1 m ( 2 1 2 b ) 现在，每输入一个训练样本向量，我们马上修改一次当前权值其中每次随机选择一个 样本更有利于跳出局部极小关于在线梯度法收敛性的一些讨论，可参见【6 ，2 0 1 5 、异步迭代梯度法 在b p j g 法中，我们每计算一次误差就同时修改所有的隐节点相关权值，和在线梯 度法的想法一样，这样做计算量很大有人提出了每次随机修改和其中一个隐节点相 关的权值 近几年来，又有人提出了异步迭代梯度法，和传统b p 算法相同的是每输入一个样 本就修改所有的隐节点，但不同的是利用样本的误差函数先修改和一个隐节点相关的 权值，修改完这个隐节点后就利用新的权值再次计算误差，根据新的误差值修改和下 一个隐节点相关的权值，直到修改完所有的权值然后再输入新的样本进行新的一轮 迭代 2 1 3b p 神经网络的缺陷 文献【2 l 】中指出，若9 ( z ) 为s i g m o i d 型函数，对一个包含两个隐层的b p 网络来说， 则可以适当选择隐单元个数以及权值，使得神经网络以任意精度逼近任意的连续函 数，这给多层前传网络的广泛应用提供了理论保证而且这一特点也使得b p 网络的应 用十分广泛，但是b p 网络也存在不少的缺陷 ( 1 ) 易陷入局部极小而得不到全局最优 ( 2 ) 训练次数多使得学习效率低，收敛速度慢 ( 3 ) 对于隐层和隐节点的个数选择，至今还没有一个具体的定论，缺乏理论指 导 ( 4 ) 训练时学习新样本有遗忘旧样本的趋势 1 5 亢喜岱：p i s i g m a 神经网络随机输入在线梯度法的收敛性 2 2 p i s i g m a s 8 经网络 2 2 1 高阶神经网络 1 9 8 7 年，g i l e s 和m a x w e l l 提出了高阶神经网络( u g ho r d e rn e u r a ln e t w o r k ，简 称h o n n ) 【1 4 ，1 5 高阶神经网络可以加强多层前馈型神经网络的非线性分类能力 同时，可以将训练时间大大减少 个三阶的全连接的高阶网络如图2 2 所示： 则输出值为： 图2 2三阶全连接的高阶网络 f i g 2 2f u l l yc o n n e c t e dh o n n w i t hah i d d e nl a y e r = 9 ( 嘶奶+ w j z j z t + 啪巧句) ( 2 t 3 ) ，3 k 3 i 由这个式子我们可以看出，在公式中包含样本z = ( 观，现，) 的高阶项，因此被称 为高阶神经网络 与传统的多层感知器( m l p ) 相比，高阶网络拥有以下特点： ( 1 ) 更强的非线性影射能力。对于解决相同的分类问题，高阶网络需要更少的隐 节点 ( 2 ) 能够将几何变换的不变性构造进入网络高阶网络是利用输入模式的已知关 系，将需要的不变量直接构造入网络，因此网络被“预训练”，并且不需要学习几何 变换的不变量，而只需要基于每个要识别对象，不是基于它的各种变形来进行训练 也就是不需要通过迭代以更新权值，训练时间有很大的减少 1 6 大连理工大学硕士学位论文 ( 3 ) 高阶网络不存在隐层，这点同样使得训练时间大大减少，同时也避免了隐层 数的选择问题 ( 4 ) 高阶网络的缺陷是：随着阶数的增加，权值矩阵的维数以几何幂级数的形式 增长，带来了所谓的“维数灾难” 2 2 2p i s i g m a 神经网络 h - s i g m a 神经网络和高阶神经网络都属于多项式前馈网络，而且是对高阶神经网 络的改进它的结构是单层感知器，因此它既保持了单层感知器收敛快的特点，又具 有多项式网络特有的强非线性映射能力，以其为模块构造的网络广泛应用于求解各种 分类和逼近问题 p i s i 酬经网络结构简单，由一个输入层、一个隐层( 即求和层) 和一个输出层 ( 亦即求积层) 构成，其结构如图2 3 所示 导i 0 t 囊积晨出晨 采和层 藿入晨 图2 3h - s i g m a 神经网络 f i g 2 3p i - s i g m an e u m ln e t w o r k 设给定j 个输入样本模式 f ) 盎，其中= ( 磊，8 _ 1 品) r p ，8 兰- 1 相 应的实际输出为 矿) 叠1cr ，理想输出为 ) 名1cr 饥= ( 毗l ，t 1 ) k 2 ，w k p ) t ( 1 七功为连接输入层各节点与求和层节点七的权值向量，并记整个输入层与求和层 的权值向量为伽= ，谚，砰) p p ，连接求和层节点与求积层节点权值取为固 定值1 2 2 3 以p i - s i g m a 神经网络为模块的神经网络 1 7 亢喜岱：p i s i g m a 神经网络随机输入在线梯度法的收敛性 由于p i s i g m a 神经网络中隐节点数目不能太大，y s h i n 和j g h o s h 又在1 9 9 2 年提 出了r i d g ep o l y n o m i a l 神经网络( r i d g ep o l y n o m i a ln e u r a ln e t w o r k s ，简称r p n n ) 2 2 _ 2 4 】它是由p s n n 作为其中的隐单元，拥有更强的非线性映射能力，可以逼近定义在紧 集上的任意连续函数而且可以有效地控制权值的个数，避免了随着阶数盼增长“维 数灾难”的发生因此，拥有更强的网络能力 图2 4 给出了r i d g ep o l y n o m i a l 神经网络的网络结构图假设共有个隐节点，则隐 节点是m ( t f t = 1 ，2 ，k ) 阶的p i s i g m a 网络 i l毪h 。h 图2 4 r i d g ep o l y n o m i a l 神经网络 f 螗2 4r i d g ep o l y n o m i a ln e u r a ln e t w o r k c o m p l e xp i - s i g m a 神经网络 1 9 9 7 年，ys h i n 又提出t c o m p l e xp i s i g m a 神经网络( c o m p l e xh - s i g m an e u r a l n e t w o r k s ，简称c p s n n ) 【2 5 】，其网络结构如图2 5 所示 这种神经网络是p i s i g m a 神经网络在复数域上的形式，使得对输入样本或者系统 是复数域上的可以直接计算，而不需要进行复数到实数的转化有时候这种转化是很 复杂的，而且有时候转化会产生一些问题而使得神经网络无法进行计算 递归p i s i g m a 神经网络 h u s s a i n 和l i a t s i s 将多项式神经网络和递归神经网络结合起来。提出了递归p i s i g m a 神经网络【2 6 2 7 】，其网络结构示意图如图2 6 所示 s i g r n a - p i - s i g m a 神经网络 2 0 0 2 牟，c i cl i 提出了s i g m a - p i - s i g m a