（计算数学专业论文）前馈神经网络梯度训练算法的几个收敛性结果.pdf

大连理工大学博士学位论文 摘要 近年来神经网络在许多领域都得到了广泛的应用前馈神经网络是一种构造简单而 应用广泛的神经网络模型，其主要的训练算法是梯度法为了提高算法的训练性能，人们 对梯度算法作了各种改进，例如：加入惩罚项来提高网络的泛化能力，加入动量项来加快 算法的训练速度并帮助跳出局部极小，引入复数值神经网络和相应的梯度算法来处理复 数值信号等如何从理论上对这些改进算法的性质( 特别是收敛性) 进行分析，成为神经网 络领域的一个重要研究课题本文主要研究了用于训练前馈神经网络的一些梯度算法的 收敛性，并提出了一种自适应确定带动量项b p 算法中动量因子的方法具体地，本论文包 括以下内容： 1 在现有的关于训练前馈神经网络的在线梯度算法的文献中，大部分收敛性结果需 要假设网络权值有界而这一假设在网络实际训练中是难以验证的即使在没有这一假 设的文献中，也需要额外的更加难以验证的条件一个自然的结果是：带有惩罚项的前馈 神经网络梯度训练算法可以保证网络权值有界但是这一结果在相关文献中并没有严格 的证明为了填补这一理论空白，本文首先严格证明了带惩罚的在线梯度算法在训练具 有s i g m o i d 输出和线性输出前馈神经网络时的权值有界性( 同时利用随机逼近理论，证明 了相关算法的收敛性) ，然后严格证明了带惩罚项前馈神经网络批处理梯度训练算法的权 值有界性 2 通过对训练复数值神经网络的批处理梯度算法的研究，本文给出了一个保证误差 函数单调下降的学习率的上界，并由此证明了训练算法的收敛性这一结果为实际应用 中学习率的合理选取提供了依据通过进一步研究训练复数值神经网络的带动量项批处 理梯度算法，建立了保证误差函数单调下降的学习率和动量因子之间的关系，并证明了 在相应条件下的算法收敛性 3 为提高神经网络的训练速度，提出一种自适应确定带动量项b p 算法中动量因子 的方法在学习率为常数情况下，根据误差函数关于权值向量的梯度变化情况，自适应调 节动量因子数值试验表明，该方法对离线和在线训练均有效，且在收敛速度和算法稳定 性上优于常动量因子的b p 算法 关键词：前馈神经网络；惩罚项；梯度算法；有界性；收敛性；复数值神经网络；复梯度 算法；动量项 大连理工大学博士学位论文 c o n v e r g e n c er e s u l t so fg r a d i e n ta l g o r i t h m sf o rt r a i n i n gf e e d f o r w a r d n e u r a ln e t w o r k s a b s t r a c t i nr e c e n ty e a r s ，n e u r a ln e t w o r k sh a v e b e e nw i d e l yu s e di nm a n yf i e l d s f e e d f o w a r dn e u r a l n e t w o r ki sas i m p l en e u r a lm o d e lw i t hw i d ea p p l i c a t i o na n do f t e nt r a i n e db yg r a d i e n ta l g o r i t h m m a n yt e c h n i q u e sh a v eb e e ni n t r o d u c e dt oi m p r o v et h ep e r f o r m a n c eo ft h eg r a d i e n ta l g o r i t h m f o re x a m p l e ，t h eg e n e r a l i z a t i o nc a p a b i l i t yc a nb ee n h a n c e db ya d d i n gap e n a l t yt e r mt ot h e e r r o rf u n c t i o n ，t h et r a i n i n gp r o c e s sc a nb ea c c e l e r a t e da n dm a ye s c a p ef r o mt h el o c a lm i n i m u m b ya d d i n ga m o m e n t u mt ot h ew e i g h tc h a n g e s ，a n dc o m p l e x v a l u e ds i g n a l sc a nb ed ep r o c e s s e d b yi n t r o d u c i n gt h ec o m p l e x - v a l u e dn e u r a ln e t w o r k sa n dc o m p l e xg r a d i e n ta l g o r i t h m s t h e t h e o r e t i c a la n a l y s i so nt h ep r o p e r t i e s ( e s p e c i a l l yt h ec o n v e r g e n c e ) o ft h e s ei m p r o v e dg r a d i e n t a l g o r i t h m si sa ni m p o r t a n tr e s e a r c hd o m a i no fn e u r a ln e t w o r k s t h i sd i s s e r t a t i o ni n v e s t i g a t e s s o m ec o n v e r g e n c ep r o p e r t i e so fg r a d i e n ta l g o r i t h m su s e dt ot r a i nf e e d f o w a r dn e u r a ln e t w o r k s m o r e o v e lam e t h o dt oa d a p t i v e l yd e t e r m i n et h em o m e n t u mf a c t o ro ft h eb a c k - p r o p a g a t i o n ( b p ) a l g o r i t h mw i t hm o m e n t u mi sa l s op r e s e n t e d t h em a i nc o n t e n t so ft h i sd i s s e r t a t i o na r el i s t e da s f o l l o w s 1 ac r u c i a lc o n d i t i o nf o rt h ec o n v e r g e n c eo f t h eg r a d i e n tm e t h o di st h eb o u n d e d n e s so f t h e n e t w o r kw e i g h t si nt h el e a r n i n gp r o c e s s i n d e e d ，m o s to ft h ec o n v e r g e n c er e s u l t si nl i t e r a t u r e s e x p l i c i t l yo ri m p l i c i t l ya s s u m et h i sc o n d i t i o nh o l d s i np r a c t i c e ，h o w e v e kt h e s eb o u n d e d n e s s c o n d i t i o n sm a yb eh a r dt oc h e c k ，a n dt h e r ei sn ot h e o r yt og u a r a n t e es u c hc o n d i t i o n s d e s p i t e t h ef a c tt h a ti tc a nb er e p l a c e db yo t h e rc o n d i t i o n s ，t h eb o u n d e d n e s sc o n d i t i o nr e m a i n si m - p o r t a n t ，d u et ot h ed i f f i c u l t yt oc h e c kt h en e wc o n d i t i o n s a d d i n gap e n a l t yt e r mt ot h ee l l o r f u n c t i o nh a sb e c o m eac o m m o n p r a c t i c et om a k e t h en e t w o r kw e i g h t sb o u n d e d b u tt h e r es e e m s n ot h e o r e t i c a lp r o o fo ft h ew e i g h tb o u n d e d n e s sf o rt h eg r a d i e n tm e t h o dw i t ht h ep e n a l t y t of i l l t h i st h e o r e t i c a lg a pi nl i t e r a t u r e ，t h ed i s s e r t a t i o nf i r s t l yr i g o r o u s l yp r o v et h e w e i g h tb o u n d e d n e s s o ft h eo n l i n eg r a d i e n ta l g o r i t h mw i t hp e n a l t yf o rt r a i n i n gb o t ht h ef e e d f o r w a r dn e u r a ln e t w o r k s w i t hs i g m o i d o u t p u ta n d t h a tw i t hl i n e a ro u t p u t ( t h ec o n v e r g e n c er e s u l t sf o rt h ec o r r e s p o n d i n g a l g o r i t h ma r ea l s oo b t a i n e dw i t ht h eh e l po fs t o c h a s t i ca p p r o x i m a t i o nt h e o r y ) ，t h e nr i g o r o u s l y 一 前馈神经网络梯度训练算法的几个收敛性结果 p r o v et h ew e i g h tb o u n d e d n e s so ft h eb a t c hg r a d i e n ta l g o r i t h m w i t hp e n a l t yf o rt r a i n i n gf e e d f o r - w a r dn e u r a ln e t w o r k s 2 t h ec o n v e r g e n c er e s u l t sf o rt h eb a t c hg r a d i e n ta l g o r i t h mw i t ho rw i t h o u tm o m e n t u m f o rt r a i n i n gc o m p l e x - v a l u e dn e u r a ln e t w o r k sa l ee s t a b l i s h e d a tt h es a m et i m e ，a l lu p b o u n d o ft h el e a r n i n gr a t ef o rt h ec o n v e r g e n c eo ft h eb a t c hg r a d i e n ta l g o r i t h mw i t h o u tm o m e n t u m , a n dr e l a t i o n s h i pb e t w e e nt h el e a r n i n gr a t ea n dm o m e n t u mf a c t o rf o rt h ec o n v e r g e n c eo ft h e b a t c hg r a d i e n ta l g o r i t h mw i t hm o m e n t u m ，b o mf o rt r a i n i n gc o m p l e x - v a l u e dn e u r a ln e t w o r k s ， a l eg i v e n 3 am e t h o di sd e v e l o p e dt oa d a p t i v e l yd e t e r m i n et h em o m e n t u mf a c t o ro fb pa l g o r i t h m t oe n h a n c et h et r a i n i n gs p e e do ft h en e u r a ln e t w o r k s t a k i n gt h el e a r n i n gr a t e 嬲c o n s t a n t , t h ea l g o r i t h ma d j u s t st h em o m e n t u mf a c t o ra c c o r d i n gt ot h et h eg r a d i e n to ft h ee r r o rf u n c t i o n w i t hr e s p e c tt ot h ew e i g h tv e c t o r n u m e r i c a le x p e r i m e n t ss h o wt h a tt h ep r o p o s e da l g o r i t h mi s e f f e c t i v ef o rb o t ht h eb a t c ha n do n l i n et r a i n i n g m o r e o v e r , i ti ss u p e r i o rt ot h eb pa l g o r i t h m w i t hc o n s t a n tm o m e n t u mf a c t o ri nr e s p e c to fc o n v e r g e n c er a t ea n ds t a b i l i t y k e y w o r d s ：f e e d f o r w a r d n e u r a ln e t w o r k s ；p e n a l t yt e r m ；g r a d i e n tm e t h o d ；b o u n d - e d n e s s ；c o n v e r g e n c e ；c o m p l e x - v a l u e dn e u r a ln e t w o r k s 一 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方 外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已 申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的 贡献均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文 作者签名 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间论文工作的 知识产权属于大连理工大学，允许论文被查阅和借阅。学校有权保留论文并向国家有 关部门或机构送交论文的复印件和电子版，可以将本学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印、或扫描等复制手段保存和汇编本学位论 文。 学位论文 作者签名 导师签名 8 5 大连理工大学博士学位论文 1绪论 1 1 人工神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) ，简称为神经网络( n e u r a ln e t w o r k s ) ，是由大 量处理单元( 神经元；n e u r o n s ) 广泛互连而成的网络，是对人脑的抽象简化和模拟人工神 经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能 它是根植于神经科学、数学、统计学、物理学、计算机科学以及工程等学科的一种技 术 1 1 1 人工神经网络的发展史 人工网络的研究始于2 0 世纪4 0 年代，它的发展经历了一条由兴起、萧条、兴盛、和 稳步发展构成的曲折道路 1 9 4 3 年，美国的心理学家w ：s m e c u l l o c h 和数理逻辑学家w a p i t t s 提出了著名 的m p 模型【1 1 ，这标志着人类开始用数学模型化的方法研究人脑的功能，从此开创了神经 网络理论研究的时代1 9 4 9 年心理学家h e b b 提出改变神经元连接强度的学习规则，即著 名的h e b b 规则【2 】这一规则仍是现代神经网络中一个极为重要的学习规则，至今还被许 多神经网络学习算法所使用1 9 5 7 年，r o s e n b l a t t 提出了著名的感知器( p e r c e p t r o n ) 模型【3 1 ， 它由阈值单元构成，利用教师信号进行训练，已具备了神经网络的一些基本特征，如并 行计算、分布存储和学习等1 9 6 0 年，r o s e n b l a t t 给出了感知器的收敛性定理的第一个证 明1 4 感知器的出现使神经网络从理论研究转入工程实现阶段，掀起了研究人工神经网络 的第一个高潮在这一阶段中，其他重要成果还有：1 9 6 2 年w i c t r o w 和h o f f 提出了自适应 线性元件a d a l i n e 及其训练算法f 5 1 ：19 6 7 年a m a r i 把随机梯度方法用于模式分类等 在2 0 世纪6 0 年代感知器的经典时期，好像神经网络可以做任何事1 9 6 9 年m i n s k y 和p a p e r t 发表了p e r c e p t r o n ) ) 一书【6 】，该书从数学角度证明了关于单层感知器的计算具 有根本的局限性，指出感知机的处理能力有限，其只能进行线性分类和求解一阶谓词问 题，而不能进行非线性分类和解决比较复杂的高阶谓词问题( 如x o r , 对称性判别问题 等) 特别是在有关多层感知器的简短一节中，他们认为没有任何理由假定单层感知器的 任何局限可以在多层的情况下被攻克由于他们在学术界的地位和影响，这一分析使神 经网络进入了一个缓慢发展的萧条期 前馈神经网络梯度训练算法的几个收敛性结果 进入2 0 世纪7 0 年代后，虽然神经网络研究相对进入低潮时期，但仍有不少科学 家在极端困难的条件下致力于这一研究直到8 0 年代，美国的生物物理学家h o p f i e l d 于1 9 8 2 、1 9 8 4 年在美国科学院院刊发表两篇文章，提出了仿人脑的神经网络模型即著 名的h o p f i e l d 模型h o p f i e l d 将这一模型制成电路，成功求解了旅行商问题，从而为神 经网络的研究重新树立了信心，引起了研究神经网络的又一次热潮接着，于1 9 8 6 年， r u m e l h a r t 和m c c l e l l a n d 出版了具有轰动性的著作( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ：e x p l o r a t i o n si nt h em i c r o s t r u c t u r e so fc o g n i t i o n 1 7 ，提出了误差反向传播算法( b p 算法) ，回 答了( p e r c e p t r o n s ) ) 中关于神经网络局限性的问题该书的问世宣告神经网络研究又一 次进入了高潮期b p 网络具有分类灵活、算法简练的优点，因此已被广泛用于模式分 类、函数逼近、统计分析和数据压缩等领域，成为至今为止影响最大的神经网络之一 1 9 8 7 年6 月2 1 日，在美国圣地亚哥召开了第一届国际神经网络学术会议，宣告了国 际神经网络协会正式成立此后国际上每年都有以神经网络为主题的国际会议召开 我国也于1 9 9 0 年1 2 月在北京召开了首届神经网络大会而诸如( ( n e u r a ln e t w o r k s ) ) 、 e et r a n s a c t i o n so i ln e u r a ln e t w o r k s ) ) 等一些国际性神经网络专业刊物的相继创刊。 把神经网络的研究带入了一个相对平稳的发展期目前，随着大量创造性研究工作的深 入开展，近百种网络结构、学习算法相继出现，硬件实现的研究工作也取得了重要的进 展神经网络的应用研究已经渗透到大量的工程领域，如在智能控制、模式识别、自适 应滤波和信号处理、非线性优化、机器人等方面显示出了巨大的应用前景 1 1 2 人工神经网络的模型 神经网络模型是由简单的神经单元组成的广泛并行互联的网络，能够模拟生物神经 系统所作的交互式反应神经元是神经网络操作的基本信息处理单位，是许多更复杂神 经网络的基本构件之一 图1 1 给出了一个简单的单层前传网络( 神经元) 的示意图神经元对外界传入的 个信号经过权值睨( i = 1 ，2 ，) 处理后，通过处理器a 得到“综合印象”( a 可为求 和、求积或求幂等运算) ，再由激活函数夕( ) 对此综合印象做出非线性反映( 激活函 数的另一个输入是神经元的阈值口当然，也可将阈值作为一个权值，将其输入设为固 定常数1 ，其对应权值即为阈值口这种反应机制是对真正的神经元反应机制的一种简 单而又常常有效的模拟将大量简单神经元按照某种方式连接起来，并通过某种学习过 程确定单元之间的连接强度( 权值) ，就得到各种人工神经网络，用来完成分类、逼近、控 2 大连理工大学博士学位论文 制和模拟等各种任务 l 盖l l 岛 着入 0 是惩罚系数，”l l 表示通常的欧几里德范数 注2 1 ：由式( 2 3 ) 所定义的惩罚项可被推广为当前权值向量和某参考点的距离的平方这 种广义惩罚项在文献【1 9 】中被用来构造某些新的训练算法 x c 寸e ( w ，v ；o ，毒) 分别关于w 和求偏导可得 v w ( w ，v ；0 ，) = v w 誉( w ，v ；o ，) + 入w = - ( o g ( w f ( v t 专) ) ) 夕7w f ( v t ) ) f ( v t 专) + 入w ， ( 2 4 a ) 1 2 大连理工大学博士学位论文 以及 v v f l ( w ，v ；o ，乏) = v v ( w ，v ；o ，专) + 批 = - ( o - g ( w f ( v t ) ) ) 夕7w f ( v t ) ) ，7 ( 巧) + , w j ， j = 1 ，2 ，口 ( 2 4 b ) 令 d n ，p ) 墨1cr xr p 是一训练样本序列，w o 和v o 是任意的初始权值带惩罚项的在 线梯度算法按照如下方式更新权值： w n + 1 = w n 一v w e ( w n ，v n ；伊，r ) ，扎= 0 ，1 ， ( 2 5 a ) + 1 = v n n v v f l ( w n , v n ；o n ，r ) ，j = 1 ，q ，n = 0 ，1 ， ( 2 5 b ) 其中 0 是学习速率( 可能与钆有关) 2 3 主要结论 正如前面讨论，网络权值的有界性是保证在线梯度算法收敛的一个非常重要的条件 这一节将给出本章的主要结论：在较弱的条件下，网络权值在带有惩罚项的网络训练过 程中有界定理的证明将会在下一节给出本章中有关概率术语的定义和文献【1 5 】相同 本章主要理论结果基于以下假设 假设2 1 ：训练序列 ( 0 n ，( p ) t ) t ) 器l 是独立同分布( i n d e p e n d e n ti d e n t i c a l l yd i s t r i b u t e d ) 的 有界随机向量序列 假设2 2 ：函数，和9 在r 上二阶连续可微另外，g ，厂，9 7 ，以及矿在r 上一致有界 假设2 3 ： ) 是单调下降的正值序列，且满足：( a ) = 0 0 ，( b ) l i r as u p ( r 石1 一 m n n _ | i , 1 - 一1 。1 ) 1 ，有醒 。 n = o 注2 2 ：这些假设是相当宽泛的对于通常的实时学习以及当 ( o n ，( p ) t ) ? ) 器1 在一有限 样本集中随机选取的情况下，假设2 1 都会得到满足对于典型的活化函数( 例如s i g m o i d 函数) ，假设2 2 也能满足一个非常重要的例外就是当夕为线性函数的情况，将在下一章 一1 3 前馈神经网络梯度训练算法的几个收敛性结果 中讨论注意到当o c 仡一七( o 1 为由式( 2 9 ) 迭代产生的权值序 列定义期望函数q ( o ) = e d ( z ”，o ) 1 这时有伊_ 0 + 兰 o l ( v q ( o ) = 0 ) 以概率l 成立 注2 3 ： 因为定理2 1 已经说明本章所研究的算法在本质上已经能够保证网络权值有界， 因此定理2 2 不再象文献 1 5 ，1 7 ，1 8 ，2 0 ，2 2 】中的那样需要额外假定网络权值有界另外，通 过修改误差函数使其包含惩罚项，许多有关于训练神经网络的在线梯度算法的收敛性结 果所要求的条件可以得到减弱例如，通过修改误差函数，文献【2 1 】中的收敛性结果可以 去掉权值有界这一限制性条件 n o 时有下式成 立： 0 孚 ( 2 1 8 ) w n i i iw i l + av n = n ，n + 1 ，( 2 1 9 ) 当n = n 时( 2 1 9 ) 显然成立这样我们假设对某一n n ) 式( 2 1 9 ) 成立，来证明当n + 1 时式( 2 1 9 ) 依然成立 若f l w n i | 孕，利用式( 2 1 5 ) 和式( 2 1 7 ) 可得 w 肼1 i | ( 1 一入) 1 1 w n i l - i - a i i w n i l + g 2 c 入, + c 4 _ 孚，则由式( 2 1 5 ) ，式( 2 1 7 ) 以及前面的归纳假设知 w n + l l ( 1 一入) l | w 竹i l + - 警l l w n o = ( 1 - - 挚) l l w n l i 1 1 w n l i 1 1 w l l + a ( 2 2 1 ) 1 6 大连理工大学博士学位论文 这样由数学归纳法证得式( 2 1 9 ) 恒成立于是，令 a = m a x l l w o w l l l l 一，1 1 w _ 1 w l i 十0 4 即可得到在情形( i i ) 下式( 2 7 ) 成立从而式( 2 7 ) 在情形( i ) 和( i i ) 下均成立口 定理2 1 中式( 2 8 ) 式的证明：对任意的n ，由式( 2 2 ) ，式( 2 4 b ) ，式( 2 7 ) 以及假设2 1 和2 2 可得 i v v ，8 ( w n ，v 竹；0 n ，c ) i i = i i ( o n g ( w n f ( ( v n ) r r ) ) ) 夕( 矿f ( ( 驴) t p ) ) 嵋，7 ( p ) 钏 ( i o n i + i g ( w n f ( ( v n ) t e n ) ) d i 9 7 ( w n f ( ( v n ) r n ) ) l l l w n i i i f 7 ( v n ) 专“ 冬( s u pl o n l + s u pi g ( t ) 1 ) s u p 趴亡) i as u pl ，他) ls u pl l p i i t e l lt e r t e r 兰g 由式( 2 5 b ) 可得 ( 2 2 2 ) + 1 = ( 1 一入) v - 刀v v f i ( w l v n ；d n ，毒”) 歹= 1 ，q ，f , = 0 ，1 ， ( 2 2 3 ) 这样，式( 2 8 ) 式的证明的剩余部分类似于式( 2 7 ) 式的证明的相应部分具体细节在此略 去口 定理2 2 的证明基于文献【1 5 】中的结论3 1 a 方便起见，将其列为下面的一个引理在 这个引理中，0 n _ o 。表示j i 俨i i _ 0 0 引理2 2 ：令 舻) n oc 孵为一独立同分布的有界向量序列，m ：裂r f 一则是一连 续可微函数假设下列条件成立：任给p r z ，数学期望m ( 口) 兰e ( m ( z n ，p ) ) 0 是学习率，可能与几有关 3 2 主要结果 后面的有界性和收敛性结果将用到下面的假设 假设3 1 ：训练序列 ( ( 妒) t ，o ”) t ) 甚。是独立同分布( i i d ) 的有界随机向量，其中妒r p ， 0 n r 假设3 2 ：函数，在r 上二阶连续可导另外，、f 7 以及，在r 上一致有界 o o 假设3 3 ： ) 是单调下降序列且满足( 口) = o o ，( b ) 镌 1 是由式( 3 9 ) 生成的权值向 量序列则下列结论以概率1 成立： ( i ) l i ma ( o n ，e ) = 0 ； ( i i ) e ( h ( o 住，即) ) 收敛； ( i i i ) 存在0 。i n te 满足l i m0 n = 0 。，或b 。& 满足l i r ad ( o “，a 鼠) = 0 ( e p o n ) n o 2 3 前馈神经网络梯度训练算法的几个收敛性结果 要么收敛到e 的一个内点，要么无限靠近e 的某个连通成分的边界) 3 3 证明 定理3 1 的证明分成两部分，分别用来处理式( 3 6 ) 和式( 3 7 ) 式( 3 6 ) 的证明用到下面 的引理 引理3 1 ：设a = ( a 1 ，口2 ，) t r q ，则矩阵a 一的特征值为o ( 口一1 重) 和口；+ 碹+ + n 务 证明证明简单，在此略去口 式( 3 6 ) 式的证明由式( 3 4 a ) 和式( 3 5 a ) ，可得 w n + 1 = ( 1 一a 0 ) w n + ( d n w n f ( ( v n ) t x n ) ) f ( ( v n ) ? x n ) = ( 1 一a ) w n 一( w n f ( ( v n ) t 妒) ) f ( ( v 竹) t 妒) + d n f ( ( v n ) t 妒) = ( i 一入) w n 一( f ( ( v n ) t 妒) f t ( ( v n ) t 妒) ) 矿+ d n f ( ( v n ) t x n ) = ( ( 1 一入) i 一珈( f ( ( v n ) r 妒) f t ( ( v n ) t x 竹) ) ) w n + d n f ( ( v n ) t x n ) ， ( 3 1 0 ) 其中i 是单位矩阵由引理3 1 可知矩阵 f ( ( v n ) t 妒) f t ( ( v n ) t 妒) 的特征值为o ( n 一1 重) 和| l f ( ( v n ) t x ) 1 1 2 于是矩阵 有下列特征值 由l | | | 的定义可知 ( 1 一a v ) i r n ( f ( ( v n ) t 妒) f t ( ( v n ) t x n ) ) i 一入，1 一入一i i f ( ( v n ) t x n ) 1 1 2 ( 3 i i ) z l l m 答i z , l ，z r 口( 3 a 2 ) 大连理工大学博士学位论文 由假设3 2 可得 f ( z ) i l 撕s u pl ，( t ) i = c 3 ， z r 9 ( 3 1 3 ) t e r 由假设3 3 和式( 3 1 3 ) 可知存在一整数1 ，使得当n n 1 时有 0 1 ，0 1 ) ，不等式l l w “0 譬恒成立这时，只须令a = m a x ( 1 1 w o l l ，1 1 w 1l l ，孕) ，式( 3 6 ) 即可得证 情f f f , ( i i ) ：存在一整数( n 1 ) 使得 矿i i t 2 0 4 这时，可以通过对礼进行归纳假设来证得下式成立 ( 3 1 6 ) w ”i l lw | l + c i= n ，n + 1 ， ( 3 1 7 ) 当礼= n 时式( 3 1 7 ) 显然成立假设式( 3 1 7 ) 对某一个整数n ) 成立，下面来证明 式( 3 1 7 ) 对n + l 依然成立 2 5 前馈神经网络梯度训练算法的几个收敛性结果 若| 1 w n l i 警，利用式( 3 1 4 ) 和式( 3 1 5 ) 司得 l l w n + 10 ( 1 一概) l l w n | i + c 4 1 1 w n 0 + a 竺+ c 4 1 1 w i i + q ( 3 1 8 ) n ，1 另一方面，若1 1 w n i i 孕，则由式( 3 1 4 ) ，k ( 3 1 5 ) 以及归纳假设可得 1 1 w n “l l o 是一维定义 在概率空f , q ( a ，厂，p ) 上的实值独立同分布随机变量序列；0 0 是一定义在相同概率空间上 的d 维实值独立同分布随机变量，且与z o ，z 1 ，即，独立r + 和耐分别表示正实数 集和非负实数集q d 定义为上所有凸且紧的子集的全体e ( ) 、臣和已的定义与前 一节相似，0 和z 的定义比前一节稍为广泛d ( ，a ) 、i n t a 和o a 也与前一节的定义相同 文献【