（计算数学专业论文）递归神经网络几个梯度学习算法的收敛性.pdf

大连理工大学硕士学位论文 摘要 人工神经网络以其自身的自组织、自适应和自学习的特点被广泛应用于各个领 域有时我们希望所建立对象的模型能够反映系统的动态特性，而传统的前馈网络属 于静态网络，在处理动态系统的应用中存在着很多问题虽然通过引入时滞环节来描 述系统的动态是可行的，但仍有不足，因为这需要大量的神经元来表示动态响应，并且 需要预知系统的阶次近年来递归神经网络的研究发展迅速与前馈网络相比，它是 动态网络，利用网络的内部状态反馈来描述系统的非线性动力学特性，从而能更真接 的反应系统的动态特性 递归网络是有个或多个反馈回路的神经网络把反馈应用于神经网络有多 种不同的形式，从而就会产生不同结构的递归网络在其学习算法中，梯度下降法 被广泛应用1 9 8 9 年，w i l l i a m s 和z i p s e r 提出了基于梯度法的实时递归学习算法 ( r t r l ) t 2 ”文献【2 2 针对一个神经元的情况，给出了r n n 梯度下降算法的确定收敛 性定理在此基础上，本文对r n n 梯度学习算法作了进一步的理论研究 本文第一章为文献综述在第二章我们简要介绍了几种常见的惩罚项，并从理论 上对不带惩罚项的递归网络权值的无界性作了讨论针对这个问题。我们引入了修正 的误差函数，即在原来的误差函数中加入惩罚项，进而证明带w e i g h t - d e c a y 惩罚项的 鼢州梯度下降法的收敛性以及权值的有界性文献【2 1 中的r t r l 算法是在线梯度 法推广到递归网络的形式，但是关于此算法的收敛性能，作者并没有给出理论证明 第三章我们主要论证了r t r l 算法的弱收敛和强收敛性定理 关键词：递归神经网络；德罚项；梯度下降法；有界性；收敛性 大连理工大学硕士学位论文 c o n v e r g e n c e o fs o m eg r a d i e n tl e a r n i n ga l g o r i t h m sf o r r e c u r r e n tn e u r a ln e t w o r k s a b s t r a c t a r t i f i e i a ln e u r a ln e t w o r k sh a v eb e e nw i d e l ya p p l i e di nv a r i o u sa r e a sd u et oi t sv i r t u e s o fs e r f - o r g a n i z a t i o n ，s e l f - a d e p t i o na n ds e l f - l e a r n i n g f o rs o m ep r a c t i c a lp r o b l e m s ，w ee x p e c t t h em o d e lt or e f l e c tt h ed y n a m i c a lp r o p e r t i e so fas y s t e m b u tt h et r a d i t i o n a lf e e d f o r w a r d n e u r a ln e t w o r k s ( f n n ) i ss t a t i c ，a n dd i f f i c u l tt od e a lw i t hd y n a m i cs y s t e m s t h o u g had e l a y t e r mc a l lb ei n t r o d u c e di n t ot h en e t w o r kf o rt h i sp u r p o s e ，t o om a n yn e u r o n sa r en e e d e dt o p e r f o r mt h ed y n a m i cr e s p o n s e ，a n dt h eo r d e ro ft h es y s t e mh a st ob ek n o w nb e f o r e h a n d r e c e n t l y t h e r e h a s b e e n a g r e a t p r o g r e s s i n t h e r e s e a r c h o f t e c u l r e n t i l e l l r n i n e t w o r k s ( r n n ) c o m p a r e dw i t hf n n ，r n ni sad y n a m i c a ln e t w o r k i tr e c u r si n n e rs t a t ef e e d - b a c kt od e - s c r i b et h en o n i i n e a rd y n a m i c a lf e a t u r eo f t h es y s t e m r n ni sa1 d n do fn e u r a ln e t w o r k st h a ti n c l u d eo n eo rm o r ef e e d - b a c kl o o p s t h e r e a r ed i f f e r e n tf o r m st oa p p l yf e e d b a c kt on e u r a ln e t w o r k s ，l e a d i n gt od i f f e r e n ts t r u c t u r e so f r n n i nt h el e a r n i n ga l g o r i t h m s ，g r a d i e n td e s c e n tm e t h o dh a sb e e nw i d e l yu s e d i n1 9 8 9 ， w m i 躺a n d z i p s e ri n t r o d u c e dt h er e a lt i m er e c u r r e n tl e a r n i n ga l g o r i t h m ( r t r l ) u ”t 1 i c l i t e r a t u r e 【2 2 】g i v e sad e t e r m i n i s t i cc o n v e r g e n c eo fg r a d i e n td e s c e n ta l g o r i t h mf o rr n n f o r o n en e u r o n t h i st h e s i sc o n t i n u e st h et h e o r e t i c a lr e s e a r c ho l lg r a d i e n tl e a r n i n ga l g o n t h r af o r r n n t h cf i r s tc h a p t e ri sal i t e r a t u r er e v i e w i nc h a p t e r2 s o m ep o p u l a rp e n a l t i e sa r eb r i e f l y i n t r o d u c e d , a n dt h eu n b o n n d e d n e s so f w e i g h t so f r n nw i t h o u tp e n a l t yt e i ii sd i s c u s s e d t o s o l v et h ep r o b l e m , w ei n t r o d u c eac o r r e c t i v ee l t u rf u n c t i o nw i t hp e n a l t y t h r o u g ht h i ss t r a t - e g y , t h ec o n v e r g e n c eo fg r a d i e n tt r a i n i n go fr n n w i t hp e n a l t ya n dt h eb o u n d e d n e s so ft h e w e i g h ta r eb o t hg u a r a n t e e d t h er t r la l g o r i t h mi n o d u c e di n 【2 】i st h eg e n e r a l i z a t i o no f o n l i n e g r a d i e n t m e t h o d f r o m f n n t o r n n ，b u t t h e r e r e m a i n sa l a c k o f t h e o r e t i c a l a s s u r a n c , e t b ct h i r dc h a p t e rm a i n l yv e r i f yt h ew e a kc o n v e r g e n c ea n ds t r o n gc o n v e r g e n c et h e o r e mo f r t r l k e y w o r d s ：r e c u r r e n tn e u r a ln e t w o r k s ；p e n a l t y ；g r a d i e n td e s c e n t ；b o u n d e d n e s s ；c o n - v e r g e n c e m 一 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究 工作及取得研究成果尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大 连理工大学或者其他单位的学位或证书所使用过的材料与我一同工作 的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢 意 作者签名：j ! ：翌日期：坐f ：! ：! ： 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学 论文版权使用规定”，同意大连理工大学保留并向国家有关部门或机构 交学位论文的复印件和电子版，允许论文被查阅和借阅本人授权大连 e 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， l 可采用影印、缩印或扫描等复制手段保存和汇编学位论文 作者签名：! ! ：二士 作者签名： ! ：= f 导师躲奎垂錾 巫年上月旦日 大连理工大学硕士学位论文 1绪论 1 1 神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ) 也简称为神经网络q j n s ) ，是在对人脑 神经网络基本认识的基础上。用数学方法和从信息处理的角度对人脑神经网络进行抽 象并建立某种简化的数学模型它是一个由若干简单处理单元构成的规模宏大的并 行分布式处理器，具有存储经验知识和使之可用的特性神经网络在两个方面与人脑 相似【1 1 ： 0 ) 神经网络获取的知识是从外界环境中学习得来的； ( 2 ) 互连神经元的连接强度，即突触权值，用于储存获取的知识 1 1 1 神经元模型 神经元是神经网络操作的基本信息处理单位图1 1 显示神经元的模型，也是神 经网络设计基础通常，神经元模型应具备三个要索： ( 1 ) 突触或连接常用毗f 表示神经元i 和神经元j 间的连接强度，也称权值； ( 2 ) 加法器用于求输入信号被神经元的相应突触加权的和； ( 3 ) 激活函数起非线性映射作用并限制神经元的输出振幅通常，一个神经元 输出的正常幅度范围在【o ，1 】或【- 1 ，1 】区间内 五 恐 郑 图1 1 神经元模型 f i g 1 - 1m o d e lo f n e u r o n 图1 1 的神经元模型也包括一个外部阈值( 或称为偏置) ，记为6 t 其作用是根据 其为正或为负，相应地增加或降低激活函数的网络输入 递归神经网络几个梯度学习算法的收敛性 用数学术语，我们可用如下表达式来描述一个神经元： 鼽= ，( + 瓯) j = l 其中d = 1 ，2 ，n ) 为输入信号，札坼为权值，6 是阈值，( ) 是激活函数 激活函数，( ) 可取不同的函数，比较常用的有三种： ( 1 ) 阈值函数( t h r e s h o l df u n c t i o n ) m ，= 像嚣 z ， m ，= 1 , x k l ? 0 为学习步长，这就是通常说的误差纠正学习规则反向传播算法就是基于 该规则的一种简单而又常用的神经网络训练算法 ( 2 ) 基于记忆的学习所有( 或大部分) 以往经验被显式地存储到正确分类的输 入输出实例 ( ，d i n _ 1 的记忆中，这里戤为输入向量，血表示相应的理想输出 3 递归神经网络几个梯度学习算法的收敛性 ( 3 ) h e b b 学习规则。神经心理学家i - i e b b 2 提出的学习规则可归结为：“当某一 突触( 连接) 两端的神经元的激活同步时( 同为激活或同为抑制) ，该突触的强度应该增 强，反之则应减弱”用数学方式可描述为a w k j ( n ) = ，( n ) ，巧( n ) ) ，其中最常用 的一种情况为a w i ( n ) = 刁讥( 凡) ) ( 4 ) 竞争学习规则顾名思义，在竞争学习时网络各输出单元间相互竞争，胜者获 得学习机会( w m n e r t a k e sa 1 1 ) 获胜的神经元在更新自己权值的同时，抑制其它神经 元的活动最常用的竞争学习规则可写为 鲫时( n ) ： 甙q ) 一如幻( 哟) ， 若神经元j 竞争获胜 1 0 若神经元j 竞争失败 1 1 3 神经网络的共同特征 不同的应用领域发展出了很多的神经网络模型，这些网络模型在结构上、实现 上、以及运行方式上都不尽相同，但是它们却拥有很多共同的特征具体的讲，人工 神经网络是由大量的高度互联的信息处理单元( 神经元) 组成的高度复杂的动力学系 统，它们的共同的特征有 ( 1 ) 信息分布式处理，分布式存储记忆； ( 2 ) 所有神经元高度互联，单个神经元会通过连接权直接或间接影响网络中部分 或所有的神经元： ( 3 ) 网络权值通常会根据特定的训练算法进行白适应的调整； ( 4 ) 活化函数通常是非线性的，神经元的输出是激发该神经元信息的非线性函数； ( 5 ) 采用高度互联的冗余神经元，使得网络具有强壮的鲁棒性，在样本具有噪音或 者网络部分神经元损坏的情况下，仍然具有较好的推广和识别能力 在下面两节我们分别讨论两种典型的神经网络 1 2 前馈神经网络 1 2 1 网络结构及算法 个典型的多层前馈神经网络( f e e d f o r w a r dn e u r a ln e t w o r k s ，简称f n n s ) 模型如 图1 2 所示这是一个由多个图i 1 所示的简单神经元互联的3 层神经网络结构，信 大连理工大学硕士学位论文 息由后向前逐层传递，构成了一个由输入状态空间到输出状态空间的非线性映射网 络的演化遵从全局性作用原则，从输入状态演化到终态而输出 输入层 图1 2多层前馈神经网络结构图 f i g 1 2a r c h i t e c t u r eo f m u l t i 1 a y e rf c c d f o r w a r dn e u r a ln e t w o r k 从全局观点来看，网络整体性能不是网络局部性能的简单叠加，而是表现某种集 体性行为每一步计算与上一步计算紧密相关，并对下一步产生影响，问题是通过算 法逐步进行处理的 在监督学习的方式下训练多层前馈网络的一种典型而有效的方法是反向传播算 法( b a c k - p r o p a g a t i o n ) ，简称b p 算法b p 算法是基于误差修正学习规则的，它使用梯 度搜索技术来实现网络的实际输出与期望输出的均方误差最小化具体来说，反向传 播学习由信号两次按不同方式经过网络而组成：一次是工作信号的前向传递( 信号前 传) ，一次是误差信号的反向传播( 误差反馈) 在前向传递阶段，输入样本向量传输给 网络中的神经元节点，经激活函数作用后作为下一层神经元的输入，这样一层接一层 地向前传播，最后在输出层产生一个输出作为网络的实际输出；在反向传播阶段，网 络实际输出与应有输出间的差值即为误差连接权全部根据误差修正规则来调整，误 差信号从输出层开始反向传播经过网络直至输入层关于b p 算法的学习公式，可参 见文献【8 】 1 2 2b p 算法的批处理和在线运行 在b p 算法的实际应用中，学习结果是通过给定的训练样本多次呈现给网络以及 权值的不断更新而得到的在学习过程中，整个训练集的一次完全呈现称为一个回 合，循环( e p o c h i t e r a t i o n ) 神经网络学习过程是在个回合接一个回合的基础上进行 的对于一个给定的训练集，b p 算法会以以下两种运行模式之一进行f j 6 】： 5 一 递归神经网络几个梯度学习算法的收敛性 ( 1 ) 批处理学习( b a t c hl e a r n i n g ) b p 算法的批处理学习方式也称为集中方式或 离线方式在该运行方式下，权值更新是在组成一个回合的所有训练样本全部呈现给 网络后才进行一次 ( 2 ) 在线学习( o n l i n el e a r n i n g ) 在线学习方式又称为串行或顺序方式是指在每 个训练样本呈现给网络后立即进行权值更新具体地讲，考虑包含，对训练样本的一 个回合，其顺序是( ( f 1 ，0 1 ) ，( p ，0 7 ) ) 该回合的第一个样本对( 1 ，0 1 ) 呈现给网 络，当完成前面描述的前向和反向计算后，立即进行一次网络权值的更新接着，该回 合的第二个样本对( f 2 ，d 2 ) 呈现给网络，类似地进行前向和反向计算，然后对权值进行 又一次更新该过程一直持续下去，直到该回合的最后一个样本对( ，d 7 ) 呈现给网 络并导致一次权值更新后才结束这一回合然后，用类似的方式进行下一个回合，以 上过程重复下去直至算法收敛 从在线运行的观点来看，在线学习比批处理方式好因为对每一个突触权值来说， 在线学习需要更少的局部存储：而且，这样修改权值的方式相当于输入模式呈现网络 时具有一定的随机性，这种随机性使反向传播算法在权值空间的搜索也具有一定的随 机性，进而降低了算法陷入局部极小的可能性另外，当训练数据冗余即训练数据集 合包含同一模式的几个备份时，在线运行模式的优点更加突出由于一次只呈现一个 训练样本，在线学习便可以利用这种冗余不过，从理论研究上讲，在线学习方式的随 机性性质为研究算法的收敛性增加了困难 9 - 1 1 1 比较而言，批处理学习方式为梯度 向量提供了一个精确的估计，所以有时只需要简单条件就可以保证算法收敛到误差函 数的某个局部极小点另外，批处理方式的程序比在线方式简单的多，因此用硬件实 现时更容易些 在大多数书籍和文献中提及的b p 算法，除了特殊说明外，大都指批处理学习方式 下的传统b p 算法 1 3 递归神经网络 前面介绍的前馈网络有很广的用途，由于它是一个静态网络，所以只能用于处理 与时间无关的对象，如文字识别，空间曲线的逼近等工程中有许多对象是与时间有 关系的( 时间是一个自变量) ，如时间序列建模和预测、动态系统辨识、语音识别等 处理这类信号的网络本身应是一个动态系统，为此必须在网络中引入短时记忆功能 可以有两种方式，一种是通过延时单元把以前的状态存在延时单元中最简单的 - 6 一 大连理工大学硕士学位论文 鼻 孝 多 层 馕 丹 碧 图1 3 时延神经网络 f i g 1 3t i m e d e l a yn e u r a ln e t w o r k 图1 4 全局反馈网络 f i g 1 4f u l lr e c u r r e n ti l e u r a ln e t w o r k s 方式是在通常的静态网络中加入延时单元，此时可以看作把时间信号展成空间表示后 再送给静态的前馈网络，这种网络称为时延神经网络其网络框图如图1 3 所示 另一种方式是引入反馈使网络成为一个动态系统以下我们详细讨论 1 3 1 递归网络的基本结构 递归网络0 l e c u n e n tn e u r a ln e t w o r k s ，r n n ) 是有一个或多个反馈回路的神经网 络把反馈应用于神经网络有两种基本途径：包含整个网络的全局反馈，和网络单一 神经元层次上的局部反馈 全局反馈的r n n 一般是单层的，节点之间有反馈连接大多数情况下，节点是完 全互联的，即每一个节点都与其他节点相连，也与自身相连，见图1 4 网络中的每个 节点都对状态矢量贡献一个分量可以将任何节点的输出或全部节点的输出作为网 络的输出而且。任何节点或全部节点都可以接受外部输入h o p f i e l d 网络【4 】就是这 种类型，其他一些网络也可以看成这一结构的特例当神经元数目比较多时这种网 络结构就会很复杂，训练也会变得困难 在神经网络中，结合反馈的一种简单而自然的方法是对多层感知器引入反馈连 接这样得到的网络称为局部递归网络，其结构特点是以前传为主，同时又包含一组 反馈连接相比全局递归网络，这种r n n 能使网络记住最近的过去值中的线索，但又 不致使训练过于复杂通常，反馈连接是不变的，不可训练的，所以容易用反向传播来 训练网络 根据引入反馈连接方式的不同，局部反馈的形式也不同最简单的局部递 归网络是由n a r e n d r a 聊1 提出的称为有外部输入的非线性自回归模型( n o n l i n e a r 一7 一 筻 坠 递归神经网络几个梯度学习算法的收敛性 a u t o r e g r e s s i v ew i t he x o g e n o u si n p u t s ，n a r x ) 如图1 5 ，它通过一个二阶延时线将隅 图1 5n a r x 网络 f i g 1 5n a r x n e t w o r k 络的输出反馈模型有一个输入被应用到有q 个单元的抽头延迟线记忆，单个输出通 过另外q 个单元抽头延迟线记忆反馈到输入模型输入的当前值用u ( n ) 表示，相对 应的输出用! ，+ 1 ) 表示，因此n a r x 的动态行为可描述如下 可( 7 善+ 1 ) = f 阻( 礼) ，u ( n 一1 ) ，u ( 礼一q + 1 ) ，y ( 扎) ，y ( n 一1 ) ，暑，( 钉一q + 1 ) 】 其他几种典型的局部递归网络的结构如图1 6 所示在每个网络中接受反馈信号 的单元称为联系单元( c o n t e x tu n i t ) 联系单元在时刻t 时具有网络状态在时刻t 一1 鲁傅。蓦毒 (a)(b)( c )( d ) 图1 6典型的局部递归网络 f i g 1 6r e p r e s e n t a t i v el o c a l l yr e c u r r e n t n e u r a ln e t w o r k s 时给出的信号，并在时刻t 时送出联系信号联系单元记住了过去的一些历史，所以 整个网络在某个时刻的状态是由以前的状态的积累和当前状态共同决定的 8 大连理工大学硕士学位论文 1 3 2 递归网络的算法 递归网络的一个主要问题是研究其有效的学习算法多数学习算法是类似于多 层感知器中反向传播的梯度搜索算法，由于节点的输出是以前时间步长上节点输出的 递归函数，因此对梯度的计算也必须是递归的，这样就使学习算法比前传网络中复杂 得多本节我们介绍几种常见的鼢悄学习算法 通过时问的反向传播算法 通过时间的反向传播算法( b a c k p r o p a g a t i o n t h r o u g h t i m e ，b p l 田用于训练完全递 归网络它是标准b p 算法的扩展，其思路是将网络的时序操作展开成一个分层的前 馈网络导出，其拓扑结构在每个时间步增加层图1 7 展示了两个神经元的全递归 毛m 伫) - q 圆焉( i ) 蹴屹蕊 毛毛( z )而却毛t 哪 (a)(b) 图1 7b m 示意图 f i g 1 7f i g o f b p l l r 网络及其展开图 依赖于使用分回合训练和连续( 实时) 训练，展开过程的应用导致通过时间的反向 传播两个根本不同的实现，下面依次描述 1 分回合的通过时间的反向传播 将用于r n n 训练的数据集分割为独立的回合每一回合表示个感兴趣的时序 模式令n o 表示一个回合的开始时间，n l 表示其结束时间在此回合定义误差函数 -n l ( 伽，礼- ) = ；弓( 几) ( 1 5 ) 一n = 咖一 其中勺m ) = 而( n ) 一u a n ) ，为网络中指定期望输出的节点集合我们希望计算代 价函数对网络权值的偏导数，为此可以用通过时问的反向传播算法那么分回合的 b p t t 算法描述如下f 1 9 】： ( 1 ) 首先，对时间区间，几1 】，让数据在网络上作前向运算保存完整的输入数 9 递归神经网络几个梯度学习算法的收敛性 据记录、网络状态( 即网络的权值) 以及期望输出 ( 2 ) 对过去这条记录执行一个单纯的反向传播通过网络，计算局部梯度 驰卜糍铲2 黧k 小茎篡乙 、 ( 1 6 ) 对于所有的j ，n o n s r t l 其中( ) 是激活函数对其自变量的导数重复使 用式( 1 6 ) ，从时刻n 1 出发，向后一步步进行直到时刻n o ( 3 ) 一旦执行反向传播的计算回到n o + 1 时，对神经元j 的突触权值w j i 调整如 吣= ”毪掣= 叼未，妣如- 1 ) ， 其中叼是学习率参数，以一1 ) 是在时刻n 一1 时神经元j 的第i 个节点的输入 2 截断的通过时问的反向传播 为了使用通过时间的反向传播的实时形式，我们用误差平方和的瞬时值，即 e ( n ) = ；弓( n ) ( 1 8 ) 作为代价函数类似标准b p 算法的串行模式，我们使用代价函数e ( n ) 的负梯度去 计算每个时刻n 的网络突触权值的适当调整量当网络运行时，调整建立在连续的基 础上但是为了计算的可行性，我们只在一个固定数目的时间步内储存相关的输入数 据和网络状态的历史记录