动态驱动递归网络介绍

1、第15章动态驱动递归网络15.1 介绍给定多层感知器作为基本模块，应用全局反馈可以有不同的形式。反馈可以从多层感知器的输出神经元到输入层。而且另一个可能的全局反馈可以从网络的隐单元到输入层。递归网络有两个基本功能：l 联想记忆l 输入输出映射网络递归网络动态地响应外部应用的输入信号,称递归网络为动态驱动递归网络.而且，反馈的应用使得递归网络获得状态表示.优势: 大大减少记忆需求.本章分四部分：体系结构，理论，学习算法和应用。第一部分15.2讨论递归网络的结构。第二部分，包括15.3节至15.5节，讨论递归网络的理论部分。15.3讨论了状态空间模型和相关的可控性和可观察性的问题。15.4导出了一

2、个状态空间模型的等价模型，被称为有外部输入的非线性自回归的模型。15.5讨论了递归网络计算能力的一些理论问题。第三部分，包括15.6节至15.12节，讨论递归网络的学习算法和相关问题.开始在15.6节有个综述，15.7讨论了在第4章的材料基础上所建立的通过时间的反向传播算法。15.8讨论了另一个流行算法：实时回归学习. 15.2递归网络体系结构递归网络的结构布局有很多不同形式。本节我们讨论了四个特殊结构，每一个都强调了全局反馈的一种特殊形式1。他们都有如下特点：l 都有结合了静态多层感知器或一部分。l 都利用了多层感知器的非线性映射能力。输入输出递归网络图15.1显示了一个多层感知器的自然推广

3、得到的递归网络的模型。模型有唯一的输入，被应用到q个单元的分支延迟线记忆。单一的输出通过另一个q个单元分支延迟线记忆反馈到输入。利用两个分支延迟线记忆的内容反馈到多层感知器的输入。模型输入的当前值用u(n)代表，相对应的输出用y(n+1)表示；也就是输出领先输入一个时间单位。因此应用到多层感知器输入层的的信号向量的数据窗口数据如下：l 现在和过去的输入，即u(n), u(n-1), u(n-q+1),表示来自网络外部的输入。l 输出的延迟值，即y(n), y(n-1), y(n-q+1),在此基础上对y(n+1)进行回归。有外部输入的非线性自回归模型(nonlinear autoregress

4、ive with exogenous inputs model, NARX)2。NARX的动态行为描述如下：y(n+1)=F(y(n),y(n-p+1),u(n),u(n-q+1)状态空间模型状态空间模型,隐层的神经元定义了网络的状态。隐层的输出通过一个延迟模块反馈回输入。输入层为反馈节点和源节点联合。网络是通过源节点和外部连接的。用于将隐层输出反馈回输入层的延迟单元的数目决定了模型的阶数。m´1维的向量u(n)代表输入，q´1向量x(n) 代表隐层在n时刻的输出向量。我们可以用下列两个联立方程组描述在图15.2中的模型的动态行为：x(n+1)=f(x(n),u(n)y(n

5、)=Cx(n)这里f(×)是一个刻划隐层特征的非线性函数，C是代表输出层特征的的突触权值矩阵。隐层是非线性的，但输出是线性的。 回归多层感知器 回归多层感知器，它有一个或多个隐层，同样的原因，静态多层感知器比那些用在单个隐层的感知器更有效和节约。RMLP的每一个计算层对它的邻近层有一个反馈，如图15.4所示，此时RMLP有两个隐层3。可用如下联立方程组描述：x1(n+1)=j1(x1(n),u(n)x11(n+1)=j11(x11(n),x1(n+1) x0(n+1)=j0(x0(n),uk(n+1)（15.4）这里j1(. , .), j11(. , .), .j0(. , .)分

6、别表示代表第一隐层，第二隐层 和RMLP输出层的激活函数；K表示网络中隐层的数目。二阶网络在图15.2的状态空间模型中，我们用“阶”来表示隐层的数目，其输出通过延迟单元模块反馈回输入层。例如：一个多层感知器神经元k的诱导局部域vk定义如下： （15.5）这里xj源于隐层神经j的反馈信号，ui是输入层应用于节点i的源信号；w表示网络中对应的突触权值。把方程15.5所描述的神经元称为一阶神经元。但是，有时诱导局部域vk由乘法组成，表示如下： (15.6)我们称这里神经元为二阶神经元。二阶神经元k用了单一的权值wkij ，使得它和输入输出信号i，j连接起来。二阶神经元组成了基本的二阶递归网络(Gil

7、es et al,1990)，它的一个例子如图15.5所示。网络接受时间顺序的输入并且动态进行发展，由下方程组所定义： (15.7)且xk(n+1)=j(vk(n) =1/(1+exp(-vk(n) (15.8)这里vk(n)隐单元k的诱导局部域，bk为相关偏置，xk(n)神经元k的状态(输出)，uj(n)是应用于原信号j的输入，w,kij二次神经元k的权值。15.3状态空间建模假设无噪声，系统的动态行为的数学表达用下非线性方程表示：x(n+1)=j(wax(n)+wbu(n)(15.10)y(n)=Cx(n)(15.11)这里wa是一个q×q的矩阵，wb是一个q×(m+1

8、)的矩阵，C是一个p×q的矩阵，j是对角映射： (15.12)对于一些无记忆的，各个分量都非线性的 j：R ®R. 空间Rm, Rq 和Rp 分别称为输入空间，状态空间和输出空间。状态空间的大小，即q就是系统的阶。因此图15.2状态空间模型是m输入，p输出的q阶回归模型。方程(15.10)是模型的运行方程，方程(15.11)是观测方程。 运行方程(15.10)是方程(15.2)的特殊形式。方程(15.10)和(15.11)描述的状态空间模型的递归网络一个重要的性质是它能逼近一个很大范围的非线性动力系统。但这种逼近只在一个状态空间紧子集和有限的时间区间的情况下有效，因此感兴趣

9、的动态特征并没有反映出来。可控性和可观察性研究系统论时，稳定性、可控性和可观察性是重要的特征。这节我们讨论可控性和可观察性，因为它们经常一起讨论。前面以讨论过，许多递归网络能用图15.2的状态空间模型来表示，这里状态定义为通过一系列延迟单元反馈回输入层的隐层输出。在此背景下，知道递归网络是否可控和可观察是很重要的。可控性是指我们能否控制递归网络的动态行为。可观察性是指我们能否观察到应用于递归网络的控制结果。从这种意义来说，可观察性是可控性的对偶。递归网络可控是指在有限时间步内，初始状态可以控制到任意想达到的状态；输出与这个定义无关。递归网络可观察是指在有限的输入/输出观测中网络的状态可以确定。

10、我们把自己限制在可控性和可观察性的局部形式。局部是指将这些概念应用于网络平衡状态的邻域。如果状态是方程(15.10)的平衡状态，那么对于输入u，它满足如下条件：=j(A+B) （15.15）不失一般性，让=0，=0。平衡状态如下：x=j(0)换句话说，原点(0,0)代表平衡点。也不失一般性，我们可以限制到一个单一的输入，单输出系统以简化一下我们的论述。可以对方程(15.10)和(15.11)分别改写如下：x(n+1)=j(wax(n)+wbu(n)（15.16）y(n)=cTx(n)（15.17）这里wb和c都是q列向量，u(n)是标量输入，y(n) 标量输出。既然j对应于(15.13)的或方

11、程（15.14）的Sigmoid函数是连续可微的，我们可以通过展开它在平衡点附近=0，=0的Taylor级数，而仅保留一次项得到如下：dx(n+1)=j¢(0)wadx(n)+ j¢(0)wbdu(n)（15.18）这里dx(n)和du(n)是分别应用到状态和输入的小扰动。q´q矩阵j¢(0)是j(v)的关于v的在v=0时Jaccobi式。我们可以描述线性化的系统如下：dx(n+1)=Adx(n)+bdu(n) （15.19）dy(n)=cTdx(n)（15.20）这里q´q矩阵A和q´1列向量b分别定义如下：A=j¢(0)

12、wa15.21及b=j¢(0)wb状态方程(15.19)和(15.20)是标准线性形式。利用线性动力系统的可控性和可观察性的著名的结果。 局部可控性从线性化的方程（15.19），重复迭代产生下列结果：dx(n+1)=Adx(n)+bdu(n)dx(n+2)=Adx(n+1)+bdu(n+1).dx(n+q)= Aqbdx(n)+ Aq-1bdu(n+q-1)+Abdu(n+1)+ bdu(n)这里q是状态空间的维数。方程（15.19）表示的线性化的系统是可控的如果矩阵满足下列条件 Mc= Aq-1b, Ab,b（15.23）有秩q，即满秩，因为这样线性化方程（15.19）有唯一的解。

13、矩阵Mc叫做线性系统的可控矩阵。方程（15.16）描述的递归网络由一系列输入系列uq(n)所驱动，其定义如下：uq(n)u(n), u(n+1), u(n+q-1)T（15.24）因此考虑映射G(x(n), uq(n)=(x(n),x(n+q) （15.25）这里G：R2q ®R2q。可以证明：· 状态x(n+q)是关于过去的值x(n)和输入u(n), u(n+1), , u(n+q-1) 的嵌套非线性函数.· 关于uq(n)的x(n+q)的Jaccobi矩阵在原点的值等于(15.23)的可控性的矩阵Mc 。我们可以表示映射G关于uq(n)和x(n)的Jaccob

14、i矩阵在原点(0，0)的值如下：= 这里I是单位矩阵,0是空矩阵,X关紧要。因为它的特殊形式，J(c)(0,0)的行列式等于单位矩阵I的行列式(等于1)和可控矩阵Mc的行列式乘积。如果Mc是满秩矩阵，那么J(c)(0,0)也是。（x(n),x(n+q)）=G-1(x(n),uq(n) (15.27)方程（15.27）实际上指出存在一个输入序列能局部驱动网络在q个时间步中从状态x(n) 到x(n+q)。相应的，正式的局部可控定理如下：对于（15.16）和（15.17）定义的递归网络，它在原点附近(即，平衡点)的线性化方程由(15.19)和（15.20）所定义。如果线性系统是可控的，则递归网络是在

15、原点附近是局部可控的。局部观察性重复用线性化的方程（15.19）和（15.20），可以得 dy(n) = cTdx(n) dy(n1) = cTdx(n+1)=cTAdx(n)+cTbdu(n)dy(n+q-1)= cTAq-1dx(n)+ cTAq-2bdu(n+q-1)+cTAbdu(n+q-3)+ cTbdu(n+q-2)这里q是状态空间的维数。可以陈述方程（15.19）和（15.20）描述的线性化系统是可观察的，如果下列矩阵Mo=c,cAT,c(AT)q-1的秩为q，即满秩。矩阵Mc称为线性系统的可观察矩阵。如果线性化系统的可观察性矩阵Mo是满秩的，则存在一个反映射：( uq-1(n)

16、 ,x(n) H1(uq-1(n),yq(n) (15.33)实际上，这个方程表明在原点的局部邻域，x(n)是uq-1(n)和yq(n)的非线性函数，非线性函数是递归网络的观察者。因此局部可观察性定理可正式地陈述如下由（15.16）和（15.17）所定义的递归网络,让它在原点(即，平衡点)附近线性化的形式由（15.19）和（15.20）所定义。如果线性系统是可观察的，则递归网络在原点局部是可观察的。15.4 有外输入的非线性自回归模型考虑单输入单输出的递归网络，其行为由状态方程组（15.16）和（15.17）所描述。给定这种状态模型，希望把它修改为一个输入输出模形，作为代表递归网络的一个等价物

17、。用方程(15.16)和(15.17)，输出y(n+1)可以用状态x(n)和输入向量uq(n)表示如下：y(n+q)=f(x(n), uq(n) (15.34)这里q是状态空间的大小，f:R2q®R。假设递归网络为可观察的，可以用局部可观察定理的得到：x(n)=y( yq(n), uq-1(n)(15.35)这里映射y：R2q-1®Rq。用方程(15.35)代替(15.34)，得到y(n+q)=f（y( yq(n), uq-1(n), uq(n)）(15.36)=F(yq(n), uq(n)这里uq-1(n)包含在uq(n)的最先q-1个元素里，非线性映射f:R2q

18、4;R和f，y有关。用方程（15.30）和（15.29）给出的yq(n) 和uq(n)定义，可以把方程（15.36）扩展为：y(n+q)=F(y(n+q-1),y(n),u(n+q-1),u(n)用n-q+1代替n，可以得到：y(n+1)=F(y(n),y(n-q+1),u(n),u(n-q+1)15.37必须指出，对于这个非线性映射F：R2q®R只有当现在的输出y(n+1)由过去值y(n), y(n-q+1)以及现在和过去的输入u(n),u(n-q+1)所唯一决定的，这个映射才是存在的。因为这个输入输出表示等价于方程（15.16）和（15.17）的状态模型，因此递归网络必须是可观测

19、的。等价的实际含义是图15.1的NARX模型，它的全局反馈限制在输出神经元，实际上它是能够模仿图15.2的完全回归模型（假设m=1,p=1）并且它们的输入输出行为无差别。15.5 递归网络的计算能力从一般意义来讨论，递归网络的计算能力主要体现在两个定理：定理I（siegelmann and sontag,1991） 所有图灵机都可被建立在有Sigmoid激活函数的基础上的完全连接神经元递归网络来模拟。定理二（Siegelmann,et al. 1997）对于NARX网络，若具有一隐层单元且其激活函数为有界的和单侧饱和的并且有一个线性输出神经元，那么不计线性延迟(linear slowdown)

20、，它可以模拟完全连接的具有单侧饱和且有界的激活函数的递归网络。函数j(×)如果满足下列条件则说它是有界的，单边饱和的函数：1. 函数j(×)值域有界；即aj(x)b.2. 函数j(×)是左饱和的，即存在值s和S，对于所有的xs，j（x）S。3. 函数j(×)非常数，即存在 不相同的两个数x1和x2, 满足j(x1) j(x2)。作为定理I和II的必然推论，我们可以得到:有一个隐层神经元且激活函数为BOSS函数及一个线性输出神经元的NARX网络是Turing等价的。15.6 学习算法现在来研究递归网络的训练的问题。第四章讨论过普通（静态）多层感知器的两个方

21、式：集中方式和串行方式。集中方式中，网络的敏感度是在调整网络的自由参数前针对整个训练集合计算的。在串行方式，参数的调整是在给出训练集合的每一个模式之后进行的。同样，有两个训练的递归网络的方式如下：1.分回合(epochwise)的训练：在给定的回合，递归网络从初始状态出发达到一个新的状态后停止,此时训练亦停止；然后对于下一个回合又重新设置一个新的初始状态。初始状态在每个训练时期并不总是一样的。重要的是对于新的回合的初始状态和网络在此前一个回合达到的状态不一样。例如，用递归网络模仿有限状态机器的运行，它的内部可区分的设置（状态）在数量上是有限的。在这种条件下，我们有理由使用分回合的训练，因为我们

22、有很大的可能性用递归网络去模仿机器中大量的不同的初始状态和不同的最终状态的集合。在递归网络的分时段训练中，“回合”与一般普通多层感知器中使用的意义不同。现在的术语，递归网络的回合对应普通多层感知器的一个训练样本模式。2.连续训练。训练的第二种方法适合于没有可用的重置状态/或需要在线学习的情况。连续训练的显著特征是网络学习和被网络处理的信号处理过程同时进行。简单地说，学习过程永不停止。例如让递归网络去对一个非稳态过程如语音信号进行建模。在这种情况下，网络的连续运行不能提供方便的时间以决定何时停止训练而学习新 的对于自由参数有不同的值的网络 。记住这两种训练的方式。在下面的两部分中我们将描述递归网

23、络的不同的学习算法，可总结如下：l 15.7节里讨论的通过时间的反向传播算法(back-propagation-through-time)是在递归网络的时序操作可以展开为一个多层感知器的前提下提出的。这就为标准反向传播算法提供了应用。通过时间的反向传播算法可以用分回合的方式，连续方式或两种方式的组合来实现。l 15.8节讨论的实时回归学习算法是由方程(15.10)和(15.11)描述的状态空间模型所导出。两种算法有很多共同点。首先它们都是基于梯度下降的方法，因此代价函数的瞬间值（基于平方误差准则）关于网络的突触权值被最小化。第二，它们实现都很简单，但可能收敛很慢。第三，它们是相关的，因为通过时

24、间的反向传播算法的信号流图能够由实时回归学习算法的一定形式的信号流图转置而得到(Lefebvre,1991;Beaufays & Wan,1994)。一些启发在进行刚才提到的新学习算法的描述之前，我们罗列一些对于改进递归网络训练的启发，这将包括梯度下降方法的作用。1. 训练样本应该按照字典顺序的排序，最短的符号字符串首先提交给网络。2. 训练应该开始于一个小的训练样本集，尔后随着训练过程而增量式增加。3. 只有当正在被网络处理的训练样本的绝对误差比指定的标准大的时候才网络的突触权值更新。4. 在训练过程中建议使用权值衰减；权值衰减作为复杂性正归化的一个粗略的形式。 第一个启发有特别重要

25、的意义。如果可以实现的话，它提供了减轻在采用梯度下降法训练递归网络时出现的梯度消失的问题。15.7 通过时间的反向传播对于训练一个递归网络的通过时间的反向传播算法是标准反向传播算法的扩展8。它通过把网络的时序操作展开到一个分层的前馈网络来实现，它的拓扑结构对每个时间步增加一层。具体地，让N表示需要学习时序任务的递归网络，从时间n0到时间n。N*表示对递归网络N的时序操作进行展开所得的前馈网络.展开后的网络N* 和初始网络N的关系如下：1. 对区间n0,n内的每一个时间步，网络N*有一个包含K个神经元的层，K是在网络N中的神经元的数量。2. 在网络N*的每一层有网络N的每一个神经元的复制。3.

26、每一个时间步ln0,n，第l层第i个神经元到网络N*的第l+1层的第j个神经元的突触连接是在网络N中的神经元i到j的突触连接的复制。分回合的通过时间的反向传播将用于递归网络训练的数据集分割为独立的回合，每一回合表示感兴趣的时间模式。令n0表示一个回合的开始时间，n1表示其结束时间。在这个回合里，可以定义代价函数(15.38)这里A为网络中被指定期望响应的那些神经元标号j的集合，ej(n)是该神经元关于期望响应和计算出的实际输出之间的误差信号。想计算网络的敏感度，即计算代价函数关于网络突触权值的偏导数。为此，可以用通过时间的反向传播算法(BPTT)，这是基于在第四章中讨论过的标准反向传播学习的集

27、中方式.分回合的BPTT算法处理如下：l 首先，关于时间段n0,n执行单纯的数据前向传播通过网络这个操作。保存完整的输入数据记录、网络的状态（即，网络的突触权值）以及期望响应。l 关于这条过去记录执行一个单纯的后向传播通过网络以用来计算局部梯度的值(15.39)对于所有的jA，n0<nn1。用如下公式进行计算： (15.40)这里j¢(×)是激活函数关于它的自变量的导数，vj(n)是神经元j的诱导局部域。这里假设了网络的所有神经元有同样的激活函数j¢(×)。重复使用方程（15.40），从时刻n1出发，向后进行，一步一步直到时刻n0；这里涉及的步数与

28、包含在这个回合内的步数相同。l 一旦执行反向传播的计算到n0+1的时，执行神经元j的突触权值wij的调整如下：= (15.41)这里h是学习率参数，xi(n-1)是在时刻n-1时作用于神经元j的第i个突触的输入。比较刚才描述的分回合的BPTT的过程和标准反向传播学习的集中方式，可以看到它们根本的的差别是前者在网络的许多层里指定神经元的期望响应，因为实际输出层在网络的时序行为展开时被重复很多次。截断的通过时间的反向传播为了使用通过时间的反向传播的实时形式，我们用误差平方和的瞬时值，即： 作为需要最小化的代价函数。根据标准反向传播学习的串行（随机）模式，我们使用代价函数的负梯度去计算对于每个时刻n

29、的网络的突触权值的适当调整量。当网络运行时，调整建立在连续的基础上。但是为了采用计算可行的方式，我们只在一个固定数目的时间步里储存相关的输入数据和网络状态的历史记录，该时间步数目称作截断深度(truncation depth)。此后截断深度用h表示。任何比h时间步长还时间靠前的信息是无关的，因此可以省略。如果不截断计算，因此可以容许回到开始时间，计算时间和储存要求将会随着网络运行随时间线性增长，最终达到某点使得整个学习过程不可行。算法的第二种形式称为截断的通过时间的反向传播算法。神经元j的局部梯度定义为任给且 (15.42)即： （15.43）一旦执行反向传播的计算到达时刻n-h+1时，对神经

30、元j的突触权值调整为： （15.44）这里h和xi(l-1)如前定义。注意到方程（15.43）中wkj(l)的使用需要保留权值的历史记录。只有当学习率参数h小到能确保权值从一个时间步到下一时间步时不会很大的改变的时候，在方程里wkj的使用才会被调整。比较方程(15.43)和(15.40),我们可以看到与分回合的BPTT算法不同，误差信号只有在当前时间n的时候才会进入计算。这就解释了为什么不保存过去期望响应的值的原因。实际上，截断的通过时间的反向传播算法对前期时间步的处理和随机反向传播算法（在第四章讨论）对待多层感知器中的隐单元的计算一样。15.8 实时回归学习本节学习另一算法即实时回归学习(r

31、eal time recurrent learning, RTRL)9。算法的名称来自于下面的事实，完全连接网络的突触权值调整是实时的，也就是说，是在网络继续进行它的信号处理功能的时候。网络的状态空间描述由方程(15.10)和(15.11) 定义。处理方程（15.10）扩展为以下形式：x(n+1)=(15.46)这里假设了所有的神经元有相同的激活函数j(×)。(q+m-1)×1向量wj是递归网络的神经元j的突触权值向量，即(15.47)这里wa,j和wb,j分别是转置矩阵waT和wbT的第j列。(q+m1)×1向量x(n)定义如下：(15.48)x(n)是q

32、15;1状态向量，u(n)是(m+1)×1输入向量。u(n)的第一个元素是1，对应的wb,j的第一个元素等于应用到神经元j的偏移bj。为表达简单起见，引入新的矩阵Lj(n), Uj(n)和 F(n),分别描述如下：1.Lj(n)是状态向量x(n)关于权值wj的偏导数所构成的q×(q+m+1)矩阵：j=1,2,q(15.49)2. Uj(n)是q×(q+m+1)矩阵，除了第j行等于向量x(n)外，其它行都为0：(15.50)3 F(n)是q×q的对角矩阵，它的第k个对角元素是激活函数关于其自变量的偏导数。(15.51)有了这些定义，就可以对方程（15.46）关于wj求导。用微积分的链式法则，得到下列递归方程：Lj(n+1)= F(n) Wa(n) Lj(n)+ Uj(n)j=1,2,.,q(15.52)该方程描述了实时回归学习过程的非线性状态动力系统(即，状态演化)。为了完成描述该学习过程，需要将矩阵Lj(n)和误差曲面关于wj的梯度相联系。为此，首先用观测方程（15.11）定义p×1误差向量：e(n)=d(n)-y(n) =d(n)-Cx