反馈型神经网络课件

9 反馈型神经网络,Recurrent Neural Network,反馈型神经网络是一种从输出到输入具有反馈连接的神经网络，其结构比前馈网络要复杂得多。典型的反馈型神经网络有：Elman网络和Hopfield网络。 Elman网络是两层反向传播网络，隐层和输入向量连接的神经元，其输出不仅作为输出层的输入，而且还连接隐层内的另外一些神经元，反馈至隐层的输入。由于其输入表示了信号的空域信息，而反馈支路是一个延迟单元，反映了信号的时域信息，所以Elman网络可以在时域和空域进行模式识别。 Hopfield网络又称为联想记忆网络，它常常存储了一个或多个稳定的目标向量，当网络输入端输入相似的向量时，这些稳定的目标向量将“唤醒”网络记忆的模式，通过输出呈现出来。,Elman网络的隐层（反馈层）为tansig神经元，输出层为purelin神经元，这样的传输函数在两层神经网络的特殊组合可以以任意精度逼近任意函数（在连续有限的时间内），这一点只需要隐层的神经元数目足够多即可实现，所逼近函数的复杂性越高，所需的隐层神经元数越多。,Elman神经网络,值得注意的是Elman网络不同于通常的两层网络，其第一网络层有一个反馈节点，该节点的延迟量存储了前一时刻的值，而应用于当前时刻的计算。所以，即使是具有相同权值和阈值的Elman网络，如果其反馈状态不同，那么对于同样的输入向量，其同一时刻的输出也可能不相同。 因为Elman网络能够存储供将来时刻使用的信息，所以它既可以学习时域模式，也可以学习空域模式；它既可以训练后对模式产生响应（模式的空间分类结果），也可以产生模式输出（模式的时域变化关系）。,以newelm定义的Elman网络，其反向传播训练算法的默认函数为trainbfg，还可以用trainlm，但其处理速度太快，在Elman网络中是不必要的的，效果也不一定好。默认的权值和阈值的反向传播学习函数为learngdm，默认的误差性能函数为mse。,网络建立后，每个网络层的权值和阈值都以Nguyen-Widrow网络层初始化方法进行初始化，实现函数为initnw。 Elman网络的训练可采用train或adapt两个函数中的任意一个。当采用train函数时，每一步迭代过程按以下步骤进行： （1）网络输入端输入所有的输入序列，然后计算输出结果，并与目标序列进行比较，从而产生一误差序列； （2）在每一次迭代中，误差被反向传播以确定每一个权值和阈值的误差梯度，实际上，梯度的计算是近似的，因为，经由延迟反馈支路对权值和阈值误差的贡献是忽略了的。 （3）该梯度用于用户选择的反向传播训练函数进行权值的修正。建议采用traingdx训练函数。 当采用adapt函数时，迭代过程与采用train基本一样， 只是权值的修正函数建议采用learngdm学习函数。 Elman网络没有其它网络的可靠性高，因为训练或调整都是以误差梯度的近似值进行的。,Hopfield于1984年提出了连续Hopfield模型的一般结构，如图所示。,Hopfield神经网络,连续Hopfield神经网络模型,，,，,，,，,，,在该模型中，每个神经元由一个运算放大器和一些阻容元件构成。这些神经元有两组输入，一组以电流形式为：I1，I2，IS，为神经元的外部输入；另一组是一个运算放大器的反相输出端通过电阻反馈到另一个运算放大器的电流，反馈既可以来自同相输出端，也可以来自反相输出端。 据基尔霍夫电流定律，可以写出运算放大器输入端的电流方程：,式中： ni为第i个运算放大器的输入电压； ai为第i个运算放大器的输出电压； C为运算放大器的输入电容； Ii为第i个运算放大器的固定输入电流；,式中，f(n)为放大器的传输函数，通常为logsig函数。我们假设电路式对称的，则,令,以向量形式表示为：,以积分方程表示为：,上式表明，网络的初始状态取决于输入向量p。,网络的输出向量：,据n(t)的表达式，可以画出Hopfield神经网络的原型结构，如图所示。,描述Hopfield神经网络的方程是一个非线性微分方程，方程的状态随时间的变化为0的那些解称为方程的平衡点，但是这些平衡点可能是稳定的，也可能是不稳定的，或者是临界稳定的，连续Hopfield神经网络的设计，就是要找到稳定的平衡点，即系统的平衡点，如果能设计出W、b，使系统最后的解与要求的解一致，那么系统就可以完成联想或优化等功能。 讨论连续Hopfield神经网络系统的稳定性，一般的方法是用李雅普诺夫（Lyapunov）稳定性定理进行，Hopfield在20世纪80年代初，提出了关于单层反馈动态神经网络的稳定性判别函数，是建立在能量基础上的，所以又称之为能量函数，其离散形式就是在自旋材料中的一种哈密顿能量，同时它又是Lyapunov函数的一种推广，是广义的Lyapunov函数。,一般来讲，连续Hopfield网络，适合于用硬件实现；当采用计算机进行仿真时，用离散模型更方便，所以，虽然上面我们给出了连续Hopfield网络的一般模型，但在MATLAB中，并没有连续Hopfield神经网络的设计函数。,离散 Hopfield神经网络模型,离散 Hopfield神经网络的设计函数,网络设计的目标是：存储一组特定的稳定平衡点，当输入一组初始条件，网络最后可以唤醒对应的稳定平衡点。初始条件输入后，一旦网络开始运行，网络的输出会自动反馈至输入，如此反复，直至网络的输出稳定为止，此时，每一个输出向量最终收敛于与初始条件激励的最接近的一个稳定平衡点。,newhop的设计方法是：给定一组目标平衡点，以目标向量T表示，调用newhop便返回反馈网络的权值和阈值，网络一定会在目标向量点上得到稳定的平衡点。 newhop的设计方法并不十分完美，因为在得到期望平衡点的同时，还可能得到一些不期望的伪平衡点，但newhop设计方法可以使伪平衡点的数目尽可能小，而使期望得到的平衡点区域尽可能大。,newhop的设计基于一阶线性常差分方程，其状态空间为一封闭的超立方体，差分方程的解在超立方体的边界上，这些系统具有Hopfield网络原型的基本结构，但却比Hopfield网络原型更容易理解和设计。 网络设计完成后，就可以以一个或多个输入向量对其进行测试，如果输入向量与网络设计时某个目标平衡点对应的输入向量接近，则网络最有希望得到该目标平衡点的输出。对于Hopfield网络，输入向量矩阵可以同时或成批输入，网络产生相应的输出向量并反馈至输入端，这些输出向量能够与目标向量进行比较，并据此决定输出哪个目标平衡点。 网络所具有的对于输入向量批处理的能力，可以允许用户在相对较短的时间内对设计的网络进行检查，首先，用户可以通过训练样本集对网络进行检查，以便查看目标平衡点是否确实包含于网络中；其次，再以训练样本集以外的输入向量确定目标平衡点的吸引域，以及当伪平衡点出现时，确定它们的位置。,反馈神经网络神经网络的MATLAB仿真程序设计,例9.1 Elman神经网络用于AM峰值检波 。,解：（1）问题分析,训练样本集中的输入样本采用三角波调制的调幅波形，调幅度为100%，载波频率约为3.18Hz（20rad/s），调制信号频率0.11Hz（0.67rad/s）；目标向量为调制信号，即调幅波的包络，如图所示。,Elman神经网络的MATLAB仿真程序设计,（2） Elman神经网络的训练：Example91Tr,采用调幅度为100%，调制信号为三角波调制的调幅波形，可以使已调波信号从0变到最大值，从而使训练后的网络能够较完整地反映不同调幅度、不同波形的情况，使网络解调的性能更好。 载波频率选为3.18Hz（20rad/s），调制信号频率选为0.11Hz（0.67rad/s），完全是为了使绘制的波形便于读者观察，同时减小网络输入向量的规模而设置的，实际情况载频要高得多，调制信号也有一定的频带宽度。 从Elman神经网络的机理上看，可以将AM已调波信号的输入看成是时域中的信号，网络在时域中先对其进行识别；而已调波的包络可以看成二维平面上的曲线，即为空域中的信号模式，Elman神经网络在空域中对输入向量的模式分类，成为峰值检波的输出。,（3） Elman神经网络的仿真：Example91Sim,例9-2 Hopfield神经网络用于联想记忆。假设我们希望构造一个联想记忆模型，这