【毕业学位论文】（Word原稿）基于最简储备池回声状态网络的信道均衡性能

1 1 引 言 储备池计算 1作为一种新的机器学习方法，由于其独特的动态储备池结构与简单的学习算法，以及在时间序列预测 2模式分类 4语音识别 6非线性系统建模、辨识及控制 8诸多领域获得的成功应用，近年来受到了学术界的广泛关注。然而，在经典的网络模型中，为了完成从低维输入空间向高维状态空间的信息映射，需要储备池具备复杂的拓扑结构（通常由成百甚至上千的节点相互连接构成），导致其硬件实现成为一项极具挑战性的工作 12如何按照实际需求设计拓扑结构尽可能简单的储备池，简 化储备池的硬件实现，而不影响网络信息处理能力，已成为储备池计算领域的瓶颈问题之一。 题研究背景 人工递归神经网络（ 表了一大类根据生物大脑的具体细节进行建模的计算模型。在模型中大量神经元按照某种方式进行连接，通过输入信号激活整个网络。递归神经网络区别于前馈神经网络的最显著特征是其拓扑结构具有周期循环性，这种周期循环性使它具备下述两个特性 14。 （ 1） 即使在没有输入的情况下，递归神经网络通过网络内部连接能够形成一个可 以自我维持的时间驱动动态系统。从数学角度来看，递归神经网络可看作一个动态系统，而前馈神经网络只是一个特定的函数。 （ 2） 在输入信号的驱动下，递归神经网络将输入信号非线性地转化为网络内部状态，换句话说，网络具有动态记忆性，能够处理时序问题。 递归神经网络有许多实际用途，例如生物大脑建模，或作为技术工具应用于工程中。前者属于神经信息学领域，而后者属于机器学习、计算理论、非线性信号处理及控制领域，但是两者之间有着许多联系。从动态系统角度来看，递归神经网络主要分为以下两大类。 （ 1） 以 5, 6 和 7等为代表的具有对称连接的网络，设计思想为使网络能量函数最小化。这类网络多以非监督式学习算法进行训练，典型应用为联想记忆、数据压缩、非监督式数据分布建模以及静态模式分类 14，在这些应用中网络对单个输入进行多步运行以达到收敛或平衡，理论依据为统计物理学。 （ 2） 第二类递归神经网络是具有确定的状态更新模式和连接方式、将输入 2 时间序列转换为相应输出时间序列的非线性滤波器，理论依据来源于非线性动态系统。这类网络的标准训练方式 为监督式训练。文章后续涉及的递归神经网络为第二类递归神经网络。 递归神经网络在一些领域的应用上取得了显著成果，主要有两个原因：一是在一般假设下，网络可以无限逼近于动态系统 18；二是生物大脑模型大多数展现出递归连接的方式。因此，递归神经网络在工程应用上拥有巨大潜能。 然而，在很长一段时间里，递归神经网络在非线性建模方面仍然受到许多限制。主要原因是基于梯度下降法的递归神经网络训练复杂、计算量大且收敛速度慢 19。尽管研究人员提出了许多训练算法，但都存在以下问题： （ 1） 网络参量在训练过程中的渐变性导致网络出现分 叉 20，在这些分叉点上，误差梯度衰减或产生畸变，网络的收敛不能保证。 （ 2） 变量更新周期长，使得网络训练时间过长，建立规模较大的网络变得不切实际。 （ 3） 网络存在记忆渐消问题，即误差梯度随时间步骤的加长呈指数衰减，因此网络不适合处理长时时序问题 21。 （ 4） 一些算法中涉及的全局控制参量不易优化，导致这些算法需要大量实际应用经验才能得以运用。 2001 年提出的回声状态网络（ 22与 002 年提出的液体状态机（ 23巧妙地解决了上述由梯度下降法带来的问题。虽然两种方法提出的角度不同，但都可以看作对传统递归神经网络的一种改进。 D 1通过实验证明了 本质上是相同的，并将两种方法统一命名为 “储备池计算” （ 两种网络的建立方法可概括如下： （ 1） 网络的大部分参量随机生成，并且生成后保持不变。储备池（递归隐层）由大量神经元组成，形成动态记忆库，将输入信号从低维空间映射到高维空间，以内部状态形式进行存储。 （ 2） 唯一需要训练的参量为输出权 值矩阵，用监督信号作为期望值，一般只需求解一个线性回归问题即可完成训练。 图 1传统递归神经网络与储备池计算模型进行了对比。其中，图 1-1(a)通过实际输出值与期望值的对比，将误差信号传送到输入层、网络隐层及输出层，对这三部分权值进行训练；而 1 (b)只需用误差信号训练输出层权值。可以看出，储备池计算模型较传统递归神经网络需要训练的参量少很多。 储备池计算模型出现后，立即受到学术界的广泛关注，近年在 国际著名期刊上可见到大量的相关研究报道。 目前， 3 （ a） 传统递归神经网络 （ b） 储备池计算模型 图 1传统递归神经网络与储备池计算模型的比较 储备池计算模型已成为一类典型的递归神经网络模型，其主要原因如下： （ 1） 模型精度。储备池计算模型在非线性系统识别、预测与分类等应用上性能优于其他方法，例如在混沌动态性预测 2、非线性信道均衡 2、日语元音基准实验 24、金融预测 3、孤立词识别 25等应用上。 （ 2） 仿生特性。储备池中大量连接的神经元结构构成了哺乳类动物大脑的动态特性，由此解 释了为什么生物大脑可以对不精确的和带有噪声的物理信号进行精确计算，特别是一些时序信号 26解释了视觉信息由主视觉皮层进行处理29以及皮质基底通路如何支持序列信息的表达 14等。 （ 3） 可扩展性 14。由于储备池计算模型输出权值相互独立，所以可以通过给已训练好的网络添加新的输出单元以增加网络端口，而不影响原网络的性能，而这在其他递归神经网络中会引起灾难性干扰。 虽然储备池计算受到了研究人员的广泛关注，但是仍然有很多理论与实际问题尚未解决。储备池的性能对整个网络起着决定性作用，而在经典储备池 计算方法中，网络大多数参量随机产生，而且神经元大多为模拟神经元，这就使得具有相同神经元个数与谱半径的储备池会因为内部结构的差异表现出性能上的巨大差别。而且， 在 图 1 所示的经典模型中，储备池由大量 （通常成百甚至上千） 相互连接的节点组成 ， 以 完成从低维输入空间到高维状态空间的映射 ，这种由大量节点互连形成的复杂物理拓扑对硬件实现技术的要求很高，往往不切实际 30，因此传统的储备池计算大多是基于软件完成的。从硬件实现的角度来看 ,需要设计尽可能简单的储备池，以降低硬件实现的复杂度 。 在非线性动力系统的研究领域，具有延迟 反馈的非线性系统（通常称为“时滞系统”）因其在不同的现实系统中普遍存在，引起了人们极大的兴趣 31。从数学 上讲 ，连续时间时滞系统 （由时滞微分方程描述） 的一个关键特征是其状态空间 为 无限维 32。虽然实际的 时滞系统是有限维的， 但其展现出高维和短期记忆属性 33，这种特征恰好满足构建动态储备池的要求。本文利用时滞系统这一 4 特点，构造了一类仅包含单个节点的储备池网络，极大地简化了储备池的拓扑结构，使得网络结构固定，在方便硬件实现的同时，保证了动态储备池优异的信息表达能力。 信道均衡是通信系统抗衰落的三大技术 （分 集接收、信道均衡、信道编码）之一 ， 用来解决由于信道的非线性和时变性引起的码间干扰 问题，可 分为线性均衡和非线性均衡两大类。 研究表明：在移动通信系统中，当信号的传输速率超过了 码率的增加几乎都是因为非线性失真（发送 /接收设备、串音调制、调制 /解调器等）造成的 34。因此， 要想在高速率的通信系统中获得理想的通信性能， 必须 采用非线性均衡技术。神经网络因其良好的非线性映射能力 和自学习适应能力 被广泛用 于 非线性信道均衡 34 其中，递归神经网络可获得比前馈神经网络更好的均衡性能 37,39。 在回声状态网络的研究中，信道均衡是其典型的应用领域 2, 42 备池计算方法的发展历史与研究现状 从解决问题的思想角度考虑，储备池计算与以支持向量机为代表的核方法是相一致的，其最基本的思想都是将输入从低维空间映射到高维空间。在高维空间 , 利用处理线性问题的方法和理论去处理问题。二者的区别在于：储备池网络通过储备池完成从低维输入空间到高维状态空间的映射 ,状态空间的完备性以及基向量的丰富程度通过稀疏连接矩阵以及神经元的不同形式体现；而在核方法中，从低维输入空间到高维特征空间的映射是通过核函 数隐式地完成的，核函数的性质决定了映射的性质。储备池网络适合处理时序相关的动态系统建模问题；而核方法一般适合处理静态函数逼近问题，其原因在于核方法本质上是前馈结构，不存在反馈连接。 储备池计算模型作为一种相对比较新的计算方法，在短短的十年间获得了丰硕的研究成果，但目前也面临一系列的研究瓶颈问题，其中储备池的适应性问题是最具挑战性的一个公开课题。由于储备池生成的随机性，从本质上说明了储备池计算模型是一种与“问题”无关的计算方法。 如果能够采用某种方法或者手段，使储备池的产生过程与具体问题相关，那么对网络计算性 能的提高将是革命性的。在目前的研究中，最优的储备池就是希望能够产生一个与具体问题相关的储备池。研究人员从不同的角度提出不同的思路， 研究工作主要包括以下三个方面： （ 1） 改变神经元类型。研究表明，神经元类型对储备池性能起到关键作用。因此，有许多研究专注于神经元类型与不同问题之间的关系，如神经元类型与网络记忆性能 46、建模能力 47间的关系等。迄今已有许多种类型神经元应用 5 在储备池计算方法中，例如 S 型神经元 2, 22、阈值逻辑神经元 50、 经元 23、线性神经元 34、 1神经元、 4神经元、小波神经元 47以及滤波器神经元 48。但在具体问题中选取哪种神经元，目前还未定论。由线性神经元 46构成的网络具有较强的记忆能力，但其他方面性能不强，如逼近能力等。由 1神经元构成的网络，克服了其他类型神经元网络需要执行大量乘法的问题，采用 行通信，不需要计算定点数，简化了储备池计算的物理实现。由小波神经元和普通模拟 神经元构成的混合结构网络 47提高了储备池神经元的激活程度；采用滤波器神经元 48造的储备池网络对不同时间尺度动态特性的处理能力得到了提高。 （ 2） 改进网络拓扑结构。传统的储备池拓扑结构随机生成且节点之间稀疏连接，一些研究采用其他方法颠覆了这种结构 52；也有一些研究对传统储备池结构进行改进 53来满足不同实际需求。文献 52采用不同拓扑结构（小世界、无尺度拓扑结构）网络与传统储备池网络的性能进行比较，虽然新拓扑结构的网络性能与随机产生的网络相比优势并不明显，但却在改进网络拓扑结构问题上 给予了一定指导，文献 53， 57将复杂网络这一思想运用于储备池的构建中。受大脑皮层生长发育过程启发，文献 54提出一种类皮层网络构建储备池的方法，用于解决多尺度动态系统建模问题。文献 60提出一种简单前向结构储备池网络，在一些应用上取得了理想结果。 （ 3） 优化储备池参数。经典储备池网络中大部分参数随机产生，即与具体应用无关。但我们知道，要想对具体问题选择一个最好的解决方案，需要设计和具体问题相关的网络，由此研究人员提出了很多种优化储备池参数的方法，以期望获得一个与具体问题相关的最优储备池网络。文献 61用进化算法优化储备池网络参数，虽然取得了一定成果，但由于遗传算法的搜索盲目性，使得优化后的网络计算量过大以及容易陷入局部最优，最终限制了遗传算法在储备池网络中的应用。文献 24采用随机梯度下降法优化储备池参数，对日语语音数据集进行了时间序列的分类，取得了很好的效果。文献 62, 64过在网络神经元中引入塑性参数，然后按照最大熵分布原理优化塑性参数，得到一类储备池网络，实现了捕捉和携带最多输入信息的目的，通过基准实验数值仿真，验证了通过采用塑性参数优化算法，储备池网络性能得到了一定提 高；但该方法也存在一些问题，如只对塑性参数进行优化而网络其他参数没有得到相应处理等。 在获得结构简单且性能较好的储备池网络过程中，研究人员提出了许多改进方法，也进行了一系列尝试，其中一些改进后的网络在某些具体问题上取得了较好结果。但是如何根据具体问题确定储备池的一系列的参数 , 仍然是不可回避的问题。关于储备池适应性问题的研究目前处于瓶颈，面临着巨大的挑战，需要有 6 新的理论和方法的支撑。 除了储备池的适应性问题，目前无论是在理论层面上还是在应用方法上，还存在其他很多需要解决的问题，具体如下： （ 1）网络 的稳定性分析 就回声状态网络而言，网络的稳定性指网络具备的“回声状态”属性，只有网络具有回声状态属性时 , 对网络的训练才是有意义的，因此网络的训练算法应该保证网络具有回声状态属性。回声状态属性与储备池内部连接权矩阵 定的最基本方法是保证内部 22，该条件过于宽泛，实际应用中，能够满足该条件的回声状态网络未必最优，甚至未必能够满足网络的实际需求。文献 88提出了一个更为严格的网络稳定性条件 , 这种条件可以保证网络全局渐进稳定。研究发现：在某些情况下 , 虽然储备池不满足 全局稳定性条件 , 但回声状态网络也可以很好地工作 89。到目前为止对于给定的网络( W， ，还不能给出确定该网络是否具有回声状态属性的充要条件。以后在网络稳定性分析理论和方法研究中 , 应该尝试给出对网络设计更具指导意义的稳定性条件。 （ 2）储备池理论的发展和创新 储备池的产生问题与传统神经网络的网络结构确定问题很相似，如果不能很好地从根本上予以解决，将会严重限制储备池网络的实际应用。因此，需要一套完整的、乃至全新的储备池产生方法 , 这样的方法可以完全独立于现有的储备池产生方法。目前可以 见到一些有益的尝试 57,59,68。 （ 3）储备池状态信息的读出方式 早期关于储备池计算模型的研究大多集中于对储备池的生成方式及其性能特点的理解上，而储备池状态信息的读出方式则保持尽可能地简单，通常采用线性读出方式。线性读出方式不可避免地限制了网络的信息处理能力，因为它不能安全有效地利用储备池输出的高阶统计量 44。因此，近年来回声状态网络另一个有趣的研究方向是关于读出方式的改变，为更为精确地实现网络输入 输出之间的非线性映射关系，针对储备池读出信息的特征， 44利用 思想， 69利用极端学习机（ 论分别提出了两种非线性读出方案， 45中针对监督式信道均衡和混沌时间序列预测两种问题比较了上述两种非线性读出方法的性能，并给出结论：在输出层采用不同于线性读出方式的灵活结构可以极大地改善回声状态网络的性能。 （ 4）硬件实现方法研究 随着储备池计算模型应用领域变得越来越复杂 , 以及应用的实时性要求不 7 断提高，其硬件实现受到越来越多地关注。传统的储备池由大量（通常成百甚至上千）的神经元组成，这种由大 量节点互连形成的复杂物理拓扑对硬件实现技术的要求很高，往往不切实际。因此传统的储备池计算大多是基于软件完成的，其硬件实现方法一直以来是一项极具挑战性的工作。目前，关于储备池计算模型的硬件实现方法，相关研究工作是与上述问题的研究相互关联的 12,13,42,43,51。 文主要内容及结构 针对储备池计算领域的开放性课题，本文基于时滞微分方程理论，构建了一种仅包含单个非线性节点的最简储备池，形成了一种新型回声状态网络 最简储备池回声状态网络。在基准实验下，系统研究了最简储备池回声状态网络的性能，并成 功应用于通信系统的信道均衡问题。全文主要内容分为以下 5 个部分。 第 1 部分 引言 通过查阅相关领域的资料和文献，介绍本课题的研究背景和意义，详细阐述了储备池计算的发展历史与研究现状，明确了本文的研究方向。 第 2 部分 回声状态网络 详细阐述了经典回声状态网络的拓扑结构、训练算法与实际应用，为后续新模型的构建提供了必要的理论铺垫。 第 3 部分 最简储备池回声状态网络 对最简储备池回声状态网络的构成原理、拓扑结构及实现原理进行详细阐述；通过数值仿真实验系统研究了一类时滞微分方程的动力学行为特点；设计并完成了两组基准实 验，用于验证最简储备池回声状态网络的性能。 第 4 部分 最简储备池回声状态网络在信道均衡问题上的应用 对信道均衡原理和方法进行了详细阐述；简要介绍了神经网络在信道均衡领域的应用；设计并完成了 3 组实验，将最简储备池回声状态网络应用于信道均衡，实验结果表明，无论是在线性信道还是非线性信道下，无论是监督式均衡还是盲均衡，最简储备池回声状态网络的均衡性能均优于经典的回声状态网络及基于非线性读出装置的回声状态网络。 第 5 部分 总结与展望 归纳总结了最简储备池回声状态网络的优势与不足，指出了进一步研究的方向与重点。 8 2 回声状态网络 回声状态网络（ 离散型神经网络，由大量神经元稀疏连接组成网络的递归隐层，即储备池，且只需训练输出权值。它与传统递归神经网络不同之处在于网络大部分参数随机生成，且网络规模较大。回声状态网络在拓扑结构与学习机理上，与以往网络模型大不相同，其独特的结构巧妙分离了递归神经网络的信息表达与权值训练过程，使其在拥有很强的非线性系统逼近能力的同时，极大地简化了递归神经网络的训练。本章首先阐述回声状态网络的拓扑结构，然后对网络的训练算法进行了简要说明 ，最后介绍了回声状态网络的实际应用。 声状态网络的拓扑结构 回声状态网络是一种典型的三层递归神经网络，其拓扑结构如图 2示，为了使网络具有丰富的动态特性，需要产生一个大规模稀疏随机连接的递归隐层（动态储备池）。这就意味着网络规模（神经元个数） N 要足够大（几十个到成百上千个），传统递归神经网络内部神经元个数通常为几个到几十个；储备池内部单元连接矩阵 W 为稀疏矩阵（ 2%稀疏连接），而传统递归神经网络内部神经元的连接都较为稠密；输入与储备池单元连接矩阵 备池内部单元连接矩阵 W 以及 输出与储备池单元之间的连接权值矩阵 且在建模过程中保持不变，而传统递归神经网络的连接权值在训练过程中需要调整 回声状态网络的信息处理过程分为以下两步进行。 （ 1） 储备池内部单元的状态根据式 (2行迭代 i n b a c n n n x f W u W x + W y（ 2 图 2回声状态网络 （ 图中虚线表示网络的可选连接） u1 u2 u3 uK y1 y2 y3 yL in x2 x3 x4 x5 x6 x7 输入层 输出层 动态储备池 9 其中， 储备池处理单元的激活函数 （典型为线性、正切或其他 S 型函数）。输入矩阵 输出 反馈矩阵 输入偏置 b(加在输入值上的一个常数 )按以下规则进行设置： 输入矩阵 输入偏置 b 的设置依据实际问题所需的神经元非线性度：如果输入接近于 0， 经元的响应也在 0 附近，基本保持线性状态；如果输入远大于 0，会使得 经元的响应呈现非线性状态。输入矩阵 输入偏置 b 可以消除信号在 0 附近产生的不必要的对称性。 在实际中， 输出反馈矩阵 这个阈值下， 输出反馈环开始将输出误差放大 66。 “回声特性” 22（ 即“短期记忆能力”（ ，也即储备池当前状态 x(n)与当前输入 u(n)对未来状态 x(n+1)的影响应该随时间步骤减小直至消失，而不是保持不变或持续增大。在大多数实际应用中，当 W 的谱半径 (W)小于 1 时， 备“回声特性”，(W)的实际大小取决于具体问题所需网络的记忆能力与非线性度，例如当需要较强记忆能力时， (W)的取值接近 1，而当不需要太强的记忆能力时， (W)的取值相对较小。较大的 (W)值同样会使得内部状 态 x(n)进入 经元非线性区。 （ 2）输出单元根据式 (2取网络的状态信息 1 ,n f n n n y W u , x y (2 其中， 输出函数（一般情况下，输出层是线性的，即 恒等函数）；输出单元的状态读出矩阵 ， 唯一需要训练参量的就是 声状态网络的训练算法 设有一时间序列样本对 (u(1), d(1), (u(2), d(2), , (u(t), d(t), ，其中 u 与 维与 L 维向量，且具有一一对应的关系，是从某种系统中得到的。我们不知道样本对中 u 与 d 到底是何种关系，现在我们用 逼近这个映射关系，具体训练过程如下。 （ 1）初始化储备池。比较合理的方式是将内部状态向量的初始值 x(0)设为0，因为在网络运行过程中，储备池中的神经元输出都会接近 0。 （ 2）对网络进行训练。将样本信号分别注入到输入与输出单元上，按照式（ 2网络内部状态进行更新。可以看出，在网络状态更新过程中，输出矩阵 有参与其中，所以 需要在搭建网络时一并初始化。 （ 3）选择时间点 为整个网络的初始时间点，在 前的内部状态全部丢弃，以避免暂态响应的干扰。时间段（ 主要收集信息的时间，将每个 10 状态 x(n)作为单独一行，累计所有状态后会形成一个状态矩阵 M，规模为 () (K+N+L)，其中行表示时间下标，列表示向量维数。 （ 4）根据输出节点的特性，将监督信号 d(t)经过处理后生成向量状态矩阵 D，规模为 () L。通过式（ 2算出输出权值矩阵 （ 2 其中 状态矩阵 M 的伪逆矩阵， ( 为输出矩阵的转置矩阵。至此， （ 5）输入测试样本对网络泛化能力进行测试。 声状态网络的应用 由于回声状态网络独特的性能优势，研究人员除了在理论上的进一步探索之外，在实际应用中也进行了许多尝试。最成熟的应用多数集中在时间序列预测方面 222，文献 2采用 据集进行前向预测，精度提高了2400 倍 ；在模式识 别领域 452， 时序样本的识别也取得了很好效果， 文献 52利用 期记忆能力对动态模式识别问题进行了处理；此外， 非线性系统建模、辨识及控制 867等诸多领域的应用也在兴起，虽然对于直接控制领域来说，需要较长时间对 行训练（采用遗传算法），但这依然是一种实用尝试；另外，在一些特殊领域，如音频信息处理， 展现出在依据时序信息运行的系统中的应用潜力。 但 为一种网络模型在实际应用中仍然有许多需要改进和优化的地方。 （ 1） 噪声问题。 身对于噪声比较敏感， 一定程度的噪声会对 性能造成大幅度降低。在实际应用中，应首先对样本进行预处理，以降低样本中的噪声，这非常关键。此外，采用多种网络参数优化算法也能对噪声起到抑制作用。 （ 2） 复杂度问题。由于通常情况下 部神经元个数相当庞大，在实时控制领域，如机器人识别控制系统 67，其较大的计算量对实际应用产生非常大的影响，所以减小网络规模对解决类似问题相当重要。 近年来，随着 一步的理论探索（文献 68从理论上分析了 用中的复杂性与存储容量，为 一步实际应用奠定了理论基础）与网络参数优化 改进， 实际应用正在逐步发展起来。研究更多的储备池计算相关理论，从而设计出与实际问题相关且方便于硬件实现的网络，已成为这一领域研究人员的共同目标。 11 3 最简储备池回声状态网络 随着回声状态网络应用领域变得越来越复杂 , 以及应用的实时性要求不断提高，其硬件实现受到越来越多地关注。传统的储备池由大量（通常成百甚至上千）的神经元组成，这种由大量节点互连形成的复杂物理拓扑对硬件实现技术的要求很高，往往不切实际。因此传统的储备池计算大多是基于软件完成的，其硬件实现方法一直以来是一项极具挑战性的工作。 本章首先阐述单节点储备池的构成原理及拓扑结构，然后通过数值仿真实验对一类时滞微分方程的动力学行为进行了研究，最后介绍了最简储备池回声状态网络的实现原理，并通过仿真实验对其性能进行了分析。 节点储备池的构成原理及拓扑结构 如前所述，传统的储备池通常由大量简单节点（通常为 随机复杂互连来完成从低维输入空间到高维状态空间的信息映射。与传统储备池的构建思想不同，最简储备池则期望通过以最少的非线性节点的简单连接来完成高维映射。根据时滞微分方程理论，连续时间时滞系统的一个关键特征是其状态空间为无限 维。虽然实际的时滞系统是有限维的，但其展现出高维和短期记忆属性，这种特征恰好满足构建动态储备池的要求。 最简单的时滞系统由具有延迟反馈的单个非线性 （ 点组成， 33及 43的研究表明，这种最简单的时滞系统可完成复杂系统的信息处理任务，其工作启发了构造动态储备池的一种全新思想。 即：可采用单个非线性节点和延迟环代替传统储备池中大量互连的非线性神经元，以简化其物理拓扑， 这种系统易 于硬件 实现，因为只它包括两个元素 ：单个 非线性节点和一个延迟环。 基于 上述 思想，本文构造了一种新型的回声状态网络模型，其动态储备池由具有延迟反馈的单个 非线性节点 构成。 为模拟传统储备池中的大量神经元，按间距 =/N 将时延 等分成 N 份，产生 N 1 个“虚拟节点”，从而形成了简单的环状拓扑， 如图 3示。 这样，储备池相当包含了 N 个节点，在特定时延间隔 内， 越小， N 越大。 为表述方便，以下我们简称其为 在 具体实现中，有两个关键问题需要考虑并予以解决。一是哪类时滞微分方程适宜 于作为图 3的 点；二是图 3的简单环状拓 12 扑如何完成从输入信息到状态读出的信息处理过程。以下 、 将对上述问题给予详细阐述。 ba 拓扑结构 类时滞微分方程的动力学行为研究 经元节点 的简单连接完成信息的高维映射，因此，单节点模型的选择非常重要，其自身应具备丰富的动力学行为。选择包含固有时间刻度的非线性函数，是一种增强其动态性能的简单方式 43，考虑常用于生物系统建模的时延模型为 d d t p t x t x x (3其中， p(t)代表模型的非线性； 是正值常数。 有 3种常用的生物系统模型 s 程和 别如式 (3式 (3式 (3示，它们均吻合式 (3特征。 d ed x t x x (3 x t x t x(3 d ed x t x x (3式 (3 70用来描述 s 中， x(t)表示时刻 1/表输入层 单节点动态储备池 输出层 13 示最大产卵率繁殖的种群数量， 表示成虫每天的平 均死亡率， 是一次产卵所用的时间。 式 (3 1用来描述白血球繁殖的数学模型。其中， x(t)表示循环血细胞浓度， 为血细胞产生所用的时间，速率系数不一定为常数，可能与浓度 x(关。 式 (3 2归纳的骨髓中血红细胞生成过程的数学模型，其中 x(t)为血液循环中红细胞总量， 表示红细胞消亡率， 为系统激励系数， 为红细胞成熟所用时间。 由于时滞动力系统的解空间是无限维的，所以其理论分析十分困难，目前常通过数值仿 真实验观察其全局动力学特征，如周期解、稳定性、分岔、吸引子、混沌等现象。 012年发表于“ 的论文“ to ， 通过大量的数值仿真实验研究了 示了此类方程所代表的时滞系统具备丰富的动 力学特征，其研究为利用式（ 3造最简储备池提供了理论依据。本文借鉴 究满足式 (3征的各类生物系统模型的全局动力学行为。 在无穷维的解空间选取两个任意的子空间： t x 和 其中，为时延 73。 图 33 式 (3解空间 x(t)的时间演化轨迹；图 3 (3 式 (3解空间 x(t)及 x(t )上的投影；图 3 (3 式 (3解空间 x(t)的时间演化轨迹 束状图。其中，各方程参数的设置分别见相应图中。 (a) s (b) 14 (c) 图 33个时滞微分方程解的演化轨迹 (a) s (b) (c) 入图 图 33个时滞微分方程的延迟嵌入图 15 (a) s b) (c) 图 33个时滞微分方程解的演化轨迹束状图 16 由图 3式 (3 式 (3代表的时滞 系统具备混沌特征；从图3 (3 式 (3统在混沌状态下的吸引子形态；图 3(3 式 (3 统的演化趋势 ，可以明显看出：系统起初的运动是规则的，经过一段时间后逐渐呈现出不规则状态，最终演化为混沌状态。图 33代表的一类时滞系统具备丰富的动力学特征。上述实验为用吻合式 (3征的时延模型构建单节点动态储备池提供了实验基础。 简储备池回声状态网络的实现 与图 2示传统储备池状态的并行更新方式不同， 图 3 输入方式是串行的，这种 简单环状储备池从接收输入信息到输出状态信息的具体过程如下。 k)(ku t)(tI t(a) 输入信号 (b) 输入信号按周期 保持在取样值上 1234)( a s k(d) 储备池在一个周期 内 运行过程 (c) I(t)与 M(t)相乘后的波形 图 3信息处理过程 首先，将时间连续信号 u(t)或时间离散信号 u(k)取样后按照时间间隔 保持在其取样值上， 得到信号 I(t)， 如 图 3-5(a)和 (b)所示。考虑输入信号为离散信号u(k)(连续信号 u(t)同理 )，有 17 ( ) ( ) , ( 1 )I t u k k t k (3因此，无论最初输入信号为时间连续还是时间离散信号，对于储备池的输入而言均为时间离散信号。 其次，为了破坏 入一个随机方程 M(t)，将 I(t)与 M(t)进行相乘 ， 得到虚拟节点的输入序列 J(t)为 )()()( (3其中， M(t)是一个以 为分段间隔，以 为周期的分段常值函数（ ，按照一定的概率分布独立随机选取，其作用相当于传统回声状态网络中 输入层与储备池之间的连接权值矩阵 以看出， M(t)在每个周期 内 波形一致，只是根据相 应 周期 内 I(t)的幅 度不同而改变自身的幅度 。 J(t)是连续函数，在节点间隔 内为常数值，如图 3-5(c)所示。 根据延迟反馈系统的演变方程 )(),()( (3（其中 G 为特定的非线性节点），储备池演变方程为 )()(),()( (3其中， 为可调节参量（输入增益）， 经过一个周期 后，对所有虚拟节点的状态进行更新，得到新的储备池状态。 如图 3-5(d)所示。 如图 3 示，对于每个周期 ， 状态被读出一次用于输出权值矩阵 训练， 训练与测试方法与传统 同。 由于 信息输入方式是串行的，因此当 规模 N 较大时，运行将比较耗时。 简储备池回声状态网络的性能 基于 的实验结论，我们选用 s 滞模型作为图 3示网络中储备池的非线性节点 成了 3 种最简储备池回声状态网络模型，分别简称为 选取 混沌时间序列预测和非线性系统建模这两类 被广泛用 于回声状态网络性能测试的基准问题进行仿真实验。实验平台配置为 存：本节设计的两组基准实验中，重点研究以下两个问题： 拟节点间距 对网络性能的影响。 在相同储备池规模下， 经典 性能比较。 沌时间序列预测 程为 18 ()x a y xy x b z yz x y c z (3当 a=10， b=8/3， c=28 时，系统呈现混沌状态。设初始状态 x(0) = 1， y(0)=0，z(0)=1。选取 x 分量的 1000 个数据，其中，前 500 个作为训练样本，后 500 个作为测试样本，分别用 行前向一步预测。 首先研究虚拟节点间距 对网络性能的影 响。设 储备池规模N 分别取 50, 100, 200, 400，即 分别为 50, 100, 200, 400。实验中，式 (3 取值为 下所有有关 实验中， 取值均为 再赘述。 (a) 50 (b) 100 (c) 200 (d) 400 图 33 种 沌时间序列预测的 的关系图 19 图 3出了 3 种 测的 与网络虚拟节点间隔 之间的关系图。 标准均方根误差，其定义为 )()(1212 M (3其中， 网络实际输出值，M 为 训练（测试）数据个数 ， )(2期望值序列方差。 从图 3以看出，在混沌时间序列预测问题 上， 拟节点间距 对网络预测性能有较大的影响。在储备池规模 N 分别取 50, 100, 200, 400 四种情况下， 值在 近时， 3 种 预测误差最小。 接下来，我们在相同储备池规模下，比较了 性能。表3出了 3 种 预测性能。其中， N 为 节点数（ 值取 网络运行时间。 表 3 沌时间序列的预测性能 由表 3实验数据可得到如下结论： 在同样储备池规模 N 下， 预测精度远高于 为 10 5 数量级，而 测的 为 10 2 数量级。 随着 N 的增大， 预测精度都有所提高。 当 N 较小 （如 N=10）时， 运行时间可与 比拟。随着 N 的增大， 运行时间将有所增大，而 运行时间几乎保持不变。 在相同 N 下， 3 种 预测精度和运行时间均可比拟。 线性系统建模 10 阶 统方程为 901 0 . 3 0 . 0 5 1 . 5 9 0 . 1iy n y n y n y n i u n u n (3=10 s) =40 s) =80 s) =120 s) 20 其中 u(n)和 y(n)分别是 n 时刻的输入和输出，且输入服从区间 0,均匀分布。利用系统产生 4000 个样本数据，取其中前 2000 个数据作为训练样本，后2000 个数据作为预测样本。 实验设计同 。图 3出了 3 种 10 阶 统建模 的 与网络虚拟节点间隔 之间的关系图。 从图 3样可以看出， 拟节点间距 对网络性能有较大的影响。在储备池规模 N 分别取 50,