{组织设计}模拟输入模式的稳定类型识别编码的自组织网络

1、组织设计模拟输入模式 的稳定类型识别编码的自 组织网络ART2: 模拟输入模式的稳定类型识别编码的自组织网络 摘要 ：自适应谐振体系结构是壹种能够实时响应任意序列输入模式的，自组织地进行稳 定模 式编码的神经网络。本文介绍了壹种自适应谐振体系结构 ART2 ，对于任意序列 的模拟或 二进制输入模式 ,这种结构能迅速自组织地进行模式识别且聚类。 为了处理 任意序列模拟输入模式， ART2 体系结构将问题的解决方案整理，且表达为壹组设计原那么：如稳定性可 塑性 平衡，搜索直接存取平衡，以及匹配复位平衡。于这些体系结构中，自上而下 学习期望 和匹配机制于自稳定的编码过程中是至关重要的。随着学习进程的

2、开始,且行的搜索方案使ART2 能够自我更新，且实现实时的假说建立、测试、学习和识别过程。经过学习自我稳 定 后，搜索过程能够自动脱钩， 此后输入模式可直接访问他们的识别码而不需要再搜索。 因此 识别熟悉的输入所用的时间不随学习编码的复杂性而增加。如果新的输入模式和已 熟知类别 的样本集合具有共同的不变的属性,那么它能够直接访问这壹类别。警戒值参数那么决定了该分 类的细致程度。如果由于环境反响,警觉性增加或减少 ，系统就会自动搜寻且更细或更 粗地进行识别分类。增益调节参数能使 ART2 抑制噪音达 到壹定水平。尽管 ART2 网络具 有高度的非线性，其的全局性设计仍使它能够有效地学 习。I.

3、自适应谐振体系结构自适应谐振体系结构是壹种能够实时响应任意序列输入模式的，自组织地进行稳定模式编码的神经网络。于文1中,Grossberg提出了自适应谐振理论的根本原理。于文 2 和中，Carpenter和Grossberg用壹组常微分方程刻画了壹类被命名为 ART1的自适应谐 振结 构。对于任意序列的二进制输入模式，经证明的定理已能说明 ART1 网络实时动态 特性。这 些定理预示了搜索的顺序可视为网络的学习过程的函数和渐近分类结构是 有任意序列的 二进制输入模型自行组织的。这些定理也证明系统自稳定性能和说明了该 体系的适应权重振 动至多壹次，而不会陷于伪存储状态或局部极小值。本文介绍了壹类

4、新的自适应谐振结构，即所谓的 ART2 。对于任意序列的模拟 灰度级， 连续值输入模式，以及二进制输入模式， ART2 网络能够自行组织，形成稳定的识别分 类。 本文将通过计算机仿真方法来说明系统的动态特性.例如图 1 ，它展示了壹个典型的 ART2 网 络，于每个样本只输入系统壹次后，快速把壹组五十个样本自行聚类成三十四个稳态的 识别 种类。每个数字下面的图例被 ART2 聚类为相同类别。仿真系统方程式将于 Secs.V-VIII 中 给出。ART 网络通过修正连接权重 ,也就是自下而上的自适应过滤器的长期记忆系统LTM 的迹，来对新的输入模式进行编码图2 。这个过滤器包含于从特征表示场F1

5、 到类别表示场 F2 它们的节点经过合作和竞争的相互作用后的通道中。这种自适应过滤 和竞 争的结合， 有时也被称为竞争学习， 于许多其他类型的自适应模式识别和关联学 习中也存于。 可参见 Grossberg 关于竞争学习模式开展的回忆 4 。然而，于 ART 网络 中，自上向下的自 适应过滤器 第 2 个过滤器 对编码自稳定性有着至关紧要的作用。 这种自上而下自适应信号 于 ART 系统中扮演着对学习的期望值。 它们能使系统引发注 意启动， 模式匹配， 和自我调节 的且行搜索。 ART 设计的关键点之壹是对于任意输 入环境， 必须有自上而下的注意和有意的 机制 或称为期望 来保证自稳定的学习

6、像自下而上和自上而下的自适应过滤器壹样，场 F1 和 F2 也包含于 ART 的注意子 系统 见图 2。当自下而上的 F1 层输入和自上而下的期望值 F2 中激活类别所输 出匹配失 败时，调整子系统将被激活。于这种情况下，激活的调整子系统迅速地重置 抑制 F2 层的 激活类别。重置动作将自动引导注意子系统再次进行且行搜索。备选 种类被壹壹测试，直到 找到壹个适当的匹配或建立壹个新的类别。因为搜索策略于整个 学习过程中是自适应地更新 的，搜索保持有效。相对学习速率，搜索过程更快。然而， 只有当壹个搜索结束和系统内部 有壹个匹配的 F1 模式共振时，自下而上和自上而下的 自适应过滤器才会出现显著的

7、变化。图 1 所示的仿真中，于最初的 50 种输入中，有许多 ART2 系统进行了壹次搜索过程。图 1.50 个模拟输入模式类别分组到 34 识别类图 2. 壹个典型的 ART1 结构 自下向上自适应过滤、编码或假说的选择、自上向下的学习期望值的输出、匹 配和 代码复位的循环过程说明，于 ART 系统中，自适应模式识别是更为壹般的认知过 程发现， 测试，搜索，学习，且证实假说的壹个特例。于 ART 系统的应用中，对 大型抽象的知识基 础的自适应处理是未来研究的壹个重要目标。事实上， ART 系统的学习只发生于谐振状态，这使得系统解决可塑性和稳定性的平 衡成 为可能。可塑性，或称快速改变 LTM

8、 轨迹的趋势，能够无限期地保持完整，这使 得 ART 体 系结构能够学习以后不可预料的事件，直到耗掉所有的存储容量。于壹个共振状态下学习，要么是基于输入模式可能含有的任何新的信息，对先前建 立的 编码进行更新， 要么是于未定型的节点中开始进行编码。 举例说，假设于任何时间， 将壹个 新的输入参加到图 1 所示的五十个输入集合，该系统将搜索已建立的类别。可 能于最初的搜 索周期中，就找到了匹配的模式，如果有必要，表征类别的 LTM 向量将 被更新，以纳入新 模式。如果没有找到匹配模式，于编码容量尚未用尽的情况下，系统会使用未定型的 LTM 向量对由输入建立的 STM 模式进行编码，从而建立壹个新

9、的类别该体系结构的自适应搜索，可发现和了解恰当的识别编码，而不会陷入于虚假的记 忆状 态或局部最小值中。 于其它的搜索模式， 如搜索树，随着编码变得越来越复杂， 搜索时 间也会延长。和之相反，于壹个 ART 结构中，只有识别编码于被学习时，搜索 才开始，而且 随着学习的继续这种搜索保持其效率。以前学习的自稳定性， 是通过读出壹个被由上而下的期望值提供的动态缓冲来实现， 而不是由关掉可塑性或限制只有某类被允许输入来完成。例1 的仿真中，于 50 个输入如图 模式学习壹次后， 学习已经到达自稳定。 壹般说来， 于壹个 ART 结构中， 对壹个特定 的识别种 类，壹旦学习已经到达自稳定，搜索机制就自

10、动脱钩了。此后对任何隶属于此 类别的输入， 不需要进行搜索，就能够高速和能够直接地激活或访问类别信息。于壹个 ART 结构中， 输入模式和被选择的类别模板之间的匹配的标准是能够调整 的。 匹 配准那么是由控制调整子系统行为的警戒值参数所决定的。所有其他情况是壹样的，高警 惕对 应更严格的匹配标准，从而对输入集的聚类更为细致。低警戒值那么于 F1 层能容 忍更大的自上而下的或自下而上的匹配误差， 从而导致分类 图 3。此外， 于每壹个警戒值水 粗糙 平下，匹配的标准也可自行缩放：如果输入模式非常复杂，少量特征的不匹配可能是能够容忍 的，图 3. 较低的警惕意味着分组粗化 . 和图 1 相 同的

11、ART2 网络将同样 50 个输入分为 20 个 类别。 例 如,图 1中的类别 1和 2 被合且为 类别 1,类别 14 、 15 和 32 于这里被合且为类 别 10 ，类别 19-22 被合且为类别13.图 4. 壹种没有壹个面向子系统的ART2 模型学习分组.a将警戒值水平设置为0,和图1、ART2 网络将 50 个样本分为 6 个类别每 个样 本仅输入壹次 。没有了于不匹配时 的重置功能， 会出现短时分组。 b 于每个样本输入 3 次后， 壹个粗略但稳定的但如相果同输的入本身特征量就不多，同样数目的特征不匹配那么会触发重置即使没有任何搜索，当警惕性低或调整子系统被移除时， ART2

12、也能建立壹个合理 的聚 类结构图 4 。不过于这种情况下，自上而下的学习期望值，通过产生注意焦 点来缓冲突然 发生的代码，来全面负责编码的自稳定性。虽然于 F1 层自下而上和自上 而下的模式不匹配 会削弱 F1 层的不匹配的特征，然而这种不匹配，于学习发生前，且 不会引发于 F2 层寻找壹 个更适宜的编码。这种学习将未被削弱的 F1 层的特征纳入到 最初被选定的类别的识别编码 中。于这种情况下，编码于自稳定之前可能需要更多的输 入试验。于早期的试验中，由于原 本通过可变的警戒值实现的灵活的匹配标准不于了，4 ( a)错误的分组可能会出现，例如图 中第 1 类。尽管如此，自上而下的期望值能积极调

13、节学习过程，以产生壹个拥有可接受的属通过三轮的输入，能够建立壹个稳定的聚类结构，于图4 ( a)中于1种类的聚类错误得到了纠正(将最初的且不相似的输入大致分裂成单独的类别 1 和 7 )。自上而下的学习期望和调整子系统不是 ART 网络于学习过程进行主动调控的唯壹手 段。 于 F1 和 F2 层注意增益控制也有利于这种活泼规那么( sec.II )。增益控制被用来综 合调整对 样本输入的灵敏度， 和协调各个具有别离的、 异步功能的 ART 子系统。 能够调整对 图案化的 输入和协调分开的整体敏感性。增益控制于图 2 中表示为圆形的实心点(被 填充的)。II. ART1: 二进制输入模型图 2

14、显示了壹个典型的 ART1 网络的主要特点。注意子系统中连续的俩级 F1 和F2 ，对短期记忆 ( STM )的活泼模式进行编码。 于 F1 和 F2 之间的每个自下而上或自上而 下的路径 包含了壹个自适应 LTM 向量，它会和于其路径中的信号的相乘。电路的其它 局部调节这些 STM 和 LTM 计算过程。增益控制 1 的调制能够使 F1 层能够区分自下向 上输入模式和自上 而下的填装或模板模式，且能比拟这些自下而上和自上而下的模式。 特别是，自下向上的输 入能够有意识地激活 F2 层；于没有自下而上的输入时，由上而 下的期望值能有意识地强化 或填装 F1 层;根据 2/3 的规那么，自下而上

15、和自上而下输入的 结合是相匹配，该规那么于自下而 上和自上而下的模式的交互作用下激活节点图 5 因此，于自组织的 ART 系统下，意向 性或由上而下的期望的行动暗示了空间的逻辑匹配规那么。 Carpenter 和 Grossberg 于文献 3 证明了于 ART1 响应任意序列的二进制输入模式时， 2/3 规那么匹配对于学习自 稳定 是必要的。当自下而上输入模式和自上而下的模板模式于 F1 中不匹配，根据警戒值标准，调整 子 系统给 F2 层壹个重置波。重置波选择性地长期抑制被激活的 F2 层节点细胞， 直至当前 输入被移除。输入模式的偏移终止了它于 F1 中的运算，且触发增益 2 的偏移 量

16、。增益 2 的偏移量引起F2层的STM记忆迅速衰变，从而F2层能够无偏差地对对下壹个的输入模 式进 行编码。壹个ART1系统完全能够由壹个微分方程组定义，这个方程组也决定STM和LTM对壹个任意时间序列的二进制输入的动态响应。刻画这些动态特性的定理已经于快速学习的条 件下得到证明，这里，为了使LTM轨迹接近平衡值，每个样本的试验时间必须足够长。ART1 的变形结构具有类似的动态特性。因此，术语ART1是指壹族或壹类功能上等效的结构，而不是单个模型。图5搜索壹个正确的 F2编码。a当不明确地激活 A,输入模式I于F1层产生壹个明确的 STM激活 模式X，模 式X抑制A的同时，产生壹个输出信号S，

17、 S转变成T，T于F2层激活STM模式Y。b模式Y产生壹个自上而 下的模式U，它转化为模板模式V。如果V和F1层的模式I不匹配，于F1产生壹个新的 STM激活模式X*，于X转化为X*时产生的总活泼度减少会导致F1层对A的抑制作用减弱。cA于输入模式作用下的行为会释放壹个不明确的激活波到F2层，它将重置F2层的STM模式Y。 d 当Y被抑制，其自上而下的模板被消除，这样F1层的X模式被恢复，又产生壹个模式 T到F2层，但此时模式 Y被抑制，T会激活另外壹个 F2层STM模式Y*,如果由Y* 产生的自上而下的模板仍是和I不匹配，搜索 F2层适宜编码的过程继续进行。III. ART2:模拟输入模型A

18、RT2体系结构是为处理模拟也能够是二进制输入模式而设计的。壹个为模拟输入设计的种类代表系统，要能够把陷入于各种噪声背景里的近似信号挑出来且进行加强，如图1中的第16类图 6 典型的 ART2 结构。空心箭头指示特定 的模式输入指向目标节点。实心箭头指示 非 特定的增益控制输入。增益控制中心 (实心 圆圈)根据 STM 向量的 L2 范数，按比例 非特 定地抑制目标节点 式 (5),(6),(9),(20) 和 (21) 。当场 F2 激活第 J 个节点， g(y J)=d ，其它的节点 g(y J)=0 。和 ART1 相同，增益控制 ( 未显 示 ) 随着输入呈现的速率来协调 STM 处理。

19、图6给出了壹个典型的 ART 2结构。图2和图6的比拟说明了 ART1和ART2网络 的壹些主要的差异。为了 ART 2能于壹个稳定的方式下匹配和学习壹系列模拟输入模 式，它的特征 表达层 F1 包括假设干处理级和增益控制系统。 自下而上的输入模式和自上 而下的信号于F1 层不同地点被接收。F1 层的正反响回路能够增强突出的特征和抑制噪音。虽然 ART2 中的 F1 比ART1 中的更复杂，但 ART2 中的 LTM 方程组更简单。对特定的应用，如何对信号的功能和各种 ART2 结构的参数进行最正确选择，以对特 定类 别的模拟输入模式进行分类，是这个课题的研究方向。特别是，由于 ART2 体系

20、结 构是为了 分类任意序列的模拟或数字输入模式，所以壹个任意预处理器可连接到 ART2 结构的前端。利用这个特性，为不变量的识别和回忆，能够用激光雷达，边界分割，和不变滤波方法 来设 计壹个自组织结构，对 ART2 的输入进行预处理。IV. ART2 设计原那么ART2 结构满足了神经网络分析所确定的壹套设计原那么，可对任意序列的模拟输入模式 实现的类别辨识。 ART2 系统已经开展到满足多个设计原那么或处理约束，这些导致结 构的突 出特性。至少 ART2 结构三个变化已经确定能够满足这些约束。事实上， ART2 分 析的核心 包括发现网络机制的不同组合如何壹起合作，以产生想要的突出特征的特别

21、组 合。这就是为 什么 ART2 结构的理论已被证明是非常有用的，因为它们揭示了哪些紧急 属性多余，哪些于 减少结构中丧失。于每个 ART2 结构中，归壹化，增益控制，匹配和学习机制的组合，于大致相同的方式 下相互交织。虽然具体的实现方法可能于壹定程度上会有修改,于所有的 ART2 变形结构中，我们已经发现：场 F1 需要包括不同层次以接收和转换自下而上输入模式和自上而下的期望模式，仍要壹个中间神经元作为交互层，它被用来比拟自下而上和自上而下的信息，且将 结果反响到场F1的底层和顶层。我们将于Secs.lX-XII中说明图6中F1的各层如何工作。其 他 ART2 模型将于 Sec.XIII 和

22、 Ref.5 中说明。我们当下开始说明 ART2 的设计原那么。A. 稳定性可塑性平衡对任意序列的模拟输入模式，壹个 ART2 系统必须能够形成稳定的识别编码。由于 壹个 ART 系统的可塑性总是存于，同时输入模式提交的持续时间长度是任意的， 所以 STM 的处理 过程必须按这样壹种方式进行：即新的输入模式的长时间的持续不撤离不会 抹去以往学 习过的信息。 Sec.XII 显示了对图 6中场 F1 的内部反响回路的壹部份进行 移除或消融，可能导 致壹种不稳定，于这种不稳定情况下，其中于特殊的输入顺序中的 单壹输入，可能不停地于 分类之间跳转。B. 搜索直接访问平衡于学习过程中， ART2 系统

23、采用且行搜索来控制适当识别编码的选择行为，但如对 壹个 输入模式已非常熟悉，将自动脱钩搜索过程。此后，无论总的识别结构有多复 杂，熟悉 的输入模式直接存取其识别编码，就像于我们的生活不同阶段，我们均能够迅 速认出我们的 父母。尽管随着我们成长，我们学习了更多的东西。C. 匹配重置平衡壹个 ART2 系统需要能够解决几个潜于冲突特性， 这些冲突特性能够被理解为于敏感 的 匹配需求和新代码形成之间的设计权衡的变形。该系统壹方面应能够对活泼的场 F1 的 STM 模式及从壹个已建立类别输出的 LTM 模 式之 间任意小的差异进行识别且作出反响。尤其是，如果警戒值高，通过壹个自下而上 的输入样 本建立

24、的 F1 的 STM 模式，应该和自上而下 F2-F1 的期望模式几乎相同， 以便使得该样本 能够被已建立的类别接受。于另壹方面，当壹个未定型 F2 节点第壹次被激活，它应 能保持活泼，而不被重置， 以便使它能够于这种是没有自上而下 / 自下而上的模式匹 配的情况下，对它的第壹次输入样本进行编码。 Sec.IX 说明了壹个合理选择的 ART2 重置规那么和 LTM 初始 值是如何共同工作，以满足这俩个处理的需要。事实上，能够通过选择 ART2 参数来 满足更壹般的 性能，这些性能学习提高系统对自下而上和自上而下的模式之间不匹配的灵敏度。D. 于读出匹配的 LTM 下的 STM 不变性 关于匹配

25、复位平衡的进壹步讨论说明了为什么场 F1 是由假设干内部处理层组成的。假设于壹个未定型F2的节点第壹次激活之前，其由上而下的F2 F1的LTM向量迹 选择等于零。于该节点的第壹个学习试验，其 LTM 向量将逐步学习由 F1 顶层产生的 STM 模式。如上所述， 因为 LTM 向量以前没有学习过任何其他的模式，这种学习壹定不会 由于不匹配重置场F2。这 个属性是通过设计场F1的底层和中层实现的，所以当底层和 中层学习了他们的第壹个正值 时，即使读出这些 LTM 向量，他们的 STM 活泼模式 也根本不会改变。更普遍的，F1被设计成：当F2读出壹个和F1顶层的STM模式完全匹配的以前学 习过的LT

26、M 模式，它且不改变于 F1 底层和中层循环的 STM 模式。因此，于壹个完美的匹配情 况下，或于壹个 LTM 值的零矢量得到了壹个完美的匹配的情况下， 于 F1 底层和中层 的 STM 活泼模式保持不变 ;因此，不发生重置。这不变特性使 F1 底层和中层，于学习期间，于保持稳定的方式下，将输入模式进行非线性变换。特别是，于输入的噪音将被抑制时，输入模式得到了比照增强。如果壹个 自上而下的 LTM 模式的输出可能改变于 F1 各层的活泼底线它们执行这个变换，对 比增强和噪音抑 制的程度可能改变， 从而通过自上而下 LTM 向量产生壹种新的 STM模式。该 STM 不变特性防 止壹个完全匹配的

27、LTM 模式产生重置 通过防止任何改变，发生于 F1 较低层的 STM 模式？。 E LTM 输出和 STM 规壹化共存STM 不变性导致多个 F1 层的使用，因为相对没有信号的时候，当有自上向下的信号 时，是活泼的， 有自上而下 LTM 输出时， F1 的节点收到额外输入。于规壹化的 STM 模式 和 F1 中层于此处自上而下和自下而上信息是匹配的相互影响之前，额外的F1 各级为自上 而下 LTM 的输出和于 F1 顶层 STM 模式的规壹化提供足够程度的计算自由。以类似的方式， 于规壹化的 STM 模式能够影响 F1 中层之前， F1 底层能够规壹化 输入模式。 因此，场 F1 中相对独立

28、的底层和顶层提供足够的计算自由度，以补偿于底 线活动的波动。如 果没有这种规壹化， 有用的模式的区别和乱真底线的波动之间的混乱， 很容易颠覆匹配过程 和导致错误的重置事件发生，从而破坏网络的搜索和学习过程。 F. 超集输入，没有 LTM 重新编码虽然壹个自上而下的 LTM 模式和 F1 的顶层 STM 模式完全匹配时，是不会导致 F2 的重置，但如果警戒值选得很高的话， 这些模式中即使是壹个很小的不匹配也足以重置F2。F1 中间层 于削弱 STM 的活泼性引起重置事件发生上起着关键作用。当壹个或多个但不是全部的自上而下 LTM 轨为零或很小的值，且且相应的 F1 节点有 正的STM 活泼性时，

29、才会出现这种导致重置的不匹配的重要例子。当这种情况发生时， 这些F1 的节点的 STM 活泼将被抑制。STM 足够大而重置 F2 ，网络将搜索更好的匹配。如 果总的 STM 总的抑制没有大到足以F2 ，于随后的学习试验中这些节点的自上而下的保持很小，因为他们抽样他们自己的小LTM 值造成的小的 STMLTM 迹这个特性是 2/3 规那么的壹种版 本，2/3 规那么已被用来证明壹个 ART1 结构响应壹个任意 序 列的二进制输入模式的学习的稳定性。 它对 ART2 实现稳定学习于响应壹个任意序列的模 拟输入模也是必要的 Sec.XII 。于 ART1 的术语中，壹个自下而上输入模式的超集不能重编

30、码壹个由上而下的期望子集。于 ART1 中，这种特性通过有意识的增益控制通道 获得图 2 。开展到 ART2 版本，这局部已经被集成于 F1 的内部。这些设计的变化仍是 后续研究的课题。G.稳定的选择直到重置匹配 -重置平衡要求：只有调整子系统触发重置，才能够改变场 F2 被选择的节点。 自上 而下的 F2 至 F1 的 LTM 模式和循环 F1 的 STM 的模式之间的任何程度的不匹配，均要有 这个属 性来实现重新选择 F2 节点。因此，网络所有的实时模式处理操作包括自 上而下的 F2 至 F1 的反响，场 F1 内三层的快速的动态的非线性反响，和于学习中LTM 的慢速变化必须 是有组织的以维持原有的 F1至F2的类别选择