（基础数学专业论文）人工神经网络的理论及应用.pdf

中 文 摘 要 摘 刁石. 3七 在本文的前言部分，简要地介绍了人工神经网络的发展历史及现状，并指 出 对人工神经网络模型在理论上及应用上进行研究的必要性。 在第一章中，我们探讨了一类带时滞的离散神经网络模型的周期行为，并 给出周期解的稳定判据，期望能对模型的连续形式的研究有所帮助。在第一章 的 末尾，我们还对部分结论在一些特殊参数情况下进行了 推广，并通过一个例 子体现了推广了的结论的应用。 在第二章中，我们提出对反传算法的几个改进。其中，构造法通过不断地 扩张网络，绕开了传统算法无法避免的局部极小值，并解决了网络结构的选择 问题。除了理论证明之外，我们也通过几个训练实例演示了构造法的应用。此 外，对于一类 “ 特殊的” 训练问题，即输入维数高、 但相关性强的数据，我们 提出利用主分量分析的方法给出训练的参数初值。所有数值模拟的方法和结果 我们都放在本章的最后一节。实验数据显示，这些改进的算法都是非常有效 的。 在第三章中，我们利用多层神经网络的学习、预测能力，将其应用到非 线性指标预测度指标。作为预测度指标的应用，我们对心率变异性研究中 的r - r 间期序列和分子动力学研究中的自由能序列进行预测度分析，结果表明 预测度指标是有很高的应用价值的。它可以帮助我们更进一步地揭示时间序列 中的非线性关系。 关键词:人工神经网络，离散，时滞，周期解，渐近稳定，多层前馈网 络，反传算法，构造法，主分量分析，预测度，心律变异性，分子动力学 一1一 英 文 摘 要 ab s t r a c t i n t h e p r e f a c e o f t h i s a r t i c l e , w e s i m p l y i n t r o d u c e t h e d e v e l o p m e n t o f a r t i fi c i a l n e u r a l n e t w o r k a n d i t s p r e s e n t s t a t u s . a n d w e p o i n t o u t t h e i m p o r t a n c e o f d e v e l - o p i n g i t s t h e o r y a n d a p p l y i n g m a t h e m a t i c a l m o d e l o f a r t i fi c i a l n e u r a l n e t w o r k . i n t h e fi r s t c h a p t e r , w e i n v e s t i g a t e t h e p e r i o d i c a l b e h a v i o r o f a d e l a y e d d i s - c r e t e n e u r a l n e t w o r k m o d e l a n d r a i s e a c r i t e r i o n f o r t h e s t a b i l i t y o f p e r i o d i c a l s o l u t i o n . we h o p e t h a t i t w i l l b e h e l p f u l t o t h e r e s e a r c h o f c o n t i n u o u s m o d e l . a t t h e e n d o f t h i s c h a p t e r , w e s t r e n g t h e n s o m e t h e o r e m s u n d e r s p e c i a l p a r a m e t e r s a n d s h o w t h e i r a p p l i c a t i o n t h r o u g h a n e x a m p l e . i n t h e s e c o n d c h a p t e r , w e d e v e l o p t h e b a c k - p r o p a g a t i o n a l g o r i t h m i n s e v e r a l a s p e c t s . b y e n l a r g i n g t h e n e t w o r k , c o n s t r u c t i v e a l g o r i t h m s o l v e t h e l o c a l m i n - i m u m d i ff i c u l t y , w h i c h i s u n a v o i d a b l e i n t h e c o n v e n t i o n a l a l g o r i t h m. t h e m o s t i m p o r t a n t t h i n g i s t h a t i t c a n h e l p u s t o d e t e r m i n e t h e s t r u c t u r e o f n e t w o r k . b e s i d e s t h e t h e o r e t i c a l p r o o f , w e a l s o a p p l y i t t o s o m e e x a m p l e s . f u r t h e r m o r e , f o r s o m e s p e c i a l p r o b l e m s , w h i c h h a v e h i g h - o r d e r , b u t h i g h - c o r r e l a t i v e i n p u t , w e c h o o s e t h e i n i t i a l v a l u e o f p a r a m e t e r s 场 p r i n c i p l e c o m p o n e n t a n a l y s is m e t h o d . a l l t h e d e s c r i p t i o n s a n d r e s u l t s o f n u m e r i c a l s i m u l a t i o n a r e d i s c u s s e d i n t h e l a s t s e c t i o n o f t h is c h a p t e r . t h e y s h o w t h a t t h e s e d e v e l o p e d a l g o r i t h m s a r e v e r y e f - f e c t i v e . i n t h e t h i r d c h a p t e r , w e u s e a m u l t i - l a y e r n e t w o r k t o c a l c u l a t e a n o n l i n e a r i n - d e x 一p r e d i c t a b i l i t y i n d e x , t a k i n g a d v a n t a g e o f i t s l e a r n i n g a n d p r e d i c t i n g a b i l it y . a s t h e a p p l i c a t i o n o f t h e p r e d i c t a b i l i t y i n d e x , w e a n a l y z e t h e r - r i n t e r v a l s e r i e s i n h e a r t r a t e v a r i a b i l i t y r e s e a r c h a n d t h e f r e e e n e r g y s e r ie s in m o l e c u l a r d y n a m ic s r e s e a r c h . t h e r e s u l t s s h o w t h a t p r e d i c t a b i l i t y i n d e x h a s a h i g h a p p l i c a t i v e v a l u e a n d i t c a n h e l p t o e x p o s e t h e n o n l i n e a r r e l a t i o n s h i p i n t i m e s e r i e s . k e y wo r d s : a r t i fi c i a l n e u r a l n e t w o r k , d i s c r e t e , d e l a y , p e r i o d i c a l s o l u t i o n a s y m p t o t i c a l s t a b i l i t y , g o r i t h m , c o n s t r u c t i v e mu l t i - l a y e r f e e d f o r w a r d n e t w o r k , b a c k - p r o p a g a t i o n a i - a l g o r i t h m , p r i n c i p a l c o m p o n e n t a n a l y s i s , p r e d i c t a b i l i t y i n d e x , h e a r t r a t e v a r i a b i l i t y , mo l e c u l a r d y n a m i c s 一2一 前 言 月 ij舀 人工神经网络 ( a r t i fi c i a l n e u r a l n e t w o r k ，简称a n n )是在对大脑神经网 络的认识理解的基础上发展起来的。早在2 0 世纪初，人们就已经知道人脑的工 作方式与现在的计算机是不同的。现代计算机虽然有很强的计算和信息处理能 力，但是它对于模式识别、感知和在复杂环境中作决策等问题的处理能力远不 如人。特别是它只能按照人事先编好的程序机械地执行，缺乏向环境学习、适 应环境的能力。而人脑是由大量的基本单元 ( 神经元)经过复杂的互相连接而 成的一种高度复杂的、非线性的、并行处理的信息处理系统。虽然单个神经元 的反应速度是在毫秒级，比 计算机的基本单元 逻辑门 ( 反应时间在1 0 - s s 量 级) 低5 -6 个数量级。由于人脑的神经元数量巨大 ( 大约为1 0 1 0 个)，每个神 经元可与几千个其它神经元连接 ( 总连接数约为6 x 1 0 3 )，对有些问题的处理 速度反而比 计算机 快得多。 它的 能 耗约为 每一 运 算1 0 - 1 s j / s ( 计算机为 每一 运 算1 0 - 1, j / s ) ， 可 见其 性能 要比 现 代 计算 机高 得多 。 因 此， 人 们自 然 会 想到， 大 脑的组织结构和运行机制必有其绝妙的特点，从模仿人脑职能的角度出发，来 探寻新的信息表示、存储和处理方式，设计全新的计算机处理结构模型，构造 一种更接近人类智能的信息处理系统来解决实际工程和科学研究领域中传统的 冯 诺依曼计算机难以解决的问题，必将大大促进科学进步，并会在人类生活 的各个领域引起巨 大变化。简而言之，人工神经网络就是模仿人脑工作方式而 设计的一种机器，它可以 用电子或光电元件实现，也可以用软件在常规计算机 上仿真;或者说人工神经网 络是一种具有大量连接的并行分布式处理系器，它 具有通过学习获取知识并解决问题的能力，且知识是分布存储在连接权 ( 对应 于生物神经元的突触)中，而不是象常规计算机那样按地址存在特定的存储单 元中。 人工神经网络的研究，始于上世纪初，但是它的发展却经历了一条曲 折的 道 路1 ,2 ,4 1 e 早在1 8 9 0 年，美国生理学家w.j a m e s 出 版了 生理学3 5 1 一书，该书首次 阐明了 有关人脑结构及其功能，以 及一 些相关学习、联想记忆的基本规则，并 一3一 前 言 指出:人脑中，当两个基本处理单元同时活动，或两个单元靠得比较近时，一 个单元的兴奋会传递到另一个单元，而且一个单元的活动程度与它周围单元的 活动数目和活动的密度是成正比的。这些论述有些是该书作者的推断，但在以 后的发展中都证明这些推断是正确的。 1 9 4 3 年，心理学家mc c u l l o c h 和数学家p i t t s 在数学生物物 理学会刊 ( b u l l e t i n o f m a t h e m a t i c a l b i o p h y s i c s 上发表文章4 3 1 ，总结了生物神经元 的一些基本生理特性，即m - p 模型。 现在看来，这个模型是过于简单了，但是 他们的贡献在于: ( 1 ) 证明了 用m - p 模型能够完成任意有限 的逻 辑运算; ( 2 ) 他们是在w.j a m e s 后第一个采用集体并行计算结构来描述人工神经元和网络 工作的; ( 3 ) 他们的工作为以 后进一 步的 研究提供了 依据。 1 9 4 9 年， d .o .h e b b 发表论著 行为自 组织2 9 1 提出神经元之间突触联系 强度可变的假设。 他提出了很多有价值的观点， 这对以 后的人工神经网络的结 构和算法都有很大的影响， 具体有以下 几点: ( 1 ) 他提出了在一个神经网络里信息是贮藏在突触联结的 权中; ( 2 ) 联结 权的 学习 率是正比 于两个被联神 经细胞的 活动状态值的 乘积; ( 3 ) 假设 权是对称的， 从 a 细胞到b 细胞的 权等于b 细胞到a 细胞的 权; ( 4 ) 细胞的 互相联结的结构是它们权的改变创 造出 来的。 直到现在， h e b b 的学习算法仍在不少人工神经网络中 应用。 1 9 5 8 年 ， f .r o s e n b i a t t e 定义 了一个神经网络结构15 2 1 称为感知 器( p e r c e p t r o n ) ， 这是第一个真正的人工神经网络，因为他在 i b m 7 0 4 计算机 上进行了模拟，从模拟结果来看，感知器是有能力通过调整权的学习达到正确 分类的结果，因此它可以称为一个学习机。 1 9 6 0 年b . wi d r o w 和m. h o ff 发表了“ 自 适应开关电路”的论文16 5 1 ，他们 从工程的观点出发，不仅在计算机上模拟了这种神经网络，而且还做成了 硬件。他们主要提出了 wi d r o w - h o ff 算法，使权的学习速度较快，而且还有 较高的精度，后来这个算法被称为l m s 算法，在数学上就是人们所知的速降 法。 wi d r o w - h o ff 算法不需要微分，其权的变化是正比于实际输出值与要求输出 值之 间的差和输入信号的符号， 这种算 法在以 后反传网 络 ( b a c k - p r o p a g a t io n , 简称b p )算法和其它信号处理系统中应用十分广泛。 一4一 前 言 1 9 6 9 年.美国著名人工智能学者m i n s k y 和p a p e r t 发表了 感知器14 5 1 - 书，指出感知器的处理能力有限，甚至连x o r 这样的问题也不能解决，并指出 如果引入隐含神经元，增加神经网络的层次，可提高神经网络的处理能力，但 是对应的学习方法非常困难。这个结论对当时的人工神经网络的研究无疑是一 个沉重的打击，加之当时人工智能和专家系统正处于发展的高潮，这些因素共 同作用，促使人们降低了对神经网络研究的热情，使神经网络的研究进入萧条 时期。 不过，还是有不少学者继续对神经网络进行研究，并取得了一些积极 的成果。主要有 k o h o n e n 的自 组织映射模型(3 7 1 , g r o s s b e r g 的自 适应谐振模 型(2 6 , 2 7 ! 和f u k u s h i m a 的新认知机等。 7 0 年代后期，在人的智能行为的 机器再现上，由于传统模型距离人类自 身 的真实模型较远，表现出了极大的局限性。计算机一般不能从现实世界的实例 与现象中获取并总结出知识，也就是说计算机不具备学习能力。 从而使人们认 识到不能拘泥一格而必须开拓新的思路，探索新的人类智能实现途径。这时原 来已出现过的，与人脑的生理组织更为接近的神经网络模型就自 然成为理想的 候选模型。 1 9 8 2 年，加州理工学院物理学家 j .h o p fi e ld 发表了一片十分重要的文 章(3 1 1 ， 他所提出的全联结网 络后来被称为h o p fi e l d 网 络，在网络的理论分析和 综合上达到了相当的深度。 最有意义的是他的网络很容易用集成电路来实现。 在1 9 8 4 年、 1 9 8 6 年， h o p fi e l d 连续 发 表了 有 关 他的 网 络应 用的 文 章3 2 ,3 3 , 6 1 , 6 2 1 , 他的文章得到了一些工程技术人员和计算机科学家的重视和理解。更为重要的 是他在这种神经网 络模型的 研究中，引 入了 能量函数 ( l y a p u n o v函数)， 阐明 了 神经网络与动力学的关系，并用非线性动力学的方法来研究这种神经网络的 特性， 建立了 神经网 络稳定性判据。 继h o p fi e l d 的 文章之后， 不少搞非线性电 路 的 科学家在理论和应用上对h o p fi e l d 网 络进行了比 较深刻的 讨论和改进。 与 此同 时， 还有一 个并 行分 布处 理 ( p a r a l le l d is t r ib u t e d p r o c e s s in g ， 简 称p d p )的研究小组，他们在1 9 8 6 年发表了两卷p d p 的专著54 1 ，共十六 章。1 9 8 8 年发表了带有软件程序的第三卷。书中涉及到人工神经网络的三 个主要属性:模型的结构，神经元的输入、输出变换函数以及算法，其中有些 章节对以后的研究产生很大影响。例如第八章 “ 误差反传的学习内部描述”和 第七章 “ b o l t z m a n n 机”.这本书对神经网 络在各领域的推广起了很大作用。 一5一 前 言 1 9 8 7 年，美国召开了第 一 届国际神经网络会议，有一千多名学者参加，掀 起了神经网络研究的高潮。在这个时期， 各类的模型和算法纷纷出台，其中比 较有名的有9 0 年代初，a i h a r a 等在前人推导和实验的基础上提出的混沌神经网 络模型11 2 , 1 3 1 。如今，这些网络模型己 经在模式识别、决策优化、联想记忆、自 适应控制和计算机视觉、信号处理、目 标跟踪、网络系统等众多领域的应用中 取得了引人注目的成果。 然而，由于目 前人类对真实生物神经系统只了解了非常有限的一部分，对 于自 身脑结构及其活动机理的认识还十分肤浅，当今的神经网络模型实际上是 较为简单和粗糙的。毫无疑问，人工神经网络的完善与发展有待于生物神经学 乃至神经解剖学的研究给出更加详细的信息和证据。而这些信息和证据的给出 往往是建立在对于生物神经系统的数学模型有深刻而全面的分析上。因此，有 必要对神经网络模型的动力学行为做深入地探讨，同时也进一步地探索这些模 型的应用，不断提出、改进更新的算法。 本文即在这几个方面对神经网络模型做了进一步的探索，下面简要地介绍 一下本文的组成。 在本文的第一章中，我们探讨了一类带时滞的离散神经网络模型的周期行 为，并给出周期解的稳定判据。众所周知，时滞系统的动力学行为是当今研究 的热点之一，无数实验和理论结果表明，微小的时滞可能导致系统行为的本质 改变。而对现实世界的了解也使我们发现，用时滞系统建立的模型更加贴近实 际。但矛盾的是，对时滞模型研究的难度要远大于普通的模型。因此，我们从 模型的差分形式着手，给出了一些理论结果，期望能对模型的连续形式的研究 有所帮助。 在第二章中， 我们提出对反传算法的几个改进。 其中，构造法通过不断的 扩张网络，绕开了 传统算法无法避免的局部极小值，并解决了网络结构的选择 问 题。除了理论证明之外，我们也通过几个训练实例演示了构造法的应用。此 外，对于一 类 “ 特殊的”训练问题，即输入维数高、但相关性强的数据，我们 提出利用主分量分析的方法给出训练的参数初值。 模拟结果表明，这些改进的 算法都是非常有效的。 在第三章中，我们将多层神经网络应用到非线性指标 预测度指标。 通 常我们认为一个周期的时间序列是可预测的，一个随机的时间序列是不可预测 的，而一个混沌的序列则具有短期可预测、 长期不可预测的特性。基于这个定 一6一 前 言 性的认识，结合神经网络的学习、推广能力，我们给出预测度的指标的算法。 作为预测度指标的应用.我们对心率变异性研究中的r - r 间期序列和分子动力 学研究中的自由能序列进行预测度分析，结果表明预测度指标是有很高的应用 价值的。它可以帮助我们更进一步地揭示时间序列中的非线性关系。 一7一 第一章 离散神经网络中的周期问题 第一章 离散神经网络中的周期问题 1 . 1背景介绍 考虑如下非线性离散系统 刃具 (l个 x ( 二 +1 ) =o x ( n ) +f ( y ( n 一k ) ) ， ( 。 +1 ) =q y ( 二 ) +f ( x ( 。 一 k ) ) 满 足 。 e n , /3 e ( 0 , 1 ) , k 1 为 一 个固 定 的 整 数， 系 统 ( 1 . 1 ) 可以 认 为 是 有两个神经元的人工神经网络 f wt 一 二 ) ) f wt 一: ) ) +十 x刀 qq -一 一一一- x廿， 了.少、.、 离散化后的结果， 其中a = 1 一0 , s 代之以 x ( n ) 一 x ( 二一1 ) , y 代之以 y ( n ) 一 y ( n 一1 ) a 在论文6 8 - 7 0 ) 中， 作者通过计算x ( n ) 的 解析表达 式得出，当f 满足 f ( x ) x0 x 1 为一个固 定的整数。 定 理1 . 1若 x * ( n ) 是系统( 1 .4 ) 的一 个 t 周 期 解， f ( x ) 在 x ( n ) 的附 近连 续可 微， 并且0 +i f , ( x . ( 二 ) ) i 1 , b n =1 , 2 ， 二 ， t ， 则 周期解 x ( n ) 是渐近稳定的。 在定理的证明过程中，我们将用到以下两个引理3 1 : 引理1 .2设入 。 是实系数多项式试 幻= x 十a o x - t + . . . + a- : 的根，则 id o l _ 二 二 1 , la o l + ja i l + +la - t 特殊 地， 当a o l + a l 卜+i% 一 ， 1 时， 有 入 。 1 证明; 1 时， 入 。 引理的 前一部分 是我们熟知的。 所以 ，当 a o 十 a t 卜 ， 十 !a . - t l 1 0 下 面说明， 入 。 二1 是取不到的。 否则， 有 1 = la o l =la o a o - ， 十 ， ， 十 % 一 : 引a o 卜十 iw .- , i, 矛盾。 一9一 第一章 离散神经网络中的周期问题 所以 ! 入 。 引理1 . 3 n，都有 1 . . 如果对任何固定的。e n, 叭 n , 动 关于: 是非减的，且对任何。e y n + i m a x1 n 所 以玉 o ( x ( n ) , e ) 时，i p ( x ) i l 。即对v n= 1 , 2 , . . . , t , v x l , x 2 满足q十l 0 ，满足x e o ( x ( n ) : ) ， 有! f ( x i ) 一 f ( - 2 ) 1 l 二 : 一 x 2 1 , 取 初 值 ( x ( - k ) ， 二 ， 城 0 ) ) 满 足: i x ( 2 ) 一 x*(i) l : ， : = - k , ， 0 0 则 x ( 1 ) 一 x ( 1 ) l q lx ( 0 ) 一 x ( 0 ) l + l f ( x ( - k ) ) 一 f ( x ( - k ) ) l /3 e + l e : 。 归 纳可得: v n e n, jx ( n ) 一x ( n ) l e o 所以 x ( n + 1 ) - x ( n + 1 ) 1 0 二 ( 。 ) 一 x ( 二 ) i + if ( x ( 。 一 k ) ) 一 f ( 二 * ( 。 一 k ) ) 1 - o lx ( n ) 一 x ( n ) 卜l lx ( 。 一 k ) 一 x * ( 。 一 k ) o 记 y ( n ) 满 足 ( 1 . 5 ) 1 ) =q y ( n ) +l y ( 。 一 k ) i x ( 2 ) 一二 * ( 2 ) i , i =- k , . . . , 0 十= 几八习 了下胜、产汀.、 岁军 了1产、.、 则由引理1 . 3 可知 0 ix ( n ) 一 x * ( n ) l 0 , h x l , x 2 e o ( x * ( n ) , e ) , lf ( x l ) 一f ( x 2 ) 1 5 l . ix : 一x 2 1 ，且a +l 1 . 另一方面，这个定理不难推广到高维，证明也是类似的。 弓 1 .3 系 统( 1 .3 ) 的周期解 在这一部分， 我们首先对系统( 1 .3 ) ( + ) 一 x (n ) 一 ， ( ( ): 的 周 期 解的 存 在性 进行讨论， 然后结 合定)v 1 .1 得到一 个与!6 8 , 6 9 中 的 结 果 类 似 的结论。 定 理 1 .4 当 。 q ; 时 ， 对 任 意 正 整 数 : ， 系 统 (1 .3 )存 在 t 周 期 解 。 证明过程中， 我们将应用以下引理，证明 可参考13 9 1 . 引理1 . 5 f ( i , ) , d k = i k , f ( n + l ) ( x ) = 若有一列闭区间l o , i 1 , . . , i , f 在i k 上连续 1 , 2 , . ， 、一1 ，及l o c f ( 1 ) ，则3 x x . 且满足i k + l i o 满足 f (k ) ( x ) 定理1 .4 证明: g ( x ( n ) ) 记 9 (x ) 一 岩 (一 f (x ), 。 “ ， 1).1(1 .3，可 改 “ ) x (n + ， - 考虑 如 下 四个 闭区 间1 1 , 1 2 , j 1 , j 2 ，其 中 1 , f- 1 ， - e l , j l = fl , 早= ! ， j 2 = fe . 1 1 、 i 一口 , 二 ! - 1 一2 口 1 一a。 1 一0 , 一 1 1 , 1 2= 满足0 不难证明，这四个区间满足: 9 ( h ) j l u j 2 等等，即有如图1 . 1 表示的 覆盖顺序， 一 1 一a 0 o i l u 1 2 , g ( i 2 ) 对任意正整数t ，考虑序列几 , i 土 ， i i , 且9 在这四个区间上是连续的。 . . . . 1 1 , 1 2 ，由引理1 . 5 可知: 3 x e t - 2 个 j 2 , 9 ( t ) ( 二 )= x ，又当 k ， 时. 9 ( ) ( x ) e h 故 夕 9m ( x )尹 x 。所 以 ， x , 9 ( 二 ) ， 9 (2 ) ( x ) , . . . , g(,-(x) 为 系 统 ( 1 .3 ) 的 k + l 周 期 解。 . 在有了 定理1 . 4 之后， 我们考虑系统( 1 .4 ) 的 k +1 周期解。 第一章 离散神经网络中的周期问题 图1 . 1 : 覆盖图 设 x * ( n ) 是( 1 .4 ) 的k +l 周期解，即满足 x ( n + 1 ) =)3 x * ( n ) + f ( x i ( 。 一 k ) )( 1 .6 ) 二 * ( 。 + k + 1 ) =x ( n ) , b n e n ( 1 .7 ) 将 e q . ( 1 . 7 ) 代 入 e q . ( 1 .6 ) 可得 x ( n + 1 ) =,6 x * ( n ) + f ( x ( n + 1 ) ) ， 即 ( 。 ) 是 系 统( 1 .3 ) 的 k +l 周期 解， 其中 x ( 1 ) = x ( k + 1 ) , . . . , x ( k + 1 ) =二 * ( 1 ) e 反 之， 设 .t * ( n ) 是 系统( 1 .3 ) 的 k + l 周期 解， 令x * ( 1 ) = . 伏+1 ) , ， 二 ， x ( k + 1 ) = r( 1 ) ， 易 证， 二 * ( 。 ) 是 系统( 1 .4 ) 的 k +1 周期 解。 因此我们有: 弓 !理 1 .6 对 任 意 给 定 的 正 整 数 、 ， 邓e (d , 委 ) ， 由 此及定理1 . 1 ，我们可得以下两个定理: 定 理 .7 对 任 意 给 定 的 正 整 数 “ ， 、 。 a 告 ), 系统( 1 .4 ) 存在k 十1 周期解。 系统( 1 . 1 ) 存在k +l 周期解， 并且周期解是渐近稳定的。 证明: 取系统的 k 十 1 周期解 x * ( n ) ， 则 x ( n ) , y ( n ) i 满足 而 e n, y ( n ) =二 * ( 。 ) 是系统( 1 . 1 ) 的 k +l 周期解。 并且在 - ( n ) , y ( n ) 处， 厂=o o x ( n ) = 又a 满足定理l 1 的条件， 所以周期解是渐近稳定的。 . 月. 一.工 ，1-q妇 第 一 章 离散神经网络中的周期问题 定 理 : .8 对 任 意 给 定 的 正 整 数 、 ， 。 。 (。 ，告 ) ， 系 统 (1.1)存 在 2 k + 2 周 期 解，并且周期解是渐近稳定的。 证明: 取系统x ( 二 + 1 ) =a x ( 二 ) + f ( x ( n 一 2 k 一 1 ) ) 的 2 k + 2 周期 解 x*(n)i 令 x ( n ) =二 ， ( n ) , y ( 二 ) =x * ( n + k +1 ) , h n e n ， 则 x ( 二 +1 ) = x * ( n +1 ) = o x * ( n ) + f ( x * ( 二 一 2 k 一1 ) ) = (3 x ( 二 ) + f ( y ( 二 一 k ) ) a 同 理 y ( n +1 ) =q y ( n ) +f ( x ( 二 一k ) ) o 所以 x ( n ) , y ( n ) 是( 1 .1 ) 的 2 k + 2 周期 解， 并 且周期 解是渐近稳定的。 . 号 1 .4 定理1 . 1 的加强 当k 给定后，对任意的t 而言，定理1 . 1 都是正确的， 但是当 t 为某些特殊的 值时，可以 有更好的结果。在这一部分里将给出 其中的一 个。 定理1 . 9 条件同定理1 . 1 ，当t二k 时，并且有 n(q + if (x * (n ) ) 1) 0 使 n(q + if ( x * ( n ) ) i + ,f ) 1 ， 因 为 ii()3 + if (x * (n ) ) d 0 ，当 二e o ( x * ( n ) , b ) 时， if ( x ) i v x i , x 2 o ( 二 * ( n ) , b ) 时， if ( x i ) 一 f ( x 2 ) 1 lix ， 一 x 2 卜 又 记 l 一 n(a + 闪， 则 l 1 . 取 。b a 使得当初值( x ( - k ) , . . . , x ( 0 ) ) 满足!x ( i ) 一x * ( i ) i 6 1 , i= - k , . . , 0 时，有x ( j ) 一x * u ) i s , j = 1 , 2 ， 二 ， 护 一1 ，这一点可 由 f ( x ) 在 x * ( n ) 附 近的连续性做到。 那么对于x ( k 2 ) 我们有 ix ( k 2 ) 一 x * ( k 2 ) i o ix ( k 2 一 1 ) - x * ( k 2 一 1 ) i + l 。 一 ， ix ( k 2 一 k 一 1 ) 一 x * ( k 2 一 k 一 1 ) i 一1 3一 第一章 离散神经网络中的周期问题 进一步，将 ix ( k 2 一 1 ) - x ( k 2 一 1 ) 1 q lx ( k 2 一 2 ) 一 x . ( k 2 一 2 ) 1 + l k - 2 】二 ( k 2 - k - 2 ) 一 二 ( k 2 一 k 一 2 ) i 与 二 ( k 2 - k - 1 ) - x ( k 2 - k - 1 ) i ,6 ix ( k 2 - k - 2 ) - x ( k 2 - k - 2 ) i+ l k _ 2 1x ( k 2 - 2 k - 2 ) - x ( k 2 - 2 k - 2 ) 代入上式，得到 ix ( k 2 ) 一 x . ( k 2 ) 1 ! 0 2 lx ( k 2 一 2 ) 一 : ( k 2 一 2 ) 1+ /i ( l 、 一 : + l k - 2 ) lx ( k 2 一 k 一 2 ) 一 x . ( k 2 一 k 一 z ) i+ l k - 1 l k - 2 1x ( k 2 一 2 k 一 2 ) 一 x ( k 2 一 2 k 一 2 ) i 不 难发 现， 上 式右端 各项 系数和为， + 爪一 : ) ( a 十 l k - 2 ) 。 再 将x ( k 2 一 2 ) 一 x - ( k 2 一 2 ) 等与上式右端各项对应的不等式代入，归纳可得，反复代入k 次后上式右端 为二 (少 ) 一 二 * wi( 7 =护一1 , ， 二 ， 0 , 即有如下形式， - k ) 的 线 性 组 合 ， 且 系 数 和 为 n( q + l ) o 七 z -1 (ls) ix (k 2 ) 一 x ( k 2 ) i 艺p j lx (j ) 一 x (a ) i, j = - k 七 2 -1无 i i (a + : ， ) . 因 为 rj( q + l ) 1 且 ix (j ) 一 x ( ) 1 a , j 一 k ， 一 ， 一 ， - k ， 所 以 ix ( k 2 ) - 几 _i x * ( k 2 ) 1 k 2 时， 二 ( 。 ) 一 x ( n ) i 0 x0 , 了.少、飞.、 一- l 工 了r.t 了j 其中k 二 2 ,口 = 解( - 0 .8 8 5 8 , 0 . 1 2 6 9 ) , := 0 .1 2 ，如图 1 .2 所示，该系统有一个2 周期 +if ( x ( 0 . 1 2 6 9 ) ) l 0 .9 , r + if ( 二 ( - 0 .8 8 5 8 ) ) ) a p 。 ， 而 且对应的 标准正 交 特征向 量为 、 1 , u 2 , - - - ， 二 ， ， 则 最 优拟 合的 k 维 子 空间 就是 风 u 1 , u 2 , - - - ， 二 动 。 定 义: 设 a , a 2 标0 为 x x 的 特征 值， u 1 , u 2 , . . . u p 为对 应的 标 准正交特征向量。则 ( 1 ) 称u ; 为 x 在r p 中的 第2 个主 轴向 量， 9 =1 , 2 , . , p : ( 2 ) 称 x ; u l , . ， 城 u p 为 x ; 的 主 坐 标 ， i = 1 , 2 , ， 。 (3 )称 n 样本的第 ， 个主坐标形成的向量 x u j = 城 u p . , 蛛 u i ) 为 p 个指 标 x (1 ) , x (2 ) , . , x (p ) 的 第 ， 个 主 成 分， 7 = 1 , 2 , . . , p , 我 们 用 二 .= x u 9 二1 , 2 , 二 ， p 记 2 ;( , ) , . . . , x (r ) 的 砂 主 成 分。 用 矩阵 表 示: w=( w ( ll ， 。 (， ) =x u , 其中 u 二( 。 : ， . . . , u p ) o 由 于 w w = u x x u = u ( u a u ) u , p 个主 成分相互正交， 并且第 i 个主 成分的 模为 不. 又由 于 矩阵u = ( u ij ) 的正交性， 有 x=x u 了=w口， x (i) 一 艺u ii w (j ) , 、 一 1 , 2 ， ， . 这就表明，用主成分向量的线性组合可恢复原始数据，而且线性组合的系数 就是正交阵u 的元素。如果选部分线性组合则可近似表示原始数据，如对固定 第二章 多层网络和反传算法的改进 的 斌1 9 5 %。我们认为，这前k 个主成分就