一个推广的差分不等式在网络上的应用

2006届数学与应用数学专业毕业论文毕业设计（论文） 题 目 一个推广的差分不等式 在网络上的应用专 业 数学与应用数学 班 级 2006级01班 学 生 王恺伦 指导教师 李 兵 重庆交通大学 2010 年目 录摘 要ABSTRACT前 言1第一章 神经网络预备知识21.1 生物神经元21.2人工神经网络的构成21.3神经网络的几种类型31.3.1 MP模型31.3.2自适应线性神经元31.3.3 EBP网络(反向传播算法）51.3.4 Hopfield网络模型7第二章 稳定性的相关定理92.1稳定性理论基本定义92.1.1基本定理92.1.2 Lyapunov稳定性定理112.1.3 Lasalle不变原理11第三章 推广的差分不等式及网络上的应用133.1广义差分方程的全局稳定性133.2推广的离散Halanay不等式143.3 多重时滞离散神经网络模型的稳定性分析163.4实例17第四章 总结与展望20致 谢21参考文献22摘 要本文研究了一个推广的差分不等式及网络上的应用，全文有三个部分组成。在第一章中，主要介绍了神经网络研究的历史，以及重要的神经网络模型，例如：MP模型，自适应线性神经元，EBP网络(反向传播算法），Hopfield网络模型。在第二章中，我们给出了本文用到的基础概念如：稳定性基本理论、Lyapunov稳定性定理、Lasalle不变原理。在第三章中，我们对一类差分方程的渐近稳定性进行了一般性的研究，改进和推广了已有文献的一些相关结论，并通过将此定理作为一个预备知识研究了一个网络，并且判定了其稳定性，通过多次举例实际模型系统说明了我们的推广具有可行性。关键字：全局渐近稳定性，差分方程，Halanay不等式ABSTRACT In this paper, we study a generalization of the difference inequality and its application in the network，The paper is organized as follows:In the first chapter, the background and the history of neural networks are briefly addressed, As well as important neural network modelFor example: Mp model, adaptive linear neurohumoral , EBP network (reverse the algorithm）, and Hopfield network modelIn the second chapter，We introduced for knowledge about the stability basic theory, Lyapunov stability theorem and the Lasalle same principle.In the third chapter, we study a generalization of the difference inequality, and improve the global stability of generalized difference Equation. finally, through a practical numerical example of our conclusion is correct.KEY WRODS: Global asymptotic stability, Difference equations , Halanay inequality前 言随着现代科学技术的发展，自然科学与社会科学的许多领域中提出了大t的时滞动力系统问题。例如物理学、生物学、电路信号系统、遗传学、自动控制系统、化工循环系、信息系统及社会经济学中涉及到了大量的泛函微分方程。而渐近性问题作为泛函微分程定性理论研究的一部分，在近30年来有了迅速的发展，发表的论文数以千计，许多杂志都总结和收录了这方面的工作(如见文献3，4，5)。同时，作为时滞微分方程的差分近似，时滞差分方程也从各种实际问题中被提出，许多差分方程描述的具体的数学模型已经层出不穷。进一步，许多微分方程的形态可借助于的离散形式的差分方程的形态来得到，因而关于时滞差分方程的定性研究引起了人们的广泛兴趣.尤其是自1988年张炳根教授在美国Ohio国际微分方程会议上第一次提出带时滞微分方程的离散形式。自时滞差分方程解的振动性与非振动性的研究以来，有一大批数学家转向时滞差分方程的定性研究这一领域中来。而时滞差分方程的渐近性究也成为当前较活跃的研究领域之一(见文献1，2，10，11，14)。有关神经网络研究的历史至少可追溯到1943年心理学家McCulloch和数学家Pitt发的一篇总结生物神物元的基本生理特征并提出形式神经元的数学描述与结构方法(即MP型)的论文。但真正带来神经网络研究兴盛时期的标志是美国加州理工学院生物物理学家Hopfield教授于1982年和1984年发表在美国科学院院刊上的两篇有关Hopfield神经网络型的文章。近些年来，科学家们提出了许多具备不同信息处理能力的神经网络模型，并已有多种模型被开发和实现，且在信息处理、模式识别、自动控制、信号处理、助决策、人工智能、计算机技术等领域得到了广泛的应用.由于神经网络模型中，非常多的一部分是微分、差分方程模型，如著名的Hopfield模型、Grosberg模型、CNN模型，并且考虑到网络中神经元之间信息传递过程中对时间的实际需要，这些模型往往应是有时滞的微分、差分系统。正因为如此，近年来，国内外许多微分差分方程研究工作者纷加入到这一研究领域中来，并取得了不少的成绩，有关这方面的工作，可参见文献6，7，8，9。第一章 神经网络预备知识1.1 生物神经元人工神经网络是对生物神经网络的模拟。他的信息处理功能是有网络单元（神经元）的输入输出特性（激活特性）、网络的头铺结构（神经元的连接方式）、连接权的打下（突触联系强度）和神经元的值（可是为特殊的连接权）等所决定的。神经网络在拓扑结构固定时。其学习归结为连接权的变化。如图1.1：图1.1 神经元及其突触连接1.2人工神经网络的构成神经网络是由大量的处理单位（神经元）相互连接而成的网络。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出了人工神经网络模型。人工神经网络并没有完全地真正反映大脑的功能，它只是对生物神经网络进行莫走抽象、简化和模拟。人工神经网络的信息处理由神经元之间的相互作用来实现，知识与信息的存贮表现为网络原件互连分布式的物理联系，人工神经网络的学习和识别决定于各神经元连接权系数的动态演化过程。神经元是神经网络的基本处理单元。它一般是一个多输入但输出的非线性器件。神经元模型常用一阶微分方程来描述（模拟生物神经网络突触膜电位随时间变化的规律），即1.3神经网络的几种类型1.3.1 MP模型MP模型属于一种阈值元件模型，它是由美国McCulloch和Pitts提出的最早神经元模型之一。这种模型和形式神经元没有太大的差异，也可以说，MP模型是大多数神经网络模型的基础。通常考虑某一神经元受到其他神经元的作用，因而总是以个神经元相互连接形成神经元计算模型。1.3.2自适应线性神经元自适应共振理论ART(Adaptive Resonance Theory)模型是美国Boston大学的S.Grossberg和A.Carpenet在1976年提出的。 ART是一种自组织神经网络结构，是无教师的学习网络。当在神经网络和环境有交互作用时，对环境信息的编码会自发地在神经网中产生，则认为神经网络在进行自组织活动。ART就是这样一种能自组织地产生对环境认识编码的神经网络理论模型。Grossberg一直对人类的心理和认识活动感兴趣，他长期埋头于这方面的研究并希望用数学来刻划人类这项活动，建立人类的心理和认知活动的一种统一的数学模型和理论。ART就是由这种理论的核心内容并经过提高发展然后得出的。目前，ART理论已提出了三种模型结构，即ART1，ART2，ART3。ART1用于处理二进制输入的信息；ART2用于处理二进制和模拟信息这两种输人；ART3用于进行分级搜索。ART理论可以用于语音、视觉、嗅觉和字符识别等领域。ART模型来源于Helmboltz无意识推理学说的协作竞争网络交互模型。这个模型如图1.3所示。图1.3 协作竞争网络交互模型Grossberg所提出的ART理论模型有如下一些主要优点：1可以进行实时学习，能适应非平稳的环境。2对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。3具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。4不需要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。5容量不受输入通道数的限制，存储对象也不要是正交的。它由输入神经元和输出神经元组成。它用前向权系数及样本输入来求取神经元的输出，这个输出也就是匹配测度；具有最大匹配测度的神经元的活跃级通过输出神经元之间的横向抑制得到进一步增强，而匹配测度不是最大的神经元的活跃级就会逐渐减弱，从输出神经元到输人神经元之间有反馈连接以进行学习比较。同样，还提供一个用来确定具有最大输出的输出神经元与输入模式进行比较的机制。ART模型的框图如图1.4所示。图1.4 ART模型1.3.3 EBP网络(反向传播算法）学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中，学习算法的研究有着十分重要的地位。目前，人们所提出的神经网络模型都是和学习算法相应的。所以，有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法。而有的算法可能可用于多种模型。不过，有时人们也称算法为模型。 自从40年代Hebb提出的学习规则以来，人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法，即BP(error BackPropagation)法影响最为广泛。直到今天，BP算法仍然是自动控制上最重要、应用最多的有效算法。神经网络的学习机理和机构在神经网络中，对外部环境提供的模式样本进行学习训练，并能存储这种模式，则称为感知器；对外部环境有适应能力，能自动提取外部环境变化特征，则称为认知器。神经网络在学习中，一般分为有教师和无教师学习两种。感知器采用有教师信号进行学习，而认知器则采用无教师信号学习的。在主要神经网络如BP网络，Hopfield网络，ART网络和Kohonen网络中；BP网络和Hopfield网络是需要教师信号才能进行学习的；而ART网络和Kohonen网络则无需教师信号就可以学习。所谓教师信号，就是在神经网络学习中由外部提供的模式样本信号。一、感知器的学习结构感知器的学习是神经网络最典型的学习。目前，在控制上应用的是多层前馈网络，这是一种感知器模型，学习算法是BP法，故是有教师学习算法。一个有教师的学习系统可以用图1.6表示。这种学习系统分成三个部分：输入部，训练部和输出部。图1.6 神经网络学习系统框图输入部接收外来的输入样本，由训练部进行网络的权系数调整，然后由输出部输出结果。在这个过程中，期望的输出信号可以作为教师信号输入，由该教师信号与实际输出进行比较，产生的误差去控制修改权系数。 学习机构可用图2.7所示的结构表示。在图中，是输入样本信号，是权系数。输入样本信号可以取离散值“0”或“1”。输入样本信号通过权系数作用，在产生输出结果，即有：再把期望输出信号和进行比较，从而产生误差信号。即权值调整机构根据误差去对学习系统的权系数进行修改，修改方向应使误差变小，不断进行下去，使到误差为零，这时实际输出值和期望输出值完全一样，则学习过程结束。图1.7神经网络学习系统框图1.3.4 Hopfield网络模型1982年，JHopfield提出了可用作联想存储器的互连网络，这个网络称为Hopfield网络模型，也称Hopfield模型。Hopfield神经网络模型是一种循环神经网络，从输出到输入有反馈连接。Hopfield网络有离散型和连续型两种。 反馈神经网络由于其输出端有反馈到其输入端，所以Hopfield网络在输入的激励下，会产生不断的状态变化。当有输入之后，可以求取出Hopfield的输出，这个输出反馈到输入从而产生新的输出，这个反馈过程一直进行下去。如果Hopfield网络是一个能收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦到达了稳定平衡状态，那么Hopfield网络就会输出一个稳定的恒值。对于一个Hopfield网络来说，关键是在于确定它在稳定条件下的权系数。应该指出：反馈网络有稳定的，也有不稳定的。对于Hopfield网络来说，还存在如何判别它是稳定网络，或是不稳定的问题；而判别依据是什么，也是需要确定的。第二章 稳定性的相关定理2.1稳定性理论基本定义2.1.1基本定理考虑如下的非线性微分方程: （2.1）其中在上对是分段连续函数，是局部李普希兹连续的，且是一个包含原点的定义域。定义2.1 (平衡点)对于系统(2.1)，如果对于所有的，下式均成立: （2.2）则我们称为系统(2.1)的平衡点。从以上定义可以很容易知道原点就是系统(2.1)的一个平衡点。需要指出的是对于线性系统一般只有一个位于原点的平衡点，但是对于非线性系统来说平衡点可能不止一个，并且多数情况下平衡点都不在原点。因此为了研究不在原点的平衡点稳定性问题，我们通常采用的方法是对非零平衡点的进行坐标平移变换，或者说是对某个非零解作坐标平移变换，把非零平衡点的稳定性问题转化为原点的稳定性问题。由于平移前后的两个系统在两个坐标系下的平衡点在稳定性上具有等价性，因此只要通过研究变换后系统在新的坐标系下的平衡点(即原点)的稳定性特性即可以确定原系统的非零平衡点的稳定性特性，这种方法在神经网络稳定性分析中将经常用到。定义2.2 (Lapunov意义下稳定性和一致稳定性):对于系统(2.1)的平衡状态，如果对于每个，都存在一个正的常数满足 （2.3）则系统(2.1)的平衡点，Lyapunov意义下(局部)稳定的，如果的选择与无关，即，则平衡点是(局部)一致稳定的。定义2.3 (渐近稳定和一致渐近稳定)：如果对于系统(2.1)的平衡点有：1)它在Lapunov意义下稳定2)存在一个使得：如果对于 （2.4）当时，则平衡点是（局部）渐近稳定的。如果对于系统（2.1）的平衡点有：1)它是Lapunov意义下一致稳定2)存在一个且无关使得：如果） （2.5）当时对一致趋于0，即对每一个，存在与无关的满足： （2.6）则平衡点是（局部）一致渐近稳定的定义2.4 (全局一致渐近稳定)：如果系统(2.1)的平衡点1)它在Lapunov意义下一致稳定2)可以选择，使得，并且对于每对正数和，存在满足 （2.7）则平衡点是全局一致渐近稳定的。对于自治系统(2.12)，如果连续可微并且Jacobian矩阵在上均有界，则我们有如下引理:引理2.5(全局指数稳定及其逆定理): 令和为正常数，设为系统(2.15)的平衡点，则以下两个结论等价:1) 如果对于任意的，系统(2.15)的解的轨迹满足如下不等式 （2.8）则系统(2.14)的平衡点是全局指数稳定的。2) 对于一些正常数，和，存在一个函数使得如下不等式成立 （2.9） （2.10） （2.11）注2.1:在以上提到的几种类型的稳定性中全局指数稳定性是最强的一种，也具有最好的性质。在神经网络的分析和设计中，我们有时不仅要求系统是稳定的，即系统解的运动轨迹是收敛的，而且还希望系统的解具有较快的收敛速度，也就是说我们通常还要期望系统的解具有较快的响应，因此研究系统的解指数稳定性的同时，估计出状态的指数收敛速度很有意义。有了以上的基本定义，下面我们就可以给出自治系统的Lyapunov稳定性定理。2.1.2 Lyapunov稳定性定理如果系统(2.1)中的函数不显式的依赖于时间，即 (2.12)则系统(2.1)就成为自治系统，本文研究的就是这一类系统。由于对于自治系统而言把初始时刻平移到时间轴的原点具有不变性，因此系统(2.12)的解仅仅依赖于和，而与初始时刻无关。从而可以得到如下的结论：对于自治系统，一致渐近稳定等同于渐近稳定。为了保证系统(2.12)的解的存在和唯一性，我们对函数做如下假定：是局部李普希兹连续的，即在原点附近以下不等式成立: (2.13)其中的称为函数的李普希兹常数。Lyapunov稳定性理论所要研究的就是系统(2.15)的解对于扰动，即非零的初始时刻是否能够保持稳定性。在介绍Lyapunov稳定性定理之前先介绍一下正定函数的定义：定义2.6 (正定函数和半正定函数)：设是系统(2.12)的一个平衡点，是包含原点的定义域。设是连续可微函数，如果1)；2)，则称函数是正定函数。如果以上的条件2)由代替，则V称为半正定函数。2.1.3 Lasalle不变原理在介绍Lasalle不变原理之前，我们首先需要引入正极限集的定义。设是系统(2.11)的解，如果存在一个序列，当时，使得当时，则点称为的一个正极限点。所有的正极限点组成的集合称为的正极限集。如果 (2.14)即如果一个解在某一个时刻属于，那么在所有未来的时刻和过去的时刻都属于，则集合称为方程(2.15)的不变集。因此我们有下面的引理：引理2.7 (LaSalle不变定理)：对于自治系统(2.11)，设是包含原点的定义域，且是方程(2.12)的一个正不变紧集。设是连续可微函数(不必是正定的)使得在内 （2.15）设 （2.16）为内的最大不变集。那么当时，始于内的每个解都趋于。第三章 推广的差分不等式及网络上的应用3.1广义差分方程的全局稳定性2001年由E.Liz和J.B.Ferreiro共同讨论研究关于的“广义差分方程全局稳定性的讨论” （见文献15）。在此文献中他们提供了一个简单的离散型Halanay引理，并用他来获得某些广义差分方程的全局渐近稳定性结果。进一步的在离散步距足够小的情况下展示了某些时滞延续（或时滞独立稳定）Eulerlisan方程中的绝对稳定性。在文献15中，作者给出差分方程的一般形式： ， （3.1）当，并且。方程（3.1）是一种广义差分方程（见文献18）。此方程初值问题需要初始数据。这就是初始字符串。对于每一个初始字符串都存在唯一的在（3.1）式中可以通过递推公式计算出。， （3.2）作者建立了如下形式的离散Halanay不等式定理。定理1. 设是一个自然数，并且设是实数序列，满足不等式： ， （3.3）如果，则存在一个常数，使得： 且可以选下列方程在最小区间（0，1）的根 3.2推广的离散Halanay不等式 在3.1节定理1的基础上，我们采用一种新的不等式技术建立了一个推广形式的差分不等式。定理2：设是实数序列且满足下列不等式： （3.4）其中为自然数，则当时有： （3.5）其中，为方程的根。证明： (1) 当时，有又由于所以有(2) 下面我们证明当时仍有：下面我们用反证法来证明（3.5）假设（3.5）不成立，则存在使得 （3.6）显然当时有： （3.7）于是由（3.4）条件可知：取带入上式有 （3.8）由（3.7）的条件可以对（3.8）式进行放缩等到如下不等式： （3.9）进一步化简（3.9）得： （3.10）由定理条件知（3.10）式中的为方程的根。所以由：则与（3.6）矛盾。即反证法得证。注1：其中可以单独考虑 从而得知当时 上述不等式成立。那么我们可以令：取很显然有，又由 当时，由介值定理我们可以知必然存在一个，有使得：注2：当上述定理2中的时滞部分时，上述不等式可以退化为： （3.11）由此可以看出（3.11）是定理1中所提到的不等式（3.3）。由此我们可以看出我们给出的定理2比定理1更具一般性。3.3 多重时滞离散神经网络模型的稳定性分析首先我们讨论如下形式的多重时滞离散神经网络模型： （3.12）其中，为神经元，为放大倍数，为激活函数，为连接权重。在给出我们的定理之前，我们介绍下指数稳定的基本定理。引理：若存在两个正数，使得神经网络模型(3.12)的解满足则称神经网络模型的解是指数稳定的。定理3. 假设对于上述模型（3.12）满足下列条件：1)2) 存在则有：其中，为方程的根。证明： 对模型（3.12）有：因此，由条件，我们可以得：式两边取绝对值有： （3.13）在（3.13）中 我们可以把系数看作（3.4）中的，那么我们引用定理2的结论，当时，我们可以得到结论：其中，为方程的根。从而可以得证多重时滞离散神经网络模型模型（3.12）得稳定性。3.4实例为了使上述的定理得到更好的验证，我们将对多个网络模型通过上述定理对其稳定性进行研究，例1：模型如下：可以看出其中。由上述模型系数我们可以得知：从而有的方程即满足上述条件，有为自然数，则当时有：此模型具有稳定性。下面通过MATLAB(取得对初始值的给予 然后类推得大致散点图与上述的不等式右端进行曲线描述后的对比可明显得如下图形：取初始字符串有：，则其中：得如下图：图3.1模型1分布图由图形可以看出：随着横向坐标的增大没我们发现原模型趋于稳定，即,证明了我们渐近性定理的结论：例2：模型如下：其中由上述系统我们可以得知：从而有方程运用数学方法可以解得方程有解。即不满足上述定理2条件，此差分方程不具有稳定性。下面通过MATLAB(取得对初始值的给予，然后类推得大致散点图与上述的不等式右端进行曲线描述后的对比可明显得如下图形：取初始字符串有：，则其中：图3.2模型2散点分布图由图形可以看出：随着横向坐标的增大没我们发现原模型不趋于稳定，原因从我们给出的定理条件来看，也就证明了在不满足我们的渐近性定理的情况下模型不具备稳定性。注：本文所提到的定理还可以通过从稳定性的出发判别模型的一致有界性。第四章 总结与展望随着现代科学技术的发展，自然科学与社会科学的许多领域中提出了大t的时滞动力系统问题.例如物理学、生物学、电路信号系统、遗传学、自动控制系统、化工循环系、信息系统及社会经济学中涉及到了大量的泛函微分方程.而渐近性问题作为泛函微分程定性理论研究的一部分，在近30年来有了迅速的发展神经网络涵盖了数学、计算机、生物学、物理学等等许多传统学科的许多内容。本论文列举了神经网络理论的经典模型：离散Hopfield神经网络模型，并就神经网络理论的一些基本定义和定理展开了讨论，如稳定性概念，渐进稳定的充分条件，在此基础上，我们对差分不等式在神经网络上的稳定性进行了研究，对文章15提出的定理进行了进一步的推广和应用。使得差分方程在网络上的稳定性有了更好的诠释。但是此稳定性的判别还并非完善，条件约束性并不是很强烈。在此问题上我还有很大的研究探索空间。致 谢在论文即将截稿之际，谨向我的导师李兵老师表示由衷的感谢！本论文是在李兵的细心指导下完成的，从论文的选题、资料的查找、论文的编写无不凝聚着李老师的辛勤汗水。从不懂差分方程到慢慢的认识了差分方程，从不懂神经网络到初步了解神经网络以及其分类再到写成这篇文章。期间由于本人在知识上的局限性，在论文的编写中，常常陷入迷茫之中，每每这时，都是李老师高屋建瓴的意见让我对存在的问题有了更深一步的认识和理解，让我有勇气坚持走下去。经过很多努力与尝试，有失败的，有成功的，在失败与成功之间学习到了不少平时课堂学习所不能学习到的知识 ，必将是我终身受益。在毕业论文的几个月里，我的父母从精神上给了我很多帮助，我的同学们也给了我许多无私的帮助，使我能够在短时间解决遇到的问题，借此机会表示感谢。同时还要特别感谢在做毕业论文中给予我帮助和指导的任课老师们。四年的大学生活即将结束，我的家人一直默默的支持着我，给予我前进的动力，在此表示感谢！同时还感谢那些支持我，关心我的朋友们！最后，谨向在百忙之中抽出宝贵时间审阅本论文的老师致以最诚挚的谢意!参考文献1Agarval R.P.，Diference Equatiins and Inequatlities : Theory ，Method and Applications, Mareel Dekker，NewYork，1992.2Agarwal R.P.，WongP.L.Y.，Advanced Topics in Difference EquationsJ，Kluwer.Dordreeht, 1997.3Bellman R.，Cooke K.L，Differential-Difference EquationsJ，Academic Press，NewYork