次规划问题的变时滞神经网络模型的全局指数稳定.ppt

东北大学 二次规划问题的变时滞神经网 络模型的全局指数稳定 报告人： 张锐 指导教授：井元伟教授 2009年5月20日 主要内容 引 言 1 二次规划问题及变时滞神经网络模型建立 2 主要结果 3 仿真研究 4 5结 语 引 言 v 二次规划问题广泛存在于现实生活当中，无论是工程应 用、经济生活还是现代管理科学，优化计算都起着关键 作用。 v 在现代科学与工程计算中, 经常需要进行实时优化计算 。传统的优化计算技术因耗时过多而不能满足此类优化 计算的需要。 v 神经网络具有内在的大规模并行运算和快速收敛等特性 ，解决优化问题的运算时间比传统算法快出很多。 引 言 v 神经优化计算的研究进展 1982年，Hopfield提出了著名的Hopfield神经网络 ，引进了能量函 数的概念，为神经网络应用于优化问题奠定了基础。 1986年，由Tank和Hopfield首次提出了解决线性规划问题的神经网 络。 Kennedy和Chua为保证网络收敛提出一个改进的网络模型，其中的 能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获 得优化问题的近似解，且当罚参数过大时，电路亦难以实现。 引 言 为避免罚函数存在的缺陷，文献4给出了由两个子系统组成的网 络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输 出为精确度较好的解。 基于对偶和映射理论，Xia等人先后提出了原始-对偶神经网络和投 影神经网络，求解线性和二次规划问题，但网络结构复杂，在电路 实现中仍需要大量参数。 以上研究都是在神经元传输和瞬时响应 无时延的情况下进行的。 引 言 v 时滞神经网络稳定性研究意义： p 在神经网络电路实现中，时滞是不可避免的，时滞的存 在可以导致系统的不稳定，这是目前研究时滞神经网络 稳定性的一个主要原因。 p 时滞的存在能够改变神经网络的拓扑结构，进而改变神 经网络的动态行为，从而可以利用人为引入的时滞来达 到改变网络动态行为的目的。所以，研究带有时滞的神 经网络求解优化问题更具有实际价值 引 言 文献13-14利用常时滞神经网络研究了二次规划最 优解求解问题。考虑到时变时滞在电路实现中的普遍存 在性，本文提出了一种变时滞Lagrange神经网络求解二 次规划问题最优解的求解方法。利用不等式技术和LMI技 术，得到了全局指数稳定的两个条件。所得到的稳定判 据能够适应慢变时滞和快变时滞两种情况，具有适用范 围宽、保守性小和易于验证等特点。通过几个注释说明 和数值仿真示例验证了所得结果的有效性。 二次规划问题及变时滞神经网络模型 建立 考虑如下二次规划问题： (1) 其中： 为设计变量， 为半正定矩阵， ， ， 。 并且假设可行域 为非空集合。 定义Lagrange函数 为： 其中： 为Lagrange乘子。 二次规划问题及变时滞神经网络模型 建立 根据KKT条件可知: 是二次规划问题(1)的解，当且 仅当存在 ，使得满足如下条件： 其中: 为 的梯度。 令： 则 解决问题(1)的Lagrange神经网络为： ， ， (2) (3) 二次规划问题及变时滞神经网络模型 建立 时变时滞Lagrange神经网络： 其中： ，时滞 满足 ， 。 注1：在文献13-14中，研究的是定时滞的Lagrange神经网 络求解问题(1)。但是，定时滞是变时滞的理想化，所以本 文建立的变时滞网络(4)来求解问题(1)更具有实际意义。 (4) 二次规划问题及变时滞神经网络模型 建立 设 是网络(4)的一个平衡点。为了方便，我们对网络(4)做 变换 ，则式(4)等价变换成： 其中： ， 。 定义1：在区间 上，对于任意有限的 ，如果存在 标量 ， ，使得 成立，则称 系统(5)在平衡点 处是全局指数稳定的。 (5) 二次规划问题及变时滞神经网络模型 建立 设 是一个在 上的非负连续函数，对于 和 ，当 时有如下引理： 引理1：若不等式 成立，则有 成立。 引理2：给定任意对称正定矩阵 ，标量 ，向量函数 ，则有如下不等式成立 二次规划问题及变时滞神经网络模型 建立 引理3：假设 , 和 为适当维数的实矩阵，且 ，则 对于任意适当维数的向量 和 ，有如下不等式成立: 主要结果 定理1：如果存在对称正定矩阵 , , 和 ，使得如下LMI 成立： 则系统(5)在平衡点 处是全局指数稳定的。其中： (6) 主要结果 证明：考虑如下Lyapunov泛函： 其中： 沿着网络(5)的轨迹对 求导，并根据引理2，有下式成立 (7) (11) (12) 主要结果 得到 其中 如式(6)中所定义，且 下面讨论网络(5)的全局指数稳定性。 由式(13)可以得到： 其中 (13) (14) 主要结果 对式(14)两边求积分，得到 另外，从式(7)可知： 其中 因此 利用引理1，可知 (15) 主要结果 利用式(7)和引理3，可得 令 则 由式(15)可得 由定义1可知系统(5)在平衡点 处是全局指数稳定的。 证毕。 主要结果 注2：定理1是通过LMI方法得到的依赖时滞上界的指数稳定 条件，且稳定条件通过MATLAB的LMI工具箱很容易得到验 证。 注3：在神经网络指数稳定性的研究中，许多文献都是在 Lyapunov泛函中增加一个指数因子的方法来证明的，且指 数收敛率是通过求解一个超越方程得到的。与之不同，我 们没有引入指数因子，而是利用引理1来证明指数稳定性 的。指数稳定证明过程被简化了，且指数收敛率也容易获 得。 注4：式(6)不限定 ，也就是说定理1可应用到快时变时 滞，也可应用到慢时变时滞。 主要结果 定理2：如果存在对称正定矩阵 , , 和 ，正定对称矩 阵 ，以及适当维数矩阵 ， ， ， ，使得如下LMI成立： (16) 主要结果 则系统(5)的平衡点 是全局指数稳定。其中： (17) (18) , , ， , 主要结果 证明：选取Lyapunov泛函与定理1中的相同。 利用Leibniz-Newton公式，对于任意的适当维数矩阵 ， ，有如下等式成立： 对于任意的正定对称矩阵 (20) (21) (22) 主要结果 对于任意适当维数矩阵 ， 满足如下等式： 沿着网络(5)的轨迹对 求导，得到： 其中 由式(16)-(18)，可知 。余下证明部分与定理1相似 。 证毕。 (23) 仿真研究 考虑形如式(1)的二次规划问题，其中： 该优化问题具有唯一平衡点 若采用Lagrange网络模型(3)来求解优化问题，因为具 有三个特征值 ，神经系统(3)将呈现周期 解，见图1，显然系统的平衡点不是稳定的。 仿真研究 图1： 时的模型(5)的状态轨迹 仿真研究 现考虑网络模型(5)，当指数收敛速率为 ， 为单位 矩阵时，在 时通过LMI求解本文定理2可得到LMIs中的各个矩 阵。 状态轨迹如图2所示，由图形中的状态轨迹可知，网络收敛到 最优解 。 按照文献13中的定理3计算得到的最大时滞上界为 ， 文献14中的定理1要求 。显然，本文的结果显著改进