次规划问题的变时滞神经网络模型的全局指数稳定课件

1、东北大学东北大学次规划问题的变时滞神经网络模型的全局指数稳定 报告人： 张锐 指导教授：井元伟教授 2009年5月20日次规划问题的变时滞神经网络模型的全局指数稳定主要内容主要内容引引 言言 1二次规划问题及变时滞神经网络模型建立二次规划问题及变时滞神经网络模型建立 2主要结果主要结果 3仿真研究仿真研究 45结结 语语 次规划问题的变时滞神经网络模型的全局指数稳定引引 言言v 二次规划问题广泛存在于现实生活当中，无论是工程应二次规划问题广泛存在于现实生活当中，无论是工程应用、经济生活还是现代管理科学，优化计算都起着关键用、经济生活还是现代管理科学，优化计算都起着关键作用。作用。v 在现代科学

2、与工程计算中在现代科学与工程计算中, , 经常需要进行经常需要进行实时实时优化计算。优化计算。传统的优化计算技术因耗时过多而不能满足此类优化计传统的优化计算技术因耗时过多而不能满足此类优化计算的需要。算的需要。v 神经网络具有内在的神经网络具有内在的大规模并行运算大规模并行运算和和快速收敛快速收敛等特性，等特性，解决优化问题的运算时间比传统算法快出很多。解决优化问题的运算时间比传统算法快出很多。 次规划问题的变时滞神经网络模型的全局指数稳定引引 言言v 神经优化计算的研究进展神经优化计算的研究进展19821982年，年，HopfieldHopfield提出了著名的提出了著名的HopfieldH

3、opfield神经网络神经网络 ，引进了能量，引进了能量函数的概念，为神经网络应用于优化问题奠定了基础。函数的概念，为神经网络应用于优化问题奠定了基础。19861986年，由年，由TankTank和和HopfieldHopfield首次提出了解决线性规划问题的神经网首次提出了解决线性规划问题的神经网络。络。KennedyKennedy和和ChuaChua为保证网络收敛提出一个改进的网络模型，其中的为保证网络收敛提出一个改进的网络模型，其中的能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获得优化问题的近似解，且当罚参数过大时，电

4、路亦难以实现。得优化问题的近似解，且当罚参数过大时，电路亦难以实现。次规划问题的变时滞神经网络模型的全局指数稳定引引 言言为避免罚函数存在的缺陷，文献为避免罚函数存在的缺陷，文献44给出了由两个子系统组成的网给出了由两个子系统组成的网络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输出为精确度较好的解。出为精确度较好的解。基于对偶和映射理论，基于对偶和映射理论，XiaXia等人先后提出了原始等人先后提出了原始- -对偶神经网络和投对偶神经网络和投影神经网络，求解线性和二次规划问题，但网络结构复杂，在电路影神经网络，求解线性和二次

5、规划问题，但网络结构复杂，在电路实现中仍需要大量参数。实现中仍需要大量参数。以上研究都是在神经元传输和瞬时响应以上研究都是在神经元传输和瞬时响应无时延无时延的情况下进行的。的情况下进行的。 次规划问题的变时滞神经网络模型的全局指数稳定引引 言言v 时滞神经网络稳定性时滞神经网络稳定性研究意义：研究意义：p 在神经网络电路实现中，时滞是不可避免的，时滞的存在神经网络电路实现中，时滞是不可避免的，时滞的存在可以导致系统的不稳定，这是目前研究时滞神经网络在可以导致系统的不稳定，这是目前研究时滞神经网络稳定性的一个主要原因。稳定性的一个主要原因。p 时滞的存在能够改变神经网络的拓扑结构，进而改变神时滞

6、的存在能够改变神经网络的拓扑结构，进而改变神经网络的动态行为，从而可以利用人为引入的时滞来达经网络的动态行为，从而可以利用人为引入的时滞来达到改变网络动态行为的目的。所以，研究带有时滞的神到改变网络动态行为的目的。所以，研究带有时滞的神经网络求解优化问题更具有实际价值经网络求解优化问题更具有实际价值 次规划问题的变时滞神经网络模型的全局指数稳定引引 言言 文献文献13-1413-14利用利用常时滞常时滞神经网络研究了二次规划最神经网络研究了二次规划最优解求解问题。考虑到时变时滞在电路实现中的普遍存优解求解问题。考虑到时变时滞在电路实现中的普遍存在性，本文提出了一种在性，本文提出了一种变时滞变时

7、滞LagrangeLagrange神经网络神经网络求解求解二二次规划问题次规划问题最优解的求解方法。利用不等式技术和最优解的求解方法。利用不等式技术和LMILMI技术，得到了全局指数稳定的两个条件。所得到的稳定技术，得到了全局指数稳定的两个条件。所得到的稳定判据能够判据能够适应慢变时滞和快变时滞适应慢变时滞和快变时滞两种情况，具有适用两种情况，具有适用范围宽、保守性小和易于验证等特点。通过几个注释说范围宽、保守性小和易于验证等特点。通过几个注释说明和数值仿真示例验证了所得结果的有效性。明和数值仿真示例验证了所得结果的有效性。次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及变时滞神经网

8、络模型二次规划问题及变时滞神经网络模型建立建立考虑如下二次规划问题：考虑如下二次规划问题： (1)(1)其中：其中： 为设计变量，为设计变量， 为半正定矩阵，为半正定矩阵， ， ， 。并且假设可行域并且假设可行域 为非空集合。为非空集合。 定义定义LagrangeLagrange函数函数 为：为：其中：其中： 为为LagrangeLagrange乘子。乘子。 1min2. .TTu Quc ustAubun nQRncRm nARmbR0n nuRAub ( , )L u v1( , )()2TTTL u vu Quc uvAubmvR次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及

9、变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立 根据根据KKTKKT条件可知条件可知: : 是二次规划问题是二次规划问题(1)(1)的解，当且的解，当且仅当存在仅当存在 ，使得满足如下条件：，使得满足如下条件： 其中其中: 为为 的梯度。的梯度。令：令：则则解决问题解决问题(1)(1)的的LagrangeLagrange神经网络为：神经网络为： umvR( , )0( , )0TuvL u vQucA vL u vAubLL0TQAWAcJbuyv ，(2)0WyJ()dyWyJdt (3) 次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及变时滞神经网络模型二次规划问题及

10、变时滞神经网络模型建立建立时变时滞时变时滞LagrangeLagrange神经网络：神经网络：其中：其中： ，时滞时滞 满足满足 ， 。 注注1 1：在文献在文献13-1413-14中，研究的是定时滞的中，研究的是定时滞的LagrangeLagrange神经网神经网络求解问题络求解问题(1)(1)。但是，定时滞是变时滞的理想化，所以本。但是，定时滞是变时滞的理想化，所以本文建立的变时滞网络文建立的变时滞网络(4)(4)来求解问题来求解问题(1)(1)更具有实际意义。更具有实际意义。 () ( )( )dyDW y tDy ttJdt (4)(4) () ()n mn mDR( ) t 0( )

11、 t( ) t次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立设设 是网络是网络(4)(4)的一个平衡点。为了方便，我们对网络的一个平衡点。为了方便，我们对网络(4)(4)做做变换变换 ，则式，则式(4)(4)等价变换成：等价变换成： 其中：其中： ， 。 定义定义1 1：在区间：在区间 上，对于任意有限的上，对于任意有限的 ，如果存在，如果存在标量标量 ， ，使得，使得 成立，则称成立，则称系统系统(5)(5)在平衡点在平衡点 处是处是全局指数稳定全局指数稳定的。的。*y*( )( )x ty ty01( )( )dxA x

12、 tA x ttdt (5) 0AD W1AD,0( )ntR0b 0c 220( )sup( )ctx tbe 0 x 次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立 设设 是一个在是一个在 上的非负连续函数，对于上的非负连续函数，对于 和和 ，当，当 时有如下引理：时有如下引理：引理引理1 1：若不等式：若不等式 成立，则有成立，则有 成立。成立。引理引理2 2：给定任意对称正定矩阵：给定任意对称正定矩阵 ，标量，标量 ，向量函数，向量函数 ，则有如下不等式成立，则有如下不等式成立( )y t0 ,)t0p 0q 0tt

13、0( )( )tty tpqy s ds0()( )q t ty tpe0M 0:0, nR000( )( )( )( )TTs dsMs dssMs ds次规划问题的变时滞神经网络模型的全局指数稳定二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立引理引理3 3：假设：假设 , , 和和 为适当维数的实矩阵，且为适当维数的实矩阵，且 ，则，则对于任意适当维数的向量对于任意适当维数的向量 和和 ，有如下不等式成立，有如下不等式成立: :HLK0K xy12TTTTTx HLyx HK H xy L KLy次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果定理定理

14、1 1：如果存在对称正定矩阵：如果存在对称正定矩阵 , , , , 和和 ，使得如下，使得如下LMILMI成立：成立：则系统则系统(5)(5)在平衡点在平衡点 处是全局指数稳定的。其中：处是全局指数稳定的。其中：P1QRZ11122200ZRZ (6) 0 x 21100100TTPAA PQZA ZAR 212101TPAA ZAZ2221112(1)TZQA ZA 次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果证明证明：考虑如下：考虑如下LyapunovLyapunov泛函：泛函：其中：其中：沿着网络沿着网络(5)(5)的轨迹对的轨迹对 求导，并根据引理求导，并根据引理2 2

15、，有下式成立，有下式成立 123( )( )( )( )V xV xV xV x (7) 11( )( )( )( )( )( )dtTTttV xx tPx txQ x2( )( )( )dtTtV xxRx03( )( )( )d dtTtV xxZx ( )V x( )( )( )( )d( ) ( )( )dttTTttttxZxt xZx ( )( ) ( )( )Tx tx ttZ x tx tt(11) ( )( )( )( )d( ) ( )( )dttttTTttxZxt xZx ( )() ( )()Tx ttx tZ x ttx t (12)次规划问题的变时滞神经网络模型

16、的全局指数稳定主要结果主要结果得到得到 其中其中 如式如式(6)(6)中所定义，且中所定义，且下面讨论网络下面讨论网络(5)(5)的全局指数稳定性的全局指数稳定性。由式由式(13)(13)可以得到：可以得到：其中其中 210000( ) ( )TTTx tPAA PQA ZAZV x) ( )2 ( )()TR x tx ttZx t21012 ( ) () ( )TTPAA ZAx tZ x tt2111( ) (1)TTx ttQA ZA2 ) ( )() () ()TZ x ttx tRZ x t( )( )Ttt (13) ( )( )( )()TTTTtxtxttxt( )( )(

17、)TV xx tx t (14) min()0 次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果对式对式(14)(14)两边求积分，得到两边求积分，得到 另外，从式另外，从式(7)(7)可知：可知：其中其中 因此因此利用引理利用引理1 1，可知，可知00( ( )( (0)( ( )d( )( )dttTV x tV xV x ssx sx ss ( ( )( )( )TV x tbx tx tmin( )0bP110( )( )( (0)( )( )dtTTx tx tb V xabx sx s s11( )( )( (0)exp()Tx tx tb V xab t(15) 次规

18、划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果利用式利用式(7)(7)和引理和引理3 3，可得，可得令令则则由式由式(15)(15)可得可得 由定义由定义1 1可知系统可知系统(5)(5)在平衡点在平衡点 处是全局指数稳定的。处是全局指数稳定的。证毕证毕。 22maxmax1max( ( )( )( )()( ) sup( )ts tV x tPx tQRx s 2233max00max11() sup( )() sup( )TTTts tts tAZI Ax sAZIZAx s 33maxmax1maxmax00max11( )()( )()()TTTcPQRAZI AAZIZA

19、20( (0)sup( )sV xcs 2110( )( )sup( )exp()Tsx tx tb csab t 0 x 次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果注注2 2：定理：定理1 1是通过是通过LMILMI方法得到的依赖时滞上界的指数稳定方法得到的依赖时滞上界的指数稳定条件，且稳定条件通过条件，且稳定条件通过MATLABMATLAB的的LMILMI工具箱很容易得到验工具箱很容易得到验证。证。注注3 3：在神经网络指数稳定性的研究中，许多文献都是在：在神经网络指数稳定性的研究中，许多文献都是在LyapunovLyapunov泛函中增加一个指数因子的方法来证明的，且指

20、泛函中增加一个指数因子的方法来证明的，且指数收敛率是通过求解一个超越方程得到的。与之不同，我数收敛率是通过求解一个超越方程得到的。与之不同，我们没有引入指数因子，而是利用引理们没有引入指数因子，而是利用引理1 1来证明指数稳定性来证明指数稳定性的。指数稳定证明过程被简化了，且指数收敛率也容易获的。指数稳定证明过程被简化了，且指数收敛率也容易获得。得。注注4 4：式：式(6)(6)不限定不限定 ，也就是说定理，也就是说定理1 1可应用到快时变时可应用到快时变时滞，也可应用到慢时变时滞。滞，也可应用到慢时变时滞。 1次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果定理定理2 2：如果存

21、在对称正定矩阵：如果存在对称正定矩阵 , , , , 和和 ，正定对称矩，正定对称矩阵阵 ，以及适当维数矩阵，以及适当维数矩阵 ， ， ， ，使得如下，使得如下LMILMI成立：成立：P1QRZ111213222333UUUUUUU123TMM M M123TNN N N1T2T1112131222312334400TTTA T (16) 次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果则系统则系统(5)(5)的平衡点的平衡点 是全局指数稳定。其中是全局指数稳定。其中： 10TUMMZ (17)20TUNNZ (18) 0 x 1110011111001TTTTPAA PQRMUM

22、T AA T12211211102TTMMUNT AA T133113MNU221222222(1)TTQMMNNU 2333223TTMNNU 333333TRUNN 24422TZTT,，,次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果证明证明：选取：选取LyapunovLyapunov泛函与定理泛函与定理1 1中的相同。中的相同。 利用利用Leibniz-NewtonLeibniz-Newton公式，对于任意的适当维数矩阵公式，对于任意的适当维数矩阵 ， ，有如下等式成立：有如下等式成立：对于任意的正定对称矩阵对于任意的正定对称矩阵 123TMM M M123TNN N N

23、( )2( ) ( )( )( )0tTttt M x tx ttx s ds( )2( ) ( )()( )0ttTtt N x ttx tx s ds (20) (21)U0( )( )( )( )ttTTttt Ut dst Ut ds( )( )( )( )( )( )( )( )tttTTTtttt Utt Ut dst Ut ds (22)次规划问题的变时滞神经网络模型的全局指数稳定主要结果主要结果对于任意适当维数矩阵对于任意适当维数矩阵 ， 满足如下等式：满足如下等式：沿着网络沿着网络(5)(5)的轨迹对的轨迹对 求导，得到：求导，得到： 其中其中由式由式(16)-(18)(16

24、)-(18)，可知，可知 。余下证明部分与定理。余下证明部分与定理1 1相似。相似。证毕证毕。 1T2T12012( )( )( )( )( )0TTxt Txt Tx tA x tA x tt (23)( )12( )( )( ) ( , )( , )( , )( , ) ( )tttTtttV xtt st s dst st s dst ( , )( ), ( )TTt stx s( )( )( )()( )TTTTtxtxttxtx t( ( )0V x t( )V x次规划问题的变时滞神经网络模型的全局指数稳定仿真研究仿真研究 考虑形如式考虑形如式(1)(1)的二次规划问题，的二次规划

25、问题，其中：其中： 该优化问题具有唯一平衡点该优化问题具有唯一平衡点 若采用若采用LagrangeLagrange网络模型网络模型(3)(3)来求解优化问题，因为具来求解优化问题，因为具有三个特征值有三个特征值 ，神经系统，神经系统(3)(3)将呈现周期将呈现周期解，见图解，见图1 1，显然系统的平衡点不是稳定的。，显然系统的平衡点不是稳定的。 0.1 0.10.1 0.1Q( 1 1)c ( 0.5 -0.5)A0.5b *( 0.5 0.5)u 0.2, 0.7071 , -0.7071ii次规划问题的变时滞神经网络模型的全局指数稳定仿真研究仿真研究 050100150200250300350400450500-4-202050100150200250300350400450500-202405010015020025030035040045050