（运筹学与控制论专业论文）非线性最优化微分方程方法的研究.pdf

摘要 本文主要研究求解非线性最优化问题的微分方程方法，包括约束非线性规划问题的 微分方程方法和非线性互补问题的微分方程方法的理论以及相应的数值实现 1 第2 章对求解约束非线性规划问题的微分方程方法进行研究本章第二节利用f i s h e r - b u r m e i s t e r 函数( ( n ，b ) = n 2 + 6 2 一。一b ) 建立了一个与k t 条件等价的方程组， 构造了一个微分方程系统求解此方程组在一定的条件下证明了非线性规划问题的 k t 点是该微分方程系统的渐近稳定平衡点，并且基于微分方程系统的e u l e r 迭代 法建立了一个数值算法，证明了所给出的数值算法是局部收敛的为了提高收敛速 度，第三节构造了一个新的基于二阶信息的微分方程系统，证明了非线性规划问题 的k t 点是新的微分方程系统的渐近稳定平衡点，构造了一个数值算法，证明了所 给出的数值算法具有全局收敛性和局部二次收敛率第四节借助于l o g - s i g m o i d 函 数构造了一个人工神经网络求解约束非线性规划问题，在一定的条件下，证明了约 束非线性规划问题的k t 点是该神经网络的渐近稳定平衡点，基于神经网络系统构 造了一迭代算法，证明该迭代算法的收敛性。 2 第3 章对求解非线性互补问题的微分方程方法进行研究将非线性互补问题化为等 价的优化问题或光滑方程组，然后利用微分方程方法求解是本章的主要思想第二节 将非线性互补问题转化为等价的等式约束非线性规划问题，构造了一个微分方程系 统求解该优化问题，证明了非线性互补问题的解与所构造的微分方程的平衡点是等 价的，并且在此基础上建立了一个数值算法，给出了该数值算法的收敛性证明第三 节和第四节分别依赖凝聚函数和光滑化的f i s h e r - b u r m e i s t e r 函数将非线性互补问题 化为等价的光滑方程组，然后构造了两个微分方程系统分别求解该方程组，证明了非 线性互补问题的解是所构造的微分方程系统的渐近稳定平衡点，并且证明得到的基 于求解微分方程组的算法具有二阶收敛速度 3 第4 章用前两章的算法计算一般约束问题及非线性互补问题，数值结果表明它们至 少对规模不是很大的问题是有效的 关键词；微分方程方法，约束非线性规划，非线性互补，l o g - s i g m o i d 函数，f i s h e r 函数，凝聚函数，渐近稳定，收敛性 a b s t r a c t t h i sd i s s e r t a t i o ni sd e v o t e dt ot h es t u d yo nd i f f e r e n t i a le q u a t i o na p p r o a c h e sf o r n o n l i n e a ro p t i m i z a t i o np r o b l e m s 。i n c l u d i n gt h e o r i e sa n dn u m e r i c a li m p l e m e n t a t i o n so f d i f f e r e n t i a le q u a t i o na p p r o a d m sf o rc o n s t r a i n e dn o n l i n e a rp r o g r a m m i n gp r o b l e m sa sw e l l a sn o n l i n e a rc o m p l e m e n t a r i t yp r o b l e m s 1 c h a p t e r2i sm a i n l yc o n c e r n e dw i t ht h es t u d yo fd i f f e r e n t i a le q u a t i o na p p r o a c h e sf o r s o l v i n gc o n s t r a i n e dn o n l i n e a rp r o g r a m m i n gp r o b l e m s i ns u b s e c t i o n2 ，i tc o n s t r u c t s ad i f f e r e n t i a ls y s t e mo fe q u a t i o n sf o rs o l v i n gan o n l i n e a rs y e t e mo fe q u a t i o n s ，w h i c hi s e q u i v a l e n tt ot h ek - tc o n d i t i o n sf o rt h ec o n s t r a i n e dn o n l i n e a rp r o g r a m m i n g ( n l p ) p r o b e mw i t ht h eh e l po f t h e f i s h e r b u r m e i s t e rf u n c t i o n ( 庐( o ，b ) = 0 2 + b 2 一a b ) i t p r o v e st h a tt h ek tp o i n to ft h en l pp r o b l e m i sa na s y m p t o t i c a l l ys t a b l ee q u i l i b r i u m p o i n to ft h ep r o p o s e ds y s t e mo fd i f f e r e n t i a le q u a t i o n s an u m e r i c a la l g o r i t h m ，b a s e d o nt h ee u l e ri t e r a t es c h e m ef o rd i f f e r e n t i a le q u a t i o n s ，i se s t a b l i s h e d ，w h i c hi sp r o v e d t og e n e r a t ea l o c a l l yc o n v e r g e n ti n t e r a t i o n s i ns u b s e c t i o n3o ft h i sc h a p t e r ，an e w d i f f e r e n t i a ls y s t e mu s i n gs e c o n d - o r d e ri n f o r m a t i o n si sp r o p o s e d i tp r o v e st h a tt h e k tp o i n to ft h en l pp r o b l e mi s0 2 1a s y m p t o t i c a l l ys t a b l ee q u i l i b r i u mp o i n to ft h e n e ws y s t e m an u m e r i c a la l g o r i t h mi sc o n s t r u c t e dw h i c hi sp r o v e dt oh a v eg l o b a l c o n v e r g e n c ea n dl o c a l l yq u a d r a t i cc o n v e r g e n c er a t e s u b s e c t i o n4a d o p t st h el o g - s i g m o i df u n c t i o nt oc o n s t r u c tan e u r a ln e t w o r km o d e lf o rs o l v i n gc o n s t r a i n e dn l p p r o b l e m i tp r o v e st h a tt h ek tp o i n to ft h en l pp r o b l e mi s n i la s y m p t o t i c a l l y s t a b l ee q u i l i b r i u mp o i n to ft h en e u r a ln e t w o r ks y s t e m an u m e r i c a la l g o r i t h mb a s e d o i ls o l v i n gt h en e u r a ls y s t e mi sp r e s e n t e da n dp r o v e dt oh a v ec o n v e r g e n c ep r o p e r t i e s ， 2 c h a p t e r3s t u d i e sd i f f e r e n t i a le q u a t i o na p p r o a c h e sf o rs o l v i n gn o n l i n e a rc o m p l e m e n - r a r i t yp r o b l e m s t h em a i ni d e a sl i ei nt h a tn o n l i n e a rc o m p l e m e n t a r i t yp r o b l e m s c a nb ec o n v e r t e dt oo p t i m i z a t i o np r o b l e m sw i t he q u a l i t yc o n s t r a i n t so rs y s t e m so f n o n l i n e a re q u a t i o n sa n dt h er e s u l t i n gp r o b l e m sa r es o l v e db yd i f f e r e n t i a le q u a t i o n a p p r o a c h e s s u b s e c t i o n2c o n v e r t san o n l i n e a rc o m p l e m e n t a r i t yp r o b l e mt oa ne q u i v - a l e n tn l pp r o b l e mw i t he q u a l i t yc o n s t r a i n t sa n dad i f f e r e n t i a le q u a t i o ns y s t e mi s c o n s t r u c t e dt os o l v et h en l pp r o b l e m i tp r o v e st h a ts o l u t i o n st ot h en o n l i n e a rc o m p l e m e n t a r i t yp r o b l e ma r ee q u i l i b r i u mp o i n t st ot h ed i f f e r e n t i a le q u a t i o ns y s t e m a n u m e r i c a la l g o r i t h m ，b a s e do ns o l v i n gt h ed i f f e r e n t i a ls y s t e m ，i sg i v e na n di sp r o v e d 1 1 1 t oh a v ec o n v e r g e n c ep r o p e r t i e s s u b s e c t i o n s3a n d4c o n v e r tan o n l i n e a rc o m p l e m e n - t a r i t yp r o b l e mt os m o o t hs y s t e m so fe q u a t i o n sw i t ht h eh e l po f t h ea g g r e g a t ef u n c t i o n a n dt h es m o o t h i n gf i s h e r - b u r m e i s t e rf u n c t i o nr e s p e c t i v e l y t w od i f f e r e n t i a ls y s t e m s a r ep r o p o s e dt os o l v et h ee q u i v a l e n ts y e t e m so fn o n l i n e a re q u a t i o n s i tp r o v e st h a t s o l u t i o n st ot h en o n l i n e a rc o m p l e m e n t a r i t yp r o b l e ma r ee q u i l i b r i m np o i n t st oe a c ho f t h et w od i f f e r e n t i a le q u a t i o ns y s t e m s i tc o n s t r u c t st w og l o b a lc o n v e r g e n ta l g o r i t h m s w i t hl o c a l l yq u a t r a t i cc o v e r g e n c er a t e sb a s e do ns o l v i n gt h et w od i f f e r e n t i a le q u a t i o n s y s t e m s - 3 c h a p t e r4p r o v i d e sn u n l e r i c a ie x p e r i m e n t sb yt h ed i f f e r e n t i a le q u a t i o na l g o r i t h m si n c h a p t e r2a n dc h a p t e r3f o rc o n s t r a i n e dn o n l i n e a rp r o b l e m sw i t hg e n e r a lc o n s t r a i n t s a n dn o n l i n e a rc o m p l e m e n t a r i t yp r o b l e m s ，t h en u m e r i c mr e s u l t ss h o wt h a tt h ep r o - p o s e da l g o r i t h m sa r ee f f e c t i v ea tl e a s tt os o l v eo p t i m i z a t i o np r o b l e m sw i t hr e l a t i v e s m a l 】s e a l e s k e yw o r d s ：d i f f e r e n t i a le q u a t i o na p p r o a c h ，e o n s t r m n e dn o n l i n e a rp r o g r a m m i n g ，n o n 。 l i n e a rc o m p l e m e n t a r i t y ，l o g - s i g m o i df u n c t i o n ，f i s h e rf u n c t i o n ，a g g r e g a t ef l m e t i o n ，a s y m p - t o t i c a l l ys t a b l e ，c o n v e r g e n c e 符号说明 下面我们给出本论文中常用符号代表的含义 1 盥”( 皿：) ：n 维( 非负) 实数空间； 2 l ( x ，a ) ，l ( 卫，“，t7 ) ，c ( 。，a ，卢) ：l a g r a n g e 函数； 3 v f ：向量值函数，的梯度， v f 7 ：向量值函数，的j a c o b i 矩阵； 4 v 2 ，( z ) ，v 毛l ( z ， ，z 咖函数f ( z ) 和l ( 丑扎，”) 在z 处的h e s s e 阵； 5 n l p ：非线性规划， n c p ：非线性互补问题； 6 ，( z ) ：目标函数， h ( z ) ：等式约束， 9 ( z ) ：不等式约束； 7 ：紧约束指标集，即= 俐m ( z ) = 0 ，i = 1 ，n 。) ； 8 o f a x ：实值函数，关于z 的偏导数； 9 a f ( 。) ：函数f 在z 处的广义雅可比矩阵； 1 0 c 2 ( 丑p ) ：空间二次连续可微； 1 1 f 。( z ； ) ：函数f 在h 处的方向导数； 1 2 o ：商阶无穷小， o ：同阶无穷小； 1 3 a + ：矩阵的m o o r e - p e n r o s e 逆( 广义逆) ； 1 4 r e z ：复数z 的实部； 1 5 z = ( x ，) ，z = ( z 7 ，y t ) 7 ：表示同一列向量； 1 6 d ( z ) ，d ( 五) ：对角线上的第i 个元素是向量z 的第i 个分量的对角形矩阵 1 7 q 矿) ：集合n 与单点集 一) 的差； 1 8 0 ：空集， 口：证完 1 绪论 本章概述了非缆睦最优化问题的微分方程方法的研究历史及现状，并 对本文所凭借的主要理论工具非线性微分方程的稳定性理论，给出简要 的介绍 本论文研究如下形式的约束非线性规划问题 r a i n f ( x ) ( n l p ) 8 l 稿三： o 膨， 和下述形式的非线性互补问题： ( n c p )z 0 ，f ( 。) 0 ，x t f 扛) = 0 ( 112 ) 其中函数f ：匠“一皿1 ，g ：刀1 一尻”，h ：皿“一肌。和f ：刀1 一寸都是实值函数和 映射 求解问题( 1 11 ) 有许多有效的方法，例如，惩罚函数法，障碍函数法，增广l a g r a n g e 函数法，广义消去法，梯度投影法，广义既约梯度法，内点法，序列二次规划方法和信赖 域法等 求解问题( 11 2 ) 也有许多有效的算法，如不动点方法，同伦算法，投影方法，牛顿 方法，光滑方程组方法，可微无约束优化方法和内点方法等 本文通过微分方程方法对非线性规划问题和非线性互补问题进行研究 1 2 非线性最优化微分方程方法的研究进展 自求解最优化问题的微分方程方法问世以来，无论在理论研究还是算法研究上均取 得了一系列重要进展该法将最优化问题归结为求一个( 往往是自治的) 微分方程组的平 大连理工大学博士学盥论文：非线性最优化微分方程方法的研究 衡点的问题，从而将复杂的优化问题( 特别是约束非线性规划问题) 的求解转化为较成熟 的常微分方程组的数值求解，开辟了求解非线性最优化问题的一条新途径另一方面， 求解最优化问题的微分方程系统往往是一神经网络模型，因此，最优化微分方程方法的 深入研究无疑会推动神经网络方法求解最优化问题的进展 用微分方程的方法求解约束非线性最优化问题，最早由a r r o w 和h u r w i c z 【2 提出， 他们考虑的是等式约束最优化问题( 即在n l p 中m = 0 ) f i a c c o 和m c c o r m i c k 2 5 】用微 分方程方法对约束规范进行研究e v t u s h e n k o 和z h a d a n ( 1 9 7 3 1 9 7 4 ) 1 8 j 比较早地对等 式约束问题进行了研究其后y a m a s h i t a 6 3 ，e v t u s h e n k o 和z h a d a n 1 9 ，2 0 ，2 i ，2 2 ，2 3 1 及p a n 5 0 】对该方法进行了发展和完善特别是e v t u s h e n k o 和z h a d a n 从1 9 7 3 年开始， 利用微分方程的稳定性理论，对n l p 问题以及一般闭集上的约束问题( 这样一个抽象的 模型) 的微分方程方法傲了大量的研究，丰富了非线性规划问题的微分方程方法，形成了 系统的理论 非线性规划微分方程方法的主要思想是：将一个数值优化算法与一个微分方程系统 相关联，所构造的这个微分方程系统具有这样的性质：它的平衡点( e q u i l i b r i u mp o i n t s ) 恰好是非线性规射问题的全局最优解、局部最优解或k u h n - 7 i h c k e r 点，将数值算法的 收敛性问题转化为微分方程平衡点的稳定性判别问题 下面我们简要回顾一下该方法的研究情况 对无约束优化问题( ( 1 1 1 ) 中1 = 0 ，m = 0 ) ，b o t s a r i s 【5 与a m a y a 1 】用精确微分方程 方法对它进行求解，定义了下面的微分方程系统 面d x = - q ( z ) 一1 v f ( z ) 其中q ( z ) 是对称正定矩阵在v 2 ( x ) 正定的情况下，b o t s a r i s 证明了通过此微分方程 系统求得的解是优化问题的最优解；在v f ( x ) 的水平集是凸性的假设下，a m a y a z 证明 了收敛性定理 关于等式约束问题( ( 1 1 1 ) 中m = o ) ，也有许多学者利用微分方程方法对它进行了求 解例如，b r o w n 和b a r t h o l o m e w b i g g s 【6 ，7 】提出了含有罚函数的参数化相关的微分 方程系统 等：一斋吣，味面2 一瓦叩i 。j 其中西( z ，r ) = ，( z ) + ； ；l 风( z ) 2 是外点罚函数，利用此系统仅能求得近似解并且r 不能取得非常大，因而效果不是很好 为了能够求得较精确的解，t a n a b e ( 1 9 7 4 ) ，y a m a s h i t a ( 1 9 8 0 ) ，e v t u s h e n k o 和z h a d a n ( 1 9 7 4 ，1 9 8 5 ，1 9 9 4 ) 都利用l a g r a n g e 函数，提出了不同的微分方程系统来求解极小化问题 ( 1 1 1 ) 在 v h 。( z ) ，i 1 ，) 对任意的t 曰1 均是列满秩的假设条件下，他们阐述 2 第1 章绪论 了所提出的微分方程系统有定义在此条件下，t a n a b e 等诸位学者分别给出了下述的 各微分方程系统 t o a l a b e 给出微分方程系统 竺d 兰t 2 ( ，一q 忙) ) ( 一v ，( z ) ) t 见文献【5 8 】，其中，q ( x ) ：= v ( z ) 7 ( v h ( x ) v h ( x ) 7 ) - 1 v ( z ) y a m a s h i t a ( 1 9 8 0 ) ，e v t u s h e n k o 和z h a d a n ( 1 9 7 4 ，1 9 8 5 ，1 9 9 4 ) 定义了相似的系统 口( z ) 警= 一( v 他) + v ( z ) 7 u ( z ) ) 1 d h ( r x ) = 一r h ( x ) ( 1 2 1 ) 其中b ( z ) 矾“是对称正定矩阵，r 0 为常数在系统( 1 21 ) 中，若取rel ， b ( z ) ；j ，则得到y a m a s h i t a 6 3 】的一个微分方程系统，研究表明系统( 1 2 1 ) 描述的轨 迹在奇点x 4 附近十分复杂，这是一严重的缺陷若取r 三1 ，b ( 2 7 ) = v ! 。l u ( z ) ) ，则 得到y a m a s h i t a 6 3 的牛顿系统，它克服了上述困难，使在2 7 附近的解变成： 。0 ) 竺矿+ ( 5 ( o ) 一矿) e ， 并且该方法具有二阶收敛速度由于收敛的区域被严格限制在稳定点2 7 + 的邻域内，于是 y a m a s h i t a 利用迹连续的技术，扩大了收敛的区域 若取b ( 2 7 ) 三厶。，7 _ 0 ，则得到e v t u s h e n k o 和z h a d a n 2 0 1 的微分方程系统，这一 系统被他们称为障碍投影法( b a r r i e rp r o j e c t i o nm e t h o d ) 张立卫( 1 9 9 9 ) 6 4 对等式约束问题( ( 1 1 1 ) 中m = 0 ) 提出下述微分方程系统 面f 2 ：l ；= 一b ( z ) v z l ( z ，“( z ) ) ， 掣：m ( 圳， ( 1 2 2 ) 其中b ( x ) 优“为正定矩阵，：r 2 一优满足条件 l ( ) 在倒的原点邻域u 上可微，雅可比矩阵可n ( ) 7 的所有特征值在c 厂上有负实 都 2 ( ) 在u 上有唯一不动点，即庐( 。) = z 当且仅当2 = 0 成立 系统( 1 2 ，2 ) 概括了系统( 1 2 1 ) ，是对系统( 1 21 ) 的推广 e v t u s h e n k o 和z h a d a n ( 1 9 9 4 ) f 2 1 】用微分方程方法对下列更一般的约束问题进行了 研究 m i n ( 2 7 ) s t z x = z 册“ih ( x ) = o l ，z p )( 1 2 3 ) 3 大连理工大学博士学位论文：非线性最优化微分方程方法的研究 其中尸为不等式约束，假设p 有非空的内部 他们对问题( 1 2 3 ) 利用空间变换技术( s p a c et r a n s f o r m a t i o nt e c h n o l o g y ) ，等价地转 化为只有等式约束的问题，再通过逆变换，得到如下微分方程系统 卅 杀= - c ( x ) v 。l ( z ，( z ) ) ， r ( ) u ( z ) + w h ( x ) g ( x ) w f ( x ) = r ( z ) ， ( o ，x 0 ) = x 0 p ( 1 2 4 ) 逆变换的作用使得微分方程的右边被乘上一个矩阵g ( z ) ，只要初始点位于p 内，以此为 初始点的轨迹就不会穿出p ，因此g ( z ) 起到了障碍作用在此种空间变换的基础上， e v t u s h e n k o 和z h a d a a 全面研究了障碍投影法和障碍牛顿法的收敛性和收敛速度方 便起见，e v t u s h e n k o 和z h a d a n 仅对p = 皿罩的情况进行研究，通过分量空间变换 扩= ( 矿) 和逆变换，系统( 1 2 4 ) 可转化为： 景= - d ( o ( x ) ) v 。l ( z ， ( z ) ) ， 其中日( 。) = 矿，o 0 ，_ d ( 日( 。) ) 为对角形矩阵即使对这样简单的系统，他们的收敛性 理论也要在下述条件下得到证明：c 3 ：伊( 一) = o 当且仅当= 0 ；d 。( o ) 0 对成立 于是s m i r n o v 【5 6 提出了向量李雅普诺夫方法，在较弱的条件下，解决了收敛性问题 当处理混合约束问题( ( 1 1 1 ) 中l 0 ，m 0 ) 时，一个容易想到的方法就起通过引 入人工松弛变爨把不等式约束化为等式约束问题这一思想被z h o u ( 1 9 9 7 ) 6 8 】及张立卫 等( 2 0 0 0 ) 6 5 】绢用，构造了求解混合约束优化问题的微分方程系统 z h o u 6 8 】通过引入松弛变量z ，将问题( 1 1 1 ) 转化为 r a i n f ( y ) = f ( x ) s t ，s = ，丑p + ”ih c 。，= ( 9 。筹! 孚) = 。) ， 其中y = ( 茁，z ) ，= 川g i ( x ) = 0 ，i = 1 ，m ) 表示g ( x ) 的紧约束指标集，在梯度 v h l ( x ) ，v h , ( z ) 与v 吼( z ) ，i ，( 。) 线性无关的条件下，他提出了下述微分方程系 统 (篆形出)+(乳竺擞n”)=(吲vfdzdt0 司) ， il + il = i 、7 i b 。一d ( 五) a 。 ( v 咖，r v h ( x ) t d x d t d x d td ( z 。) d z d t ) = ( 一裂譬) ，、v 9 ( z ) r 一 一9 ( z ) + 譬 其中，d ( z i ) ；d i a g ( z ”) 第l 章绪论 而张立卫等( 2 0 0 0 ) 6 5 通过引入松弛变量，将问题( 1 1 1 ) 转化为 m i n ，( 2 ) = ，( 。) s t h ( z ) = 0 ， z 匠“+ ”， ( 。) = ( 9 。矗- ( 。d ) ”) ，。= ( z ，) 与之相关的微分方程系统为 面d z = 一日( z ) v ：( z ，u ( z ) ) ， dh(z)：圣(h(z)，dt 、 其中b ( z ) 皿【4 + ”) 。( n + r a ) 对称正定圣：四”一厦”“为满足下列条件的映射： 1 西( ) 在u 上可微，【，是皿”“空间的原点的一个邻域，并且西( ) 的雅可比矩阵 v 日西( ) 7 在u 上有负实部 2 0 是中( ) 在u 上的唯一固定点，即中( z ) = z 成立当且仅当z = 0 在文献 6 5 中仅需要梯度v h l ( x ) ，v h l ( x ) 与v g i ( z + ) ，i z ( x ) 是线性无关的即 可它不但具有不需要初始点可行的优点，而且还能保持可行性，即如果当前点是可行 的，则它的后续轨迹( s u b s e q u e n tt r a j e c t o r y ) 始终保持在可行域中 另一方面，各种由微分方程系统描述的神经网络模型被提出求解非线性最优化问题 自h o p f i e l d 和t a n k 首次提出解线性规划的一个神经网络 3 3 ，3 4 ，5 9 以来，采用神经网 络求解最优化问题得到了相当深入的研究，已发展了多种不同形式的求解非线性最优化 问题的神经网络模型 对于无约束优化问题( ( 1 11 ) 中l = o ，r e = o ) ，r o d r i g u e z v a z q u e z ( 1 9 9 0 ) 5 7 ，c i c h o c k i 和u n h b e b a u e n ( 1 9 9 3 ) 1 3 1 ，o s o w s h ( 1 9 9 2 ) 【4 9 】提出了基于最速下降法的神经网络动态系 统 面d x = 一w v f ( z ) ， 其中是对称正定矩阵，他们证明了神经网络的平衡状态对应于问题的局部最优解 o s o w s k i ( 1 9 9 2 ) 4 9 ，c i c h o c l d 和u n h b e h a u e n ( 1 9 9 3 ) 1 3 对上述问题进一步进行了研 究，基于n e w t o a 法提出了下列神经网络动态系统 等= 一w v 2 ，( z ) 】_ 。v f ( x ) 虽然基于n e w t o n 法的神经网络系统具有较快的收敛性，但有时h e s s e 阵会出现奇异性 问题，因而c i c h o c k i 和u r d t b e h a u e n ( 1 9 9 3 ) 1 3 l 对上述神经网络进行了改进，提出了基于 5 大连理工大学博士学位论文：非线性最优化微分方程方法的研究 l e v e n b e r g - m a r q u a r d t 法的神经网络动态系统 面d x = 一w v 2 m ) + ，y 旷1 v i ( z ) ， 其中i 为单位矩阵，y 为一适当的正数 对不等式约束问题( ( 1 1 1 ) 中l = o ) ，k e l m e d y 和c h u a ( 1 9 8 8 ) 4 0 利用梯度法和罚函 数法给出了下列神经网络动态系统 其中c l 为正数，i t = p a g a x ) ) ，并且功( 毋( z ) ) 有如下定义 咖，= 岛糍 r o d r i g u e , z v a z q u e z 等( 1 9 9 0 ) 5 7 为了克服罚系数无穷大的困难，提出了一种具有新结构 的神经网络模型 案= 一批舡，掣+ 廖1 = 1 ”咖黼，掣卜i k 柚 其中 ，= r 嘉扣1 州 l i l l o 等( 1 9 9 3 ) 4 3 对k e n n e d y 和c h u a ( 1 9 8 8 ) 4 0 】的非线性最优化神经网络给出了 进一步的分析，指出k e n n e d y 和c h u a 的神经网络本质上是基于罚函数方法，在电路实 现时，罚系数不能任意大，从而降低了神经网络求解的准确性针对这些问题，l i l l o 等 提出了神经网络动态系统 警= 一半，( 塾掣) + 鼻掣卜k 棚 掣 。埘 掣 i | 堕出 函巨线的后 理 处滑光过经处 夙 卢 0 ，由于e 近 似为0 ，所以皿又可以近似为西= s g n ( 9 j ( z ) ) e 2 一c 2c i c h o c k i 和u n b e h a u e a ( 1 9 9 3 ) 1 3 】 基于增广l a g r a n g e 函数 m 删_ ，( 卅；喜 击( 幽 o ，肘吲啪) 2 2 给出了神经网络动态系统 面d x j 一_ 呻忡o f ( x ，) + 扑池懒，掣”乩棚 警= n 陋小訾c 吲j ，m ， 其中u f ，和p 都是正的变量或常数，通常情况下，一m 肚i 非常小，可以忽略在增 广l a g r a n g e 函数病态的情况下，c i c h o c k i 和u n b e h a u e n ( 1 9 9 1 ) 1 2 在增广l a g r a n g e 函 数中g i , k t e n 化( r e g u l a r i z a t i o n ) 项，以消除惩罚项造成的不稳定，给出t i e n 北增广 l a g r a n g e 函数 m 舶) 刮卅灿俐一+ 扣b 俐一) 2 j 一；肛五 其中b ( z ) r = m i n g f ( ) ，一m k ，) ，ms0 ，d 0 是正则化参数 c i c h o c k i 和u n b e - h a u e n ( 1 9 9 3 ) 【1 3 】对上述l a g r a n g e 函数提出了神经网络系统 鲁一，o 电f ( x ) + 扑弧恂，掣 乩n ， 警= n 嗡m ( z ) 一n p 。】，i = 1 ，m 对等式约束问题( ( 11 1 ) 中m = o ) ，z h a n g 和c o a s t a n t i n i d e s ( i 9 9 2 ) 6 6 提出了l n g r a n g e 规划神经网络 警= 吨地， ) 苦= v 似) ， ( 1 2 5 ) ( 1 26 ) 其中l ( x ，a ) = f ( x ) + a t 危( z ) ，a 删为l a g r a n g e 乘子向量方程( 1 2 5 ) 称为变量 神经元，它提供问题的最优解，方程( 1 2 ，6 ) 称为l a g r a n g e 乘子神经元，它使得网络收 敛于可行域内，但是，这一方法局部最优解的存在依赖于优化问题的结构凸性，即要求 7 大连理工大学博士学位论文：非线性最优化微分方程方法的研究 v ：。l ( ，a ) 在动态域内正定针对这一缺陷，他们提出了基于增广l a g r a n g e 乘子法的神 经网络系统 鲁- 瓦a f 一害+ c b ) ) o h j ，i = l ，n ， 訾= h j ( z ) ，j 钆f z h a n g 等( 1 9 9 2 ) 6 7 】又提出了二阶神经网络 篙? 矧= 一 黔柚 ， 值得强调的是这一网络对h e s s e 阵v ：。l ( z ，a ) 在整个空间内无正定性要求 对混合约束的问题，m a a 和m i c h a e l ( 1 9 9 2 ) 4 6 】提出了一种两阶段优化神经网络， 当0 t t 1 时，网络的动态系统为 鬲d x = 一v ( 茹) 一s ( v ，9 ( z ) 万( 。) + v h ( z ) ( z ) ) ， 当 t l 时，网络的动态系统为 等= 一v 厂扛) 一v 9 j ( s 9 了+ p ) 一v ( 5 危( z ) + a ) ， 警- e ( 圳， 面5 6 【5 乃j ， 其中，= i l g | f ( z ) 0 ，存在6 = d ( e ) ，使得下述条件成立： 1 满足条件 i i 。o 一一1 1 6 ， ( 1 4 2 ) 的系统( 1 4 1 ) 的每一个解x ( x o ，t ) 对0 t o 。有定义； 2 ，对这些解有不等式： | i x ( x o ，t ) 一z ( z + ，t ) i l 0 ，因此有 高姊l ， 两边同时积分，得 h l ( g + ) ) 一l n c i v ( s ) l d s ， 即 c + w 0 ) c e x p l v ( s ) l d s 代入原题的不等式，础可得 l “0 ) i c + w 0 ) c e x p i v ( s ) l d 8 证毕 考虑特殊形式的系统 口 等= a z 删蛹 ( 1 4 5 ) 其中a 皿”， 定义1 4 ，6 ：当z 一0 时，如果对于任意的e 0 ，存在d = 6 ( e ) ，使得对于i h l 0 使得 圣0 ) | | k e 一乖 其中垂( t ) = e “，则有 i i x ( x 0 , t ) i 1 茎f l z o i l e - 。十e 一。( 。一。1 砂( z ( o ，s ) ，5 ) d s 4 j0 对任意的e 0 ，存在6 0 使得对每一个56 及任意的t 0 ，有 f i 妒( z ，t ) l | se | | zj | k 令l 护| | 0 ，使得对所有的0 t t ，不等式忪( 。o ，t ) l i 6 成立，并且 e 印| | 。( 。o ，t ) l i l z o | | + e e ”8 i l z ( 。o ，s ) l d s j 0 由引理( 1 4 1 ) 可碍下面的估计式 | j 石( 。o ，t ) | | | l z o l e “一”h ，( 1 4 6 ) 对t ( 0 ，t ) 成立选取充分小的e ，使得e q ，则由( 1 4 6 ) 可得，当l l z ( z o ，t ) l l m 成立，则称，( 。) 为定义在丑妒上的为无穷大函数 定理1 4 2 ：在系统( 1 4 1 ) 中，( z ，t ) 关于x 连续可微，关于t 连续系统( 1 4 。1 ) 称作 拉格朗日稳定( 1 a g r a n g es t a b l e ) 的充分条件是：在厦”x ，+ 上，存在一个函数”( 善，t ) 使 得下述条件成立： ( 1 ) ( z ) sv ( x ，t ) ，其中”( z ) 是一个连续无穷大函数， (