（运筹学与控制论专业论文）基于二阶导数的非凸约束优化的微分方程方法.pdf

大连理工大学博士学位论文 摘要 本文旨在研究求解非凸约束优化问题的基于二阶导数的微分方程方法原因有三 个：一是很多最优化问题的人工神经网络方法都是由微分方程系统来刻画的，系统地 研究微分方程方法可能为后者提供理论支撑；二是可以把有效的微分方程的数值解法 用于求解非凸约束优化问题；三是二阶导数的微分方程方法往往具有快速的收敛性 本文主要研究基于一具体空间变换的微分方程系统，修正的e v t u s h e n k o - z h a d a n 系统 和基于非线性l a g r a n g e 函数的微分方程系统取得的结果可概括如下 1 第2 章，基于一具体的空间变换，构造求解不等式约束优化问题的基于问题函数 的一阶导数和基于二阶导数的微分方程系统我们证明这两个系统具有性质：约 束优化问题的k k t 点是它们的渐近稳定的平衡点，且当初始点是可行点时，解轨 迹将全部落于可行域中我们还证明了两个微分方程系统欧拉离散迭代格式的局 部收敛性和基于第二个系统的离散迭代格式的局部二次收敛性质最后用两个离 散迭代算法计算了若干个算例，数值结果表明基于二阶导数系统的算法具有较快 的收敛速度 2 第3 章分两部分第一部分分别给出求解等式约束优化问题的基于问题函数的 一阶导数和二阶导数的修正的e v t u s h e n k o - z h a d a n 系统，证明了约束优化问题的 k k t 点是两个系统的渐近稳定的平衡点；建立了这两个系统的e u l e r 离散迭代格 式，证明了它们的局部收敛性和基于二阶导数的微分方程系统的欧拉迭代方法的 二阶收敛性我们还构造了搜索方向由两个微分系统计算，步长采用a r m i j o 线搜 索的算法并证明了算法的收敛性我们用采用a r m i j o 步长的算法和龙格库塔法求 解两个微分方程系统计算若干算例，数值结果表明龙格库塔的微分方程算法具有 较好的稳定性和更高的精确度，基于二阶导数的微分方程系统的算法具有更快的 收敛速度第二部分讨论一般约束的优化问题的求解，分别给出基于问题函数的 一阶导数和二阶导数的修正的e v t u s h e n k o - z h a d a n 系统，得到第一部分的所有的 相应结果 3 第4 章，通过一类非线性l a g r a n g e 函数，分别基于问题函数的一阶导数和二阶导 数建立求解不等式约束优化问题的两个微分方程系统在适当的条件下，证明出 这两个系统的渐近稳定性和e u l e r 离散迭代格式的收敛性，包括基于二阶导数的 微分方程算法的二阶收敛性在此框架下，我们对由指数l a g r a n g e 函数和修正障 碍函数生成的微分方程系统进行具体的讨论 关键词：非凸约束优化；微分方程方法；渐近稳定；二阶收敛；约束规范条件；非线 性l a g r a n g e 函数 大连理工大学博士学位论文 s e c o n d0 r d e rd e r i v a t i v e sb a s e dd i 鼬r e n t i a l a p p r o a c h e st on o n c o n v e xc o n s t r a i n e do p t i m i z a t i o n a b s t r a c t + i h ea i mo ft h ed i s s e r t a t i o ni st os t u d ys e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a l e q u a t i o na p p r o a c h e st on o n c o n v e xc o n s t r a i n e do p t i m i z a t i o np r o b l e m s t h e r ea r et h r e e r e a s o n sf o rs e l e c t i n gs u c has u b j e c t ：o n ei st h a tt h i sm a yp r o v i d eat h e o r e t i c a ls u p p o r tt o 8 0 m ea r t i f i c i a ln e u r a ln e t w o r km e t h o d sa st h e r ea r em a n ya r t i f i c i a ln e u r a ln e t w o r k sf o ro p - t i m i z a t i o np r o b l e m sc h a r a c t e r i z e db ys y s t e m so fd i f f e r e n t i a le q u a t i o n s ；a n dt h es e c o n do n e i st h a te f f e c t i v en u m e r i c a la l g o r i t h m sf o rd i f f e r e n t i a le q u a t i o n sc u e b ea p p l i e dt os o l v i n g c o n s t r a i n e do p t i m i z a t i o np r o b l e m s ；t h el a s to n ei st h a ts e c o n do r d e rd e r i v a t i v e sb a s e dd i f - f e r e n t i a le q u a t i o nm e t h o d su s u a l l yh a v ef a s tc o n v e r g e n c er a t e s t h ed i s s e r t a t i o nf o c u s e s o nt h es t u d yo fd i f f e r e n t i a le q u a t i o ns y s t e m sv i aas p e c i f i cs p a c et r a n s f o r m a t i o n ，m o d i - f l e de v u t u s h e n k o - z h a d a ns y s t e m s ，a n dn o n l i n e a rl a g r a n g i a nb a s e dd i f f e r e n t i a le q u a t i o n s y s t e m s t h em a i nr e s u l t sc a nb es u m m a r i z e da sf o l l o w s ： 1 ，c h a p t e r2 ，w i t ht h eh e l po fas p a c et r a n s f o r m a t i o n ，c o n s t r u c t saf i r s to r d e rd e n v a - t i v e sb a s e da n das e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o ns y s t e m sf o r i n e q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e m s t h et w os y s t e m sa r ep r o v e dt oh a v e t h ep r o p e r t i e s ：k k tp o i n t so fa ni n e q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e ma r e t h e i ra s y m p t o t i c a l l ys t a b l ee q u i l i b r i u mp o i n t sa n dt h ew h o l es o l u t i o nt r a j e c t o r i e sa r e i nt h ef e a s i b l er e g i o no ft h ep r o b l e mi ft h e ys t a r tf r o mi n i t i a lf e a s i b l ep o i n t s m o r e - o v e r ，w ed e m o n s t r a t et h ec o n v e r g e n c et h e o r e m sf o rt h ed i s c r e t es c h e m e so ft h et w o d i f f e r e n t i a ls y s t e m s ，i n c l u d i n gt h el o c a l l yq u a d r a t i cc o n v e r g e n c er a t eo ft h ed i s c r e t e a l g o r i t h mf o rs e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o ns y s t e m f i n a l l y , w eg i v en u m e r i c a le x a m p l e sb a s e do nt h e s et w od i s c r e t em e t h o d sa n dt h en u m e r i c a l r e s u l t ss h o wt h a tt h es e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o na l g o r i t h m i sf a s t e rt h a nt h eo t h e ro n e 2 c h a p t e r3h a st w op a r t s t h ef i r s tp a r tp r e s e n t st o wm o d i f i e de v t u s h e n k o - z h a d a n s y s t e m si n v o l v i n gf i r s to r d e rd e r i v a t i v e sa n d t h es e c o n do r d e rd e r i v a t i v e so fp r o b l e m f u n c t i o n s ，r e s p e c t i v e l y ，f o re q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e m s ，i ti sp r o v e d t h a tk k tp o i n t so fa l le q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e ma r et h e i ra s y m p t o t i c a l l ys t a b l ee q u i l i b r i u mp o i n t s t h ee u l e rd i s c r e t es c h e m e sf o rt h eb o t hd i f f e r e n t i a l i i i 基于二阶导数的非凸约束优化的微分方程方法 s y s t e m sa r ep r e s e n t e da n d t h e i rl o c a lc o n v e r g e n c et h e o r e m sa r ed e m o n s t r a t e d ，w h i c h i n c l u d et h el o c a l l yq u a d r a t i cc o n v e r g e n c er a t eo ft h ed i s c r e t ea l g o r i t h mf o rs e c o n do r - d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o ns y s t e m w ec o n s t r u c ta l g o r i t h m si nw h i c h d i r e c t i o n sa r ec o m p u t e db yt h e s et w os y s t e m sa n dt h es t e p - s i z e sa r eg e n e r a t e db y a r m i j ol i n es e a r c ht os o l v et h ee q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e m t h ea l g o - r i t h m sw i t ha r m i j ol i n es e a r c h e sa n dt h er u n g e k u t t aa l g o r i t h m sf o rt h et w os y s t e m s a r ee m p l o y e dt os o l v es e v e r a ln u m e r i c a le x a m p l e s ，t h en u m e r i c a lr e s u l t ss h o wt h a tt h a t r u n g e k u t t am e t h o dh a sb e t t e rs t a b i l i t ya n dh i g h e rp r e c i s i o nt h a nt h ea r m i j os t e p - s i z em e t h o da n dt h es e c o n do r d e rd e r i v a t i v e sb a s e dd i t i e r e n t i a le q u a t i o na p p r o a c hi s f a s t e rt h a nt h ef i r s td e r i v a t i v e sb a s e da p p r o a c h t h es e c o n dp a r tc o n c e r n so p t i m i z a - t i o np r o b l e m sw i t hg e n e r a lc o n s t r a i n t s ，c o n s t r u c t sf i r s to r d e rd e r i v a t i v e sb a s e da n d t h es e c o n do r d e rd e r i v a t i v e sb a s e dm o d i f i e de v t u s h e n k o - z h a d a ns y s t e m s ，a n do b t a i n s a l lc o r r e s p o n d i n gr e s u l t st ot h o s ei nt h ef i r s tp a r t 3 i nc h a p t e r4 u s i n gac l a s so fn o n l i n e a rl a g r a n g i a n s w ec o n s t r u c taf i r s to r d e rd e r i v a - t i v e sb a s e da n das e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o ns y s t e m sf o ri n - e q u a l i t yc o n s t r a i n e do p t i m i z a t i o np r o b l e m s u n d e ra s e to fs u i t a b l ec o n d i t i o n s ，w e p r o v et h ea s y m p t o t i cs t a b i l i t yo ft h et w od i f f e r e n t i a ls y s t e m sa n dl o c a lc o n v e r g e n c e p r o p e r t i e so ft h e i re u l e rd i s c r e t es c h e m e s ，i n c l u d i n gt h el o c a l l yq u a d r a t i cc o n v e r g e n c e r a t eo ft h ed i s c r e t ea l g o r i t h mf o rs e c o n do r d e rd e r i v a t i v e sb a s e dd i f f e r e n t i a le q u a t i o n s y s t e m u n d e rt h i sf r a m e w o r k ，t w os p e c i f i ce a s e s ，t h ed i f f e r e n t i a le q u a t i o ns y s t e m s g e n e r a t e db yt h ee x p o n e n t i a ll a g r a n g i a na n dt h em o d i f i e db a r r i e rf u n c t i o n ，a r ed i s - c u s s e d k e yw o r d s ：n o n c o n v e xc o n s t r a i n e do p t i m i z a t i o n ；d i f f e r e n t i a le q u a t i o nm e t h o d ； q u a d r a t i cc o n v e r g e n c e ；a s y m p t o t i c a ls t a b i l i t y ；c o n s t r a i n tq u a l i f i c a t i o nc o u - d i t i o n ；n o n l i n e a rl a g r a n g i a n i v 独创性说明 作者郑重声明：本博士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或其他单位的学位或证书所使用过的材料。与我一同工作的同志对 本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名全叠日期：丝! ：! 兰：三! 基于二阶导数的非凸约束优化的微分方程方法 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士，博士学位论文版权使 用规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和 电子版，允许论文被查阅和借阅本人授权大连理工大学可以将本学位论文的全部或 部分内容编入有关数据库进行检索，也可采用影印，缩印或扫描等复制手段保存和汇 编学位论文 作者签名 导师签名 会甬 大连理工大学博士学位论文 1 绪论 本章首先回顾了非线性优化问题微分方程方法的发展历程，重点分析 了e v t u s h e n k o z h a d a n 的工作思想与特色然后简要地介绍了与该方法密 切相关的微分方程稳定性理论在本章的最后，扼要地列出本文的研究内 容和主要结果 1 1 引言 非凸约束优化问题由于具有广泛的应用背景和理论与算法研究的挑战性一直成为 人们研究的热点出现了很多有效的求解方法，如惩罚与障碍函数法，增广l a g r a n g e 方法，s q p 方法，信赖域方法，等等 增广l a g r a n g e 函数最早由a r r o w 和s o l o w 1 】在研究等式约束的微分方程方法时 提出，首先被h e s t e n e s1 2 j 与p o w e l l 目用于求解等式约束最优化问题，由r o c k a f e l l a r 4 1 推广到求解含有不等式约束优化问题，b e r t s e k a s 5 对增广l a g r a n g e 方法进行系统地 深入研究目前这一方法仍然具有生命力，比如它被推广用于求解h i l b e r t 空间的最 优化问题与非凸半定规划问题等，见文睁7 】 序列二次规划问题( s q p ) 方法可追溯到1 9 6 3 年w i l s o n 【8 l 的论文，上世纪七十年 代中期由g a r c i a - p a l o m a r e s 与m a n g a s a r i a n 吼h a n 1 0 一1 1 j 和p o w e l l 1 2 - 1 4 等深入研究， 得到拟牛顿形式的s q p 方法及全局收敛的s q p 方法由于s q p 方法实际计算的有 效性，它一直备受学者们的关注，见文【1 5 17 】 信赖域方法由于其全局收敛性质好而备受包括p o w e l l ，f l e t c h e r ，t o i n t ，g o u l d ， c o r m ，n o c e d a l ，袁亚湘等众多著名数值优化专家的关注，关于这一面的综述可参看1 6 1 和专著 1 8 】 由于很多简单的最优化问题，如线性规划，二次规划等，其神经网络方法往往用 微分方程系统来描述，见文 1 9 】，非线性优化微分方程的研究可为一些神经网络方法提 供理论支持周丽美j 对基于一阶导数的微分方程系统进行系统地研究，其离散迭 代格式的算法一般说来是线性收敛的我们试图利用二阶导数构造微分方程系统求解 非凸约束优化问题以获得超线性，甚至是二次收敛速度，这是本文选题的动因之一 由于微分方程系统的求解有很成熟的数值解法，比如m a t l a b 中有r u n g e - k u t t a 方法的成熟软件等将这些数值软件用于求解非凸约束优化问题在实际计算中可能获 得良好的效果，这是本文选题的第二个动因 自上世纪七十年代初，e v t u s h e n k o 等对约束优化问题的一类型微分方程方法进 行深入研究，这类方法具有障碍稳定性，如果某一时刻微分方程的解落在可行域内， 则此时刻之后的解轨迹全部是可行的我们一直认为e v t u s h e n k o 等人的工作没有得 基于二阶导数的非凸约束优化的微分方程方法 到充分地重视，也试图在这一方向上，尤其二阶算法方面取得一些结果，这也是本选 题的动因 1 2 非线性最优化微分方程方法的研究现状 e v t u s h e n k o 和z h a d a n 2 i - - 4 i i 是研究非线性最优化微分方程方法的代表性人物， 他们对非线性规化和线性规化问题的微分方程解法进行了深入的研究，关于等式约束 的非线性规化问题，他们提出了障碍投影法和障碍牛顿法，关于不等式约束的非线性 规化问题，他们利用空间变换的技术，即通过一个满射变换将原问题转化到新空间中 只有等式约束的问题，再根据障碍投影法和障碍牛顿法建立相应的微分方程系统求 解原问题的最优解实质就是求解微分方程的平衡点，还可通过微分方程的离散迭代法 来得到原问题的数值解这种算法不要求初始点是可行点，可是当迭代点一旦进入可 行域，微分方程系统就能起到障碍的作用，使得后面的迭代点都在可行域内，不再离 开可行域由于这种算法不使用传统的障碍函数或惩罚函数，因此具有较快的收敛速 度在适当的条件下，障碍投影法具有一阶收敛速度，障碍牛顿法具有二阶收敛速度 e v t u s h e n k o 和z h a d a n 首先系统地研究了线性规划问题的微分方程方法，根据对 偶理论和一阶最优性条件来建立求解线性规划问题的微分方程系统，其中最典型的方 法是障碍投影法和障碍牛顿法在文2 2 1 中，利用对偶的方法，给出了障碍投影法的 微分方程系统和欧拉离散迭代格式 害= _ g ( 州c 一肌( 瑚，邓，砌锄 z 女+ l = z 七一h k g ( x k ) ( c a t 乱( z ) ) ，x o 0 n ， 其中让( z ) 满足下面线性方程 a g ( x ) a t u ( x ) 一a g ( x ) c = 7 _ ( 6 一a ( z ) ) 同时文【2 4 也给出了障碍牛顿法的微分方程系统 a ( z ) 面d x = 一7 g ( ) ( c a r “( z ) ) ，z ( 0 , x o ) = 蛳， 其中a ( x ) 是g ( z ) ( c a r u ( z ) ) 的j a c o b i 矩阵， a ( z ) = ( 厶一日( z ) ) 0 ( z ) d ( c a 了乱( z ) ) + r 日( z ) ，z ( o ，x o ) = 铷 h ( x ) = g ( z ) a t ( a g ( x ) a r ) 一1 a 相应的欧拉离散迭代格式为 x k + 1 = z k h k a 一1 ( z 七) g ( 钆) ( c a t u 扛) ) ， 2 大连理工大学博士学位论文 e v t u s h e n k o 和z h a d a n 将成熟的求解线性规划问题的微分方程方法推广到非线 性规划问题中，障碍投影法和障碍牛顿法仍然是有代表性的方法关于具有抽象约束 z p 的问题，他们利用空间变换技术将不等式约束问题转化为只有等式约束的问 题，给出如下障碍投影法的微分方程系统 一个 景= 一g ( x ) l 。( z ，u ( z ) ) ，x ( o 渤) = 跏p ， r ( z ) “( z ) + g 。g ( z ) + 厶= 丁9 ( z ) ， 其中r ( z ) = 9 ；( z ) ，g ( x ) = j ( x ) j t ( x ) ，和障碍牛顿法的微分方程系统 ) 警= 一d ( q ) d ( 咏) ) “训( 硼，硼，训= 跏， 9 k ( z ) d ( 口( z ) ) l 。( z ，“( z ) ) = 7 - 9 ( z ) ， 其中o t 卫妒是尺度化向量，a ( x ) 是映射g ( z ) l ( z ，札( 。) ) 的j a c o b i 矩阵与后一系 统相对应的欧拉离散迭代格式 x k + l = z 膏一h k a 一1 ( z ) d ( 曰( z 知) ) k ( z k ，“( z 七) ) ，“k = 乜( z ) 求解不等式约束问题的障碍投影法微分方程系统具有下面的形式 警= 也( 删( z ) ) ，面d p = 一g 百d g ( z ) = 川( 巩掣= 叫) 切 由( 1 1 ) 的后两式有下面的积分形式 g ( x ( t ，z o ) ) = 夕( z o ) e 一7 。， h ( x ( t ，知) ) + p ( t ，z o ) = ( h ( x o ) + p o ) e 一” ( 1 1 ) ( 1 2 ) 由( 1 2 ) ，我们可以得出当r 0 ，t o 。时，( 1 1 ) 的解轨迹将越来越趋近可行域，当 迭代点一旦进入可行域，微分方程系统( 1 1 ) 就起到障碍的作用，使得后继的迭代点 都在可行域内，不再离开可行域，这也就是障碍的含义，这种算法运用空间变换思想 方法来获得通过可行域内部的迭代点列 关于不等式约束问题，e v t u s h e n k o 和z h a d a n 没有进行障碍牛顿法的研究在他 们所给出的方法中，也很少研究算法，算法的收敛性和算法的收敛速度等问题，也缺 少相关的数值实验，这样就给我们留下许多值得研究的课题 2 0 0 0 年，张 4 2 - - 4 3 改善了e v t u s h e n k o 和z h a d a n 2 1 l 的微分方程方法，提出了两个 校正系统 一m 等= 一s ( z ) v ：( 2 ，伽( z ) ) ， ( 1 3 ) _ d h f ( z ) = 垂( 日( z ) ) ， 3 基于二阶导数的非凸约束优化的微分方程方法 和 篆= 一v 。l ( x ，u ( z ) ) ， ( 1 4 ) 1 d h ( f x ) ：g ( ( 茁) ) u ( z ) + 圣( ( z ) ) 第一校正系统( 1 3 ) 拓宽了e v t u s h e n k o 和z h a d a n 的微分方程方法，当b ( z ) = 厶+ m ， 西( 日( 2 ) ) = 下日( z ) ，r 0 时，则得到e v t u s h e n k o 和z h a d a n 的结果第二个系统( 1 4 ) 通过引入新的方程导出乘子函数，它无需使用e v t u s h e n k o 和z h a d a n 所用的那样强的 约束规范这两个系统都是基于目标函数和约束函数的一阶导数建立起来的，在文 4 2 中没有讨论基于二阶导数的微分方程系统 还有许多学者对微分方程方法做了大量的研究，建立了各种各样的微分方程系统 求解或处理优化问题，这方面最早的工作由a r r o w 和h u r w i c z 4 4 提出，他们解决的是 等式约束同题f i a c c o 和m c c o r m i c k 4 6 j 用微分方程方法研究了约束规范问题 b o t s a r i s 与a m a y a 4 s , 4 9 1 定义了求解无约束优化问题的微分方程系统 蓑= 一q ( z ) _ v f ( ) ， 其中q ( x ) 是对称正定矩阵在v 2 ，( z ) 正定的情况下，证明了通过此微分方程系统求 得的解是优化问题的最优解；在v f ( x ) 的水平集是凸性的假设下，得到了该系统的收 敛性定理关于无约束优化问题，r o d r i g u e z - v a z q u e z 5 0 ) ，c i c h o c k i 和u n h b e h a u e n 1 q 也提出了基于最速下降法的微分方程系统 面d x = 一w r y ( z ) ， 其中是对称正定矩阵，在此条件下系统的平衡点对应于问题的局部最优解 o s o w s k i 5 1 1 ，c i c h o c k i 和u n h b e h a u e n 对上述系统进行改进和发展，根据n e w t o n 法 提出了新的微分方程系统 面d z = 一w v 2 m ) 一1 v f ( z ) ( 1 5 ) 基于n e w t o n 法的新系统具有较快的收敛性，但有时h e s s e 阵会出现奇异性问题， 为了避免出现这种现象，c i c h o c k i 和u n h b e h a u e n 再一次改进系统( 1 5 ) ，重新给出 l e v e n b e r g - m a r q u a r d t 法的微分方程系统 面o , t = 一w v 2 m ) - t - 7 i v f ( x ) ， 其中为单位矩阵，7 为一适当的正数 许多学者也利用微分方程方法处理等式约束问题b r o w n 和b a r t h o l o m e w - b i g g s l 5 2 删 根据罚函数的思想，提出了含有罚函数的微分方程系统， 警一未吣，r ) ，面2 一瓦恤，”j ， 4 大连理工大学博士学位论文 其中垂( o ，r ) = f ( z ) + ：名l 玩( z ) 是外点罚幽数，由于在计算过程中，r 不能取得非常 大，因此只能得到近似解，存在着一定的误差界为t i $ 到所要求的精确度，t a n a b l e 5 4 1 ， y a m a s h i t a 4 q 利用l a g r a n g e 函数和k k t 条件，分别建立了下面两个微分方程系统 面d z = ( s - q ( z ) ) ( 一v f ( ? ) ) ， 其中，q ( x ) = v h ( z ) r ( v h ( x ) v h ( x ) r ) v h ( x ) 和 面d x = 一( v m ) + v h ( z ) t “( z ) ) ， ( 1 6 ) 掣= 叫z ) 其中b ( x ) 形“是对称正定矩阵，7 - 0 为常数在研究( 1 6 ) 的解轨迹时， y a m a s h i t a 发现奇点矿附近的情况非常复杂，将阻碍证明系统的稳定性于是根据牛 顿法的思想将( 1 6 ) 改进为 v ：。l ( z ，札( z ) ) 面d z = 一( v m ) + v h ( z ) t u ( z ) ) ， dh(x)：一(z)dt 、， 该系统不但具有二阶收敛速度而且克服了上述的困难，使得在矿附近的解变为 z ( t ) 兰z + ( x ( o ) 一z $ ) e 一 同时，y a m a s b 5 t a 还利用迹连续的技术，把严格限制在平衡点邻域内的收敛域做了- 相 应的扩大，这样就更加有利于研究系统的收敛性，关于收敛性的研究，s m i r n o v 5 5 提 出了一种向量李雅普诺夫方法，也在较弱的条件下，解决了收敛性问题。 通过推广上述方法，z h a n g 和c o n s t a n t i n i d e s 5 6 j 也给出了基于l a g r a n g e 函数的 微分方程系统来求解等式约束问题， 警a ：一v 。l ( 。，a ) ， ( 1 7 )j “一、，7 、 警：一v l ( z ，a ) ， ( 1 8 ) 、 ，、一， 其中l ( x ，a ) = f ( z ) 4 - h ( x ) ，a 剜为l a g r a n g e 乘子向量从( 1 ，7 ) 中，可以得到 问题的最优解，( 1 8 ) 可以保证解轨迹收敛于可行域内只有当甓。l ( x ，天) 在收敛域 内正定时，才能得到问题的最优解，即局部最优解的存在是依赖于优化问题的结构凸 性为了减弱这个条件，他们提出了基于增广l a g r a n g e 乘子法的微分方程系统 鲁= 一差一盖l 如+ 如( 瑚尝，i = 1 ：r 硼， ( 1 9 ) 百d a 3 = 吩( z ) ，j = 1 ，f 5 基于二阶导数的非凸约束优化的微分方程方法 在( 1 9 ) 的基础上，z h a n g l 5 7 】等又提出了二阶的微分方程系统 v v ：。h l ( ( z z ) r a ) v _ i ；：。 ：；：； = 一 v 2 ：! ia ， 这一系统对h e s s e 阵v ：。己( 。，天) 在收敛域内无正定性要求 对于只有不等式约束的系统，k e n n e d y 和c h u a 5 9 】利用梯度法和罚函数法给出了 下列微分方程系统 厶皇曼：一d r ( x ) 萎t 蚴 岛面2 一百；擎专茅， 其中岛为正数， j = p j ( g j ( z ) ) ，并且 一协蒜 由于该系统的惩罚系数不能任意大，从而降低了微分方程求解的准确性因此r o d r i g u e z - v a z q u e z 等( 1 9 9 0 ) i 5 0 】修改了惩罚系数的形式，给出 警= 一坤瑚百d r ( z ) + 辔圳北 掣 ，渊， 其中 ( 2 ) ： 1 ，o j = 1 ，。，m 10 ，否则 l i l l o 等也对k e n n e d y 和c h u a ( 1 9 9 8 ) 5 9 l 的系统惩罚系数进行了修改，提出了下面 的系统 警= 一搏，一c 擎掣) + 岛掣 ， 其中，口是饱和函数，口在拐点z = 一卢和z = 卢处经过光滑处理后的非线性函数， f 鸭z ，y ，易= 眨( o a x ) ) ，呔( 毋 ) ) = m i n 0 ，既( ( 毋0 ) ) ) ，e 0 ，由 于( 近似为0 ，所以玛又可以近似为乃= s g i l ( ( 毋( z ) ) c 2 一c 2 由于非线性l a g r a n g e 函数可用于构造求解非线性优化问题的对偶算法，而对偶算 法对原始变量的可行性没有限制，因此许多学者也用此来构造微分方程系统c i c h o c k i 和u n b e h a n e n l l q 基于增广l a g r a n g e 函数 l ，肛，q = ，( 。) + 1 2 j 曼= 。 去( “礼 。，地+ 9 ( 叫) ) 2 一； ， 6 一盔整望三盔兰竖主兰堡丝塞 给出 其中心，k i 和p i 都是正的变量或常数，通常情况下，一p j k , 非常小，可以忽略在增广 l a g u r a “g e 函数病态的情况下，c i c h o c k i 和u n b e h a u e n 6 1 】引入了正则化( r e g u l a r i z a t i o n ) 项，以消除惩罚项造成的不稳定，给出了正则增广l a g r a n g e 函数 ，p ，) 2m ) + 薹( z ) r jikl(x 4 - 。( m 一詈酗 ，p ，) = ，( z ) + 星阻。h ) 一二。( h ) 】一) 2 一芸釜p ? 其中b ( z ) 】- = m i n g ( x ) ，一地缸) ，地0 ，a 0 是正则化参数，以及相应的微分 方程系统 面d x j 一d r ( x ) 弘柏删蝴) 警刊酬z ) - a # i ，i 吐m 针对具有等式约束和不等式约束的优化问题，z h o u i s s j 通过引入松弛变量z ，将 非线性规划问题转化为等式约束问题 s t s = v ，+ ”1 日c ，= ( ：耄一严，。) = 。) ， 其中y = ( z ，z ) ，= 俐或= 0 ，i = 1 ，m ) 表示夕( z ) 的紧约束指标集，在梯度 v 忍z ( z ) ，v h i ( x ) 与v 肼( z ) ，i i ( x ) 线性无关的条件下，他提出了下述微分方程系 统 ( s o d z a t 旷i ( 裟黔h ) = ( 一鬻) ， ( 吲v h ( 妒x ) d z d t d x d t d ( z i ) d z d t ) = ( 二鼽z = 2 ) ， _ = l_ 、v 9 ( z ) 丁 一g ( z ) + 其中d ( 磊) = ，姆旎z h a n g 和c o n s t a n t i n i d e s 5 6 】也采用类似的转换方法，并利用 j ) o ! m 掣一 枷 k 烈 = 剐 & 啦f 钞 倦一 堕出唑出 一茎量三堕墨錾塑韭鱼竺塞垡丝堕堂坌查垄查鳖 l a g r a n g e 函数提出了微分方程系统 面d x t 一百d f ( x ) 一厶j = l 掣一参掣 面d y k = 一2 触瓤，是= 1 ，z ， 訾= ( z ) ，j ：1 ) 删， 警= 吼( z ) + 可2 ，七：1 ，f 黄远灿【6 3 一删等不通过上述的转换方法，即不需要增加人工松弛变量而是直接利用非 线性拉格朗日函数v 。c ( z ，a ，p ) = ，( z ) + a 丁 ( 。) 一p 军，p 军： 2 ，砖2 ) ，来构 警= 吨球，咖) 等= v 倒，n 苦= 乳a n 不同于上述想法，m a s s 和m i c h a e l 6 s 则提出了一种分阶段的微分方程系统，当0 t t 1 时，