（应用数学专业论文）求解最优化问题的非线性共轭梯度法.pdf

礴学位论文 摘要 本文研究求解光约束优化问题和带简单有界约束优化问题的非线性共轭梯度 法，并讨论这些方法的全局收敛性和数值表现 我稠曾先在筹1 鬻麓摹熬费绥零文将要骚究豹溺蘧懿鸷景穰墨枣结栗，程繁善4 章提出几种修正的非线性共轭梯度法，分别称为m f r 方法，m p r p 方法和m h s 方 法这几种修正方法的一个最重要的特征是能产生充分下降方向，即搜索方向毗满 足鲰一一| | 冁一这种性质不依赖方法辑采用的线性搜索这也是本文提出的算法 与e 袁的嚣绫经共藐梯发法懿主要嚣羯之一魏静，当采旅耩磺缓往援索霹，m f r 方法，m p r p 方法和m h s 方法分剐退化为标准的f r 方法，p r p 方法和h s 方 法因此，当日标函数是严格凸的二次函数，且采用精确线性搜索时，这些修正的 共轭梯度法具有共轭瞧秘二次终止憔。 在一定条彳孛下，我嬲证霸采蘑檬准a r m i j o 缓髓搜索稻w o l f e 缓缝搜索的m f r 方法求解非凸极小化问题的全局收敛性我们在第3 章还提出一种修正的a r m i j o 线 性搜索并证明m p r p 方法在该修正的a r m i j o 线性搜索下求解非凸极小化问磁的全 局收敛戆， 注慧列对于共轭梯寝法，襁始步长静选取对簿法盼数值效祭裔较大影响，我们 在第3 章提出一种自调比的初始步长策略，数值结果表明在大多数情况下，本文提 出的初始步长选取策略是可接受的，从而减少了躏数值的计算次数，提高了算法的 有效瞧。 为了证明m h s 方法的全局收敛健，我们对m h s 方法又掇嬲两种修正形式，称 为m m h s 方法和c m h s 方法，这两种修正方法仍然保持靠巩一一恢1 1 2 的性质在 适当的假设条件下，我们证明m m h s 方法和c m h s 方法在标准a r m i j o 线性搜索和 w o l f e 缓瞧溲素下用予零绥菲凸投夺镌霆题蒌孛也獒毒全弱教敛瞧。雯为重要戆疑， 我们测试1 tc u t e 函数库中大量的恶约束优纯问颞，数值结栗裘明，本文的算法非 常成功，特别是m p r p , m m h s 和c m h s 方法基本上可与c g d e s c e n t 方法相媲 美 零文第5 章，我爨褒d y 算法孛萼| 入一释控溺壤熨，拳l 薅魏准裂疆毒一耱最速 下降* d y 型混合算法该算法也能产生下降方向在一定条件下，我们证明浆取标 准a r m i j o 线性搜索的遮种混合算法求解非凸无约束优化问题的酝局收敛性 我们谯筹6 7 章分别提出一种嚣攀凋的共轭梯度法帮固定步长策略下的共辗梯 废法，并涯臻m f r ，m p r p , m m h s ，c m h s 方法程嚣擎疆静a r m i j o 鼙缓毪整索裙取 固定步长策略下求解非凸目标函数时的全局收敛憔此外，我们在第6 章还键出一 种杂交的p s 方法并诚明该方法求解a # 凸问题的垒局收敛性 最露程第8 章，我稠提出一秽装鳃筒单有器约策优化越颞的非线性共妪梯度 法，设方法能产生可稽下降方蠢。农逶当约条 串下，我们建立滚方法豹全弱收敛往 博士学位论文 定理 关键调： # 线性共辘糖度法；线性搜索；兖癸下降方尚；全局l l 雯敛性 a b s t r a c t i nt h i sp a p e r ，w ep r o p o s es o m en e wn o n l i n e a rc o n i u g a t eg r a d i e n tm e t h o d sf o rs o l v i n g l l n c o n s t r a i n e da n db o xc o n s t r a i n e do p t i m i z a t i o np r o b l e m s t h e ya r e1 2 1 0 擞f i c a t i o n sf o r t h ee x i s t i n gw e l l k n o w nc o n j u g a t eg r a d i e n tm e t h o d s w ee s t a b l i s ht h eg l o b a lc o n v e r g e n c e t h e o r yf o rt h ep r o p o s e dm e t h o d sa n dr e p o r te x t e n s i v en u m e r i c a lr e s u l t s w ef i r s tp r o p o s es o m em o d i f i e dn o n l i n e a rc o r i u g a t eg r a d i e n tm e t h o d si nc h a p t e r s 2 - 4w ec a l lt h e s em o d i f l e dm e t h o d sm f rm e t h o d 、m p r pm e t h o d m h sm e t h o d r e “ s p e c t i v e t y a ni m p o r t a n tp r o p e r t yo ft h e s em o d i f i e dm e t h o d si st h a ta te a c hi t e r a t i o n ， t h em e t h o d sc a ng e n e r a t eas u f f i c i e n td e s c e n td i r e c t i o nd ks a t i s f y i n g 霹g k = 一| | 舰限t h i s p r o p e r t yi si n d e p e n d e n to fl i n es e a r c hu s e d m o r e o v e r ，i fe x a c tl i n es e a r c hi su s e d ，t h e m f i tm e t h o d ，m p r pm e t h o da n dm h sm e t h o dr e d u c et ot h es t a n d a r df rm e t h o d ， p r pm e t h o da n dh sm e t h o dr e s p e c t i v e l y c o n s e q u e n t l y , w h e na p p l i e dt om i n i m i z ea s t r i c t l yc o n v e xq u a d r a t i cf u n c t i o n 。t h ep r o p o s e dm e t h o d st e r m i n a t e 鑫tt h es o l u t i o no ft h e p r o b l e mf i n i t e l y u n d e rm i l dc o n d i t i o n s ，w ea l s op r o v et h a tt i l em f rm e t h o dw i t hs t a n d a r da r m i j o o rw 0 1 f el i n es e a r c hc o n v e r g e sg t o b a l l yf o rn o n c o n v e xf l m e t i o n s m o r e o v e r mp r o p o s ea m o d i f i e da r m i j ot y p el i n es e a r c hm i de s t a b l i s hag l o b a lc o n v e r g e n c et h e o r yf o rt h em p r p m e t h o dw i t ht h i ss e a r 出 i no r d e rt oi m p r o v et h ep e r f o r m a n c eo fc o n j u g a t eg r a d i e n tm e t h o d s ，w ea l s op r o p o s e as t r a t e g ya b o u tt i l ec h o i c eo fi n i t i a ls t e p l e n g t h o u rn u m e r i c a lr e s u l t ss h o wt h a tt h i s s t r a t e g yd oh a v es o i n ea d v a n t a g e t h ei n i t i a ls t e p l e n g t hi se s s e n t i a l l ya c c e p t e df o rm o s t p r o b l e m s 弱e n s u r eg l o b a lc o n v e r g e n c eo ft h em h sm e t h o d ，w ea l s oi n t r o d u c et w om o d i f i e d m h sm e t h o d s w h i c ha r ec a l l e dm m h sm e t h o da n dc m h sm e t h o dr e s p e c t i v e l y , t h e s e t w om e t h o d ss t i l lr e t a i nt h ep r o p e r t yg t d k 一一1 陬u n d e ra p p r o p r i a t ec o n d i t i o n s ，w e p r o v et h a tb o t hm m h sm e t h o da n dc m 珏sm e t h o dw i t ha r m i j oo rw o l f el i n es e a r c h a r eg l o b a l l yc o n v e r g e n tf o rn o n c o n v e xn f i n i m i z a t i o n s w ea l s ot e s tt h e s et w on m t h o d s f o rn l a n yu n c o n s t r 蕊n e dp r o b l e m sf r o mc u t el i b r a r y t h ee x t e n s i v en u n l e r i c a lr e s u l t s s h o wt h a tm p r p m m h sa n dc m h sm e t h o dp e r f o r mv e r yw e l l 。t h e ya r ea sg o o da s c g _ d e s c e n tm e t h o d i nc h a p t e r5 。w ei n t r o d u c eac a u t i o u sc o n t r o lr u l ei nd ym e t h o da n dp r o p o s ea h y t b r i dm e t h o dt h a ti sac o m b i n a t i o no ft h es t e e p e s td e s c e n tm e t h o da n dd ym e t h o d w es h o w 疆惑t h eh y b r i dm e t h o di sa 1 8 0ad e s c e n tm e t h o d u n d e rm i l dc o n d i t i o n s ，w e p r o v et h a tt h eh y b r i dm e t h o dw i t hs t a n d a r da r m i j ol i n es e a r c hi sg l o b a l l yc o n v e r g e n tf o r n o n c o u v e xm i n i m i z a t i o n s 博士学他论文 w es t u d yi nc h a p t e r s6 - 7 t h ea p p l i c a t i o n so fn o n m o n o t o n el i n es e a r 出t e c h n i q u e mf i x e ds t e p l e n 审hr u l emt h ep r o p o s e dc o n j u g a t eg r a d i e n tm e t h o d s w ep r o v et h a t m f r m p r p , m 瓤h s ，c m h sm e t h o d sw i t hn o n m o n o t o n ea r m i j ot y p el i n es e a r c ho r f i x e ds t e p l e n g t h ea l s og l o b a l l yc o n v e s g m i t i nc h a p t e r6 ，w em s op r o p o s eah y b r i dp s m e t h o da n de s t a b l i s hi t sg l o b a lc o n v e r g e n c et h e o r e mt b rn o n e o n v e xm i n i m i z a t i o n s f i n a l l y , w ep r o p o s ean o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o df o rs o l v i n gb o x e dc o n s t r a i n e do p t i m i z a t i o np r o b l e m si nc h a p t e r8 t h i sm e t h o dc 啦g e n e r a t el e g i b l ed e s c e n t d i r e c t i o n sa n di s9 1 0 b a l l yc o n v e r g e n t k e yw o r d s ：n o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o d s ；l i n es e a r c h ；s u f f i c i e n td e s c e n t d i r e c t i o n ；g l o b a lc o n v e r g e u e e v 薅学魏论文 r 1 ： 捉三： r ”： 冀翌： r ”。“： a 一1 ： v ： m i n ( z ，y ) i i l ：k x ( x ，y ) 1 1 ： 昏b ： p 符号表 实数空间 1 负数全露 n 维实列向缀空间， n 维菲负实列向薰全体 n 髓阶矩阵的集合。 矩阵a 的逆矩阵 任意懿， 存在 ，y 串取较小的数 甄y 中取较大的数 舻中的欧几里得藏数 舻中瓣无穷莲数。 无穷和 v i i i 湖南大学 学位论文原创性声明 本人郑黧声明：所量交酶论文是本人在导耀酶撼导下独立避行研究所取 得的研究成果。除了文中特别加以标淀弓f 用的内容外，本论文不包含任何其 他个人或集体融经发表或撰写的成果作品。对本文的研究做出鼹要贡献的个 人强襄终，翅琵在文中滋骥疆方式掭臻。搴又宠全意识到本声羧懿法禳露果 由本人承担。 作者签名： 、7 曩期；多缪辫 月8 嚣 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规烧，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子舨，允许论文被查阏 零羹辔鬻。本人授投溃鬻大拳鞋将本学佼论文懿全都或部分蠢豢绽入寿关数 据库进行检索，可以采用影印、缩印戏扫描等复制手段保存和汇编本学位论 文。 本学位论文属于 l 、保密舀，在年勰密露试蔫本授权书。 2 、不保密匹一 ( 请猩以上相应方框内打“”) 作者签名 导师签名 日瀚。州年善月基，匿 b 辩门6 冬另拳日艄舌v g p 占 l l 、 ”yil穗鬓黧藿 博士学德论文 第1 章绪论 本文主要研究求船无约浆优亿闻题的非线往共轭梯度法，由于非线性共轭梯穗 法是由线性共轭梯度法引导出来的，因此，我们先简单的介绍线性必轭梯度法，然 后介绍非线性共轭梯度法的研究状况和已有结果， 1 1 线幢共轭梯度法 线性共轭梯度法是h e s t e n e s 和s t i e f e l 在求解线陡方程组 a x = b ，鬈掣 时分剃独立掇豳的4 ，德们合作的著名文章 3 】巴经成为研究共辍梯度法的重要文 献容易看到，当a 对称碱定时，上面绒性方程组的求解等价于求解下面的二次最 优化问题 r a i n = 1 茗t a x 一矿鬈，彤 附此，h e s t e n e s 和s t i e f e l 的方法可以肴佯求二次函数极小值的共轭梯度法线性共 轭梯度法的一般格式如下； 冀法1 1 1 ( 线瞧共轭撵度法) 步0 选取杨始点铷舻令7 0 = a x o ，d o = 一轴，置：= 0 步1 如果i h | | s ，则停止否则计算步长因子 r t r k 觎。一- 露a d k 令下一个迭代点为； 步2 计篇参数 o + l 竺矾+ o k f k ，r + 1 = a 霸l b m 雠； d k + l = 一r + 1 + z k + 1 _ d k 置k ：= + l ；转爹1 。 线性共轭梯膦法的一个显蒋特点是算法产生的方向呶，= 0 ，1 必于a 共轭，因 而具有有限终止性所谓的共轭性指的嫩当a 对称正定时，如果舻中的非零向嫩 d 1 ，d 2 ，氐瀑是 a 由一o ( i 力， 这时我们就称d 。，也，d 。关于a 共轭所谓的算法舆有有限终止性指的是算法最 多经有疆次这代终止于阕髓约最傀鳃绒性共辘梯度法有下面的一揍萋本性质，参 觅文献淄 求解最优化问髓的非线性共轭梯度法 定理1 1 1 算法1 , 1 1 经过不超过次迭代就会终止，即存在m 氇使碍? ，。l 一0 而且对一切1 曼k m 和1 j 一1 ，都有 r ：氐= 一阮限r a r j 一0 ，r t d j = 0 ，7 善勺= 0 关于线性哭轭梯度法的较全面的介绍，可参觅文献 5 ，6 1 1 。2 菲线性共轭梯凌法 f l e t c h e r 秽r e e v e s 较晕的将线性菸妪梯嶷法毂思想墩曩于求解# 线性媛捷德闼 题m 设，：舻一r 连续可微，g ( z ) 为，谯x 处的梯度非线性共轭梯度法求解 无约束极小话黼怒 r a i n ，彤( 1 1 ) 的一般格式如下： o + l = 嚣十n d ，女= 0 ，1 ，( 1 2 ) 其中，“女圭菜黪线性搜索褥到。攘索方岛d t 走下式定义； 磊= 一- g 鲰k 州，纂篡 。， 其中蠡怒参数反的不阊取法辩应于不同的非线性共轭梯度法著名的有1 9 5 2 年 h e s t e n e s 耱s t i e f e l 摄躜的h s 方淡【3 】，1 9 6 4 零f l e t c h e r 帮r e e v e s 提文终f r 方法 7 1 ， 1 9 6 9 年p o l a k ，r i b i a r e 和p o l y a k 分别独立提出的p r p 方法商q ，1 9 8 7 年f l e t c h e r 提 鑫静c d 方法【“，1 9 9 1 年l i uj f 疆s t o r e y 据崮豹l s 方法朝，2 0 0 0 年d a i 和y u a n 疆 出的d y 方法这些方法中的参数熙分别由下蕊各式给出； 霄一器， 蘼。一蒜 赜醛= 器t ， 卯。一怒 磴8 一石g 著y 磊k - 1 ， 舻一一老t 基1 其中y k 一1 = g k 一肌“g k = 目( z ) 鳃暴葵法1 1 。i 申黪魄用瓤找骜，煲l 算法lz 1 1 裁变成了f r 方浚。医j 愆，f r 方 法魁线性共轭梯度法的推广此外，我们看到这些非线性共轭梯度法的表达式形式 简攀，易予编程，登其需要计算稻存储秘标蠡效的梯度值与牛顿壅算法繇= h k g k ( 趣为，农繇她的海色逆近似) 楣比，共轭梯度法的存德量大大减小，因面更嬲适 用于求解大规模问题尽管最速下降法d * = 一g * 更为简单，但是最遵下降法收敛速 嶷骥，是爨专线性故皴速发，并援褰赛产生锻鹰瑗象。当交蠡瀑数爨凸二次丞数， 步长n 。实旋精确线性搜索且第一个搜索方向是最速下降方向时，上面的六种非线 性共轭梯褒法等侨蔼旺变为标准的线幢共轭梯度法困既，它们也继承了线佳共轭 梯度法的许多好的性质 ，2 。 博士学位论文 迄今为壹，毒关上嚣嚣非线性菸辘搽度法鳃骚究尤其是垒褥收敛幽斡戮宠取褥 了很大的进展江蠲为了保证算法黛羯收敛，一般需要采取菜种线性搜索。我船下 面介绍几种常用的确您步长因子n 的线性搜索准则 精确线性搜索t 求溉满足： ，( 十o k 如) 一j 舞，( + a d * ) ( 1 匐 a r m i j o 线性搜索。给定p ( 0 ，1 ) ，求瓯= m 腻 矿，j = 0 ，l ，2 ，) 满足： ，( 嚣+ _ ( * k d k ) sf ( z k ) 十6 。k 薪i 靠 ( l 5 ) w o l f e 线性搜索t 求o 满足： ，谚+ 饿磊；s ，0 女) 十& t i 甄t 蟊，曩蓐) 和 d t g ( x b + o t k d k ) 盯取， 冀审0 5 sd 1 强w o l f e 线性搜索：求o k 满慰： ，( 。+ 锨蟊) 兰，( 鬈女) + 5 理蕊蟊， 和 i d ：9 ( 茹k + d d k ) i 基o j d i g k i ， 其中0 6 s 拶1 。 ( 1 7 ) ( 1 8 ) ( 1 9 ) 精确线性搜索在理论分析时具有重鞭意义，由予它具体实现越来计算量很大，因此 在实际计算中，一般采用a r m i j o 搜索和w o l f e 型搜索有关邋然线性搜索的窳现方 式可参照文漱f 1 4 】 我瓣称灌廷瓤 0 懿援索方淘蟊菇下海方淘，稼总是黪产垒下簿方怒懿葵法 为下降算法由呶的定义，不难发现，采用精确绒性搜索时，有鲧d k = 一1 | m f l 。 0 ，5 0 褪p ( 0 ，1 ) ，令 “= 背；j 一0 ，” 使得其满足 ，( 瓤+ 1 ) s ，( 。女一擞弱蟊驴 其孛0 c 2 l c l 爨常数 g r i p p o 秘l u c i d i 涯露了厥始斡p r p 方法在滚线缝 擅索下，对于求解一般的菲凸函数缀小纯离遂垒蠲收敛酾毽楚，g r i p p o 和l u c i d i 没有给出这种算法的数值例子 d a i 讨论了p r p 方法的一个新性质 q ，即取常数步长因予的p r p 方法谯每次 迭技郝产生一个下爨方舞，瑟量全麓l | 雯载。毽憝，这秘豢数梦妖嚣手静选取袄耧子 l i p s c h i t z 常数工，丽五往往不髓疆巍估计，困趣农实际计算中不容易操作 ( 3 ) h s 方法 h s 方法与p r p 方法非常类似，它们的收敛性和数值表现都差不多假是h s 方法撵露令p r p 方法不募套豹蘩簧眭凄，藏麓h s 方法灌怒下嚣懿共辕美系： d t y k 一1 = 0 上面的关系式不论搜索是否精确，总是成立的如果线性搜索精确，因为一，y k t = l 巍一l 暇于是毒 8 = 精。 从而由前面的讨论知，采取精确线性搜索的h s 方法求解一般的非凸极小化问题时 不一定收敛类似予p r p + 方法，g i l b e r t 和n o c e d a l 在文献l l 镤讨论了下露憋h s + 方法： 8 h ”= m a x 鹾s ，q s 2 l + 篁 gq 一 0 为常数。h a g e r 稳z h a n g 在文献i 3 7 j 中证臻了h z + 方法灌是g 著蟊 一划弧忾这种充分下降条件不依赖予任何的线性搜索此外，h a g e r 和z h a n g 还提 出了一种近似的强w o l f e 线性搜索并且给出了大嫩的数值结果p ”，这些数值结果表 瞬h z + 方法在这秽逐戗强w o l f e 搜索下表现 紫好，甚至毙b b f 毽s 方法秘p r p + 还好尽管如魏，h z + 方法与p r p + 方法，d l + 方法，y p 方法一样不褥怒一种 标准的必轭梯度法，两是一种修藏的方法，在精确线性搜索下，它不能退化为相应 的标准的h s 非线性共轭梯度法，其全局收敛性诋明类似于d l + 和y t + 方法的证 疆。 ( 4 ) d y 方法 d y 方法的一个熬要特征就是它在w o l f e 线性搜索( 1 6 ) 和( 1 7 ) 下，总熊产生 下降方向d a i 和y u a n 在文献f 1 2 1 申证明了d y 方法在w o l f e 线性搜索下的全局 嫂敛霞魏乡 ，d y 方法其寿谗多突蠡装手b f g s 羧争矮法懿好瞧凌，鸯美这方露懿 工作觅文献闰 自g r i p p o ，l a m p a r i e l l o 和l u c i d i 在文献【3 8 巾成功的将非单调搜索技术虑用到 n e w t o n 法以后，很多人将非单调搜索技术应用予其它的方法，最近，l i u ，j i n g 和 蔓鬟爨了一秘 擎瀵懿强w o l f e 绫毪装素技零势迁露了p r pl 线整荚鬟撵囊法 和h s 非线性共轭梯度法在该搜索下对凸目标荫数全局收敛洲，但是共轭梯艨法求 解非凸极小化问题和谯非单调a r m i j o 搜索下的全局收敛性结果还没有 2 0 0 1 年，s u n 和z h a n g 在文献f 4 0 l 中对共税梯度法弓 入了一种所谤的霹定步长 策蝰，劳洋绣懿讨论了f r ，d y ，c d ，p r p , h s 方法在该蘩略下懿全是浚敛熬+ 事实 上，| 4 0 1 证明了标准的f r ，h s ，d y 方法在固定步长下对强凸翻标函数，p r p 方法 和c d 方法对非凸目橱；函数的全局收敛性c h e n 和s u n 在文献 4 l 】证明了两参数 的共轭梯度法在器定步繁下求孵强热极小化闯题时雏金局收敛憔并绘爨了一凝数僮 结果， 1 3 本文的主要置作 本文我f 】先提出了几种修正懿非线性共轭梯发法，分剐称为m f r 方法，m p r p 方法，m h s 方法这些方法戆藏要优点有； ( 1 ) 本文的算法都是下降算法，产生的搜索方向如均满足究分下降条件鳍d k = 一慨峨并且逸一性质不嵌赖任何的线健搜索。 ( 2 ) 囊采取糖确线瞧搜索对， 狱f r ，m p r p ，m h s 方法分别还器残括懑的f r ， p r p ，h s 方法特别，算法姆有二次终此性 一7 一 求解最优化同髓的非线性共轭梯鹰 辩 ( 3 ) m f r 方法在标壤鳃a m l i j o 缓镶攘索程标准w o l f e 攘素下对翡凸匿拣函数全 局收敛与标准f r 方法不丽，m f r 方法魏敬敛性不依赖浙采用的w o l f e 线 性搜索中的参数矿本文的结果摄a r m i j o 搜索下求解非凸搬小化问题的f r 方法的第一个全髑收敛性结果 4 ) m p r p 方洼蟊m h s 方法产垒豹搜索方霆与l b f g s 公式及无记，辽翡b f g s 公式所产生的搜索方向具有褶阔的形式峨删此外，m p r p 方法在一种 a r m i j o 型线性搜索下求解非凸极小化问题时愈局收敛我们还比较了m p r p 方法和h z + 方法，l - b f g s 方法和p r p + 方法鳃数值表现，测试了函数霹 c u t e 中大量豹麓约素挠诧鬻糕湖，数蘧结袋裘瓯m p r p 方法好于l b f g s 方法和p r p + 方法，与h z + 方法的数值效果相当 ( 5 ) 为_ r 保证m h s 方法的全局收敛性，基于“和f u k u s h i m a 的m b f g s 和 c b f g s 方法黪慝憋随蛳，本文叉对m h s 方法瞧出了鼹耱骖正形式，豁为 m m h s 方法霸c m h s 方法这两种方法仍然保持蠢蟊= 一 吼1 2 的性磺 m m h s 方法和c m h s 方法在橱；糖a r m i j o 搜索和w o l f e 搜索下对非凸目标函 数全局收敛这魑h s 方法在标准a r m i j o 搜索和w o l f e 搜索下求锯非凸免约 泰镶毙耀题毂第一个全嚣故敛霞缝暴太嚣懿效壤结果也表鼷本文戆m m h s 方法和c m h s 方法不比强z + 方法逊色 本文第5 章，基于l i 葶f u k u s h i m a 的c b f g s 的思想p ，我们提出了一种最遮下 降一d y 溅混会算法，该方法总是熊产生下降方肉，我们 芷明了这馘混合型d y 方 法在栋琏静a r m i j o 缓往援索下求解 # 凸投，j 、纯阕蘧的全局羧镀注。这也楚d y 方法关于标准a r m i j o 线性搜索下求解非凸目标溺散的第一个全局收敛性结粜 本文第6 章，我们掇出了一种新的a e 单调的a r m i j o 线性搜索弗证嘤了m f r ， m p r p , m m h s ，c m h s 方法在滚搜索下求薅菲叠缀，j 、馥阉惩戆众鼹| | 芟敛缝 本文第7 章，我们将s u n 和z h a n g 在文献4 0 1 撼出的固定步长策略用于共轭梯 度法，并证明了m f r 方法，m p r p 方法，m m h s 方法在该固定步长策略下求 鼹菲蠡校小诧闻繇霹懿全是收敛瞧霹对，我瓣睫i 讨论了取豢数步长嚣子瓣方 法，并诞明了m m h s 方法取常数步长时对菲凸秘标匾数全局收敛 最后，我们在第8 章提出了一种求解简单有界约柬优化问题的共轭梯度法( b c i v l - p r p 方法) ，该方法的个主要优点就是麓产生霹褥的下降方意。在适当条馋下， 我 j 谨筏了该方法求熊 叠麓单霄器约束侥诧阉糍豹全弱牧簸