（应用数学专业论文）求解优化问题的两种方法的研究.pdf

曼查兰塑兰竺堕墨( ! 塑! 2查丝丝丝塑矍丝竺兰奎篁竺丝兰 i 求解优化问题的两种方法的研究 摘要 这篇论文主要是研究新的共轭梯度算法和新的s q p 方法 第一章，回顾有关共轭梯度方法的基本知识及一些著名成果，描述了b f g s 币b f g s ，t y p e 公式。 第= 章，给出了一类求解非线性无约束优化问题的新的共轭梯度类型公 式，新公式借助著名公式膨口来定义参数的取值范围，和原来的公式比较新公 式不但扩大了参数的取值范围，且仍具有充分下降性，相应算法在广义w 础e 线搜索下具有全局收敛性。 第三章，提出了求解无约束优化问题的另一种新的共轭梯度公式，该公 式是把著名公式蘼r 和劈凡p 有效结合起来构成的，新公式具有充分下降性， 并且相应算法在弱w j l f e 条件下具有全局收敛性。初步的数值结果表明这种方 法是具有前景的。 第四章，利用韦提出的月t ( 2 ) 公式，我们给出了一种a k ( 2 ) 一s q p 方法，该 方法把拟牛顿修正公式b f g s 进行了推广，并结合s q p 方法去解约束优化问 题，相应的算法具有全局收敛性和超线性收敛性。 关键词：共轭梯度法充分下降性m ( 2 ) 一s q p 方法线搜索 全 局收敛超线性收敛 中图分类号：0 2 4 1 苎查兰塑兰兰竺丝墨f 兰翌! 堡2 ：一一 查竺垡些塑整塑苎苎查墨堕翌垄 i i r e s e a r c h o nt w om e t h o d sf o rs o l v i n g o p t i m i z a t i o np r o b l e m s a b s t r a c t o u rm a i np u r p o s ei nt h i sp a p e ri st os t u d yn e wc o n j u g a t eg r a d i e n ta i g o r i t h ma n d n e ws q pm e t h o d i nc h a p t e r1 ，w er e c a l l 让l ef o u n d a t i o n a jk n o w l e d g ea b o u tc o n j u g a t eg r a d i e n tm e t h o d a n ds o m ef a m o u sr 档e a r c h e s ，a n dd e s c r i b et h eb f g sa n db f g s t y p ef 0 咖u l a 8 i nc h a p t e r2 ，w ep r o p o s ean e wl i n do fc o n j u g a t eg r a d i e n t t y p ef o r m l l l af o rs o l v i n g n o n l i n e a ru n c o n s t r a i n e do p t i m i z a t i o np r o b k m 8 ，t h en e wm e t h o dd e 丘i l d st h er a n g eo f p a r e m e t e r sb yi l s i n gt h ef a m o 璐f o 啪u l a 鳄d ，w h i c he x p a n d 8t h er 锄g eo fp a r 砌e t e r s c o m p a r i n gw i t ht h eo l dm e t h o d ，a n dw eh a v ep r o v e dt h en e wf o r m i l l as a t i s f i 锚t l l es u 】啦c j e n t d e s c e n tc o n d i t i o na n dt h ec o r r e s p o n d i n ga l g o r i t h mw i t hg e n e r a l b l f el i n es e a r c hp o s s 豁s 签 t h e o b a lc o n v e r g e c er e 8 u l t 4 i nc h 印t e r3 ，an e wn o n l i n e a rc o n j u g a t eg r a d i e n tf o r m u l af o r8 0 l v i n gu n c 0 璐t r 面n e d o p t i m i z a t i o np r o b l e m i sp r o p o s e d ，w h i c hi sc o n s t r u c t e db yc o m b i n i i 培t h ef a m o 璐f o r m u l a 雕凡w i t h 雎r 尸，t i en e wf o r i i l u l as a t i s l i 稻t h es u 伍c i e r i td e s c e n tc o n d i t i o n ，a n dt h ec o r r e s p o n d i n g “g o r i t h mu n d e rt h ew e a kw o l f ec o n d i t i o ni 8 百o b a lc o r l v e r g e n t p r i l i m i n a r y n u m e r i c a lr e s u l t s8 h o wt h a tt l em e t h o di sp r o m j s i n g i nc h a p t e r4 ，i l s i n gt h ef o n 肌l a 九( 2 ) g i v e nb yw 西，w ep r o p o s ean e w 凡( 2 ) 一s q p m e t h o d ，w h i c hd e v e l e p m e n t st h eu s i n go ft h eq u a s i n e w t o nf o r m i l l ab f g s ，锄dc o m b i n e s 祈t hs q pm e t h o dt os o l v ec 0 1 1 8 t r a i n e do p t i m i z a t i o np r o b l e i n s ，t h ec o 盯e s p o n d i n g a l g o r i t h mp 0 s s e s s e s o b a lc o n v e r g e n c ea n ds u p e r l i n c a rc o n v e r g e n c ep r o p e r t y k e y w o r d s c o l 巧u g a t eg r a d i e n tn l e t h o d ；s 衄c i e i l td e 8 c e n tp r o p e r t y ；a 七( 2 ) 一s q p m e t h o d ；l i n es e a r c h ；g l o b a lc o n v e r g e n c e ；s u p e r l i n e 盯c o n v e r g e n c e a m s s u b j e c tc l 踮s i f i c a t i o n 9 0 c 3 0 ，4 9 m 3 7 ，6 5 k 0 5 兰竺兰兰坠篁塞! ! ! 坚堡! ! ! 皇型一! 一一 垒竖垡竺塑望竺塑竺立鲞竺竺垄 1 c h a p t e r1i n t r o d u c t i o n 1 1 c o n j u g a t eg r a d i e n tm e t h o da n dm a i ns t e ps i z er l i l e 8 i nt h i 8c h a p t e r ，o u rp u r p 0 8 ei 8t oc o 璐i n d e rt h eu n c o n 8 t r a i n e d0 p t i m i z a t i o np r o b l e m m i n ，( 。) i $ 9 r ) ，( 1 1 ) w l l e r e ，e 1 ：舻_ 瓣，v ，( z ) = 9 ( f ) ：9 p _ 舻 c o n j u g a t ef a d i e n tm e t h o di so n eo ft h em e t h o d sf o rs o l v i n gu n c o i l 8 t r a i n e do p t i m i z a t i o np r o b l e m ( 1 1 ) ，i t si t e r a t i v ef o r m u l ai s 百v e nb y z + 1 = z 奄+ 口k d 七， ( 1 2 ) w h e r en i s8 t e p8 i z ew h i c hi sc o m p u t e db yc a r r y i n go u tal i n es e 甜c h t h em a i n8 t 印8 i z e r u l e sa r ea sf b l l o w s ： ( 1 ) a m 巧or u k l 酏m b et h em i n i m u mi n t e g e rm o s u c ht h a to k = p m k ss a t i s f i e s ，( 。k + “k d ) 一，( z k ) 6 j s 蠢( f 女，6 ( o ，1 ) ( 1 3 ) ( 2 ) a i n 巧。一g o l d s t e i nr u l e f i n da na 七 os u d lt h a t ，( 茹k + c 嘻d ) 一，( z ) 6 a k 秭? 毗， ，( z + a 女如) 一，( z ) ( 1 一j ) o k 霸f d ，6 ( o ，妻) ( 3 ) w b a kw b l f p o w e l lr u i e f i n da nq 七 o8 a t i s 6 e s ( 1 4 ) a n d 靠1 1 d t 口蠢d ，口( d ，1 ) ( 4 ) s t r o n gw o l f e - p o w e l lr u l e f i n da nq k 0s a t i s 丘鹤( 1 4 ) a n d 1 9 t + 。呶l 一i 蠢巩j ，a ( 正1 ) ( 5 ) g e n e r a lw o l f er u l e f i n da n 口七 0s a t i s f i 鹤 ，( 钆+ n d ) 一，( 。k ) d o 女蠢也， a - 订也9 玉。以一一z 蠢以 w h e r e 最矿l ，口l ( 0 ，1 ) 1 n ( 1 2 ) ，以i s8 e a r c l ld l r e c t i o n w i l i c h i sd e 丘1 1 e da s 呶= 一鲰嚣“若 ( 1 4 ) ( 1 5 ) ( 1 6 ) ( 1 7 ) ( 1 8 ) ( 1 9 ) ( 1 1 0 ) 望叁兰塑兰苎丝圭f 丝! ! 2查壁垡竺塑望塑苎苎查墨塑竺垄 2 w h e r e 仇i sas c a l a r ，t h e r ea r ea t l e a s ts i x f a m o u 8 f o r m u l a s f o r 凤 硝8 ：砻墅暑尝共 ( h e s t e 。s t i e f e l 【l 】1 9 5 2 )” ( 鲰一g k 一1 ) r d k l ” 媵凡= 粤 ( f l e t d l e r r e e v e s 【2 】，1 9 6 4 )p 一磊二石i “o ”r 1 ”“。【h ”o 叫 俨= 掣 鳄一鑫 供一糍掣 鳄k 矿 ( p 0 l a k - r i b i 6 静p o l y a kf 3 ，4 】，1 9 6 9 ) ( c o n j u g a t ed e s c e n t 【5 】，1 9 8 7 ) ( l i u - s t o r e y 【7 】，1 9 9 1 ) ； ( d 靠y u a i l1 6 】i1 9 9 9 ) ( 1 1 1 ) ( 1 1 2 ) ( 1 1 3 ) ( 1 1 4 ) ( 1 1 5 ) ( 1 1 6 ) c o i l s i d e r a b l ea t t e n t i o i l 8h a v eb e e nm a d eo nc h e 舀o b a lc d n v e r g e n c eb e h a 、，i o r sf o rt h e a b o v ef o r 肌l l a s z o u t e n d i j ki n 【8 1p r o v e df rm e t h o dp o s s e s s e s 百o b a lc o n v e r g e n c ew i t h e a x c tl i n es e a r c hr u l e ；a m 3 a a l li n 9 】猷t e n d e dt l l i sr e s u l tt ot h es t r o n gw o l f eh n e 船a r c h ( = o n d i t i o n ，b u tt h en u m e r i c a lr e s u l t i sn o tp r o m i s i n g ；碟ra n d 雕艘w e r ec o m b i n e di n 【10 】 b yt b u a t i a h m e dw h oa c q u i r e db e t t e rn u m e r i c a lr e s u l t sa n dc o l e r g e n c ep r o p e r t y ；h a i l a n dl i ue x t e n d e df u r t h e rt h er 甜1 9 eo f 凤a n dp r o v e di t 8g l o b a lc o n v e r g e n c em l d e r8 t r o n g w o l f e - p o w e uc o n d i t i o n ；i n1 1 1 】 d a ia n dy h a np m p o s e dt h ed ym e t h o dw h i c hp r o d u c 鹄 ad e s 唧ts e a r c hd i r e c t i o na te v e r yi t e r a t i o na n dc o n v e r g e sg l o b a i i yp r o v i d e dt h a tt h el i n e s e a r c hs a t i s 矗e st h ew e a kw b l f ec o n d i t i o 璐h a w e v e r ，t h eg l o b 8 lc o n v e r g e n c eh a sn o tb e e n e s t a b h s h e df o rt h ep r pm e t h o dw i t ht h e8 t m n gw j l f el i n es e a r c hc o n d j t i o n s u l l d c rt l l cs u f f i c i e i 止d c s ：c i l tc o i l d i t i o i l 露呶一c 0 鲰1 1 2 ( 1 1 7 ) f o rs o m ec o l l s t a n tc o ，g i l b e r ta n dn o c e d a li n 【13 】g a v ea i l o t h e rw a yt od i s c u s st h e g l o b a lc o n v e r g e n c eo ft h ep r pm e t h o d 丽t ht h ew e a kw o l f el i n es e a r c h i n 【1 3 l ，t h e p a r a m e t e r 凤i n ( 1 1 0 ) i sn o ta l l o w e dt ob en e g a t i v e ，t h a ti 8 ， 肘= m a x o ，茚且p ) ( 1 1 8 ) b yl l s i n gac o m p l i c a t e dl i n es e a r c h ，g i l b e r ta n dn o c e d a l i l lf 1 3 】w a sa b l et oe s t a b l i s h t h eg l o b a lc o n v e r g e n c er e s u l t0 ft h ep r pa n dt h eh sm e t h o d 8b yr e s t r i c t i n gt h es c a l a r 仇t ob en o n e g a t i v e 兰皇查兰竺圭兰竺兰兰! ! ! ! ! 童!垒竺丝兰望耋竺墅竺奎童竺竺垄 3 1 2b f g sm e t h o da n db f g s t y p em e t h o d t h eb p g sf o r 黜l l ah a sa ni m p o r t a n tp r o p e r t yt h a tb k + 1i sp 0 8 i t i v ed e 6 i l i t ei fb k 蟾 p o s l t i d e 血l i t ea u dy 彳5 七 o ，w h e r e 讥= 9 b + l 一鲰a i l d 既= z 女+ l 一。七 i np a r t i c u l a r ，t h eb f g su p d a t ef o 瑚u l a 培舀v e nb y = 鼠一警+ 缓 ( 1 1 9 ) l e t a n d 船) b et w os e q u e n o 鹤o f n - v e c t o r ss u c ht h a t 耀既 of o ra j lk ，t h e b f g su p d a kf o l l i l u l ag e l l e r a t 皤a8 e q u e n c eo fp o s i t i v ed e f i i l i t em a t r i x 巩) t h a ta r el l s e d i ng e n e r a t i n gt h e8 e a r c hd i r e c t i o l l s w ec o n s i d e rt w ou s e f u lq u a n t i t i e st h a td e p e n do n k t l l ef i r s ti st 1 1 ea 1 唱l eb e 伽e e ns ka n d 风s ，w h i c hi 8d e 五l l e db y 碱= 高 ( 1 2 。) b yq u a s i - n e w t o nf o r m u l a ，w ek n o i i ，t h a t 靠i st h ea n g i eb e t w e e n 以a n d 一班= 上k 占b a n d 嬲i 8 、v e uk n o w n ，t h ec o n v e r g e n c ep p e r t i e 8o fu n c o i l s t r a i n e do p t i m i z a t i o na 1 9 0 r i t h m c a nb es t u d i e db ym o n i t o r i n gc d 5 巩t h eo t h e ri m p o r t a n tq u a n t i t yi st h er a e i g hq u o t i e n t 吼= 警 ( 1 z ，) t h em a t r 政ki su p d a t e da te v e r ys t 印b ym e a i l so faq u a s i n e w t o nu p d a t ef b h n u l a ， 8 n d 鲰i s t h eg r a d k n to f ，a t p o w e l l l n 【3 3 】6 r s tp r o v e dt h eg l o b a lc o n v e r g e n c eo ft h eb f g s m e t h o df o rc o r l s t r a i n e d o p t i l l l i z a t i o nb ym e a n m gt h et r a c e 州州聃糕+ 糕 ( 1 。z ) a n dt h ed e t e r m i n a n t m 胁( ) - d e 徊曲考铁 ( 1 2 3 ) b y r da i l dn o c e 【l a l i n 【2 8 js i m p l i 丘e dt l l ep r o o fb t yu s i i l ga 地c t i o n 妒( 巩) = 打( 瞰) 一l n ( 出f ( 巩) ) ，( 1 2 4 ) w h e r el nd 朗o t e st h en a t u r 出l o g a r i t h m n o t et h a t 妒( 上k ) 0s i n c e n 妒( 鼠) = ( 九一l n ( 1 2 5 ) = l 广西大学硕士学位论文f 2 0 0 6 年)求解优化问题的两种方法的研究4 w h e r eo o ， ( 1 2 6 ) 扛s t r i c t l yc o n v e xa n dh a st h ei n i n i m u mv a j u eo fla tt = 1 t h e r e f o r e 妒( ) n ，a n d 妒( b k ) c a nb ec o i l s i d e r e da sam e a s u r eo fc l o s e n e 豁b e t w e e n 上a n dt h ei d e n t i t ym a t 血， f o r w h i c h 妒( ，) 一n w ew i l ln o wd e r i v eac l o s e i l f o r me x p r e 鼹i o nf o r 妒( 风) n o m ( 1 2 2 ) ，( 1 2 3 ) a l l d ( 1 2 4 ) w eh a v e 妒( b k + 1 ) = 妒( b k ) 一 = 妒( 取) 一 糕+ 镂山( 蒜) 絮掣 2 警+ 镂岫( 袅丧)【阿j1 f 十瓦讪1l 磊磊 郴州剐( 仇) + 髅岫爱一彘仙 ， 刊聃铿- l _ l n 袭+ 【h 甜巩l + 【卜彘仙盘卜 l e t 勋b et h es t a r t i n gp o i n tf o rt h eb f g sm e t h o d 、r ed e 6 n et h el e 、d8 e t d n = f z g p ：r f z l o ) i nt h i sc a s e ， b * + 。s t = v ：= 。t + t t i ! i 掣s 一 c h o i c e3 a t = t ( 3 ) = 三竖鱼堡! _ 二生堡立i 鑫錾苎旦三地( 1 3 3 ) a n d b。+-st=：”；=可*+1411i!-：二!：12f：!；!：!啦st f i r s tl e tu sr e c 以lt h ef o l i o w i n ga l g o r i t h m ： a l g o r i t h m1 2 1 s t e p0 ：c h o o s e a ni i l i t i a lp o i n tz o 乳”a n da ni l l i t i a lp o s i t j v em a t r 政b s e tk ：= 0 s t 印1 ：1 圳肌0 = 0 ，s t o p s t e p2 ：s o l v e ，丸出= mt oo b t a i nt h es e 8 r c hd i r e c t i o n 如 s t e p3 ：f i n da 七b y8 0 m ec e r t a i nl i n e8 e a r c hs 乞r a t e g i e s s t e p4 ：s e tz 七+ l = z k + a k 如c h o o s ea r e a s o n a b l ea ka n du p d a t eb 七十1b yf o f m l a ( 1 3 1 ) s t e p5 ：s e tk ：= k + la n dg o t os t e p1 l e m m a1 2 1f o ra n yg i v e nk ，( n 女，+ l ，纨+ 1 ，呶+ 1 ) i sg e n e r a t e db ya 1 9 0 r i t h m1 2 1 ，t h e n b t “ oh o l d sp r o v i d e dt h a tm = 九( 2 ) a n d t h ef o l l o w i n gw e a kw o l 融p o w e i is t e p _ s i z e r u l e i su 8 e d ，( z k + 1 ) ，( $ k ) + d c 址舞d k ( 1 3 4 ) a n d 矗。如一靠以， ( 1 3 5 ) w h e r e 再( o ，；) a n d 盯( 6 ，1 ) p r 0 0 f f 0 l l o w i n gt h ed 胡n i t i o no f 城，w eh 8 v e 靠= 5 鲰+ s 珈k ( 2 ) 乳 一( 1 一盯) 靠s t + “鱼掣 h e n c es 看搬 o ，w l l i c h i n d i 眦髑t h a t 晚 oh d l d s f o ra k 广西大学硕士学位论文f 2 0 0 6 年)求解优化问题的两种方法的研究 7 l e m m a1 - 2 2f 0 ra n y 百v e nk ，【“k ，z 蠡+ 1 ，鲰+ 1 ，d 七+ 1 ) i 8g e n e r a t e db ya 培o r j t h m1 2 1 ， l l e nb t + 1 oh o l d sp r o v i d e dt h a ta = a ( 3 ) 锄dt h ef o u o w i n gr e s t r i c t e dw b l 融p o w e u s t e p _ s i z er u l ei su s e d ，( z + 1 ) ，0 k ) + 6 n 靠d ( 1 3 6 ) a n d 氟l 以口1 9 ：毗，( 1 3 7 ) w h e r ed ( o ， ) a n d 盯l ( o ，j ) p r o o f b l l o w i i l gt h ed e 1 1 i t i o no f 可，w eh 8 腮 5 ：城= 5 吾鲰+ s ：a k ( 3 ) 乳 = 2 ，( 卫 ) 一，( z k + 1 ) 】+ 2 9 ( 石蠡+ 1 ) t 5 一2 6 菇钆+ 2 口1 靠既 一2 p 一口1 ) 靠s b h e n c es 暑嫉 o ，w h i c h i n d i c a t e s t h a t b k o h o l d s f o ra l lk 广西大学硕士学位论文p 0 0 6 年)求解优化问题的两种方法的研究8 c h a p t e r2 ac l a s so fc o n j u g a t eg r a d i e n t t y p em e t h o d 2 1n e wf o r n l u l aa n di t ss u m c i e n td e s c e n tp r o p e r t y d u et oi t 8s i m p l i c i t ya i l di t sv e r yl o wm 哪o r yr e q u i r e m e n t ，t h ec 0 埘u g a t eg r a d i e n t m e t h o dh a sp l 谢as p e c i 甜r o l ef o rs o l 、r i n gl a r g e s c a l en o n l i n e a ro p t i m i z a t i o np r o b l e m s i l lo u rb t u d y ，w ef i r s tw a n tt oe n s u r et 1 1 es t e p8 i z en 七a n ds e a r c hd i r e c t i o n 毗c a i lm a k e t h ec o n j u g a t eg r a d i e n ta i g o r i t h md e s c e n t ，n a m e l y 靠以 o ( 2 2 ) an l c ec h a r a c t e rf o rc o n j u g a t eg r a d i e r i ti st h e8 u 伍c i e n td e s c e n tc o n d i t i o nw h i c hh a s1 1 8 西i l l f u n c t i o ni nh e l p i n gt h ea l g o r i t h mt oa c q u i r e 百o b a lc o n v e r g e n c ep r o p e r t yf 1 2 】m o t i v a t e d b y f l o ja n d 16 】，w e 啪8 t r u c t eac l a 蹈0 f n e w f o r m l l l a ： 盯i 务i o i sac 0 璐t a n t l e m 啪2 2 1s u p p o s et h a t ( 1 8 ) ，( 1 9 ) a i l da 踮u m p t i o nbh o l d ，t h e nf o ra l l 七， 望查兰塑兰竺丝圭( ! ! ! ! ! 丝 垒竺垡些塑整竺苎竺查墨竺竺垄 1 0 喜臀 慨 仁s ， 台1 2 一 卜“7 p r o o f b y ( 1 9 ) ，w eh a v e ( 口1 1 ) 9 畋( 肌+ l 一9 ) r d k ， ( 1 一盯i ) i 靠以i 0 ( 鲰+ - 一瓤) 靠i i m n 0 出悒 。一嘴 b y ( 1 8 ) ，w el 【l l o w m 沪m m 等样， 静沪他m ，砉a 鲁臀， m - ) 一他m ) 6 等等， 七= l = l ”“” 妻错 慨 鲁1 2 “ l e m m a2 2 2 s u p p 0 8 et h a ta s s u m p t i 伽aa n dbh o l d ，8 e q u e n c e 沁g e n e r 舭db y a l g o r i t h m2 2 1 t h e nw eh a e 最d k 讥2 一丽 p r o o f b yl e m m a2 2 1 ，w ek n o w 喜饼 佃 镌 佃， ( 2 6 ) l e m m a2 2 3i f i | 肌8 c 2 ，凤s a t i s f y i n g ( 2 3 ) ，( 丌质) 2 0 仍1 1 4 砖，七，兀群= ，= 1l：寸+l扛=+l 1 t h e n 掣c ；七； ， ( 2 7 ) + 怛， 以k + k 脯 + 以口墙 + 口墙 腻 2 一 一h讯 2 十 一。墙 + 墙 胤 = 临，一h 十讹 广西大学硕士学位论文偿0 d 6 年j 求解优化问题的两种方法的研究 1 1 p r o o f b y 盯= r ，o 上t 盯l ，盯2 ，( 1 1 9 ) ，【l ，1 0 ) a n d ( 2 3 ) ，w ek n o w 0 出1 1 2 = 0 鲰l | 2 2 风9 ：出一l + 臃i i d k 1 8 2 恢1 1 2 + 2 i 舄fi 鳄d i | 靠d i + 雠。以一t0 2 鲰0 2 + 2 疗0 鲰1 2 + 成肛k l0 2 ( 1 + 2 方) i 旧1 1 2 + 虞0 d 一1 旷 ( 1 + 2 子) 0 肌0 2 + ( 1 + 笏) 0 辨一l | 1 2 臃+ 靡靡一1 0 以一2 1 1 2 雩壹( 血绷圳t 生竺砖 t h u s ( 2 7 ) h o l d s t h ep r o o fi sc o m p l e t e d t h e o r e m2 2 1s u p p o s et h a ta 鹪l l i h p t i o l l saa n dbh o l d ，凤s a t i 8 如i n gt h ef o r m u l a ( 2 3 ) ， n i sg e n e r a t e db yt h eg e n e r a lw o l f el i n es e a r c hr u l e ( 1 8 ) a n d ( 1 9 ) ，t h e nt h ea l g o r i t h m 2 2 1p o s s e 8 s e sg l o b a lc o n v e r g e n c ep r o p e r t y n a m e l y 1 i mi n 圳鲰0 = o ( 2 8 ) p r o o f b yf o r m u l a s ( 1 1 0 ) a n d ( 1 9 ) ，w eh a v e 0 巩1 1 2 = 0 鲰i f 2 2 凤9 蚕以一l + 鹾1 1 呶一。0 2 i b k l | 2 2 凤靠以一- i l 肌1 1 2 + 2 啦仇豇l 呶一1 b y l i n es e 盯c l lr i l l e 豇1 如一l om a k i n g0 呶0 c 4 ；i f 1 i mi i l f0 肌0 = od o 鹤n o th o l d ，a 褐u m et h a t0 乳0 c 2 ，w e h a v e 由士b y l e m m a2 2 3 ，w h e r e 。= i 掣，t h e n 荟i 赤薹去2 佃 ( 2 9 ) 铫铲螂黼 仁埘 而广十i 丽 u ) b y 一9 ；? d k = l b k i l 2 一仇9 d k l ，i l g 0 c 2 ，( 1 9 ) a n d ( 2 1 0 ) 舻一褊 ：业业一丝鳗生= ! j l 以00 呶0 、奄口2 慨f 豇l 以一1 一i l 以00 以l j 熹一捌忆。 。慨8慨”“”“ 本刊，+ 黼帆 。 b yt h ea b o v ef o u m u l a ，c 3 = s u p0 鲰j j o oa n dl i 也0 c 4 ，w ec a no b t a i n 南毒+ 青c ，+ 黼胁薏+ 鼍c ，+ “m a x t 去，鼍c ，+ 釉讯佩- ， h e n o e 薹赤妯a x t 狰，+ 耖薹c 讥悱 慨 t h ef o 。m u l 81 8c o n t r a d i c t e dw i t h ( 2 9 ) ，t h u s 是恐1 n f0 鲰0 = o t h ep r o o fi sc o m - p l e t 甜 苎皇查兰塑圭兰丝圭丝丝丝 圭些塑些些垫坠1 3 c h a p t e r3 an e wc o n j u g a t eg r a d i e n tm e t h o d 3 1n e wc o n j u g a t eg r a d i e n tf o r m u l aa n di t sp r o p e r t y d u et ot l l es u m c i e l l td e s c e n tc 仰d i t i o n ( 1 1 7 ) i sav e r yi l i c e 锄di m p o r t a n tp r o p e n y i nt h e1 i t e r 8 t u r et oa n a l y z et h e9 1 0 b a lc o n v e r g e n c eo ft h ec o n j u g a t eg r 甜i e n tm e t h o d ，8 0 w e1 1 0 p et of i n da 仇s u c ht h a t 以8 a t 蕊船【1 1 7 ) i n t h ef 棚确n g ，w ep r o p o s ea 艮a n d p r o v et h a tnh a ss u c hp r o p e r t y f i r s t l y ，w e 舀v ead e 血1 i t i o n0 fad e s c e n ts e q u e n c e ( o r8s u m c i e n td 凹c e n t s e _ q u e n c e ) as e q u e n c e 仇 i 8c a l l e dad 鹤c e n t8 e q u e n c e ( o ras u m c i e n td 皑c e n t s e q u e n c e ) f o rt h ec o n j u g a t eg r a d i e n tm “h o di ft h e r ee x i s t sac o n s t a mr ( 0 ，1 ) ( 0 r r 【0 ，1 ) ) s u c h t h a t f b ra l l 2 2 仇9 著血一l rj | 鲰俨 ( 3 1 ) i np 印e r 【14 】，t h ea u t h o r sp r o p o s 耐a 啪i a t i o no f t h e f r ( v f r ) f o r m u l a ( 萨蕊芒， ( 3 z ) i np a p e r 【1 5 1 ，t h ea u t h o r sd e 8 i g n e dt h ef o l l o 而n gv a r i a t i o n0 ft h ep 砌f o r 枷1 a 硝p r p ( p ) = p 删鲰0 2 一j 雍鳜一1 i ) 习菇i 二玎了p 。怏一t 0 2 ( 3 3 ) i no r d e rt oe i l 8 u r et h en o n n e g a t