（运筹学与控制论专业论文）一个新的共轭梯度公式及其应用.pdf

一个新的共轭梯度公式及其应用 摘要 共轭梯度法是求解无约束优化问题的一类有效方法。其具有算法结构简 单、运算过程中所需内存较少，且在计算过程中不涉及目标函数的二阶导数等 优点，因此常被用于大规模优化问题的求解。在已有的共轭梯度算法中，f r 算法理论上有较好的收敛性，但数值表现并不理想；而数值表现较好的一些算 法，女 i p r p 、h s 等，在一般条件下却不具备全局收敛性。本文在p r p 的基础上， 给出了一个新的共轭梯度参数公式俄，并得到如下结论：( 1 ) 成在强w o l f e - p o w e l l 线搜索下所产生的搜索方向d 知满足充分下降性条件；( 2 ) 采用此参数的共轭梯 度算法在一定的线搜索下满足全局收敛性；( 3 ) 由于玩是对p r p 进行修正而得， 用同样的策略，可以对h s 、l s 等公式作同样的修正，其所得到修正的算法具有 和采用成的算法类似的收敛性质；( 4 ) 文中所给出的算法的数值表现也相当不 错。 关键词：无约束优化共轭梯度法线搜索全局收敛 an e wc o n j u g a t eg r a d i e n tf o r m u l a a n di t sa p p l i c a t i o n s a b s t r a c t d u et oi t ss i m p l i c i t ya n di t sv e r yl o wm e m o r yr e q u i r e m e n t ，t h ec o n ju g a t eg r a d i e n t ( c g ) m e t h o dh a sp l a y e das p e c i a lr o l ef o rs o l v i n gl a r g e s c a l eu n c o n s t r a i n e dn o n l i n e a ro p - t i m i z a t i o np r o b l e m s i na l r e a d y - e x i s t i n gc o n j u g a t eg r a d i e n tm e t h o d s ，f rm e t h o dh a sn i c e g l o b a lc o n v e r g e n tp r o p e r t i e s ，b u ti t sn u m e r i c a lp e r f o r m a n c ei si n f e r i o rt op r pm e t h o d ； s o m em e t h o d s ，s u c ha sp r pa n dh sm e t h o d s ，w h i c hh a v en i c en u m e r i c a lp e r f o r m a n c e ，a r e n o tg l o b a lc o n v e r g e n tu n d e rs o m em i l dc o n d i t i o n s i nt h i sp a p e r ，an e wc o n j u g a t eg r a d i e n tf o r m u l a 俄i sg i v e nt oc o m p u t et h es e a r c hd i r e c t i o n sf o ru n c o n s t r a i n e do p t i m i z a t i o n p r o b l e m s w eg e tt h ef o l l o w i n gm a i nr e s u l t s i nt h i st h e s i s ：( 1 ) t h es e a r c hd i r e c t i o n sd k w h i c ha r eg e n e r a t e db yt h eg i v e n 俄u n d e rt h es t r o n gw o l f e p o w e l ll i n es e a r c hs a t i s f yt h e s u f f i c i e n td e s c e n tc o n d i t i o n ；( 2 ) t h ec o n j u g a t eg r a d i e n tm e t h o dw i t ht h eg i v e n 成u n d e rt h e s t r o n gw o l f e - p o w e l ll i n es e a r c hi sc o n v e r g e n tg l o b a l l y ；( 3 ) t h es a m es t r a t e g yc a nb eu s e d t oh sa n dl sm e t h o d st od e d u c eo t h e r sn e wp a r a m e t e r sw h i c hh a v et h es i m i l a rc o n v e r g e n t p r o p e r t i e sw i t h 俄；( 4 ) a l lt h ep r o p o s e dm e t h o d sh a v en i c en u m e r i c a lp e r f o r m a n c e k e yw o r d s u n c o n s t r a i n e do p t i m i z a t i o n ； c o n j u g a t eg r a d i e n tm e t h o d ； l i n es e a r c hc o n d i t i o n ； g l o b a lc o n v e r g e n c e 广西大学学位论文原创性声明和使用授权说明 原创性声明 本人声明：所呈交的学位论文是在导师指导下完成的，研究工作所取得的成果和相 关知识产权属广西大学所有，本人保证不以其它单位为第一署名单位发表或使用本论文 的研究内容。除已注明部分外，论文中彳 包含其他人已经发表过的研究成果，也不包含 本人为获得其它学位而使用过的内容。对本文的研究工作提供过重要帮助的个人和集 体，均已在论文中明确说明并致谢。 论文作者签名： 拙确怖 学位论文使用授权说明 ) 力习年6 月日 本人完全了解广西大学关于收集、保存、使用学位论文的规定，即： 按照学校要求提交学位论文的印刷本和电子版本： 学校有权保存学位论文的印刷本和电子版，并提供目录检索与阅览服务； 学校可以采用影印、缩印、数字化或其它复制手段保存论文； 在不以赢利为目的的前提下，学校可以公布论文的部分或全部内容。 请选择发布时间： 酥口时发布口解密后发布 ( 保密论文需注明，并存解密后遵守此规定) 论文作者签名：捌螅螂导师签名： 广西大掌硕士掌位沧文 o 卜新的共轭梯度公式及其应用 c h a p t e r1 i n t r o d u c t i o n c o n j u g a t eg r a d i e n t ( c g ) m e t h o d sc o m p r i s eac l a s so fu n c o n s t r a i n e do p t i m i z a t i o n a l g o r i t h m sw h i c ha r ec h a r a c t e r i z e db yl o wm e m o r yr e q u i r e m e n t sa n ds t r o n gl o c a la n d g l o b a lc o n v e l g e n c ep r o p e r t i e s c gh i s t o r y , s u r v e y e db yg o l u ba n d0 l e a f yi n 【1 3 ，b e g i n w i t ht h er e s e a r c ho fc o r n e l i u sl a n e z o sa n dm a g n u sh e s t e n e sa n do t h e r sa tt h ei n s t i t u t e f o rn u m e r i c a la n a l y s i s ( n a t i o n a la p p l i e dm a t h e m a t i c sl a b o r a t o r i e so ft h eu n i t e ds t a t e s n a t i o n a lb u r e a uo fs t a n d a r d si nl o sa n g e l e s ) ，a n dw i t hi n d e p e n d e n tr e s e a r c ho fe d u a r d s t i e f e la te i d gt e c h n i s c h eh o c h s c h u l ez u r i c h i nt h es e m i n a l1 9 5 2p a p e r 【1 5 】o fh e s t e n e s a n ds t i e f e l ，t h ea l g o r i t h mi sp r e s e n t e da sa na p p r o a c ht os o l v es y n u n e t r i c ，p o s i t i v e - d e f i n i t e l i n e a rs y s t e m s 【1 7 i nt h i sp a p e r ，w ef o c u so nc o n j u g a t eg r a d i e n tm e t h o d sa p p l i e dt ot h en o n l i n e a ra n - c o n s t r a i n e do p t i m i z a t i o np r o b l e m s t h en o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o di sd e s i g n e d t os o l v et h ef o l l o w i n gu n c o n s t r a i n e do p t i m i z a t i o np r o b l e m m i n f ( x ) fz 酽) ， w h e r ei ：静- - - - 4ri sac o n t i n u o u s l yd i f f e r e n t i a b l en o n l i n e a rf u n c t i o nw h o s eg r a d i e n ti s d e n o t e db y 夕( z ) t h ec o n j u g a t eg r a d i e n tm e t h o di sg i v e nb y x k + 1 = z k + t k d k ， ( 1 1 ) w h e r et ki st h es t e p l e n g t hw h i c hi sc o m p u t e db yc a r r y i n go u to n ed i m e n s i o nl i n es e a r c h a n d 以i st h es e a r c hd i r e c t i o nd e f i n e db y d 铲- g k 也一1 w h e r e 仇i sas c a l a r ，g kd e n o t e s9 ( z ) i ，k = 1 ， i k22 ， t h e r ea r es o m ew e l l - k n o w nf o r m u l a sf o r 仇s u c ha s 膨8 = 瓦g r i ( g k = - 丽g k - 西1 ) ( h 器t e n 孵s t i e f e l 1 5 】，1 9 5 2 ) ； 口f k r = 豇g t l 鲰g k l ( f l e t c h e r - r e e v e s 1 1 】j 1 9 6 4 ) ； 俨_ 掣( p o l a k - r i b i a r e - p o l y a k 【2 6 】，1 9 6 9 ) f 瑶kd = 。w g t g k = ( c o n j u g a t e 。e s c e n t 1 0 】1 9 8 7 ) ； l ( 1 2 ) ( 1 3 ) ( 1 4 ) ( 1 5 ) ( 1 6 ) 广西大掌硕士掌位论文一卜新的共轭梯度公式及其应用 船一毪掣 船y = 一( g k - - 亟 g k - 1 ) t d k - 1 ( l i u - s t o r e y1 2 0 】，1 9 9 1 ) ( d a i o y u a n 【6 j ，1 9 9 9 ) ( 1 7 ) ( 1 8 ) a m o n gt h ea l r e a d y - e x i s t i n gc o n v e r g e n c ea n a l y s i so ft h ec o n j u g a t eg r a d i e n tm e t h o d s ， t h ef o l l o w i n gl i n es e a r c h e sa r eo f t e nu s e d ( s e ee g 【1 5 ，1 ，4 ，1 9 】) 1 e x a c tl i n es e a r c h ：t h ee x a c tl i n es e a r c hi st of i n dt ks u c ht h a tt h ec o s tf u n c t i o ni s m i n i m i z e da l o n gt h ed i r e c t i o n 呶，t h a ti st ks a t i s f y i n g m + “靠) 2 卿m + t d k ) 2 w e a kw o l f e - p o w e l ll i n es e a r c h ：t h ew e a kw o l f e - p o w e l l ( 啪) l i n es e a r c hi st o f i n dt ks a t i s f y i n g y ( x 女+ 如呶) 一f ( x 女) s6 t 蠢也，( 1 9 ) g ( x + t t 呶) r d k a g d k ( 1 1 0 ) 3 s t r o n gw o l f e - p o w e l ll i n es e a r c h ：t h es t r o n gw o l f e - p o w e u ( s w p ) l i n es e a r c hi st o f i n dt ks a t i s f y i n g ( 1 9 ) a n d ig ( x + t k d k ) r d kl s 盯i 锺呶l ，( 1 1 1 ) w h e r ed ( 0 ，1 ) a n d 盯( 6 ，1 ) 4 g e n e r a lw o l f el i n es e a r c h ：t h eg e n e r a lw o l f el i n es e a r c hc o n d i t i o n sa r e ( 1 9 ) a n d 口1 靠d k 9 ( z k + “d ) 丁d k 一a 2 9 t d ， ( 1 1 2 ) w h e r e0 d 0i sap o s i t i v ec o n s t a n t a s s u m p t i o na ：f ( x ) i sb o u n d e do nt h el e v e ls e tq ：= z r ”：f ( x ) ，( z 1 ) ) a s s u m p t i o nb ：i ns o m en e i g h b o r h o o do fq ，fi sc o n t i n u o u s l yd i f f e r e n t i a b l e ，a n di t s g r a d i e n ti sl i p s c h i t zc o n t i n u o u s ，t h a ti st os a y , f o ra l lz ，y n ，t h e r ee x i s t sa c o n s t a n t l 0s u c h t h a t 0g ( x ) 一g ( y ) i l l0 茹一s ，i i ( 1 1 7 ) i nt h ea b o v es i xm e t h o d 8 ，f r ，d ya n dc dm e t h o ( i ss h a r et h ec o m m o nn u m e r a t o r i | 鲰限w ef i r s t l yr e v i e wt h ec o n v e r g e n c ep r o p e r t i e so ft h i st y p em e t h o d s t h e f i r s tg l o b a l c o n v e r g e n c er e s u l tf o rt h ef r m e t h o dw a sg i v e nb yz o u t e n d i j k 【3 3 i n1 9 7 0 h ep r o v e d t h a tf rm e t h o dc o n v e r g e sg l o b a l l yw h e nm i sd e t e r m i n e db ye x a c tl i n es e a r c h i n1 9 7 7 p o w e l l 【2 3 p o i n t e do u tt h a tt h ef rm e t h o d ，w i t he x a c tl i n es e a r c h ，w a ss u s c e p t i b l et o j a m m i n g t h a ti s ，t h ea l g o r i t h mc o u l dt a k em a n ys h o r ts t e p sw i t h o u tm a k i n gs i g n i f i c a n t p r o g r e s st ot h em i n i m u m t h ep o o rp e r f o r m a n c eo ft h ef r m e t h o di na p p l i c a t i o n sw a s o f t e na t t r i b u t e dt ot h i sj a m m i n gp h e n o m e n o n t h ef i r s tg l o b a lc o n v e r g e n c er e s u l to ft h ef rm e t h o df o ra ni n e x a c tl i n es e a r c hw a s g i v e nb ya 1 - b a a l i 【2 】i n1 9 8 5 u n d e rt h es t r o n gw o l f ec o n d i t i o n sw i t h 盯 1 2 ，h ep r o v e d t h a tt h ef rm e t h o dg e n e r a t e ss u f f i c i e n td e s c e n td i r e c t i o n s ， 百1 - 2 a + a k + l 研- g t d k 冬等， ( 1 1 8 ) f o ra l lk l i ue ta 1 1 9 1e x t e n d e dt h i sc a s et o 仃= 1 2 d a ia n dy u a n 【4 】t o o kaf u r t h e ra n a l y s i s ， a n ds h o w e dt h a ti nc o n s e c u t i v ef ri t e r a t i o n s 7a tl e a s to n ei t e r a t i o ns a t i s f i e st h es u f f i c i e n t d e s c e n tp r o p e r t y i no t h e rw o r d s ， 一t 淼，器，； i nf 4 】t h es t r o n gw o l f eh n es e a r c hi sr e l a x e dt og e n e r a l i z e dw o l f el i n es e a r c h g l o b a l c o n v e r g e n c ei so b t a i n e dw h e n 盯1 + 0 2 1 f o ras t r o n gw o l f el i n es e a r c h ，o 1 = 0 2 = 仃， 3 f - 西大掌硕士掌位论文卜新的共轭梯度公式及其应用 i nw h i c hc a s et h ec o n s t r a i n t ( r l + 晚1i sw e a k e rt h a nt h es t r o n gw o l f ec o n s t r a i n t 仃 【l7 】 t h ec dm e t h o dw h i c hw a sf i r s t l yi n t r o d u c e db yf l e t c h e rf 1 0 】i sc l o s e l yr e l a t e dt ot h e f rm e t h o d w i t ha ne x a c tl i n es e a r c h 罐r = 罐d o n ei m p o r t a n td i f f e r e n c eb e t w e e n f rm e t h o da n dc dm e t h o di st h a t ，w i t hc dm e t h o d ，s u f f i c i e n td e s c e n tc o n d i t i o n ( 1 1 6 ) h o l d sf o ras t r o n gw o l f e - p o w e l ll i n es e a r c h ( t h ec o n s t r a i n t 盯茎；t h a ta r o s ew i t hf r ，i s n o tn e e d e df o rc d ) 【1 7 m o r e o v e r ，f o rag e n e r a l i z e dw o l f el i n es e a r c hc o n d i t i o n ( 1 1 2 ) w i t h 吼 1a n d0 2 = 0 ，i tc a l lb es h o wt h a t0 曼罐ds 醒r c o n s e q u e n t l y , f r o mt h e a n a l y s i si n 2 】 g l o b a lc o n v e r g e n c ei sa c h i e v e d t h ed ym e t h o d ，f i r s t l yd e v e l o p e di n 【6 】，i sf u n d a m e n t a l l yd i f f e r e n tf r o me i t h e rt h ef r o rt h ec dm e t h o d w i t has t a n d a r dw o l f el i n es e a r c h t h ed ym e t h o da l w a y sg e n e r a t e s d e s c e n td i r e c t i o n s b - h r t h e r m o r e ，t h e r ei sg l o b a lc o n v e r g e n c ew h e nt h el i p s e h i t za s s u m p t i o n h o l d s i nt h ep r o c e s so fa n a l y z i n gt h ed ym e t h o d d a ia n dy u a na l s oe s t a b l i s h e da c o n v e r g e n c er e s u l ta p p l i c a b l et oa n ym e t h o df o rw h i c h8 kc a l lb ee x p r e s s e da sa r a t i o ： 仇：等 ( 1 1 9 ) t h ef o l l o w i n gr e s u l tw a se s t a b l i s h e d 【8 】 t h e o r e m1 1c o n s i d e ra n yi t e r a t i v em e t h o do jt h el o m ( 1 1 ) 一( 1 2 ) w h e r e 艮h a st h e | o r mo f1 1 1 9 ) 戤s a t i s f i e st h ed e s c e n tc o n d i t i o n , a n dt h el i p s c h i t za s s u m p t i o nh o l d s ，i t h ez o u t e n d i j kc o n d i t i o nh o l d sa n d ， 薹警= o oo r 薹警一 t h e nt h em e t h o di sg l o b a u yc o n v e r g e n t a st h ec o r o l l a r yo ft h i sr e s u l t ，t h ed ym e t h o di s 出o b a l l yc o n v e r g e n tw i t has t a n d a r dw o l f e f i n es e a r e hs i n c e 虽z 缝掣：+ 1 k = 0 - , 哦 ”一 w h e r e 吼= 鲧d k t h ef rm e t h o di sg l o b a l l yc o n v e r g e n tw h e ni m p l e m e n t e dw i t has t r o n gw o l f el i n e s e a r c hw i t h 盯1 2s i n c e 妻，( g t ，d 。k ) 2 ：+ 1 乞中： ” 4 - 西大掌硕士掌位论文 一个新的共轭梯度公式及箕应用 w h e r e 吼= 0g k l i 2 r e c e n t l y , w e i 【2 8 p r o p o s e ds o m en e wc o n j u g a t eg r a d i e n tf o r m u l a s 雕+ = 雨i i i 丽g k1 1 2 ， w h e r e7 7 ( 口，1 ) ( 1 2 0 ) 臃= 丽剖，( 1 2 1 ) w h e r e7 ( 0 ，+ o 。) ，p 细，+ o o ) 鲫) ： ( i - a i ，隔a 2 g k 2 研群既石i ，a 竺，( 1 2 2 ) l 0 i fa 以， w h e r ea = ( a 1 ，a 2 ，a 3 ，凡) 酽，以= o ，1 】 ( 盯，1 】 【0 ，1 】 ( 1 ，+ o o ) a n d 西d e n o t e s 一以t h es e q u e n c e d k ) g e n e r a t e db yf o r m u l a ( 1 2 0 ) o rf o r m u l a ( 1 2 1 ) c a ne n s u r e t h es u f f i c i e n td e s c e n tc o n d i t i o ni f 露d k 0 t h e yp r o v e dt h a tt h em e t h o dw i t h 成( a ) c o n v e r g e s 百o b a l l yi ft h eo b j e c tf u n c t i o n sh a v el i p s c h i t zc o n t i n u o u sg r a d i e n t s t h e r ea l eo t h e rt y p em e t h o d sw h i c hs h a r et h es a m en u m e r a t o r 靠y k ，s u c ha sp r p , h sa n dl sm e t h o d s t h e s em e t h o d sp o s s e s sab u i l t - i nr e s t a r tf e a t u r et h a ta d d r e s s e st h e j a m m i n gp r o b l e m ：w h e nt h es t e pt ki ss m a l l ，t h ef a c t o ry k = g k + 1 一g ki nt h en u m e r a t o ro f 瓯t e n d st oz e r o ，h e n c e ，8 kb e c o m e ss m a l la n dt h en e ws e a r c hd i r e c t i o nd k + li se s s e n t i a l l y t h es t e e p e s td q s c e n td i r e c t i o n s o ，t h ep r p , h sa n dl sm e t h o d sa u t o m a t i c a l l ya d j u s t 凤t oa v o i dj a m m i n g i ng e n e r a l ，t h ep e r f o r m a n c eo ft h e s em e t h o d si sb e t t e rt h a nt h e p e r f o r m a n c eo fm e t h o d sw i t hi i 弧1 1 2i nt h en u m e r a t o ro f 像 i n 【2 5 】，t h eg l o b a lc o n v e r g e n c eo ft h ep r pm e t h o di se s t a b l i s h e dw h e nfi ss t r o n g l y c o n v e xa n dt h el i n es e a r c hi se x a c t p o w e l l 【2 3 p r o v e dt h a t ，f o rag e n e r a ln o n l i n e a r f u n c t i o n ，i f ( 1 ) t h es t e ps i z e8 k = x k + l x ka p p r o a c h e st oz e r o ， ( 2 ) t h el i n es e a r c hi se x a c t ， ( 3 ) t h el i p s c h i t za s s u m p t i o nh o l d s ， t h e nt h ep r pm e t h o di sg l o b a l l yc o n v e r g e n t o nt h eo t h e rh a n d ，p o w e l ls h o w e dl a t e ri n 【2 4 】，b yu s i n ga3 - d i m e n s i o n a le x a m p l e ，t h a tw i t ha ne x a c tl i n es e a r c h ，t h ep r p m e t h o d c o u l dc y c l ei n f i n i t e l y , w i t h o u tc o n v e r g i n gt oas t a t i o n a r yp o i n t h e n c e ，t h ea s s u m p t i o n t h a tt h es t e p s i z et e n d st oz e r oi sn e e d e df o rc o n v e r g e n c e 5 g - 西大学司e 士掌位论二赶卟新的关轭梯度公式及其应用 u n d e rt h ea s s u m p t i o nt h a tt h es e a r c hd i r e c t i o ni sad e s c e n td i r e c t i o n ，y u a n 【3 0 1 e s t a b l i s h e dt h eg l o b a lc o n v e r g e n c eo ft h ep f u pm e t h o df o rs t r o n g l yc o n v e xf u n c t i o n su n d e r aw o l f el i n es e a r c h ，d a i 【5 】g a v ea ne x a m p l ew h i c hs h o w e dt h a te v e nf o ras t r o n g l yc o n v e x f u n c t i o n ，t h ep r pm e t h o dm a ys t i l lf a i lb yg e n e r a t i n ga l ld e s c e n ts e a r c hd i r e c t i o n 【1 7 1 p o w e l l 【2 4 1s u g g 幅t e dt h ef o l l o w i n gm o d i f i c a t i o ni n t h eu p d a t ep a ta n l e , t c l f o rt h ep r ，p m e t h o d ： 茚胛+ = m a z 0 ，蓐即) ( 1 2 3 ) i n 【1 2 ，g i l b e r ta n dn o c e d a lp r o v e dt h ec o n v e r g e n c eo fp r p + m e t h o d i no r d e rt op r o v et h eg l o b a lc o n v e r g e n c eo fp r pm e t h o d ，s o m ea u t h o r st r i e dt of i n d s e i n el i n es e a r c hw h i c hc a nd e d u c et h eg l o b a lc o n v e r g e n c eo ft h ep r pm e t h o d g r i p p oa n d l u c i d i 【1 4 1p r o p o s e dan e wa r m i j ot y p el i n es e a r c h ( i nt h i sp a p e r ，w ec a l lt h i sl i n es e a r c h t ob eg r i p p o - l u c i d ih n es e a r c h ) w h i c ha l s ow i l lb ei n t r o d u c e di nc h a p t e r2 ，w i t ht h i sl i n e s e a r c h t h e yp r o v e dt h eg l o b a lc o n v e r g e n c eo ft h ep r p m e t h o d i n 2 8 1 ，z e n 耐nw e ig a v ea na n o t h e ra r m i j ot y p el i n es e a r c h ： t h ea r m i j o - t y p el i n es e a r c h ( a t l s ) ： f i n dt h = 萨ks u c ht h a tj ki st h es m a l l e s tn o n n e g a t i v ei n t e g e rjs a t i s f y i n g ( x i + 矽呶) 一，( z ) - 靠也一罢( 砂) 。耀如 ( 1 2 4 ) a n d g ( x l , + 矽d ；) ? q 0 ) 一c | | g ( x + 矽d k ) 0 2( 1 2 5 ) w h e r ec ，ma r ep o s i t i v ec o n s t a n t sa n dq k ( j ) i sd e f i n e db yt h ef o l l o w i n gf o r m u l a 仇。) = 一夕( 茹t + d d k ) + 型童生上兰鱼箐；字备型d t ( 1 2 6 ) t h ea u t h o rp r o v e dt h a tt h ep r pm e t h o dw i t ht h i sl i n es e a r c hc o n v e r g e sg l o b a l l yi fjh a s l i p s c h i t zc o n t i n u o u sg r a d i e n t t h eh sm e t h o dh a san i c ep r o p e r t yt h a tt h ec o n j u g a c yc o n d i t i o n 毋1 y k = 0 ( 1 2 7 ) a l w a y sh o l d s i n d e p e n d e n t o fl i n es e a r h f o ra l le x a c tl i n es e a r c h ，8 hs = 舯，h e n c e t h e c o n v e r g e n c ep r o p e r t i e so ft h eh sm e t h o ds h o u l db es i m i l a rt ot h ec o n v e r g e n c ep r o p e r t i e s o ft h ep r pm e t h o d s o ，b yp o w e l l se x a m p l e 【2 4 1 ，t h eh sm e t h o dw i t ha l le x a c tl i n es e a r c h 6 广西大掌硕士掌位论文 一个新的共轭梯度公式夙其应用 m a y n o tc o n v e r g ef o ra g e n e r a ln o n l i n e a rf u n c t i o n s i m i l a rt ot h ep r p + m e t h o d ，i fl e t 8 h 辨= m a z o ，醍s 、，0 1 2 8 、 t h e ni tf o l l o w sf r o mt h e o r e m3 1 ，w h i c hw a sp r o p o s e df i r s l yb yg i l b e r ta n dn o c e d a li n 【1 2 ， t h a tt h eh s + m e t h o di sg l o b a l l y