（计算数学专业论文）新的非线性共轭梯度法及其收敛性.pdf

摘要 本文分为三部分，主要讨论了新的共轭梯度法及其收敛性问题，并在修改的割线条 件下迸一步研究了其相关性质。 在第一部分中我们介绍了共轭梯度法的发展过程及其研究现状。 在第二部分中我们在h a g e r 和z h a n g 于2 0 0 5 年提出的共轭梯度法的基础上给出了 一个新方法，同时我们给出了与之类似的收敛性定理，并且得到了很好的数值结果。 在第三部分中我们利用修改的割线条件对第二部分提出的新方法修正得到了新的共 轭梯度法，这种方法具有函数的二阶曲率信息，理论上有更好数值效果。最后我们进一 步讨论了其全局收敛性问题， 关键词：共轭梯度法，全局收敛性，修改的割线条件。标准w o l f e 条件，强w o l f e 条件下降条件。 a b s t r a c t o u r p a p e ri n c l u d i n g t h r e es k ：r t i o r t s w ep r o v ec o n v e r g e n c eo ft h e c o n j u g a t eg r a d b e n tm e t h o d s t h e nw eg i v et h ep r o p e r t i e so ft h en e wm e t h o d sw i t ht h em o d i f i e ds e c a n t c o n d i t i o n i nt h ef i r s ts e c t i o n , w ei n t r o d u c et h ed e v e l o p m e n to ft h ec o n j u g a t eg r a d i e n tm e t h o d s i nt h es e c o n ds e c t i o n rw ep r o p o s ean e w c o n j u g a t eg r a d i e n tm e t h o df o l l o w i n gt o t h em e t h o dp r e s e n t e db yh a g e ra n d z h a n g ( 2 0 0 5 ) a n dw e 舀v et h es i m i l a rc o n v e r g e n c e t h e o r e m s o u rn u m e r i c a lr e s u l t ss h o wt h a tt h en e wc o n j u g a t eg r a d i e n tm e t h o d sa r e f e a s i b l e i nt h et h i r ds e d j o n ，w ep r o p o s e da n o t h e rc o n j u g a t eg r a d i e n tm e t h o df o l l o w i n g t ot h em e t h o dp r e s e n t e di nt h ef i r s ts e c t i o nw i t ht h em o d i f i e ds e c a n tc o n d i t i o n t h i s m e t h o dh a st h es e c o n d - o r d e rc u r v a t u r eo ft h eo b j e c t i v ef u n c t i o na n da c h i e v e sah i g h - o r d e ra c c u r a c y t h e nw e p r o v ec o n v e r g e n c e o ft h ec o n j u g a t eg r a d i e n tm e t h o d s k e yw o r d s ：c o n j u g a t eg r a d i e n tm e t h o d s , g l o b a lc o n v e r g e n c e , m o d i f i e ds e c a n t c o n d i t i o n , s t a n d a r dw o l f ec o n d i t i o n , s t r o n gw o l f ec o n d i t i o n , d e s c e n tc o n d i t i o n 第1 章综述 共轭梯度法最早由h e s t e n e s 和s t i e f e l 【1 3 】于1 9 5 2 年在求解线性方程组时提出的一 种迭代方法。f l e t c h e r 和r e e v e s 【1 0 】于1 9 6 4 年将其推广到非线性优化领域。近年来， 随着实际问题的需要和计算机技术的不断发展，大规模优化问题渐渐引起人们的重视。 另外因为共轭梯度法具有算法简单、易于编程、且需要存储空间小等优点，所以共轭梯 度法的理论的研究一直受到人们的关注。 非线性共轭梯度法是解决无约束优化问题 m i 器f ( x )，：酽一冗， ( 1 1r 1 ) 的一种重要方法，其中，是光滑函数。共轭梯度法就是以当前迭代点构造搜索方向和搜 索步长进而寻找新的迭代点： 2 9 k + 1 = o + o l k 血( 1 1 2 ) 其中血是搜索方向，o i 0 是步长因子，船是当前迭代点，z + 1 是新的迭代点。在确 定步长因子时，通常有以下几种方法： ( 1 ) 精确线性搜索。 精确线性搜索就是要求选择步长q k 满足 f ( z k + a k d k ) 2 m 。 i n of ( x k + a d k ) 我们可以通过求一元函数妒( o ) = ，( “+ a k d k ) 的极小化问题 m c t ： i j l 0 妒( o ) 0 1 - 3 ) 来求得最优步长q k 。 精确线性搜索步长可以使函数f ( z ) 最大可能地下降，在求解( 1 1 3 ) 式极小值时通 常用非线性方程求根的方法，例如牛顿法、割线法、简单迭代法等。但是在实际计算 中，除了f ( x ) 是二次函数情况外，( 1 1 3 ) 式的精确极小点很难求出甚至不能求出。因此 人们开始寻找其它非精确方法。 ( 2 ) g o l d s t e i n 准则【3 3 】： f ( x ) 一f ( x k + a k d k ) 一盯n v ( x k ) t d k ，( 1 1 4 ) y ( x ) 一f ( x + o 氇蟊) 一j 女v ，0 女) r d k ， ( 1 1 5 ) 1 浙江大学硕士学位论文 第1 章综述 2 其中0 p j 1 盯 1 。( 1 1 4 ) 式保证n k 不会取得太小，( 1 1 5 ) 式保证f ( x ) 有充分的 下降。但是在g o l d s t e i n 准则中( 1 1 4 ) 式可能将妒( n ) 的极小值排除在可接受区间之外， 因此w o l f e 提出了一个更好的方法。 ( 3 )标准( 弱) w o l f e 准则【2 6 - ，( z k ) 一，( z k + q 七d ) 一6 口 v f ( x k ) 丁d k ，( 1 1 6 ) 1 t f ( x k + a k d k ) t 也o v f ( w k ) t d k ，( 1 1 7 ) 其中0 6 口 0 。在计算过程中检验( 1 1 1 0 ) 式是否成立，记使上式成 立的第一个m 为m k ，则令 n k = p “7 a r m i j o 准则是求步长口k 的一种试探方法，在实际应用中也有其它变型方法。 近年来，关于共轭梯度法搜索方向的讨论得到了很大的发展，因此很多的新方法被 提出【5 ，1 1 ，1 5 ，1 8 】。通常情况下要求搜索方向是使得函数值局部是下降的方向，即 v f ( x k ) r d k 0 ( 1 1 1 1 ) g i l b e r t 和n o c e d a l 【1 7 】又提出了充分下降方向的条件，即存在常数c 使得 v f ( x k ) t 也 0 表示常数，随后他们又提出一类方法 1 6 】： 口k h z = 去( 玑啪a e 铿， ( 2 ) 其中肌( i 1 ，o o ) 有趣的是这几种方法都可以看成d a i - l i a o 方法【4 1 的特殊形式，在 d a i l l a o 方：去中 俨= 掣， ( 2 ) 5 浙江大学硕士学位论文第2 章下降的非线性共轭梯度法及其全局收敛性 6 其中l o , o 。) 是实数。显然我们可以得到公式( 2 1 1 ) 和( 2 1 2 ) 当参数t 分别取一布g lz g k ： 和2 等警- b i r g m 和m a r t i n e z 【2 】结合共轭梯度法和特殊梯度法 2 7 1 提出了一种新的共 轭梯度法： ， 一旧- - o k g k + + 凤d k 七 l q l+ 凤 1 ， 其中o k 是参数且 仇：( o k y k - - 矛$ k ) t g k + l ， 这里轧= x k + l z k 本章中我们将修改h a g e r - z h a n g 方法( 2 1 2 ) 和( 2 1 3 ) 并得到了一 种新的共轭梯度方法，此方法在一定条件下满足充分下降条件( 1 1 1 2 ) ，并在标准w o l f e 准则下是全局收敛的。 2 2 主要结果和证明 本节中我们构造了一种新的共轭梯度法： id k + l = 一p 七9 i + 1 + 卢d k ，d o = 一g o ， i 硝= 去( 鲰刊t 髅， 2 驯 其中讯，鲰是正实数，且璐( 肌一去) 0 。显然当舭2 1 时( 2 2 1 ) 就是( 2 1 4 ) 因为 卢k 可能取负值，所以为了得到一般函数的收敛性定理必须限制硝的下界，所以取 f d k + 12 - - p k g k + l + d k n d k ，d o ：一g o ， 忙- - n = 叫孙 ，讥= 丽赤丽 。矧 其中 是正常数。基于以上方法我们给出的算法如下： 步0选择初始向量。o r f l 和参数0 j 0 成立，那么存在常数c 使得( 2 2 4 ) 式成 立。另一方面，如果7 - 硝，却么彤r 0 。在( 2 3 ) 式两边乘上最，可得 矗1 d i + l = 一p kj 1 9 + 11 1 2 + ，；t + 1 d k 如果9 l d k 芝0 ，那么( 2 2 4 ) 成立，如果磊l 血 0 使得 i l 口，( z 1 ) 一v f ( x 2 ) l l l l l x l z 2 0v z l ，x , 2 r ( 2 2 7 ) 定理2 2 若假设2 2 1 成立，是c 上的一致凸函数，即( 2 2 刀成立，且存在常数 “ 0 使得 ( v f ( x 1 ) 一v f ( x 2 ) ) t ( z 1 一。2 ) 肛1 1 z i z 2 1 1 2 对比l ，z 2 c 都成立。如果方法( 2 2 1 ) 在每次迭代中步长a k 满足标准的w o l f e 准则 ( 1 1 6 ) 一( 1 1 7 ) ，那, 就有g k = 0 对任意k 都成立，或者h mg k = 0 。 定理2 3 若假设2 2 1 成立，且方法( 2 2 2 ) 在每次迭代中步长q 满足标准的 w o l f e 准则( 1 1 6 ) ( 1 1 7 ) ，那, 就有g k = 0 对任意k 都成立，或者9 k = 。 e , l i r a 0 这两个定理分别与文献【1 5 】中的定理3 2 和定理3 3 相似，并且证明方法相近，在 此省略。 浙江大学硕士学位论文第2 1 t 下降的非线性共轭梯度法及其全局收敛性 9 2 3 数值实验 我们在m i c r o s o f tv i s u a ls t u d i o2 0 0 5 平台上对共轭梯度法( 2 2 1 ) 做了双精度数值实 验。其中测试的问题来自于文献【1 9 】，我们的数值结果由表4 1 到表4 3 给出。 垦曼! ! ! ：! 堡! 坐塑墨! 塑坐出三! ：! pn a m er l 饥= 0 3饥= 0 47 k = o 67 k = o 8 i fi pi fi f 3 0 b r o y d e n 1 0 0 0 0 1 3 0 3 3 2 8 6 2 1 8 1 1 3 2 7 6 1 0 6 2 6 1 。 t r i d i a g o n a l 1 0 0 0 8 4 2 2 4 7 8 2 1 8 +6 7 1 7 7 8 1 2 0 7 浙江大学硕士学位论文第2 t t 下降的非线性共轭梯度法及其全局收敛性1 0 垦垒! ! 兰：兰婴! 些旦璺墨! ! ! 尘丝三! pn a m en y k - - 0 2 57 k = 0 47 k = 0 6讥：0 8 i f i fi f i f f a i l e d 6 5 3 2 89 9 99 9 99 9 92 9 1 5 6 ( 7 k = 0 2 6 ) 7 9 3 8 5 f a i l e d 9 9 99 9 929 9 92 5 1 3 8 ( q k = 0 2 5 9 ) 浙江大学硕士学位论文第2 章下降的非线性共轭梯度法及其全局收敛性 1 1 旦坠! ! 兰：! 里! ! 塾壁垒! ：! ! ! ! 塾些三! ：! pn a m en 饥= 0 1 87 k = o 4饥= 0 67 k = o 8 i fi fi fi y 7 k = 1 0 7 k = 1 2t k = 1 57 k = 1 87 k = 2 0 g o o d 饥 u f fi fi fi fi f 第一列中”p “和第- - - n ”n a m e ”分别代表测试问题的序号和名称，每个问题的测试 我们在n = 5 0 到凡= 1 0 0 0 0 之间取不同的数值。数值结果以i f 的形式给出，其中i 和 f 分别代表迭代次数和计算函数值的次数。迭代终止的条件分别是 g k i i 。1 0 6 ( 2 3 1 ) 掣篇f ( z 半k 如一 ( 2 。2 ) 1 + i) i 一 、 另外如果迭代次数超过9 9 9 ，我们也会终止程序。在数值结果中我们用记号”表示终止 条件是( 2 3 2 ) 而非( 2 3 1 ) ，另外我们用9 9 9 表示迭代次数超过9 9 9 。在实验过程中步 浙江大学硕士学位论文第2 章下降的非线性共轭梯度法及其全局收敛性 1 2 长满足标准的w o l f e 准则( 1 1 6 ) 一( 1 1 。7 ) ，其中条件( 1 1 6 ) 中6 和条件( 1 1 。7 ) 中的矿分别 取0 0 1 和o 1 ，初始步长m = 1 。 在数值实验中，我们发现方法( 2 1 4 ) 并不总是最好的，通过选取不同的参数我们 可以得到更好的数值结果，因此方法( 2 2 1 ) 更有效。另外，在测试问题3 0 是我们发现 尽管满足终止条件( 2 3 ，1 ) ，但是在表4 1 到表4 3 中迭代的最小值点并不满足要求( 文献 【1 9 】中最小值点是0 ) ，故用记号”7 表示，但是我们仍可以找到参数使得迭代达到正确 的最小值。 第3 章修改割线条件下的共轭梯度法 3 1 定义和引言 在本章中，我们将用修改的割线条件进一步讨论方法( 2 2 1 ) ，从而得到一羊中新的共 轭梯度法，这种方法包含了函数的二阶曲率信息，因此有更高的数值精度。我们知道传 统的割线条件是 b k + 1 8 k = 鲰，( 3 1 1 ) 其中上k + 1 是审2 f ( z l + 1 ) i l i t c 矩阵，玑m - g k + l g k 且“= z k + 1 一。z h a n g 和x u 【3 4 】 在此条件的基础上提出了一类修改的割线条件，将，和g r s 三次t a y l o r 展开可得 = a + t g o l s k + 壶8 i g t + - s k 一壶s ：( ? 。“，s k ) + o ( 1 l s k l l 4 ) 靠乱= 9 1 8 k s 置c k + 1 8 k + 击s ：( z 4 l s k ) + o ( 1 l s k i l 4 ) 其中t k + 1 j p 。“是，在s k + 1 的张量，两式消去此项可得 s i c k + l 壤= s 乏胀+ 6 ( 丘一 + 1 ) + 3 ( 鲰+ 鲰+ 1 ) t s k + o ( 1 1 , t 1 4 ) 其中g k + l = v 2 ，( z k + 1 ) ，l l s k 0 1 。所以 s 晚+ 1 8 一s r u k + 以， ( 3 1 2 ) 以= 6 ( a 一 + 1 ) + 3 ( 0 + g k + 1 ) 7 s 女 于是新的割线条件是 b k + l s k ：蟊，蟊：鲰+ 篓u b ， u 2 其中“k 彤。满足s k r u k 0 。若用 k + l 表示( k + 1 的逆矩阵。则修改的割线条件是 风+ ，蟊= s 女，蟊= 玑+ 丧饥 ( 3 1 3 ) z h a n g 、d e n g 和c h 融在f 3 5 】证明 s ：( g k + 1 8 一蟊) ；o ( 1 l s k ， s ：( g 州s k 一鲰) = o ( 1 1 s k 所以用蟊代替玑畿碍到更高的精度。y a b e - t a k a n o 在 3 z l 中用此修改的割线条件在 d a i - l i a o 方法( 2 1 5 ) 的基础上提出了新的共轭梯度法，在强w o l f e 准则下证明了其全局 收敛性，并得到了好的数值结果。因此我f f n 样用此修改的割线条件在方法( 2 2 1 ) 的基 础上也碍到了一种新的共轭梯度法，我们将在标准w o l f e 准则下证明其全局收敛性。 1 3 浙江大学硕士学位论文第3 5 修改割线条件下的共轭梯度法 1 4 3 2 主要结果和证明 设p 20 ，根据( 3 1 3 ) 式令 j = 讥州丧吣( 3 。，) l 以= 6 ( 一 + 1 ) - i - 3 ( g a - t - 鲰+ 1 ) 7 s k ， 其中讥，s k ，“k 与( 3 1 3 ) 式同。下面我们将给出新的共轭梯度法 和 id k + 1 = 一札9 k + l + 硝删d k ，d o = 一夕0 ， i 甜去( 一讥毗铿 。2 2 d k + l = 一p 弧+ 1 + - 血，d 0 = 一夕0 彭。= m a x 硝一，仉) 一1 啦2 瓜而面丽 其中 是正常数且蕊( 肌一去) 0 。 下述定理刻划了方法( 3 2 2 ) 和( 3 2 3 ) 的下降性质。 定理2 1 如果露挑0 且 ( 3 2 3 ) d k + l = 一# , k g k + l + r 血，d o = 一g o ( 3 2 4 ) 对任意re 【硝“，m a x 硝。，o ) 都成立，那么就存在常数c 0 对任意k 0 都有 矗1 d k + ls c l l g , , + 11 1 2 ( 3 2 5 ) 注：此定理的证明与第1 章定理2 1 的证明类似，故在此省略。因此如果r = 硝。，方法( 3 2 2 ) 产生的的方向是下降的，又因为( 3 2 3 ) 中的r k 是负数，所以 - - 仇n = m a x z f 一，r k e 硝一，m a x 硝“，o ) 故方法( 3 2 3 ) 产生的的方向也是下降的。 为了讨论方法( 3 2 2 ) 和( 3 2 3 ) 的收敛性，我们给出以下假设。 假设3 2 1 ( 1 ) 水平集c = x l f ( x ) 0 使得 l 口妇ec ( 3 2 6 ) 浙江大学硕士学位论文第3 章修改割线条件下的共轭梯度法 1 5 ( 2 ) 函数，在的某个邻域内是连续可微的，并且其梯度是l i p s c h i t z 连续的， 即存在常数l 0 使得 l i w ( z 1 ) 一v f ( z 2 ) l i l i i = , 一z 20 t 1 ，z 2 厂( 3 2 7 ) 下面我们将讨论( 3 2 1 ) 式中以和的相关性质。设嘶是“ 和8 k 之问的夹角，那 么 c o s 峨= 龋 ( 3 z 8 ) 假设存在足够小的证实数e o 使得 一e o 成立，那么必促在常数m 0 使得 成立。 由中值定理可得 段= = = s ：k m l l s t l ll l u k l l( 3 2 9 ) 6 ( ，七一厶+ 1 ) + 3 ( 班+ g k + 1 ) r s ) 6 v f ( 叼k ) t ( z k x k + 1 ) - 4 - 3 ( v a + 可瓜1 ) t 8 k 一6 v ，( ，k ) r 8 k + 3 ( v f k + v + 1 ) 丁钆 3 ( v h v f ( n k ) + v a + 1 一v ，( 仉) ) 7 s k ， 其中玑= t t k + ( 1 一r ) x k + 1 且7 ( 0 ，1 ) 。因此由( 3 2 7 ) 式可得 。划| = o 时蓑划i 三烈l(m熟+3p)11钆11=m裂iii i i 眦l ( m 鬲+ 3 p ) 刈 剑k 忖糕赫川 = ，。s k ( m = _ 万一 o ) ( 3 2 l o ) ( 3 2 1 1 ) 浙江大学硕士学位论文第3 章修改割线条件下的共轭梯度法1 6 引理2 1 若也是下降方向且假设3 2 1 成立，如果线性搜索满足标准w o l f e 准 则，那么 畦字丽i g t d 1 ( 3 2 1 2 ) 证明： 在( 1 1 7 ) 式两端分别减去鳍d k 再由l i p s c h i t z 条件( 3 2 7 ) 得 ( 口一1 ) 秭? d ks ( g k + 1 一g k ) r d k q 七l l i 巩1 1 2 因为也是下降方向且盯 1 ，所以( 3 2 1 2 ) 成立。一 定理2 2 若假设3 2 1 满足，是c 上的一致凸函数。即( 3 2 7 ) 成立，且存在常数 使得 ( v f ( z 1 ) 一v f ( x 2 ) ) 7 ( z l z 2 ) p lj z l 一x 2 0 2( 3 2 1 3 ) 或者 ，扛1 ) f ( z 2 ) + v f ( x 2 ) r ( z 1 一z 2 ) + 芸i i z l z 2 1 1 2( 3 2 1 4 ) 对任意z 1 ，z 2 c 都成立。如果方法( 3 2 2 ) 中线性搜索满足标准的w o l f e 准则( 1 1 6 ) ( 1 1 刀，那当l = p 时或者存在某个k 使得g k = 0 成立，或者! i 哩g k = 0 对所有 p 0 成立；当p 0 ，所以由( 3 2 1 9 ) 可得耀魄 0 。 因为，是一致凸函数，所以，有下界。因为线性搜索满足标准的w o l f e 准则，所以 否鼬毋n ( m m 胁) - ，( 训)( 3 2 2 1 )七= ok = 0o 1 ， 一o 。 砉麟 o 。 眇l = 1 去( “一讥毗铿川 l 嬲掣+ 饥紫i ：糍# m ll a k 二r 糍川 o k l旷 m i o 训旷 觜izmlotki i + 饥黼i i i l 钆旷m i q 川钆 - ( 羔+ 篇) 黼- 忙川临舢i i i i + 垆i i i d , i i _ 0 使得当0sp 0 ， 成立。由定理2 1 可知 d 暑z k 一 k 9 i t d k 帆l l g k l l 2 c 地f ( 3 2 2 6 ) 再由标准的w o l f e 准则可得 s 看张= s ：玑+ 矽k = s 暑挑+ 6 p ( f 一 + 1 ) + 3 p ( g + 鲰+ 1 ) 丁乳 ( 9 k + 1 9 k ) t s 女一6 p 6 9 ：s k + 3 p ( 9 k + 1 + 9 k ) r s k = ( 1 + 3 p ) g + 1 8 k + ( 3 p 一6 p 6 1 ) 靠s 引1捌竺t一；二君13p1 o r2 6 竺j ( +一) 一( 1 一仃) 6 加一1 ) 最l s k g “1 s ， 浙江大学硕士学位论文 第3 章修改割线条件下的共轭梯度法1 9 因此如果磊1 d k o 且0 p 而碉l - a ，那么存在常数m 3 有 i 盟z t d i 。3 ( 3 船) k 2 3 。 l o z ij 如果g 玉1 d k 0 则由标准w o l f e 准则和靠s k 0 可得 s t z k = s t k u k + 0 8 k = s l ；瞻+ 6 p ( a 一 + 1 ) + 3 矿( 吼+ 9 k + 1 ) r s 三器13 p ) 装篓：瑟竺嚣二篙丁s 8 z 冽 = ( +最1 钆+ ( 3 p 一6 筇一1 ) 卵钆 。 2 ( 1 + 3 p ) g l l s k g v “ 因此当0 sp 0 成立，其中0 p 豳由定理2 1 可得 耀一m 4 毋d k2 咖4 | | 鲰1 1 22c m 4 f ( ) 与定理( 2 3 ) 的证明类似，由( 3 2 2 7 ) 、( 3 2 2 9 ) 和( 3 2 3 0 ) 可得i 硭。i 的上界。因此p 的 选择如下： jp 【0 ，可 ：两一司若醒l 。s k o ， 【p 【0 ，3 ( 1 + i - ，一o 硝) 一e 】 若g t ，s 七 0 ， 其中e 是充分小的正数。 参考文献 【1 】m a b a l l i d e s c e n tp r o p e r t ya n d 舀o b a lc o n v e r g e n c e o ft h ef l e t c h e r - r e e v e sm e t h o d w i t hi n e x a c tl i n es e a r c h , i m aj o u r n a lo fn u m e r i c a la n a l y s i s ，1 9 8 5 ，5 ：1 2 1 1 2 4 【2 】2b r i g j n e ，1 v a _ , - t j n e z j mas p e c t r a lc o n j u g a t eg r a d i e n tm e t h o df o ru n c o n s t r a i n e d o p t i m i z a t i o n a p p l m a t h o p t i m , 2 0 0 1 ，4 3 ：1 1 7 - 1 2 8 【3 】d a iyh a n a l y s e so fc o n j u g a t eg r a d i e n tm e t h o d s ，p h , d t h e s i s ，i n s t i t u t eo fc o m - p u t a t i o n a lm a t h e m a t i c sa n ds c i e n t i f i c e n g i n e e r i n gc o m p u t i n g , c h i n e s ea c a d e m y o fs c i e n c e s ( i nc h i n e s e ) ，1 9 9 7 【4 】yh d a ia n d l z l i a o n e wc o n j u g a c yc o n d i t i o n sa n dr e l a t e dn o n l i n e a r c o n j u g a t e g r a d i e n tm e t h o d s ，a p p l i e dm a t h e m a t i c s a n do p t i m i z a t i o r b2 0 0 1 ，4 3 ：8 7 - 1 0 1 【5 】5 yh d a ia n dyy u a n an o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o dw i t has t r o n gg l o b a l c o n v e r g e n c ep r o p e r t y , s i a mj o u r n a l o no p 皿1 i z a 的n ，1 9 9 9 ，1 0 ：1 7 7 - 1 8 2 【6 】6 y h d a ia n dyy u a n ae f f i d e n th y b r i dc o n j u g a t eg r a d i e n tm e t h o df o ru n c o n - s t r a i n e do p t i m i z a t i o n , a n n 0 p e lr e s ，2 0 0 1 ，1 0 3 ：3 3 _ 4 7 【7 】d a iyh ，y u a ny c o n v e r g e n c ep r o p e r t i e so ft h ef l e t c h e r - r e e v e sm e t h o d ，i m aj n h m e r a n a l 1 9 9 6 ，1 6 ( 2 ) ：5 5 25 6 2 【8 】8 d a iyh ，y u a ny ad a s so fg l o b a l l yc o n v e r g e n tc o n j u g a t eg r a d i e n tm e m o d s ， r e s e a r c hr e p o r ti c m 一9 8 - 0 3 0 i n s t i t u t eo fc o m p u t a t i o n a lm a t h 哪a t i c sa n ds c i e n - t i f i c e n g i n e e r i n gc o m p u t i n g , c h i n e s ea c a d e m y o fs c i e n c e ，1 9 9 8 【9 】9 d a iy h ，y u a ny at h r e e - p a r a m e t e rf a m i l yo fn o n k i n e a rc o n j u g a t eg r a d i e n tm e t h - o d s ，r e s e a r c hr e p o r ti c m 一9 8 - 0 5 0 ，i n s t i t u t eo fc o m p u t a t i o n a lm a 出衄u t i c sa n d s c i 。 e n t i f i c e n g i