（运筹学与控制论专业论文）混合非线性共轭梯度算法研究.pdf

大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 摘要 非线性共轭梯度算法是最优化方法的一个重要的组成部分在自然科学，生产实际， 工程设计和现代化管理中有着重要的实用价值 本文对近年来受关注的混合非线性共轭梯度算法的理论性质进行了研究，主要研究 结果归纳如下： 1 第二章给出了一个非线性共轭梯度算法在w o l f e 线搜索下全局收敛性的判别准则 2 第二章还提出了一类三参数共轭梯度法簇，并利用给出的判别准则证明了此类三参 数共轭梯度法簇和d y 方法一个变形的混合共轭梯度算法在w o l f e 线搜索下或修正 的w o l f e 线搜索下的全局收敛性 3 第三章对两篇文献中给出的收敛性结果在w o l f e 线搜索下或广义、v o l f e 线搜索下进 行了拓展 关键词： 非线性共轭梯度算法，最优化，全局收敛性，三参数共轭梯度法簇，d y 方 法，w o l f e 线搜索 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 a b s t r a c t n o n l i n e a rc o n j u g a t eg r a d i e n ta l g o r i t h m ( n c g ) i sa ni m p o r t a n tc o m p o n e n to fo p t i n f i z a t i o nm e t h o d s ，w h i c hc a nb ea p p l i e dt on a t u r a ls c i e n c e ，p r a c t i c a lm a n u f a c t i o n ，e n g i n e e r i n gd e s i g n ，m o d e r nm a n a g e m e n ta n de t c t h i sp a p e rm a i n l ys t u d i e st h et h e o r i t i c a l p r o p r i t i e so fn o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o d t h em a i nr e s u l t so b t a i n e di n t h i s d i s s e r t a t i o nm a yb es u m m a r i z e da sf o l l o w s ： 1 c h a p t e r2p r e s e n t sac r i t e r i o no fg l o b a lc o n v e r g e n c eo ft h en o n l i n e a rc o n j u g a t eg r a d i e n t m e t h o du n d e rt h e ，0 l f el i n es e a r c hc o n d i t i o n 2 c h a p t e r2a l s og i v e saf a m i l yo ft h r e ep a r a m e t e rc o n j u g a t eg r a d i e n tm e t h o d t h e g l o b a lc o n v e r g e n c ep r o p e r t yo ft h ef a m i l ya n dac h a n g ef o r mo ft h ed ym e t h o da r e p r o v e du n d e rt h e ，o l f el i l l es e a r c hc o n d i t i o no rm o d i f i e d ，0 f i el i n es e a r c hc o n d i t i o n v i at h ec r i t e r i o nw eh a v ep r e s e n t e d 3 c h a p t e r3e x t e n d st h er e s u l t so ft w or e f e r e n c e su n d e rt h e ，0 l f el i n es e a r c hc o n d i t o n o rt h eg e n e r l i z e d ，o l f el i n es e a r c hc o n d i t o n k e yw o r d s ： n o n l i n e a rc o n j u g a t eg r a d i e n t m e t h o d ，o p t i m i z a t i o n ，g l o b a l c o n v e r g e n c e ，af a m i l yo ft h r e ep a r a m e t e rc o n j u g a t eg r a d i e n tm e d h o d ，d y m e t h o d ，o l f el i n es e a r c hc o n d i t i o n l l 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工作 及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理工大学 或其他单位的学位或证书所使用过的材料。与我一同工作的同志对本研究所 做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：堂宣垂 日期：2 0 0 5 年6 月 1 绪论 这一章首先介绍非线性共轭梯度算法的产生背景及其发展状况，并着 重介绍了几种经典的共轭梯度算法的理论和数值特点之后，介绍了混合 共轭梯度算法的产生及其在求解非线性无约束优化问题方面的研究进展 并介绍了了本文的主要工作 1 1 引言 最优化理论及方法的起源可以追溯到微积分诞生的年代然而，直到本世纪三四十 年代，由于军事和工业生产等方面的迫切需要，才使得最优化技术得到了蓬勃发展后 来，又由于电子计算机的问世使得进行优化计算的费用大幅度下降，于是各种优化模型 ( 如线性规划，二次规划，非线性规划，多目标规划等) 以及相应的各种数值优化算法( 如 单纯形法，共轭梯度法，变尺度法，罚函数法，目标规划法等) 得以在经济计划，工程设 计，生产管理，交通运输等领域得到了广泛的应用【勰】【4 9 】 共轭梯度法是最优化中最常用的方法之一它具有算法简单，存储需求小，易于实 现等优点，十分适合于大规模优化问题在石油勘探，大气模拟，航天航空等领域出现的 优化问题常常是利用共轭梯度法求解的【5 0 】 本文的内容属于方法研究，对近年来备受关注的最优化方法中的共轭梯度算法的理 论性质进行了研究 1 2 非线性共轭梯度算法研究进展 非线性共轭梯度算法已有五十多年的历史它最早是由h e s t e n e s 和s t i e f e l 于1 9 5 2 年在求解线性方程组时提出的口q ，并由f l e t c h e r 和r e e v e s 于1 9 6 4 年推广到非线性优化 领域【1 6 j 随后，b e a l e ，f l e t c h e r ” ，p o w e l l 2 q 等著名优化专家对非线性共轭梯度算法进 行了深入研究，取得了十分优秀的成果但几乎同时问世的拟牛顿方法由于其良好的计 算表现以及丰富的收敛性分析很快受到了青睐，从而在很长一段时间里共轭梯度算法被 研究者所忽视近年来，随着计算机的飞速发展以及实际问题的需要，大规模优化问题 越来越受到重视而共轭梯度算法正是求解大规模问题的一种主要方法，这屉因为共轭 梯度法具有算法简单，易于编程以及需要存储空闻小等优点于是共轭梯度算法的理论 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 研究和应用研究又受到了人们的关注 共轭梯度算法是用于求解大规模无约束非线性规划的一类有效算法在所有需要计 算梯度的优化方法中，最速下降法是最简单的，但在实际计算中收敛速度慢，易出现锯 齿现象拟牛顿法收敛速度很快，被广泛认为是非线性规划的最有效的方法但拟牛顿 法需要存储矩阵以及通过求解线性方程组来计算搜索方向，这对于求解大规模问题几乎 足不大可能办到的共轭梯度算法在算法的简便性，所需存储量等方面均与最速下降法 差别不大，而收敛速度比最速下降法要快因此在处理大规模非线性优化问题时许多实 际部门的工程师十分喜欢应用共轭梯度算法 共轭梯度算法有很好的理论性质，对于二次函数，在精确线搜索下共轭梯度算法可 以经过n 步迭带后求到最优解共轭梯度算法的基本原理足利用产生的共轭方向将一个 1 3 维的优化问题转化为等价的1 1 个一维问题 共轭梯度算法对于非二次函数有许多不同形式著名的共轭梯度算法有h e s t e n e s - s t i e m ( h s ) 方法f l e t c h e r - r e e v e s ( f r ) 方法 1 6 】，p o l a k - r i b i e r e 3 1 】- p l o y a k 3 ( p r p ) 方 法，共轭下降方法( c d ) 【1 1 和d a i y u a n ( d y ) 方法【4 等关于这些方法的收敛性以及计 算比较一直是人们关心的问题h e s t e n e s 详细讨论了各种共轭梯度算法在求解优化问题 时的计算表现并且给出了计算实例f 2 3 ，近年来，n o c e d a 【2 5 1 ，g i l b e r t t q ，n a z a r e t h r 7 1 ，a i b a a l i 2 1 ，s t o r e y 2 4 1 等学者在算法的收敛性方面得到不少新结果，使得共轭梯度算法的收 敛性分析再次引起科研人员的关注可喜的是，我国学者也在共轭梯度算法的理论研究 中取得了一定的成绩例如，中国科学院数学与系统科学研究院袁亚湘研究员课题组以 及韩继业研究员课题组的工作就十分突出戴或虹博士和袁亚湘研究员在其2 0 0 0 年出 版的非线性共轭梯度法一书中系统的给出了无约束优化问题的共轭梯度算法的收敛 性理论，是国内致力于讨论共轭梯度算法的第一本专著f 洲 f r 方法是最早的非线性共轭梯度算法，早期对f r 方法的分析是基于精确线搜索 m 1 由于精确线搜索非常昂贵，在实际计算中人们通常使用非精确线搜索。而不使用 精确线搜索在非线性共轭梯度算法中，第一个非精确线搜索下的全局收敛性结果是由 a i b a m i 在1 9 8 5 年给出的，他证明了使用参数口 2 = l( 2 1 6 ) 其中0 是步长，它满足某些线搜索条件、这里g k 代表，在点的梯度，风是 共轭梯度参数参数风的形式有多种，著名的有： = 秽婚( f 池c 胁，r e e v e s 1 9 6 4 ) ， = 镬蓦( p 砒女r i b i a 隅p 。l y 。南，1 9 6 9 ) = 一老嚣( 打e s t e n e s ，s t i e ，e f ，1 9 5 2 ) ， 一d k 蛆_ l g i i 。二- i ( f t e 把h e r ，1 9 s 7 ) = 老告( ，) n i ，y u 一，1 9 9 5 ) 其中d y 方法由戴或虹与袁亚湘【4 】给出这里弧，= g k g k _ l 当f ( x ) 为二次函数 时，以上几种参数风的计算公式是等价的，当( x ) 为一般非线性函数时，这些计算公 式的性质可能大相径庭 步长因子的计算对于无约束选代算法也至关重要显然最好的点是在方向d k 函 数值达到极小的点，但是这需要求一个单变量函数的极小值，计算量较大，故再实际计 7 r p 占 d y 硝俨鳍犁船 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 算中往往采用非精确线搜索其中w o l f e 线搜索就是一种，它要求步长n k 满足下述条 件： 、v o l f e 线搜索条件 “一f k d - “k 9 t d ，( 2 2 a ) 矗l d k 口蠢d k ， ( 2 2 b ) 其中0 5 口 l 第一个不等式要求函数有充分的下降，第二个不等式防止步长o 过小，因而保证目标函 数的足够下降 本文还采用下述修正的w o l f e 线搜索： 修正的w j l f e 线搜索条件 ，( z 女+ o d k ) 一，( z ) d n 9 女t d k ， 口g 吾d k 9 扣k + a k d ) t d 0 ， 其中0 占 矿 0 使得 1 1 9 ( x ) 一g ( y ) | | l l l z 一忆v 。，y ( 2 3 ) 下面的引理给出一个一般性的结果 引理l ( z o u t e n 晒条件p 彰，声可，膨聊设函数，( z ) 满足假设j ，序列 z ) 是由偿j 矽 生成的迭带点列，且对每一个k ，有鲠t 氐 0 ，n 0 满足w o 拈线搜索条件，则有 8 群 随 第2 章非线性共轭梯度算法的全局收敛性分析 证明：由( 2 2 b ) 知 【g k + 1 9 】7 d k ( 口一1 ) 9 d 另一方面，由l i p s c h i t z 条件( 2 3 ) 有 和用以上两式得 g k + l g k 7 d k ( l i i d f f 2 一口一1 9 女t d 。痧t 赫 ( 24 ) ( 2 2 a ) 和( 2 4 ) 表明 蠡一“c 雠7 2 ， 其中c = d ( 1 一一) l 对上式从= 1 ，2 ，求和，并注意，( z ) 下方有界，即知引理结论 成立 2 2 一个共轭梯度算法全局收敛性判别准则 受d y 算法的启发，下面的定理给出了共轭梯度方法全局收敛性的一个判别准则 定理1 r 收敛性判别准则j 设函数，( z ) 满足假设， 是由共轭梯度法偿纠生成 的迭带点列，如果对每一个也有甄t 如 0 使得i 协| | ，对所有的k 成立，则由( 2 6 ) 我们有 叽- - 0 则当t 一c d 时，p ( t 1 是单调增加的， 如粟 b c a d o ， k l 1 妒女= ( 1 一p 一“氇) + ( ( 1 一a + p + “) 一p k ) 7 一1 0 如果弘= 0 ， 。女1 成立如果触0 ，由引理2 ，将“看作k 的函数，是单调增加的， 从而结合两种情况知n ( k ) r k ( 0 ) = 1 总之，引理的结论对于成立 引理4 序列( 矾) 是由共轭梯度法印j j 生成的迭带点列，仇按俾圳计算，a k 由修 正的w o t f e 线搜索得到，则 恻罂 大连理工大学硕士学位论文! 混合非线性共轭梯度算法研究 证明：由( 2 ，l b ) 和( 28 ) ，当k 2 时，直接计算可得 觑：垂生 联一l d 一1 下面我们建立下述不等式 丛! 二型 ； ( f k ( 1 一a ) # k ) l k + ( 1 一p 一u ) ( r 矗l 一1 ) + 2 a 肛k + u k 1 ( 29 ) 得到 2 十( 1 一k u k ) ( r 芒l 一1 ) 一a k 1 + p + w k a k 1 又因为f k 0 ，从而 靠1 。3 卜氏) 机。至i 辅) d “- i k ) 讹如 = l + ( p 一1 ) l k 结合上述不等式可以得到 0 女( 1 一a k ) 曼( ( 1 一a k ) 一p 女) k + ( 1 一，“一u ) ( ，芒1 1 ) 十2 一a k 和 ( & ( 1 一a k ) 一# k ) l k4 - ( 1 一t z , k u k ) ( r 乏1 1 ) + 2 一a k 0 ， 因此( 2 9 ) 式成立显然的有l 仇| ( 9 。t d t 一1 e l k 一1 ) 定理2 设函数f ( x ) 满足假设，共轭梯度法俾j j 中参数凤按俾砂计算，步长由修正 的w o f ，e 线搜索条件取得，则算法是在侣剀的意义下全局收敛的 证明：由定理l 和引理4 知定理的结论是显然的 2 4 d y 方法一个变形的全局收敛性 在这一节，考虑d y 方法的一个变形，即满足l 鼠i i 鳄。i 的反确定的共轭梯度算法。 首先定义i k = ( 靠t 如一1t 一1 d k 一1 ) ，则下述定理成立 定理3 设函数，( 。) 满足假设， 。k 是由共轭梯度法俾，生成的迭代点列，仇按如 下形式计算： 擞= r p ，( 2 1 0 ) 1 2 【 一 。扯 一 由 由 第2 章非线性共轭梯度算法的全局收敛性分析 兵甲“【- 1 ，步长n k 满足w o 驴e 线搜索条件，如果 k 嵩，“- 1 , o ) 靠d m 0 ，v k ， 0 2 ，我们有 = 一i i g k l l 2 + ? k g t d k l = 一i t a k l l 2 + r k 老磐9 融一z = 阼1 + 籍碧) = i l g k l l 2 ( 盟絮竽) h | j 础m = 器( ( ，一) 9 t d t1 + 9 砷一) - 由( 2 1 0 ) ，上面的关系式可被重写成 艨= t k ( 1 t 鲰1 1 2 ) ( d l 。鲰一) = “( 9 吾血) ( ( ，一1 ) 露也一14 - 9 & l d k 一1 ) = 矗( t “k ，八tl d k 一1 ) ， ( 2 1 1 ) 其中 ，r h 2 瓦= 丽 因为o ：k 满足w o l f e 线搜索条件，得到： 如果“( o1 】，贝k o - 1 ，因此n 一( n 一1 ) k 一1 = ( r 一1 ) ( k 一1 ) 0 ，即i 矗i 1 如果r _ 1 ，o ，则靠 班l - r k ，因此1 。l 一( r 1 ) k 一1 一7 女一( r 一1 ) ；圭巽一1 = 0 ： 即慨l l 总之l 矗l l ，于是， 慨怪兰t 1 1 ( 2 1 2 ) 鳙口k 一 。 1 3 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 接下来考虑 两边同时取平方，得到 两边同除以( 磋如) 2 ，得 蟊+ g k = 凤d k 一1 f i d y l l 2 = 一i i g 1 1 2 + 镤l l d 一。胪一2 9 d l 恢| 1 2 ( 9 吾如) 2 1 1 9 * 胪 ( 靠t 出) 2 吼= k q * - i + 厮1 ( 瓦2 一夸 其中 冁= 器“= 一丽g t d k 由于j 1 ，得 啦 0 ，因此 击c 毒一番蓦赤c 瓣， 因此 毒一委蒌等c ，一c 却2 ，摹c ， 则 ( 去一1 ) 2 1 薯( 女一1 ) 乏1 一，+ 摹( m 一，) 三三店+ 1 2 2 狐 t k77 令d 3 = - y 2 彳，以= d 3 7 2 ，南= 醒7 2 ，并注意到一鳙t 氐= i i 鲰i | 2 t k 和i i d k lj l b k l l t ，则得到 1 4 第2 章 非线性共轭梯度算法的全局收敛性分析 推论1 设函数f ( x ) 满足假设，序列 z 是由共轭梯度法俾j 生成的迭代点列，仇按 俾叫计算，其中 f k 1 1 】，n 满足w o 拈线搜索条件，如果k 满足偿j jj ，g 手呶 0 对所有自成立，则算港在偿纠的意义下全局收敛 证明由定理1 和式( 蓬蚵推论的结论是显然的 在文献 1 3 中，戴和袁限制了“的界以得到下降算法，并建立了其全局收敛性，文 献 1 3 中的数值试验表明方法是有效的可以将文献 1 3 中的全局收敛性定理2 3 视为 推论1 的特殊情形，将其收敛性定理重写如下： 定理4 设函数i 厂满足假设，序列 z 女) 是由共轭梯度法偿，生成的迭代点列，o 满 足w o 拈线搜索条件，仇按偿j 叫计算，其中 而 - - 0 ，1 】 则如果鳜0 对所有1 成立，算法在偿剀的意义下全局收敛 证明：如果 吼【一而1 - - 0 ，吼 我们有 1 。 1 + 崭2 南， 即 因此 。 0v k 1 ，使得 8 蚓1 7 因此 蜒一去+ 丢6 圳 ( 3 a ) 如一面i + 2 。n ( 3 _ 4 ) z = 1 “砉 ( 3 5 ) 长胤 一 q 等h 一 n 互。瑚 叶褂 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 在另一方面，因为t k 0 和( 3 4 ) ，我们有 白圳熹 ( 3 e ) ；= 1 使用引理5 和( 3 5 ) ，( 3 6 ) ，我们得到 吾鼯蒂2 善墨2 。! ；。镭蒂2 o 。 惫| 2 惫t e 。，缸。1 2 这是一个矛盾定理证完 3 2 一类共轭梯度算法的全局收敛性 在文献 4 6 中，作者令共轭梯度法( 2 1 ) 中纨属于一个区间，证明r 其在广义a r m i j o 线搜索下的全局收敛性，文献给出的数值试验表明其是有效的，下面的定理给出了其在 w o l f e 线搜索下的全局收敛性为此，首先证明一个引理 引理7 假设函数，( z ) 满足假设j ，在共轭梯度法偿纠中 傀【- 再壬丽端，再再1 。硼1 1 9 i 川i 。 ( 37 。) 其中 ，。 o c 。s 目* 2 2 尚 ( 3 7 b ) 如果| | 肌l f 0 我们有 l 恢| | ( 1 + 1 ) 1 1 9 k 忆 g 融一丽i + a 恻1 2 证明；，对于k = 1 ，结论是显然的 对于2 ，由( 2 i b ) 和( 3 6 ) ，我们有 l l 如i i = s s 注意到1 9 虿氐1 = 一娠t 则还可得到： g t d k = 0 使得i m f f 7 对所有的自成立 由引理7 ，我们有 热t 9 。1 1 墨一菩2 a ，9 吾昧o l 2 二 上 ，k “r 、。 则 丽t d k 、2 糕2 ( 3 s ) 恢| | 42 ( + ) 2 。 p o 仍由引理7 ，我们有： j j 或胪( 1 + ) 2 恢峨 则 燃端 。， 由( 3 8 ) 和( 39 ) ，得到 ( g t d k ) 2 ：t d k 2 业堕止 ! ! 垒兰i 也剑： l l 血l i 2 i 旧一1 1 4 l 如1 1 2 二( 2 + ) 2 ( 1 + 去) z 由l | | 7 对所有七成立，因此 妻锘：慨 鲁1 2 “ 这与z o u t e n d i j k 条件相矛盾证毕 2 1 4 结论 本文对非线性共轭梯度算法，尤其是混合非线性共轭梯度算法的理论性质进行了研 究 2 2 节给出了一个非线性共轭梯度算法在w o l f e 线搜索下全局收敛性的判别准则 2 3 节和2 4 节利用该判别准则分别证明了一类三参数共轭梯度法簇和d y 方法的一个 变形的全局收敛性通过证明我们看到，该判别准则使用起来是很方便的 第三章证明了两篇文献中提到的两类混合非线性共轭梯度算法在w o l f e 线搜索下或 广义w o l f e 线搜索下的全局收敛性，其中3 1 节给出的结果在一定程度上回答了文献2 0 1 在文末提出的问题 5 参考文献 1 1 a i b a a l im 。d e s c e n tp r o p e r 妙a n d 创o b a lc o n v e r g e n c eo ft h ef l e t c h e r - r e e v e sm e t h o d 州地 i n e x a c tl i n es e a r c h ，t m aj n u m e r a n 甜1 9 8 5 ，5 ：1 2 1 - 1 2 4 【2 】a i b a a l im ，f l e t c h e rro nt h eo r d e r o fc o n v e r g e n c eo f p r e c m l d i t i o n e dn o n l m e a r rc o n j 一 g a t eg r a d i e n tm e t h o d ，s i a mj s c i c o m p u t ，1 9 9 6 ，v b l1 7 ，n o3 ：6 5 8 6 6 5 3 ib e a i eem lad e r i v a t i v eo f c o n j u g a t e g r a d i e n t s ji n ：l o o t s m afa ，e d n u m e r i c a lm e t h o d s f o rn o n l i n e a xo p t i m i z a t i o n 、l o n d o n ：a c a d e m i cp r e s s ，1 9 7 2 3 9 4 3 4 1 yhd a i yy u a n an o n l i n e a rc o n j u g a t eg r a d i e n tm e t h o dw i t hn i c eg l o b mp r o b e r - t i e s r e s e a x c hr e p o r ti c m 一9 5 0 3 8 ，i n s t i t u t eo fc o m p u t a t i o n a lm a t h e m a t i e sa n ds c i e n t 讯c e n g i l l e e r i n gc o m p u t i n g ，c h i n e s ea c a d e m y o fs c i e n c e s ，1 9 9 5 【5 】d a iyh ，y u a ny c o n v e r g e n c ep r o p e r t i e so t t h e f l e t c h e r - r e e v e sn m t h o d ji m aj n u m e r a n a l 1 9 9 6 ，1 6 ( 2 ) ：1 5 5 1 6 4 f6 1d a i y h ，y u a nyc o n v e r g e n e eo ft h ef l e t c h e r - r e e v e sm e t h o du n d e 2 8g e n e r a l i z e dw o l f e s e a r c hj o u r n a lc o m p u t a t i o n a lm a t h e m a t i c so fc h i n e s eu n i v e r s i t i e s ，n o 2 ( 1 9 9 6 ) ：1 4 2 1 4 8 【7 1 7 d a iy h ，a n a l y s i so fc o n u g a t eg r a d i e n tm e t h o d s ，p h dt h s i s ，i n s t i t u t eo fc o m p u t i t i o n a t m a t h e m a t i c s a n ds c i e n c e e n g i n e e r i n gc o m p u t i n g ，c h i n e s ea c a d e m yo fs c i e n c e ( i nc h i - n e s e ) ，1 9 9 7 f 8 1 d a iy h ，y u a nys o m ep r o p e r t i e so f a 玎e h ，c o 可u g a t eg r a d i e n tm e t h o d ji n ：1 l z l l a l ly ，e d a d v a a e e si nn o n l i n e a rp r o g r a m m i n g ，b o s t o n ：k l u w e r ，1 9 9 8 ，2 5 1 2 6 2 【9 】d a iyi i ，y u a ny ac l a s so fg l o h a l b , c o n v e r g e n tc 0 n d u g a t eg r a d i e n tm e t h o d s ，r e s e a r c h r e p o r ti c m 一9 8 0 3 0 ，i n s t i t u t eo fc o m p u t a t i o n a lm a t h e n m t i c sa n ds c i e n t i f i c e n g i n s e r i n g c o m p u t i u g ，c h i n e s ea c a d e m y o fs c i e n c e s ，1 9 9 8 1 0 1d a iyh ，y u a n y e x t r a o no f ac l a s so f n o n l i n e a r c o n j u g a t eg r a d i e n tm e t h o d s ，r e s e a r d l r e p o r ti c m 一9 8 0 4 9 ，i n s t i t u t eo fc o m p u t a t i o n a lm a t h e m a t i c sa n ds c i e n t i f i c e n g i n e e r i n g c o m p u t i n g ，c h i n e s ea c a d e m y o fs c i e n c e s ，1 9 9 8 1 1 】d a iyh ，y u a ny at h r e e - p a r a m e t e rf a m i 妙o fn o n l i n e a rc o n j u g a t eg r a d i e n t l n e t h o d s r e s e a r c hr e p o r ti c m 9 8 0 5 0 i n s t i t u t eo fc o m p u t a t i o n a tm a t h e m a t i c sa n ds c i o n ， t i 6 c e n g i l l e e r i n gc o m p u t i n g ，c h i n e s ea c a d e m y o fs c i e n c e ，1 9 9 8 1 2 】d a iyh ，y x y u a n an o n l i n e a rc o n j u g a t eg r a d i e n tw i t has t r o n gg l o b a lc o n v e r g e n c e p r o p e r t y ，s i a mj o u r n “o fo p t i m i z a t i o n ，2 0 0 0 ，1 0 ：1 7 7 - 1 8 2 1 3 1d a iyh y x ，y a a n a ne f f i c i e n th y b r i dc o n j u g a t eg r a d i e n tm e t h o df o ru n c o n s t r a i n e - d o p t i m i z a t i o n ，a n n a l so fo p e r a t i o n sr e s e m c h1 0 3 ( 2 0 0 1 ) ：3 3 - 4 7 大连理工大学硕士学位论文：混合非线性共轭梯度算法研究 1 4 d a iy h ，h a njy ，l i ugh ，s u ndf ，y i nhx ，y n a ny c o n v e r g e n c ep r