（应用数学专业论文）求解非线性最小二乘问题的一种新方法.pdf

硕士论文 求解非线性最小= 乘问题的一种新方法 摘要 随着非线性最小二乘问题的广泛应用，其算法的研究越来越受到重视，近年 来涌现出许多新方法。本文的前半部分通过对非线性最小二乘问题各种求解方法 的研究，从算法设计的角度将求解方法划分为三大类：基于拟牛顿方程的方法， 混合算法以及自度量算法。按这种方式分类后，算法设计的思路更加明朗，本文 后半部分根据这一指导思想给出了一种求解非线性最小二乘问题的新方法。 拟牛顿方法是求解无约束优化问题非常有效的方法，将拟牛顿方法应用到非 线性最小二乘问题中，结合问题结构特点是算法设计的有效途径。潘平奇咖提出 了求解无约束优化问题的一个具有很好逼近性的新拟牛顿方程，本文后半部分将 此方程结合h u s c h e n s t 栅的自度量方法推导出一个求解非线性最小二乘问题的拟 牛顿方程4 + ，& = 墨丛塾气蠢：；f 1 型型一4 靠，提出了一种新的求解方法。新 方法将问题划分为零残量和非零残量来讨论，并证明了算法对零残量问题具有二 次收敛性，对非零残量问题具有超线性收敛性。数值实验表明了算法的可行性。 关键词：拟牛顿公式自度量算法二次收敛性超线性收敛性 硕士论文 求解非线性最小= 乘问题的一种新方法 a b s t r a c t w i t ht h eb r o a da p p l i c a t i o no f n o n l i n e a rl e a s ts q u a r e sp r o b l e m s ，m o r ea t t e n t i o n sa r c p a i dt ot h es t u d yo ft h ea l g o r i t h m , a n dm a n yn o wm e t h o d sa r ea d v a n c e di nr e c e n t y e a r s i nt h i sp a p e rm e t h o d sf o rn o n l i n e a rl e a s ts q u a r e sp r o b l e m sa r ec l a s s i f i e da s ： m e t h o d sb a s e do nq u a s i - n e w t o ne q u a t i o n , h y b r i dm e t h o d sa n ds e l f - s c a l i n gm e t h o d t h ec l a s s i f i c a t i o nm a k e st h ea l g o r i t h md e s i g nm u c hm o r el u c i d , a n dc a s tt i g h to nt h e a l g o r i t h mp r o p o s e di nt h i sp a p e r q u a s i - n e w t o nm e t h o d sa r ce f f i c i e n to n e sf o rn o n l i n e a ro p t i m i z a t i o n c o m b i n i n g q u a s i - n e w t o nm e t h o d sw i t ht h es p e c i a ls t r u c t u r eo fn o n l i n e a rl e a s ts q u a r e sp r o b l e m s i st h eb e s tw a yt od e s i g n i n ga l g o r i t h m i nt h i sp a p e ran e wq u a s i - n e w t o ne q u a t i o n p r o p o s e db yp a np i n g q i 4 田i sa p p l i e dt ot h ep r o b l e m s c o m b i n i n gt h el l e we q u a t i o n w i t ha p r o d u c ts t r u 吐u r e p r o p o s e db yh u s c h e a s 3 7 , w es h o wan e w q u a s i - n e w t o n e q u a t i o n 钆黾= 型气篙铲蚴一4 & ，a n a a 一甜鲥m m b 鼬- ；蝴 z e r or e s i d u a la n dn o l l o z c r or e s i d u a lp r o b l e m sa r ed i s c u s s e di nd i f f e r e n tp a r t si nt h i s p a p e ra n dt h ea l g o r i t h mi sp r o v e nq u a d r a t i cc o n v e r g e n c ef o rz e r or e s i d u a lp r o b l e m s a n ds u p e r l i n e a rc o n v e r g e n c ef o ru o n - 7 _ 2 r or e s i d u a lp r o b l e m s n u m e r i c a le x p e r i m e n t s s h o wt h a tt h ea l g o r i t h mi sf e a s i b l e k e y w e r d s ：q u a s i n e w t o nf o r m u l a , s e l f - s c a l i n gm e t h o d , s u p e r l i n e a rc o n v e r g e n c e , q u a d r a t i cc o n v e r g e n c e 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本 学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或 公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使 用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文 中作了明确的说明。 研究生签名： 铘注pp 6 年i 月卫7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或 上网公布本学位论文的全部或部分内容，可以向有关部门或机构送交并 授权其保存、借阅或上网公布本学位论文的全部或部分内容。对于保密 论文，按保密的有关规定和程序处理。 研究生签名：j 津弘萆沁6 年月印曰 硕士论文 求解非线性最小二乘问题的一种新方法 1 1 研究目的和意义 第一章非线性最小二乘问题概述 非线性最j 、- - 乘问题是最优化问题的一个重要分支。在科学实验，测绘、 设计与工程技术等领域中，我们经常要进行数据拟合，参数估计和函数逼近， 这往往归结到求解非线性最小二乘问题： 记 m i n 删= 寺r 7 五= 寺阢o ) 】2 ( 1 1 ) t-i 其中工r 4 称为决策变量，r ( x ) = “( 力，1 2 ( 功，厢o ) ) 7 称为在点x 的残向量。 厂( 功称为目标函数( 或者评价函数) 。 目标函数的梯度和海森矩阵分别为； g ( 曲= v f ( x ) = j ( x ) r ( x ) ( 1 2 ) g ( x ) f f i v 2 f ( x ) = ，( 力，( 力7 + ( 功v 2 = 彳( 功+ s ( 砷 ( 1 3 ) t = l 其中j ( x ) = 【飘 ) ，v 吃( ，v ( 瑚。 从式( 1 1 ) ( 1 3 ) 可以看出非线性最小二乘问题是一类特殊的最优化问 题，可以运用无约束优化问题的计算方法来求解。结合问题的特殊结构是求解 非线性最小二乘问题的有效算法，目前一些比较流行的算法都是结合问题的特 殊结构提出的。随着非线性最小二乘问题的广泛应用，算法的研究越来越受到 重视，研究人员给出了大量的求解策略。 忽略了( 1 3 ) 中s ( z ) 的高斯一牛顿法对于解决零残量和小残量问题非常有 效，但是它对大残量问题以及，( x ) 奇异时求解效果不好。拟牛顿类算法是对于 高斯一牛顿法非常有效的补充，且具有超线性收敛性。随着非线性最d , - 乘问题 的广泛应用，近年来涌现出许多非常有效的新方法，这些新方法中具有代表性 的有：混合算法和自度量类算法。 拟牛顿方程是对牛顿方程的拟牛顿修正得到的，随着研究的深入，已经构 造出许多具有很好逼近性的拟牛顿方程。拟牛顿方法不需要计算目标函数的海 森矩阵，计算量相对较少，从而提高了运算速度，节省了内存；1 9 9 4 年h u s c h e n s j 硕士论文 求解非线性最小二乘问题的一种新方法 提出了一种被称为自度量类的算法，也就是在( 1 3 ) 的非线性部分加了一个度 量陋 ) 8 即目标函数海森矩阵写成如下形式： ( 矗) v 2 r , ( x d g “( x ) j ( x y + ) 0 生蕊砜一 n 4 将目标函数的海森矩阵重写成( 1 4 ) 形式是非常有效的设计，在文章的后半部 分给出的算法就是在此基础上提出的，这种结构容易将问题划分为零残量问题和 非零残量问题来考虑。本文运用一种特殊的拟牛顿方程结合自度量算法给出了求 解非线性最小二乘问题的一种新方法。 在下面的章节中我们将对非线性最小二乘问题求解方法进行分类，这种分类 方法主要是基于算法设计的不同角度来划分的。1 2 1 主要介绍了对拟牛顿方程 修正的算法；1 2 2 主要介绍了较1 2 1 更具有实用价值的混合算法；1 2 3 介 绍了具有广阔发展前景的自度量类算法；1 2 4 介绍了一些迭代步长选取原则和 收敛性分析的一些概念。 1 2 非线性最小二乘问题研究现状 随着非线性最小二乘问题的广泛应用，对于其求解方法的研究越来越深入。 尽管利用无约束优化方法也可以求解，但是一般我们结合问题的结构特点来求 解。早期的研究主要是对目标函数海森矩阵的修正，这类方法现在仍然是研究的 热点。在计算方法研究的大环境下，把算法混合来考虑成为算法研究的一个重要 分支，混合算法也是求解非线性最小二乘问题的一个重要方法。本文将各种算法 分为三大类：基于拟牛顿方程的算法，混合算法和自度量类算法。在本节中将对 非线性最小二乘问题总的研究状况按此分类法分别叙述。 1 2 1 基于拟牛顿方程的主要算法1 6 1 ，1 1 s l 从非线性最小二乘问题的海森矩阵表达式( 1 3 ) 可以看出，矩阵的前半部分只 包含函数的一阶导数信息，且这部分是容易通过计算得到；矩阵的后半部分包含 函数的二阶信息，这部分计算起来比较麻烦，并且存储量较大。另一方面，由于 求解非线性最小二乘问题是对( 功，= 1 ，2 ，m 在平方和意义下取极小，极有可能 c ( 功，f = 1 , 2 ，i t l 在最优解不处的取值为0 ( 零残量问题) 或取较小的值( 小残量 问题) ，这时( 1 3 ) 中g ( x ) 的非线性项s ( 力或为0 或者同( 1 3 ) 中的m ( 曲比较 相对较小，因此在矗的某个邻域内g ( 力的线性项m ( 功将是海森矩阵g ( x ) 很好的 2 碗士论文 求僻非线性最小= 乘问题的一种新方法 近似，这就是著名的高斯牛顿法。 高斯牛顿法是解决非线性最t b - - 乘问题的非常有效的方法，但是在特定情况 下高斯一牛顿法的收敛性和计算性能并不是很理想，这主要是以下两方面的原因； ( 1 ) 海森矩阵( i 3 ) 中的二阶部分s ( 功相对较大，导致了第一部分膨( 黾) 对 g ( x 。) 的近似程度不是很好。 ( 2 ) 矩阵j ( x 。) 不满秩，导致由方程组( 黾y ( x a 7 k = 一- ，( 鼍) r ( t ) 确定的迭 代方向与负梯度方向正交而无法使目标函数值沿方向下降。 l c v c n b c r g - m a r q u a r d t 法是对于g a u s s - n e w t o n 法的最早修正。l e v e n b e r 9 1 4 s 和m a r q u a r d t 4 9 指, q - t ，在非线性最小二乘问题求解中，使得耳标函数，( 力下降的 最好方向应该在g a u s s - n e w t o n 法和最速下降法之间。即下降方向以可以由方程 组： 【厂( 黾) ，瓴y + a i s t = - j ( x k ) g ( x d 确定，其中口 0 这种算法的关键在于选择合适的调节参数z ，使得目标函数 在迭代过程中有充分的下降。数值实验表明，l e v e n b e r g - m a r q u a r d t 法比 g a u s s - n e w t o n 法更有效，并且对于零残量问题和g a u s s - n e w t o n 具有相同的收敛 性。 上述方法都忽略了目标函数的海森矩阵( i 3 ) 非线性项部分s ( x ) 的大小， 在非零残量问题中，为了能够对于目标函数的海森矩阵更好的近似，需要考虑非 线性项部分s ( 功的大小。直接计算s ( 力是不明智的，它的计算量太大。拟牛顿 法是求解最优化问题的有效算法，非线性最小二乘问题作为一种特殊的无约束优 化问题，其求解方法随着拟牛顿法在一般优化问题中的应用而发展。 对于式( 1 3 ) ，由于s ( 磁) 中v 2 ) 是( 功的h e s s e 矩阵，1 9 7 1 年b r o w n 和 d e n n i s 2 3 建议用b r o y d 一凋在1 9 6 7 年得出的对称秩一修正公式来产生v 2 ( 功的 近似，设既是审2 ，f ( x ) 的近似，取 j l g = ( 黾) 既 1 1 1 他们给出了算法的局部收敛性，且对于零残量问题给出了局部二次收敛的结 论。但是这样的方法不具有实用价值，原因在于算法执行时，至少要存储m 个n 阶矩阵。然而他们开创了用拟牛顿法确定s ( x k ) 的近似c ( 以) 的思想。 基于拟牛顿修正的思想，对于s ( 靠+ 1 ) 的近似矩阵应该满足拟牛顿方程 q + 】s t = 圪( l 5 ) 因此用拟牛顿方法求解非线性最小二乘问题就转化为如何构造拟牛顿方程( 1 5 ) 对于上述的拟牛顿方程的构造可以分为以下几类： ( 1 ) 早期主要应用泰勒展开式来构造 根据泰勒展开式，有 g k + 1 = + g ) 其中 g 面= f g ( x k + 趣弦 = f 膨瓴+ 峨弦 + f 善( 雉+ 饵) v 2 瓴+ 瓴) 。田 = o ) + s o ) 由此得到 ( 1 6 ) s ) = 玖一m k ( x ) s k ( 1 7 ) 比较( 1 6 ) 和( 1 7 ) 可以看出c o l 是最( 两的近似，以是一心( - ) 的近似。 对于向量儿， 厶( 两& 的不同选取，可以得到不同的儿，从而确定不同的拟牛顿 方程。 在相当长的一段时间里，求解非线性最小二乘问题的研究方向就是对于 ( 1 5 ) 中儿的修正，下面给出一些主要结果： 对应于( 1 3 ) 中海森矩阵，1 9 7 3 年布鲁丹和丹尼斯【q 取，( + 1 ) ，( ) 7 作为 坂( 功的近似，并取儿= + 一，用鲍威尔的对称秩2 修正公式从g 得到。， 即 h = g m g k j b k 0 j 心t js k = ，( ) “) r ( 】k 1 ) 一，( & ) r ( ) 一，( 黾“) j ( i ) r &( 1 8 ) 且 g “2 c ：+ 丝l = 三羔当立墨；孑j 掣一警矗& 7 s is i b ：s k y 。 用最+ 。作为q + ，的近似，由 毋“& = ( 肘：+ l + g + 1 ) & = ，( 黾+ 1 ) ，( & + 1 ) 7 & + c 0 i 4 硕士论文 求解非线性最小二乘问题的一种新方法 = ，( 黾“) ，o 。) 7 屯+ 圪= 儿 可得采用( 1 8 ) 定义的向量以仍然满足通常意义下的拟牛顿条件。 1 9 7 6 年贝茨伫q 建议 缸( _ ) g c 勾a ( x o j ( x k ) 7 即要求 y l = g k n g k - g ( x k ) j ( x d t = j ( x k + 1 ) r 瓴+ i ) - j ( x k ) r ( x , ) - j ( x , ) j ( x k ) 7 。 此后不久，巴塞络缪一比格斯踟于1 9 7 7 年，丹尼斯、盖伊和韦尔舒于1 9 8 1 年 分别对于儿作了修正，他们取 靠= ( j ( 以“) 一，( ) ) r ( 磁+ 1 )( 1 9 ) 这是因为由 儿= 反。一g k = g ：。& + o l s k l = ，阮+ t y ( 黾+ 。) 7 + ( 矗。) 驴r , ( x k + o s k 。+ d 恢8 = j ( x k + 1 ) 以而+ 1 ) s k + ( ，( 毪+ 1 ) 一，( 鼍) ) 胄( 鼍“) + d & i l 取j ( x k + 。) ，( 。) 7 & + ( 黾。) 一，( h ) ) 尺( 磁“) 作为m 的近似，再取，瓴“v ( 魄。) 作 为( 力的近似，就得到( 1 9 ) 定义的几其中丹尼斯、盖伊和韦尔舒还给出 了确定q + 。的新修正公式 q “= q + 訾一五s , r r h ：埘s iy ku iy k y 其中仇= 圪一g 矗 利用泰勒展开式构造拟牛顿方程的方法自上世纪七十年代以来得到了充分的 发展。另外，国内外许多学者也一直考虑用别的途径来构造拟牛顿方程。 ( 2 ) 1 9 8 4 年潘平奇嘲采用二阶函数逼近的策略给出了一种特殊的拟牛顿 方程 盈“& = y 。 其中y 4 = 2 见一忍屯。 ( 1 1 0 ) 他还给出了相应于新拟牛顿方程的一大类拟牛顿公式，并指出经典的拟牛顿方程 5 硕士论文求解非线性最小二乘问题的一种新方法 具有一阶逼近性，而( 1 1 0 ) 中右边比一般的拟q - 顿方程的右边更好的接近目标 函数在点黾。的二阶导数与& 的乘积，潘平奇指出它具有二阶逼近性，并且给出 了相应的改进的b f g s 公式 哪2 爱一2 鬻 显然新拟牛顿方程可以改写为如下形式 以：且警盟 ( 1 1 1 ) 从( 1 1 1 ) 可以看出几实际上是对于& z s t 与忍& 的平均值。 ( 3 ) 1 9 9 9 年张建中。邓乃杨等人基于函数泰勒展开式，并利用( 毪) ， ，( 以“) ，g k ，g k + 1 的值对g ( x ) 进行二次插值? 于1 9 9 9 年提出了一个新的拟牛顿方程 靠2 儿+ 圳2 ( 1 1 2 ) 其中，= 3 ( g 。+ ) 7 & - 6 ( a 。一五) ，这个拟牛顿方程与一般的拟牛顿方程的区 剐是在右边涉及到了目标函数在点五。，黾的函数值，他们证明了新拟牛顿方程的 右边比一般的拟牛顿方程的右边更好的接近目标函数在点略。的二阶导数与s i 的 乘积，并且具有一般拟牛顿方程所具有的性质。 新的拟牛顿方程( 1 1 2 ) 是这样构造的，利用鼍+ ，鼍构造一条曲线 令x ( 力= 以+ r 彳麓 o f q i 以 豫( 以) ) f ，晰l _ v 2 f ( x ( f ) ) k - v 2 ，( 旷 然后构造9 0 ( f ) ) 的近似多项式口( f ) = 口f 2 + b r + c ，另外可以得到 g ( 0 ) = 9 0 ( o ) ) = g ( 以) = g k ， ( 1 1 3 ) g ( 0 & l i ) = g c x ( i l & l i ) ) = g ( t “) = 暑j + l ， ( 1 1 4 ) f 甜g ( f ) 7 v x ( f ) d f = 五。一 ， ( 1 1 5 ) 通过解方程( 1 1 3 ) ，( 1 1 4 ) ，( 1 1 5 ) 我们可以得到 6 硕士论文求解非线性最小二乘问题的一种新方法 v 2 厂( 毛+ 1 ) & = 儿+ r j , l l & 1 1 2 + p ， 其中r = 3 ( g k “+ ) 7 一6 戗+ 1 一五) p 是垂直于的任意向量，因为一般的拟 牛顿法在实际中运用的还不错，把，取作0 ，就得到了新的拟牛顿方程( 1 1 2 ) 。 不久，在2 0 0 3 年m 】他们又将得出的拟牛顿方程运用到求解非线性最小二乘 问题，取得了非常漂亮的效果。并得出了应用于非线性最4 , - 乘问题的新拟牛顿 方程 b 一k = 矿 其中 少= ( j ( 稚。) 一，( 耳) ) r 魄+ ) + 芎擎+ 1 ) 地帆以似础) 】 他们证明了此方法对于零残量问题具有二次收敛性，对于非线性最4 , - 乘问 题具有超线性收敛性。 另外一种求解问题的方法被称为分解拟牛顿方法，它是由徐成贤卿提出的， 算法结合非线性最小二乘问题的结构特点和拟牛顿方法，充分利用了矩阵论知 识，将问题转化为求解以下方程组的方法，即方向由下列的方程组给出： + 厶) + z 0 7 & = 一j k 墨 其中厶厶7 + 厶4 7 + 4 厶7 是海森矩阵( 1 3 ) 中非线性项部分双耳) 的近似。 以上是国内外学者在拟牛顿方程上进行改造而得出的求解非线性最小二乘 方法的主要结果。下面将给出近年来一些学者主要在计算效果上给出的一些结 果。他们在实际应用中更加的有效。 1 2 2 混合算法 g a u s s - n e w t o n 法是求解零残量和小残量问题非常有效的算法，并且该方法对 于零残量问题具有二次收敛性，对于小残量问题的收敛速度至少是线性的。而拟 牛顿方法对于求解大残量非线性最小二乘问题是非常有效的方法，且该方法具有 超线性收敛的特性，特别是基于b f g s 公式的拟牛顿方法具有很好的计算效果。由 以上的分析，将两种方法结合起来，充分利用两类算法的优点，应该具有更有效 的算法，这就催生了混合算法的发展，构造混合算法的关键在于开关准则的选取。 7 硕士论文 求解非线性最小二乘问题的一种新方法 r a m s i n 和w e d i n t m 以及n a z a r e t h t ”分别对高斯一牛顿法和b f g s 公式的混合算 法进行了研究他们在迭代过程对两种算法的选取采用最大下降方向的原则。即 每一步的运算要分别用高斯一牛顿法和b f g s 公式发法计算目标函数的下降程度， 哪种方法使目标函数具有更好的下降就采用哪种方法计算迭代矩阵。这种方法计 算量比较大，但是他们开创了用混合算法解决非线性最：b - - 乘问题的先河。 1 9 8 5 年阿巴里和弗莱切“”也提出了基于高斯一牛顿法和b f g s 公式的混合算 法，要求在迭代过程中海森矩阵的迭代公式如下： f b f g s ( b k ，s k ，几) ，如果t k 为真 ，= 【 以，如果瓦为真 其中置称为开关准则。 阿巴里和弗莱切在构造g n b f g s 混合算法的时候选取瓦为： t k ：( 尻，五，儿) 0 。即求解鲰使得 矿( 矗+ & ) 伊魄) 由于，矗为已知，则上式为关于口的一元函数，将求解吒的问题转化为一维 搜索或者线性搜索的问题。对于步长的搜索主要分为精确线性搜索法，直接搜索 法，插值法和不精确线性搜索法。各种方法各有特色，总体来说精确线性搜索使 9 硕士论文 求解非线性最小二乘问题的一种新方法 得目标函数在迭代过程中下降量最大，但是精确线性搜索的计算量较大，况且在 迭代过程中，在求目标函数的最优解的时候，往往没有必要把线性搜索搞得十分 精确，特别在计算的初始阶段更是如此。过分的追求线性搜索的精确度会影响整 个方法的效率。因此我们在求解无约束优化问题中通常采取不精确线性搜索来求 解迭代步长非精确线性搜索主要有如下方法： 戈德史丹准则如下，给定声，矿，o 0 ； 步骤2 ：计算= w ( ) ，如果8 i 占，则五= 以，结束； 步骤3 ：计算【- ，( ) ，阮) + 0 r ( 黾) 1 4 】= 一，( 以) r ( 耳) 的方向& ； 步骤4 ：用沃尔夫准则进行非精确线性搜索，求得； 步骤5 ：令“= + 吒矗； 步骤6 ：计算+ ，= 可( 矗+ 。) ，如果4 + 占，则五= 钿，结束； 否则转步骤7 ： 步骤7 ： 令露= 当铲盥叫椭 ( 2 4 ) 1 4 硕士论文 求僻非线性最小二桑问题的一种新方法 计算圳叫咖2 蓑一2 等 ( 2 s ) y ts i | ? t 1 步骤8 ：令盂= 七+ l ，转第3 步。 2 2 算法的收敛性 在本章节我们将给出算法2 1 的收敛性，在收敛性的证明过程中我们假定有以。f 条件成立( 在下面的章节中，工表示迭代过程的当前迭代点，t 表示后一迭代点。) ： 条件e问题有一个局部最优解五即存在常数岛 0 。对于任意 x d i = x ：x 一矗l 毛) 满足：r ( 五) 0 s8 r ( i 。 条件p 2 ，c ( 功，r ( 力，g ( x ) ，以) 在墨邻域内满足局部l i p s e h i t z 连续即对 于日中的d l ，存在墨e 4 ，存在常数三，l c ，厶和l 使得： 8 g ( x ) 一g ( t ) 忙三肛一0 i i c ( 功一c ( _ ) l s 岛l 善一t l 8 足( x ) 一r ( _ ) 0 厶i x 一4 i i 以x ) 一- ，( ) 8 s 厶肛一t l 条件b 矩阵v 2 瓴) 为正定对称的，即存在正常数辨和m ，z 彤使得 m l l = 1 1 2 ，v 2 f ( x , ) z o 是q - 超线性收敛的 2 2 1 零残量问题的二次收敛性 在定理证明过程中我们仍然假定_ 是x 的下一迭代点在收敛性的证明过程中， 我们引入权重矩阵 m f = 去毒 其中晟= v 2 厂似) = j ) ，) 7 引理2 1 如果肛一五8 占，l 彳0 万且满足 o 占 f 寺，o 艿s m ( 1 + f ) 腼。 岛+ 厶o 十力鸩。 ”一“ 那么可以证得怕k 托 1 ，鹆r b - - j ( x ) j ( x ) 7 + a r ( 工) i i a ( 2 6 ) ( 2 7 ) ( 2 8 ) ( 2 9 ) 则b 是正定的且归一且o ，o 矿1 l s 口其中护2 面与，厂= 占( 岛+ 厶( 1 + r ) 收) 证明： 定理的证明类似于张建中h 3 】的证明过程。 由范数等价性理论有击。彳肚肛忙8 爿f ，刈，m 的定义，式( 2 6 ) 和条件b 有 删k = j m 似阽= 击l 赢办虬巫l + ro 矗j j 0 + o 正u 。从而可得 悱霉- q 竽m n 又。卅鸩忙k 鸩l 矗彳蠢| | ，p 8 8 0 彳一f j | 毒睁i i 刎 从而叫l o + f ) 疋6 彳0 ，m ， ( 2 1 0 ) ( 2 1 1 ) 由( 2 8 ) ，( 2 1 1 ) 及i i 彳 艿我们有尘垒铲8 4 8 ，m 茎1 1 4 i i j s 尘垒铲( 2 1 2 ) 从而有肛肚m 1 由( 2 1 2 ) 我们可以证得忙8 s ( 1 + f ) 如。 ( 2 1 3 ) 由( 2 9 ) ，( 2 1 3 ) ，引理条件及条件p 2 有 l i b 一, 1 l = l l s ( x ) t ，( 砷7 + 悼( 善) 彳一，( 矗) ，) 7 8 s i f c ( 工) 一c ( 五) j j + i j 五( 工) 一r ( 五) 4 l l 硕士论文求解非线性最4 , - 乘问题的一种新方法 k l k 一矗0 + k ( 1 + r m 如l k 一五8 上c + 岛( 1 + f ) j j l 如】占= ， ( 2 1 4 ) 由( 2 1 4 ) 以及条件p 3 对于z e 彤有 r l l z i l 2 l f 曰一及洲z l l 2 爿= 7 ( 口一l i ) z m z 7 b z z 7 晟z l z 7 反：一，瑟m4 z l f t a z 因此可得：7 庇( m 一川k r v z e r “ 因此有，= 占【k + 岛( 1 + f m 】 0 由此得到丑的是正定的由巴拿赫 扰动理论，对于占胄”且忙一且l i ，得到0 矿1 i 1 ( 蝎一力从而0 曰1 l 口 引理2 2 假定引理2 1 的条件成立，如果占s 晶且晶满足 一，) 鬈，其中 x = 譬+ 等上+ 厶( 1 + r ) 鸩，工= ，) 4 ，那么刮k 一矗i i s 觚忙一五1 2 ( 2 1 5 ) 证明： _ - - m = x + $ - - x = x - b v f ( x ) - x = - b 。( 工) r ( x ) 一( ，( 工) ，( 功r + 0 r ( 工) 8 彳) ( x 一篇) 】 = 一b - 1 - ，( 苫) 【r ( 五) 一r ( 功一，( 并) ，( z j 矗) 】一r ( x ) 一r ( 五) 0 4 ( x 一矗) ， 由引理2 1 的结论，【4 4 】中的引理4 1 1 2 ，条件p 2 和引理2 1 中参数的定义有 0 一矗0 8 占。1 8 训，( x ) 0 0 矗( 五) 一只( 功一，( x ) ( x 一五) 4 + l 且( 功一r ( 矗) 舢彳0 x 一嚣i i s 研o i ，( 力一，( 五) l + i t ，( 五) 1 1 ) 考- i i x 一五| 1 2 + k ( 1 + r ) 毛o x 一暑l | 2 】 晶+冬上+岛(1+r)鸩邛x-x8-ot雩- 2 晶+ 毒 上+ z 。( 1 + f ) 如】i f 2 = o k i x 一五1 1 2 引理2 3 如果峙一五0 f ，且占 一如) i l 训2 ， 结合式( 2 1 7 ) 可以得到，忙( x ) 旷( m l g , ) l l x 一五旷 口忙一五旷显然由引理条件 有口 0 。 引理2 4 对于问题( 1 1 ) ，假定条件( p i hp 3 ) 对于非零残量问题成立由引理2 3 有 附与乓端9 “ 证明： 由引理2 3 知道( 2 1 6 ) 成立，由条件e 和文献4 4 】的引理4 i 1 2 我们可以得到， 噼似让地，粼吨8 s l c ，c + 。，一，c 黾) )+ 卜。叫五 淄嘞8 由文献 4 3 】中引理3 2 5 证明有， 8 8 ( j ( 矗+ i ) 一，( 黾) ) l圳& n 铐矧 显然由文献c 2 4 】中的拟牛顿方程构造方法有 卜。叫圳粼嘞卜型翟爿n 从而 硕士论文 求解非线性最小二乘问题的一种新方法 k 小州，粼嘞l 啡。制+ 毛埚 埘端恢8 ( 2 1 8 ) 引理2 5 假定引理2 4 的条件成立，4 由公式( 2 5 ) 定义，则可以证明 0 4 乳。肛肚埘+ q q ( 五) 。 证明： 由文献 3 9 中的命题2 1 可以证得y 0 2 肛1 1 2 ，由心f j f 范数的定义类似于 h i r o s h iy a b e 汹1 在引殚4 中的讦明讨程容易砰狙 定理2 1 假定条件( b ) ( b ) 成立，j 占 0 和万 o ，对于给定的初始迭代点而，满足 k 一矗0 s 和给定的初始矩阵4 太当满足0 48 万时，由新算法产生的迭代点列 瓴，二次收敛到最优解五。 证明： 下面我们用数学归纳法证明下面的式子对于所有的迭代步后都是成立的。 但1 ；k ) 8 4 8 艿， 但2 ；k ) j l 以。一五8 魃0 一五8 2 但3 ；k ) 8 4 + 。b 村1 1 4 吐埘+ 叻q ( ，) 由定理的条件有：l k8 j ，由引理2 3 的( 2 1 5 ) 式可以得到 i i x 一矗8 口五肛一五 a k p i i 一羞i f 否肛一五8 其中- _ 占肷赤五竽乩 再结合前面的引理容易证得但l ；0 ) ，但2 ；0 ) ，但3 ；o ) 成立 从而定理在k = 0 时成立。 假定条件1 ；k ) 一饵3 ；k ) 在七= o ，t - i 时成立，将；k ) 的两边从k = 0 到 硕士论文求解非线件最小二橐问题的一种新方法 i = t - 1 分别相加得到 恤l s 批k + q 荟t - ! q ( 碱。) 由条件2 ；k ) 以及石 l ，由【3 6 】与【4 3 】中的证明过程可以得到 朋+ q 荟t - iq 阮剐 s 2 8 从而有0 1 1 ；0 成立，类似于【3 6 】与【4 3 】中证明有( f 2 ；0 ，0 1 3 ；0 成立 由数学归纳法，定理得证 2 2 2 对于非零残量的超线性收敛性 引理2 6 对于问题( 1 1 ) ，假定条件( e ) - ( p 3 ) 对于非零残量问题成立。那么存在常数 k 。使得 眵一彳) s 8 云盯_ ) 肛垤，一4 = x ：l l x 一矗o 岛， ( 2 1 9 ) 其中y 和彳( 工) 分别在( 2 4 ) ，( 1 1 5 ) 中定义。 证明：由公式2 1 ) 可得： 一4 c ，& 一五c 五， 8 卜扩地 蔷罱叫幽l + 卜。叫圳番罱叫桃8 卜卜地 湍吨忙芸筏爿 卜h ，矧叫如卜南+ 簖k u 硕士论文 求解非线性最小二乘问题的一种新方法 伊一一c五，矗8f堑之鱼i丛2=j嵩i学一爿c五，&l s 皇+ - 翰2 v - 十翻仃恢8 盈瓴) l m 其幅鲁+ 等+ 南蚓理他 如果