（计算数学专业论文）求解不适定问题的非线性隐式迭代法和正则化gmres方法.pdf

摘要 本文主要研究非线性反问题和不适定问题的求解目前，关于线性反问题和 不适定问题的理论工作已经相对完善，在实际应用中也取得良好效果，而非线性 反问题和不适定问题的理论和实践都还有许多需要完善的地方应该说，现实中 大部分数学物理问题都是用非线性模型来描述的，比如说参数识别问题，反散射 问题，逆s t u r m - l i o u v i l l e 问题以及第一类非线性f r e d h o l m 方程的求解问题等因 此，探讨非线性反问题的理论及有效的数值解法具有重要的理论和现实意义 许多处理线性不适定问题的方法和技巧都成功的应用到非线性领域，本文将 处理线性不适定算子方程的线性隐式迭代法推广到非线性不适定问题，从理论分 析、具体实现和数值试验等方面详细讨论了非线性隐式迭代法，同样得到很好的 效果本文的主要工作为： 首先，提出非线性隐式迭代法由于t i k h o n o v 泛函的强制性，其极小点总存 在且有界，重点证明出迭代解误差序列的单调性，利用迭代误差的单调性得出非 线性隐式迭代法对精确方程和扰动方程的收敛性 其次，非线性隐式迭代法具体实现的主要工作是如何极小化每步t i k h o n o v 泛 函当正则化参数固定时，极小化t i k h o n o v 泛函是一个适定的优化问题原则上， 任何非线性最优化方法都可以应用到非线性隐式迭代法的具体实现中来但是，由 于一些方法的局部收敛性和t 呔h o n o v 泛函的非严格凸性，不一定收敛到t i k h o n o v 泛函的全局极小点本文应用最速下降法和修正的可接受点g a u s s - n e w t o n 方法具 体实现了隐式迭代法，提出两个算法：i i g r a 和i i m g n 从理论上证明了只需对 迭代初值加上某些简单限制，两步极小化都可以自然连接，而无须中间改变每步 迭代初值就能保证收敛性同时，未加证明的给出结合非线性共轭梯度法的非线 性隐式迭代法i i n c g 丰富的数值试验表明三个算法是有效的 再次，给出非线性隐式迭代法的一种变形一一替代泛函方法一方面，此方 法双参数( g 和礼) 同时变化，带有非定常的味道；另一方面，它通过压缩映射快 速实现极小化t i k h o n o v 替代泛函，实际计算格式简单，速度较快，效果也很好 最后，在线性不适定问题研究方面，提出一类双层正则化g m r e s ( m ) 算法作 为简单g m r e s 方法的改进，增强了它的正则化效果，数值试验计算结果突出内 外两层正则化的效果好比两条腿走路，更快更稳的到达目的地对一类典型的不 适定问题一一图像恢复问题，提出一种配以改进l 曲线准则的图像恢复正则化混 合g m r e s ( m ) 算法，通过对二值图像和灰度图像的数值试验，同样得到了很好的 i i i 求解不适定问题的非线性隐式迭代法和正则化g m r e s 方法 恢复效果 关键词：非线性不适定问题；非线性反问题；收敛性；非线性隐式迭代法； 最速下降法；g a u s s - n e w t o n 法；非线性共轭梯度法；t i k h o n o v 替代泛函；压缩映 像；g m r e s 方法；双层正则化；图像恢复；参数识别；改进的i 厂曲线准则 a b s t r a c t i nt h i st h e s i s ，w eh a v ed i s c u s s e dh o wt os o l v et h en o n l i n e a ri l l - p o s e dp r o b l e m sm a i n l y p r e s e n t l y , t h et h e o r yo fl i n e a ri l l p o s e dp r o b l e mh a sb e e nr e l a t i v e l yp e r f e c ta n dh a sf a v o r - a b l ee f f e c ti nt h ea c t u a la p p l i c a t i o n h o w e v e r ，t h et h e o r ya n dt h ep r a c t i c eo fn o n l i n e a r i l l - p o s e dp r o b l e mn e e dt ob ep e r f e c t e d i n d e e d ，m o s tm o d e l so fm a t h e m a t i c sa n dp h y s i c s p r o b l e m sa r en o n l i n e a r ，f o re x a m p l e ，p a r a m e t e ri d e n t i f i c a t i o np r o b l e m ，i n v e r s es c a t t i n g p r o b l e m ，i n v e r s es t u r m - l i o u v i l l ep r o b l e ma n dt h ef i r s tn o n l i n e a rf r e d h o l me q u a t i o n ，e t c t h e r e f o r e ，i ti sav e r yi m p o r t a n ta n du s e f u lw o r kt os t u d yt h en o n l i n e a ri l l - p o s e dp r o b l e m s i nt h e o r ya n dn u m e r i c a la l g o r i t h m s m a n ym e t h o d sa n dt e c h n i q u e si nl i n e a ri l l - p o s e dp r o b l e m sh a v eb e e nu s e di nn o n l i n e a r i l l p o s e dp r o b l e m ss u c c e s s f u l l y w ee x t e n dt h ei m p l i c i ti t e r a t i v em e t h o di nl i n e a ri l l - p o s e d o p e r a t o re q u a t i o nt os o l v en o n l i n e a ri l l - p o s e dp r o b l e m sa n dp r e s e n tt h en o n l i n e a ri m p l i c i t i t e r a t i v em e t h o d f r o mt h et h r e ea s p e c t so ft h e o r ya n a l y s i s ，n u m e r i c a li m p l e m e n t a t i o n a n de x a m p l e s ，w es t u d yt h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o da n dg e tf a v o r a b l ee f f e c t t o o t h em a i nc o n t e n t so ft h ed i s s e r t a t i o na r ea sf o l l o w i n g ： f i r s t l y , t h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o di sp r o p o s e d s i n c et h et i k h o n o v f u n c t i o n a li sc o e r c i v e ，i th a sam i n i m i z e ra n dt h em i n i m i z e ri sb o u n d e d w ep r o v et h a t t h ee r r o rc o n s e q u e n c e so fs o l u t i o n so f t h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o da r em o n o t o n e d e c r e a s i n ga n dw i t ht h i sm o n o t o n eg e tt h ec o n v e r g e n c eo ft h en o n l i n e a ri m p l i c i ti t e r a t i v e m e t h o df o re x a c ta n di n e x a c te q u a t i o n s s e c o n d l y , t h em a i np a r ti ni m p l e m e n t a t i o no ft h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o d i sh o wt om i n i m i z et h et i k h o n o vf u n c t i o n a li ne a c hi t e r a t i o n w h e nr e g u l a r i z a t i o np a - r a m e t e ri sf i x e d ，h o wt om i n i m i z et h et i k h o n o vf u n c t i o n a li saw e l l p o s e do p t i m i z a t i o n p r o b l e m i np r i n c i p l e ，a l lo fn o n l i n e a ro p t i m i z a t i o nm e t h o d sc a nb ei m p l i e dt oi m p l e m e n t t h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o d b u t ，t h ec o n v e r g e n c em a yn o tb eh o l ds i n c et h e l o c a lc o n v e r g e n c eo fs o m em e t h o d sa n dt h en o ns t r i c t l yc o n v e xo ft h et i k h o n o vf u n c t i o n a l w ea p p l yt h es t e e p e s td e s c e n tm e t h o da n dt h em o d i f i e dg a u s s - n e w t o nm e t h o dt oi m p l e - m e n tt h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o da n dp r e s e n tt w oa l g o r i t h m s ：i i g r aa n d i i m g n w ep r o v et h a te v e r yt w om i n i m i z a t i o n sc a nb ec o n n e c t e ds p o n t a n e o u s l yo n l yr e - q u i r i n gt oa d ds o m es i m p l er e s t r i c t i o n so ni t e r a t i v ei n i t i a lv a l u e ，a n dh a v et h ec o n v e r g e n c e w i t h o u tc h a n g i n gi t e r a t i v ei n i t i a lv a l u ei ni n t e r s p a c e c o m b i n e dw i t hn o n l i n e a rc o n j u g a t e g r a d i e n tm e t h o d ，w ep r o p o s ei i n c ga l g o r i t h mb u td on o ta n a l y s ei ti nt h e o r y t h r e e i i i i v 求解不适定问题的非线性隐式迭代法和正则化g m r e s 方法 n u m e r i c a le x a m p l e ss h o wt h ee f f e c t i v e n e s so f t h et h r e ea l g o r i t h m s t h i r d l y , w ep r e s e n tam o d i f i c a t i o nm e t h o do ft h en o n l i n e a ri m p l i c i ti t e r a t i v em e t h o d - - r e p l a c e m e n tf u n c t i o n a lm e t h o d o n eh a n d ，t w op a r a m e t e r s ( ga n d 竹) i nt h i sm e t h o d a r ec h a n g e da n di t i ss o m el i k e l yn o n - s t a t i o n a r yi m p l i c i ti t e r a t i v em e t h o d o nt h eo t h e r h a n d ，c o n t r a c t i o nm a p p i n g i su s e dt om i n i m i z et i k h o n o vr e p l a c e m e n tf u n c t i o n a l ，8 0i th a s s i m p l ei t e r a t i v ef o r m a ta n dc o n v e r g e sf a s t f i n a l l y , w et u r no u rs i g h tb a c kt ol i n e a ri l l - p o s e dp r o b l e m s r e g a r d e da sam o d i f i c a - t i o no fg m r e s m e t h o d ，ak i n do fd o u b l er e g u l a r i z a t i o ng m r e s ( m ) m e t h o di sp r o p o s e d t ob u i l d u pt h er e g u l a r i z a t i o np r o p e r t i e so fg m r e sm e t h o d w eh a v eg o o de f f e c tf o rt h i s m e t h o di nn u m e r i c a le x a m p l e s i ti sl i k ew a l k i n go nt w of e e tt od e s t i n a t i o nm o r es t a b l y a n df a s tw i t hd o u b l er e g u l a r i z a t i o n w ea l s op r e s e n tah y b r i dr e g u l a r i z e dg m r e s ( m ) w i t hm o d i f i e dl - c u r v ef o ri m a g er e s t o r a t i o n w i t he x a m p l e si nt w o - v a l u ei m a g ea n d 疹8 ，y i m a g e ，n u m e r i c a lr e s u l t si l l u s t r a t eg o o dr e s t o r a t i o ne f f e c t k e yw o r d s ： n o n l i n e a ri l l - p o s e dp r o b l e m ；n o n l i n e a ri n v e r s ep r o b l e m ；c o n v e r g e n c e ； n o n l i n e a ri m p l i c i ti t e r a t i v em e t h o d ；s t e e p e s td e s c e n tm e t h o d ；g a u s s - n e w t o nm e t h o d ；n o n - l i n e a rc o n j u g a t eg r a d i e n tm e t h o d ；t i k h o n o vr e p l a c e m e n tf u n c t i o n a l ；c o n t r a c t i o nm a p p i n g ； g m r e sm e t h o d ；d o u b l er e g u l a r i z a t i o n ；i m a g er e s t o r a t i o n ；p a r a m e t e ri d e n t i f i c a t i o n ；r o o d - m e di ，c u r v ec r i t e r i o n 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究 工作除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已发表和撰写过的研究成果参与同一工作的其他同志对 本研究所做的任何贡献均已在论文中作了说明并表示了谢意 签名：塞红埤日期迎金：鲤：2 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定， 即：学校有权保留论文及送交论文复印件，允许论文被查阅和 借阅；学校可以公布论文的全部或部分内容 ( 保密的论文在解密后应遵守此规定) 签名：盘雌导师签名：弛日期逊埸 第一章引言 自2 0 世纪6 0 年代以来，在地球物理、大气科学、生命科学、金融科学、遥感技 术、高能物理、工业控制、模式识别以及经济决策等众多的科学技术领域中，都提 出“由效果、表现( 输出) 反求原因、原像( 输入) ”的反问题，统称“数学物理反问 题”【2 0 1 0 9 1 相对于传统的数学物理方程定解问题( 通常称为正问题，它由给定 的数理方程和相应的定解条件来求定解问题的解) 而言，反问题研究由解的部分 已知信息来求定解问题中的某些未知量，如微分方程中的系数，定解问题的区域 或者是某些定解条件由于该类问题有着广泛的应用背景【2 8 】【5 4 】 6 5 】【1 0 6 】【1 1 2 】，已 成为应用数学中发展和成长最快的领域之一，在国际上日益引起众多科学家的兴 趣和重视 2 j f l 7 反问题的典型特性是其不适定性，该特性也是反问题研究的困难所在关于 。适定。( w e l l - p o s e d ) 和。不适定。( i l l - p o s e d ) 的概念是著名数学家h a d a m a r d 为了 描述数学物理问题与定解条件的合理搭配，于2 0 世纪初引入的【3 0 】 设z 和y 均为度量空间( 分别称之为解空间与数据空间) ，算子a ：彳hy 映 疋到y ，反问题可写成如下算子方程形式： a x = y ，z y ，童y( 1 0 1 ) 其中a 可为积分算子、微分算子或矩阵，可为线性或非线性映射 定义1 0 1 称问题( 1 0 1 ) 为适定的，如果它同时满足下述三个条件： q ：v y y ，都存在z z 满足方程( 1 0 1 ) ( 解的存在性) ； 岛：设爹1 ，鲍y ，若。1 ，x 2 分别是方程( 1 0 1 ) 对应于芗l 沈的解，则x l x , 2 ( 解的唯一性) ； 岛：解z 连续地依赖于数据可( 解的稳定性) 反之，若上述三个条件中，至少有一个不能满足，则称其为不适定的 上述的三个适定性条件无疑具有深刻的实际背景首先，对于实际问题而言， 我们自然期望其解是存在且唯一的更重要的是，实际获取的数据资料都是近似 的，即我们实际处理的是近似数据( a h ，扩) ，而不是“精确”数据( a ，秒) ，因为 。精确”的数据往往是未知的若原始数据的小的误差将导致近似解对于真解的 严重偏离，则计算所得的结果将毫无意义 反问题的不适定性是问题本身所固有的一种特性如果没有关于欲求解的附 加信息( 例如：单调性，光滑性或有界性，或原始数据的误差界等等) ，这一本质 1 2 求解不适定问题的非线性隐式迭代法和正则化g m r e s 方法 性的困难是无法克服的【8 7 】我们的任务就是要依据所能提供的关于解的附加信 息，尽可能多、尽可能稳定的恢复原问题的部分信息【5 4 】 h a d a m a r d 在1 9 2 3 年引入“适定”和。不适定。概念的同时，提出。只有适定 的问题才是有物理意义的”这一断言这使得人们在很长时间内一直认为研究不 适定的问题是没有实际意义的，至多是一种学术上的兴趣，相应的关于数学物理 反问题的研究也很少随着科学技术的发展，实际应用领域提出的有待解决的不 适定问题越来越多( 如t 医学成像中c t 机的发明和应用，地质勘探中地貌的探 测，遥感科学中地表参数的反演，光学信号处理中信号的重构等等【1 0 9 ) ，以2 0 世纪6 0 年代中期苏联科学院院士a n t i k h o n o v 提出的处理不适定问题的正则化 方法( r e g u l a r i z a t i o nm e t h o d ) 为标志，不适定问题和反问题的研究进入了长足发展 的新阶段 今后，我们将把式( 1 0 1 ) 当作处理反问题的一般数学框架，根据算子a 的不 同，当a 为线性算子时，称其为线性不适定问题或反问题，否则称其为非线性不 适定问题或反问题( 此时a x 记为f ( z ) ) 自上个世纪八十年代以来，随着算子谱 分解理论在不适定问题研究过程中的引入，不适定问题的理论得到了长足发展 目前，线性不适定问题的理论已经被认为基本完成，处理线性不适定问题的各种 方法在实际应用中也取得良好的效果然而，关于非线性不适定问题的理论和实 践却还有许多需要完善的地方研究困难除了问题本身的不适定性外，主要来源 于无限维空间上算子a 的非线性性质当算子非线性时，线性算子满足的某些良 好性质不再满足，如t i k h o n o v 泛函不再严格凸等因此，处理线性不适定问题已 有的成熟思想和特殊技巧只可以借鉴。但不能简单照搬 本论文主要研究非线性不适定问题，将线性隐式迭代法思想应用到非线性不 适定问题的求解，提出一种求解非线性不适定问题的隐式迭代法下面简要介绍 一下非线性反问题 应该说实际应用领域内大部分数学物理问题都是用非线性模型来描述的，比如 说参数识别问题，反散射问题，逆s t u r m l i o u v i l l e 问题以及第一类非线性l 艮e d h o l m 方程的求解问题等这类问题的一般形式是 f ( x ) = y ，( 1 0 2 ) 其中f ：zhy 为非线性算子，石，y 均为h i l b e r t 空间我们希望：任取y y ， 存在z 疋使得f ( x ) = y 在实际问题中，由于r ( f ) 未必是闭的，因此定义1 0 1 中的研和仍难以得到保证，故问题( 1 0 2 ) 通常是不适定的我们假设f 关于z 是f r 6 c h e t 可微的，并记其导数为f 7 ( z ) ，f ，( z ) 。为f l ( x ) 的伴随算子 2 0 0 8 上海大学博士学位论文 3 问题( 1 0 2 ) 的一个典型例子是第一类非线性积分方程，f ：zhy 为 ，6 f ( z ) ( t ) = fk ( t ，丁，z ( 彳) ) d 丁， 口t b ，z 疋， ( 1 0 ，3 ) ，a 凸l 其中，k 是关于z 的非线性函数，杀c ( 【o ，厶】【口，6 】xr 1 ) ，y = 铲【口，纠。并且 爿= h 1 ( o ，b ) = 扛( 丁) ，a 7 b ：z 关于7 - 绝对连续，z l 2 【o ，6 】 f 的f r d c h e t 导数 f 7 为( f 7 ( z ) 乱) 0 ) = e 。o 。kr 、t ，r ，x ( v ) ) u ( r ) d v ，n ts b ，z ，u ，疋 对于非线性不适定问题的求解，目前主要有两类方法：变分法和迭代法变分 法中最著名的是经典的t i k h o n o v 正则化方法，尽管它已有很长的历史，但至今仍然 吸引着很多人的兴趣和关注【1 0 4 4 6 0 8 6 更大一部分方法是迭代正则化方法， 非线性l a n d w e b e r 迭代数值实现简单，但迭代步数较多【3 5 】；n e w t o n 型方法迭代 快一些，它基于非线性算子在当前迭代点的t a y l o r 展开，用线性主部局部近似原非 线性问题，因为线性问题还是不适定的，所以仍然需要进行正则化处理【6 8 】如果 用t i k h o n o v 正则化方法处理上述线性不适定问题，就得到l e v e n b e r g - m a r q u a r d t 方 法【3 3 】。为增强l e v e n b e r g - m a r q u a r d t 方法的稳定性，额外加入惩罚项b a k u s h i n s k i i 提出迭代正则化g a u s s n e w t o n 方法| 8 】，在解的光滑性条件 z o x t = ( f ( z ) + f ( z ) ) ”2 u ，0 o ； ( i i i ) 存在正常数，使得入( a ) i c o ，v a ，a 0 成立， 则称啦( a ) 为正则化逼近函数，( a ) 为残量函数 设驰( a ) 是一个正则化逼近函数，定义y 卜疋的线性算子族 f l i a i i ：2 r 。= 鼬( a a ) a + = g a ( a ) d e ) a ， _ ，o 其中毋是a a 的谱系，我们可以证明吼是小的正则化算子 ( 一) 连续正则化方法 1 t i k h o n o v 正则化方法( t i k h o n o vr e g u l a r i z a t i o n ) 2 0 2 8 8 7 按原始定义，它是由变分法导出的对于q 0 ，定义石上的二次泛函 厶( z ) = l l a x 一硎2 + a h x l l 2 ( 2 1 1 ) t i k h o n o v 正则化方法以厶( z ) 的极小点z 鑫作为方程( 1 0 1 ) 的正则化解，其中q 称 为正则化参数对于h i l b e r t 空间刀，y 和有界线性算子a ：疋hy ，由( 2 1 1 ) 的 6 2 0 d 8 上海大学博士学位论文7 凸性可知旌满足方程+ a + q ，) z 墨= a 矿，从而有 $ ：= ( a + a j ) 一1 a + y 6 ， ( 2 1 2 ) = ( a + a + a i ) _ 1 a 称为t i k h o n o v 正则化算子，对应的逼近函数为啦( a ) = aj - a 2 n 次迭代t i k h o n o v 正则化方法f 2 4 j 迭代t i k h o n o v 正则化方法定义如下 ( a + a + a i ) x ：，i = a + 暑6 + q z ：。l l ， i = 1 ，2 ，n ( 2 1 3 ) z 墨，o = 0 ( 2 1 4 ) 在( 2 1 3 ) 成立时，其解z ：t 也就是下列问题极小化的解 7 & ( z ) = i i a x 一! ，6 0 2 + n o z z ：1 一l0 2 ，( 2 1 5 ) 由此可得 z ：= z 刍，n = a ( a + a 矿a y ， ( 2 1 6 ) i - - - - 1 n ，l 则其正则化算子吼= 三a i - 1 ( a a + a i ) 一a + ，逼近函数为鼬( a ) = 一1 ( a + o ) 一= 1 i = 0 1 一a “( a + n ) 一“ a 。 3 a - 光滑正则化方法( a - s m o o t hr e g u l a r i z a t i o n ) 1 0 0 1 0 5 】 设p 0 ，z 镌，则z 的p 阶a 一导数定义为z ( p ) = ( a a ) 一鸶z 在镌上 定义泛函 厶，p ( z ) = i i a * 一y 6 1 1 2 + 0 川z ( p ) 忾( 2 1 7 ) 其中z ( 弘) 是。的p 阶a 一导数a 一光滑正则化方法以五，p ( 。) 的极小点罐，p 作为 方程( 1 0 1 ) 的正则化解对于h i l b e r t 空间z ，y 和有界线性算子a ：彤hy ，我 们可证在镌上厶，p ( z ) 存在唯一的极小元z ：，p ，它满足方程【( a + a ) p + 1 + q 明z i ，p = ( a + a ) p a + y 6 ，由此可得 z ：，p = ( a + a ) p + 1 + n 卅一1 ( a + a ) 肛a + y 6 = ：，p y 6 ，( 2 1 8 ) 其中吼，p 为p 阶a 一光滑正则化算子，对应的逼近函数为g a ，p ( a ) = 志当 p = 0 时，上式退化为t i k h o n o v 正则化逼近函数，此时即为t i k h o n o v 正则化方法 ( 二) 迭代正则化方法 用迭代法处理各种正问题( 无限维或有限维的适定问题) 已有悠久的历史【7 7 】， 因而开发了许多有效的求解正问题的软件可引用而且，迭代法还有这样的优点： 8求解不适定问题的非线性隐式迭代法和正则化g m r e s 方法 当将无限维的问题转化为有限维问题( 线性代数方程组) 后，迭代过程不会破坏系 数矩阵a 的结构，而且存储量较之直接法要节省，这对于求解大规模的问题是相 当有利的能否用迭代法来求解反问题? 回答是肯定的人们发现，用迭代法求 解反问题时会出现所谓的“半收敛”现象，即，在迭代的早期阶段，近似解可稳定 地得到改进，展现出。自正则化”的效应，而迭代次数超过某一阀值后便趋向发 散因而关键的问题是寻找一个合适的终止原则，使得迭代次数与原始数据的误 差水平相匹配研究表明，迭代次数，即迭代步数正好起到了前述连续正则化方 法中的正则化参数o t 的作用，而这个终止准则正对应着正则化参数的某种选择方 法下面我们介绍几种求解线性不适定问题的常用迭代方法 1 l a n d w e b e r 迭代法 2 0 】【1 1 2 】 l a n d w e b e r 建议使用如下的迭代格式： z 知= z 知一1 + w a ( 暑一a z 七一1 )( 2 i 9 ) 来求解第一类算子方程的近似解，其中0 0 ，选择z n 石使得 i i f ( x ) 一训2 + , x l l x l l 2( 2 2 1 ) 达到极小，其中式( 2 2 1 ) 的极小解z n 疋是连续依赖于参数a 0 的 这里我们考虑式( 2 2 1 ) ，并给出如下稳定的正则化方法： 给定充分大的初始参数q o 0 ，初始猜测值x o z ，7 - ( 0 ，1 ) ，e 0 以及 观测数据y 6 ；在第k 步。 ( a ) 运用某种无约束优化方法( 如n e w t o n 法，拟n e w t o n 法等) 求解式( 2 2 1 ) 并 求得一局部解。； ( b ) 若i i f ( x 芑。) 一y a l l e ，则接受z = 矿作为式( 2 2 1 ) 的近似解，停机；否 则按下一节所给的参数选择决定参数o c k + l ，并同时求得近似解x 。k t 1 ； ( c ) 若x 。k + 川l 满足0 f ( z k 。+ 川1 ) 一矿0 e 则停机；否则令z = x k 。+ l ，o f o = t o t k + l 返回步骤( a ) 对于无约束优化问题( 2 2 1 ) ，其梯度和h e s s i a n 矩阵很容易精确地求出，因此 我们也可以用优化中其它方法求解( 2 2 1 ) ，比如最速下降法，非线性c g 法等 2 约束最小二乘法 1 0 9 】 给定参数b 0 ，选取x b 疋使得它是如下极小化问题： z r a i 爿n 愀z ) 一胛 ( 2 2 2 ) s t i i x l i b( 2 2 3 ) 的解定义约束函数c b ( x ) = 恻1 2 一b 2 ，则式( 2 2 2 ) ( 2 2 3 ) 的l a n g r a n g e 函数可表为 l b ( x ，a ) = i i f ( z ) 一引1 2 + 入岛0 ) ，( 2 2 4 ) 这里a 0 为l a n g r a n g e 乘子，利用一阶必要条件可求得式( 2 2 2 ) ( 2 2 3 ) 的一个解 3 t i k h o n o v 替代泛函法【7 l 】 定义t i k h o n o v 替代泛函为 五( z ，a ) = i i 可6 一f ( x ) 1 1 2 + q 0 z 一牙0 2 + c l l 。一0 0 2 一i i f ( x ) 一f ( a ) 1 1 2 ( 2 2 5 ) 丝塑占壅查堂博圭堂焦堡塞! ! 适当选取迭代初值z 8 和常数c 0 ，可以使得按如下格式 z 2 + l = a x g m i n j a ( x ，z 2 ) ， k = 0 ，1 ， ( 2 2 6 ) 得到的迭代序列 z 2 ) 收敛到t i k h o n o v 泛函厶( z ) 的极小点同时，式( 2 2 6 ) 的每 步极小化t i k h o n o v 替代泛函可以通过下面压缩映射快速实现： 圣n p ，。) 2 虿 i ( f ( z ) ( 矿一f ) ) + q 孟+ c n ) ， z 2 1 = 西。( z l ，l l ，z 2 ) ，l = l ，2 ， ( 2 2 7 ) t i k h o n o v 替代泛函法本身没有考虑正则化参数a 的选取问题，但可以证明配以先 验或残差原理的正则化参数选取准则，该方法能够达到相应的收敛阶【7 1 】 用变分法求解非线性不适定问题在理论上相对容易处理，最大的问题是数值 实现时必须求目标函数的总体极小值，由于此时的t i k h o n o v 泛函不再具有严格 凸性质，所以这是相当困难的【2 0 8 8 】第四章我们将详细论述非线性隐式迭代中 t i k h o n o v 泛函总体极值的几种具体实现方法 ( 二) 迭代法 1 非线性l a n d w e b e r 迭代法 2 0 】 设x 0 = 矿给定，在第k 步( k = 1 ，2 ，) 我们计算 z = z 2 一l + f 7 ( z 一1 ) + ( ! ，5 一f ( z 2 1 ) ) ( 2 2 8 ) 显然，若f ( z ) = a z ，a 为线性算子，则式( 2 2 8 ) 将导致我们熟悉的线性l a n d w e b e r 迭代法关于迭代格式( 2 2 8 ) 的详细讨论可参阅【2 0 】这种方法可看成我们将要 讨论的非线性隐式迭代法的一种特殊情况，或者称为一种不完全隐式迭代法( 见第 五章) 非线性l a n d w e b e r 迭代法属于求解非线性反问题的梯度型方法，其它梯度型 方法还有最速下降法和截断共轭梯度方法等【1 0 9 】 2 非线性反问题的n e w t o n 型方法 1 7 】 求解非线性反问题的n e w t o n 型方法是一大类方法的总称，它基于算子f 的 t a y l o r 展开假设0 是( 1 0 2 ) 的真解，z n 是的近似，则 f ( x t ) 一f ( 。竹) = f ( z 。) ( z t z 。) + r ( x ；z h ) ，( 2 2 9 ) 其中，r ( x t ；z 。) 是t a y l o r 余项，移项可得 f 7 ( ) ( z t z 。) = ( y 6 一f ( z n ) ) + ( 暑，一v 6 一r ( z t ；z 。) ) = ：y n ( 2 2 1 0 ) 1 2 求解不适定问题的非线性隐式迭代法和正则化g m r e s 方法 若求得h = 一z n ，则只需一步便可得到真解o 然而，精确的h 无法计算，因 为式( 2 2 1 0 ) 的右端y n 含有无法计算的y y 6 一r ( x t ；z n ) 项舍弃无法计算项，我 们得到 f 。( z 。) = y 6 一f ( x 。) ( 2 2 1 1 ) 这是一个线性不适定问题，求解它有许多成功的方法可用 b a k u s h i n s k i i 8 】、k a l t e n b a c h e r 5 1 】和r i e d e r 7 3 】提出一般框架，用 ( p ( f ( 。) + f ，( z n ) ，q 。) ) 一1 h = f ( 。n ) 。( 可6 一f ( z n ) )( 2 2 1 2 ) 近似( 2 2 i i ) ，其中，口( 入，q ) 定义在f ( 。n ) f ( z n ) 的谱值和正数集的乘积空间在 f ( z n ) 一1 存在的情况下，对所有的入，舰口( 入，q ) = 去，保证o ( f ( x n ) + f ( z n ) ，) f ，( z n ) 是f ，( z n ) 一1 的近似