（计算数学专业论文）第一类不适定fredholm积分方程的多尺度快速算法.pdf

中文摘婺 论文题目； 第一类不适定f r e d h o l m 积分方程的多尺度快速算法 专 业： 计算数学 博士生：程思睿 指导教师：陈仲英教授 许跃生教授 中文摘要 本篇博士论文主要研究不适定积分方程的多尺度扶速算法。在多尺度方法的基 础土，我佛提窭一种矩阵歪缩策路，将矩阵压缩策略应廷囊莱类偏差募粥，褥剿修 正的偏麓原则及求解偏差原则的快速算法我们将矩阵压缩策略和多层扩充法运 用于第类不适定f r e d h o l m 积分方程，得到求勰l a v r e n t i e v 正则优方程的整体快 速算法，使不适定瓣怒在离教能过程秘离敖纯后求勰都霉刭快速计算，在既基础上 给出先验的误差分析，并进一步讨论了基于矩阵滕缩算法和多层扩充法的后验参 数选取策略。理论分析表明，我们绘出的算法是快速有效的，适用于大规模计算， 对应的近戗解都可达刘最优毅敛阶，此终，我们通过数谴算铡，说明了相痤的参数 选取策略和快速算法的效果本文共分为五章 第一章为绪论，简要回顾不适定闯越、正则化理论以及多尺度快速算法的发展 与现状，弱对分绥了本文翡主要工佟， 第二章将多尺度g a l e r k i n 方法应用于求解t i k h o n o v 正则化所得的方程，在此 基础上给港一种矩阵罐缩策略，证明应用该策略所得蛉系数矩阵鳃计算复杂性必 o ( l o g n ) ( u 鸯系数矩阵翁巍模) ，获露可以大大减少计算量，避两绘塞一种先验 参数选取策略，证明了所得的正则化避似解可以达到最优收敛阶 第三章将第二章提蹬的矩阵截断策略应用到某类偏差原煲l j ，褥到可快速求解盼 修正魏偏差原裂，分析了所褥近议解豹收敛性，证磺了可羰逶过选择镳差原嘲串瓣 常数使得近似解达到最优收敛阶，并通过数值算例验证了第二鬻和本章的理论分 析结果以及算法的有效性 第诺褒，共1 0 2 凝 中文摘要 第四章将矩阵压缩策略和多层扩充法运用于第一类不适定f r e d h o l m 积分方 程，得到一种求解l a v r e n t i e v 正则化方程的整体快速算法，使不适定问题在离散化 过程和离散化后求解都得到快速计算，在此基础上给出先验的误差分析，证明先验 参数选取所得的近似解达到最优收敛阶 在第五章中，我们将矩阵压缩算法和多层扩充方法与后验参数选取策略结合起 来，给出一种快速进行后验参数选取的算法，证明了利用该算法选取的后验参数所 得的近似解达到最优收敛阶，并通过数值算例验证了第四章和本章的理论分析的 正确性和算法的有效性 关键词：不适定问题，第一类积分方程，截断策略，偏差原则，多层扩充法，后 验参数选取 第i v 页，共1 0 2 页 英文摘要 t i t l e ：f a s tm u l t i s c a l ea l g o r i t h m sf o ri l l - p o s e df r e d h o l m i n t e g r a le q u a t i o n so ft h ef i r s tk i n d m a j o r ：c o m p u t a t i o n a lm a t h e m a t i c s n a m e ： c h e n gs h “u i s u p e r v i s o r ：p r o f e s s o rc h e nz h o n g y i n g professorx uy u e s h e n g a b s t r a c t i nt h i sp h d t h e s i s ，w ed e v e l o pt h ef a s tm u l t i s c a l ea l g o r i t h mf o rt h er e g u l a r - i z a t i o ne q u a t i o n so fi l l - p o s e di n t e g r a le q u a t i o n s b a s e do nt h em u l t i s c a l em e t h o d ， w ep r o p o s eam a t r i xt r u n c a t i o ns t r a t e g ya n da p p l yi tt oak i n do fd i s c r e p a n c y , t h u s w eo b t a i nak i n do fm o d i f i e dd i s c r e p a n c ya n dt h ef a s ta l g o r i t h mt os o l v et h ed i s - c r e p a n c yp r i n c i p l e f u r t h e r m o r e ，w ea p p l yt h em a t r i xt r u n c a t i o ns t r a t e g yt ot h e i l l - p o s e df r e d h o l mi n t e g r a le q u a t i o n so ft h ef i r s tk i n d ，a n dt h u so b t a i na no v e r a l l f a s ta l g o r i t h mf o rt h el a v r e n t i e vr e g u l a r i z a t i o ne q u a t i o n s 。w ep r e s e n ta n8p r o r p a r a m e t e rc h o i c e ，w h i c hl e a d st ot h eo p t i m a lc o n v e r g e n c er a t e w ea l s od i s c u s s t h eap o s t e r i o r ip a r a m e t e rc h o i c es t r a t e g yb a s e do nt h em a t r i xc o m p r e s s i o nm e t h o d a n dt h em u l t i l e v e la u g m e n t a t i o nm e t h o d t h e t h e o r e t i c a l 毫n 出照ss h o w s 谯a 恚o u r a l g o r i t h m sa r ee f f i c i e n ta n de f f e c t i v ea n d a r ee s p e c i a l l ys u i t a b l ef o rl a r g es c a l ec o i n - p u t a t i o n s m o r e o v e r ，献lt h ec o r r e s p o n d i n ga p p r o x i m a t es o l u t i o n sc a l lo b t a i nt h e o p t i m a lc o n v e r g e n c er a t e s o m en u m e r i c a le x a m p l 邸a r ei n c l u d e dt os h o wt h ea c - c u r a c ya n de f f i c i e n c yo fo u ra l g o r i t h m s t h i sp h d t h e s i si sc o m p o s e do ff i v e c h a p t e r s i nc h a p t e ro n e ，w ei n t r o d u c et h eh i s t o r i c a lb a c k g r o u n da n dt h er e c e n td e v e l o p - m e n to fi l l - p o s e dp r o b l e m s ，r e g u l a r i z a t i o nm e t h o d s ，r e g u l a r i z a t i o np a r a m e t e rc h o i c e s t r a t e g ya n dm u l t i s c a l em e t h o d s w ea l s oi n t r o d u c et h em a i nr e s u l t so ft h i st h e s i s 第v 页，共1 0 2 炎 英文摘要 i nc h a p t e rt w o ，w ea p p l yt h em u l t i s c a l eg a l e r k i nm e t h o dt ot h et i k h o n o v r e g u l a r i z e de q u a t i o n ，a n db a s e do nt h a tw ep r e s e n tam a t r i xt r u n c a t i o ns t r a t e g y w ea n a l y z et h ec o m p u t a t i o n a lc o m p l e x i t ya n dg i v et h edp r i o r ie r r o re s t i m a t e w e s h o wt h a tt h ea r r o r ip a r a m e t e rc h o i c ec a nl e a dt ot h eo p t i m a lc o n v e r g e n c er a t e i nc h a p t e rt h r e e ，w ea p p l yt h em a t r i xt r u n c a t i o ns t r a t e g yp r e s e n t e di nc h a p - t e rt w ot oak i n do fd i s c r e p a n c yp r i n c i p l et oo b t a i nak i n do fm o d i f i e dd i s c r e p a n c y p r i n c i p l ew h i c hc a nb es o l v e de f f i c i e n t l y w ea n a l y z et h ec o n v e r g e n c eo ft h ec o t - r e s p o n d i n ga p p r o x i m a t es o l u t i o na n ds h o wt h a tt h eo p t i m a lc o n v e r g e n c er a t ec a n o b t a i n e db yc h o o s i n gt h ec o n s t a n t si nt h ed i s c r e p a n c yp r i n c i p l ep r o p e r l y a tt h ee n d o ft h i sc h a p t e r ，n u m e r i c a lr e s u l t sa r eg i v e nt ov e r i f yt h ea c c u r a c yo ft h et h e o r e t i c a l a n a l y s i sa n dt h ee f f i c i e n c yo ft h em e t h o di nc h a p t e rt w oa n dt h i sc h a p t e r i nc h a p t e rf o u r ，w ea p p l yt h em a t r i xt r u n c a t i o ns t r a t e g ya n dt h em u l t i l e v e l a u g m e n t a t i o nm e t h o dt ot h ei l l p o s e df r e d h o l mi n t e g r a le q u a t i o n so ft h ef i r s tk i n d ， a n do b t a i na no v e r a l lf a s tm u l t i l e v e la l g o r i t h mf o rl a v r e n t i e vr e g u l a r i z e de q u a t i o n s t h i sa l g o r i t h mm a k et h ei l l - p o s e dp r o b l e m sb ec o m p u t e df a s td u r i n gt h ed i s c r e t i z a - t i o na n di nt h es o l v i n gp r o c e s sa f t e rt h ed i s c r e t i z a t i o n b a s e do nt h i s ，w ep r e s e n t t h e 口p r i o r ie r r o re s t i m a t e ，w h i c hs h o w st h a tt h eo p t i m a lc o n v e r g e n c er a t ec a nb e a c h i e v e db yt h eap r i o r p a r a m e t e rc h o i c e i nc h a p t e rf i v e ，w ec o m b i n et h em a t r i xc o m p r e s s i o na l g o r i t h ma n dm u l t i l e v e l a u g m e n t a t i o nm e t h o dw i t ht h eap o s t e r i o r ip a r a m e t e rc h o i c es t r a t e g y , a n dt h u s o b t a i naf a s ta l g o r i t h mf o rc h o o s i n gt h eap o s t e r i o r ip a r a m e t e r w es h o wt h a tt h e a p p r o x i m a t es o l u t i o nb yt h i sp a r a m e t e rc h o i c ec a nr e a c ht h eo p t i m a lc o n v e r g e n c e r a t e a tt h ee n do ft h i sc h a p t e r ，n u m e r i c a lr e s u l t sa r eg i v e nt oi l l u s t r a t et h ea c c u r a c y o ft h et h e o r e t i c a la n a l y s i sa n dt h ee f f i c i e n c yo fo u ra l g o r i t h m sb o t hi nc h a p t e rf o u r a n dt h i sc h a p t e r k e yw o r d s ：i l l - p o s e dp r o b l e m s ，i n t e g r a le q u a t i o n so ft h ef i r s tk i n d ，t r u n c a - t i o ns t r a t e g y , d i s c r e p a n c yp r i n c i p l e ，m u l t i l e v e la u g m e n t a t i o nm e t h o d ，ap o s t e r i o r i 第们页，共1 0 2 页 英文摘簧 p a r a m e t e rc h o i c e 第、暾页，共1 0 2 贾 表禧譬录 表格目录 1 - 1 铡1 1 ，4 的数氆误差，+ 。4 3 - 1 截断后矩阵氐的矮缩率。，。躺 忿铡3 莲。l 盼悫验参数逡墩熬数值绻浆溉一艿瓣等燕魏一9 。稻 3 - 3 铡3 。4 + 2 麴先验参数选取的数值绻祭融絮毒舞苫一艿，镎端9 ) 莲5 3 - 4 倒3 4 。1 偏差原则的数毽结果，p 一1 ，q 一圭，鳓一王( 收敛瞬楚扩+ 豁) + 熊 3 - 5 铡3 。4 羔偏差蔗粼瓣数餐绐暴，p 一圭，q = 0 5 ，渤一1 ( 收敛除庭善1 路) 。鲻 3 - 6 倒3 莲王偏燕驻则的数蕊臻果，p 一2 ，q 一1 ，钧一1 收敛酚楚艿1 2 。躺 孙7 侧3 ，4 ，2 偏羲藤煲| j 的数值缝采，p 一羔，q 一王，锄一1 ( 收敛酚是蟠4 7 3 - 8 裁3 + 4 。2 镶差原瓣魏数值缨鬃，p 一0 5 ，q 一1 ，锄一薹( 收藏阶是铲燃+ 4 7 参9 侧3 。4 2 偏麓骤鲻的数值结果，p 一1 ，q 一0 5 ，o c o 一1 ( 收敛阶是6 番) 礓7 5 - 1 倒5 4 童：生成矩阵辫。秘硝蛙掰需时间勰眈较+ 。8 。 5 - 2 饿5 4 。l ：先验参数选鼗豁数德结暴。 孓3 铡5 ，4 。童：塞搂蕊解法与多基扩究法翡融溺比较。，鞠 5 - 4 铡5 4 羔：后验参数选取的数值结果+ + 。8 圭 5 - 5 铡5 4 。2 ：生或矩阵耧。移砥所瓣时瓣鹩院较，。8 薹 5 - 6 倒5 。4 。2 ：先验参数选取的数魑缝祟。，。8 量 舅7 倒5 4 2 ：蛊接求解法与多层扩充浃的对间比较8 2 & s 僦5 。4 。2 ：蜃验参数选敢的数谴结暴，。，8 2 第蛾裂，共1 0 2 爨 原刨性及使用授权声明 原创声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果除文中已经注明引用的内容外，本论文不包含任何其他个人或集 体已经发表或撰写过的作品成果对本文的研究作杰重要贡献的个人和集体，均已 在文中以明确方式标明本人完全意识到本声明的法律结果由本人承担 学位论文作者签名：程丞蚕 日期：h 妒8 年占月午日 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留学 位论文并向国家主管部门或其指定机构送交论文的逛子版和纸质版，有权将学位 论文用于非赢利目的的少量复制并允许论文进入学校图书馆、院系资料室被粪阅， 有权将学位论文的内容编入有关数据库进行检索，可以采用复印、缩印或其他方 法保存学位论文。 学位论文作者签名： 程厘巷 导师签名： 豳期：氨p g 年否胃千匿 嚣嬲： 如g 年参月手e l 第i 页，共1 0 2 黉 第一章绪论 第一章绪论 王。l 反问题与不适定问题 在地球物理、生命科学、材料科学、遥感技术、模式识别、图像处理、工业 控制乃至经济决策等众多科学技术领域中提出的“由结果( 输出) 和模型( 过程) 反求 原因( 输入) ”或由原因( 输入) 和结果( 输墨) 反求模型( 过程) 挣的问题，称为数学 物理反问题自二十世纪六十年代以来，数学物理反问题引起了数学家和应用科学 家的广泛重视和深入研究，现已发展成为具有交叉性的计算数学、应用数学和系 统科学的一个热门学科方彝( 参见羚o ，1 6 3 ) 。关于爱问题约会缪可参见銎7 ，9 王1 反问题大多具有不适定性，这也是反问题研究的难点所在适定性( w e l l - p o s e d n e s s ) 和不适定性( i l l - p o s e d n e s s 】的概念是h a d a m a r d 子二十世纪初在文 献【5 4 l 巾提出的，用来描述数学物理闻题与定解条件之闻的搭配。下面是关于 问题的适定性与不适定性的定义( 可参见i 4 3 ，8 4 ，1 5 4 ，1 6 3 1 ) 定义1 1 1 令x 和v 是赋范空间，心：x v 是一个线性或非线性的映射方程 k ：u = ( 1 一1 ) 称为适定的，如果它满足下列的三个条件： 1 ) 存在性：黠任意的，￥，至少存在一个珏x 满足方程( 王一薹) ； ( 2 ) 唯一性：对任意的j - v ，至多存在一个u x 满足方程( 1 1 ) ； ( 3 ) 稳定性：方程( 羔一王) 豹解珏连续依赖于右璇项，也就是说，对任意的序列 cx ，如果咒一k , u ( n 哪o o ) ，那么一铝( 礼o o ) 如果方程( 1 1 ) 不满足上述三个条件中的任意一条，那么我们称它是不适定的 赉上述定义可见，闯题适定与否和三元组( x ，y ，瓦) 的性麓有关解的存在性 和唯一性只依赖于空间x ，y 和算予j i c 的代数性质当算子瓦是从x 到v 的满 射时，对任意的i v ，方程( 1 一1 ) 的解存在。当算子疋是从x 到v 的单射时，如果 第1 页，共1 0 2 贾 1 1 反问题与不适定问题 方程( 1 1 ) 的解存在，则必唯一而解的稳定性则依赖于空间的拓扑性质，即逆算子 咒_ 1 ：y _ x 是否连续因此，判断一个问题是否适定也就是判断三元组( x ，y ，咒) 的特性，所以我们有时也说( x ，y ，咒) 是适定的或不适定的 反问题和不适定问题是紧密联系在一起的，这主要表现在绝大部分反问题都是 不适定的这种不适定性表现在两个方面一方面，反问题中的输入数据( 即给定的 解的部分已知信息) 往往是欠定的或过定的，这就导致解不唯一或不存在另一方 面，反问题的解往往不连续依赖于输入数据而输入数据中不可避免的会有测量误 差，因此必须寻求由扰动数据求反问题在一定意义下的近似解的稳定的方法( 可参 见【9 0 】) 为了说明反问题的不适定性，我们给出h a d a m a r d 在 5 4 】中提出的一个经典的不 适定反问题的例子：l a p l a c e 方程的c a u c h y f 司题更多的不适定反问题的例子可参 见 4 6 】 例1 1 2l a p l a c e 方程的c a u d l y 问题( 【5 4 ，8 4 ，9 0 ) 求l a p l a c e 方程 u ( z ，秒) ：= 0 2 u 否( r x , y ) + 望兰0 丛y 兰2 二堕= 。，z r ，y 【o ，o o ) 的解1 1 , ，使得钍满足初始条件 出，o ) = m ) ，南牡( 印) = 如) ，张r ， 其中，和g 是给定的函数 显然，当y ( x ) = 0 ，g ( x ) = 丢就n ( n z ) 时，方程的唯一解是 u ( x ，可) 2 素s i n ( n z ) s i i l h ( n y ) ，z r ，y 0 此时，我们有 凳 l ，( z ) + l g ( x ) l 2 嘉_ 0 ，n _ o o ，王r 7 但对所有y 0 都有 裟i t ( z ，y ) l2 素s i n h ( 礼y ) _ 0 0 1 n _ o o ， 即这个问题的求解是不稳定的 第2 页，共1 0 2 页 第一章绪论 许多反问题可直接导出具有连续核或者弱奇异核的第一类积分方程觅潞翻) 当积分算子的核是连续函数或者弱奇异函数时，庀是紧算子( 见 8 5 】) 在本文中， 我们考虑的是咒是紧线性积分算予的情形。下面的定理表明，当咒是无穷阶的紧 线性积分算子时，方程( 王一王) 的求解是不稳定的参照麓躅) 定理1 1 3 令x ，v 是赋范空间，肥：x _ y 是一个紧线性算子，尼的零空间 ) ：一 z x ：天知= o ，设商空间x 肌“) 是无穷维的那么，存在一个序列 cx 使得妻幺铭哪0 但 。) 不收敛，我们可以选取 ) 使得| | 如| | - 0 0 特别 地，如果厄是单射，那么逆算子咒以：y ) l c ( x ) _ x 是无界的 为了说明紧线性积分方程在数值求解上的不稳定性，我们绘窭醚】中的一个例 例1 1 4 求方程 fe x ( s ) d s = 爹蛾雾峨王l ， 的解茹，其中 鲋) = 等 易见，方程的唯一解是茹丢) = 8 | 我们焉如下的梯澎公式来计算积分 z 1e 幻z ( s ) d 5 ( 趸1 ( 。) + 互1e t z ( 1 ) 十蓦 t z ( 歹忍) ) ， 其中h ：一云1 。令丢= i h ，我们褥蓟线性方程组 ( 主勒+ 丢e i h x n + n - 1 抄2 巧) ：卵坝l - 0 ，n 那么，魏应该是x ( i h ) 的一个近獗表王一1 给毒一0 ，0 2 5 ，0 5 ，0 。7 5 ，1 时，真解x ( t ) 和 近似解之间的误差，其中i = t h 从表1 1 可以看出，当步长越来越小时，近似解与真解的误差并没有缩小，反而 越来越大了。 不适定性本质上是由于信息不足造成的，它是问题本身所固有的特性如果没 有足够的附加信息，我们无法克服这一本质性的困难。我们所能做的，是根据融有 第3 页，共1 0 2 员 1 2 正则化方法的理论和发展 表1 - 1 例1 1 4 的数值误差 tn = 4n = 8n = 1 6他= 3 2 0 0 4 43 0 81 0 83 8 2 l 0 2 50 6 7- 3 8 1 6- 2 5 1 75 0 9 1 0 5o 9 5- 7 5 4 43 1 2 4- 1 1 6 4 5 o 7 51 0 2- 2 2 1 52 0 0 31 0 3 4 5 11 0 90 1 64 2 3- 1 2 6 8 7 的信息，尽可能多且稳定的恢复所求的解的信息根据问题的不适定性的不同表现， 有以下几种处理方法： 1 ) 当解不存在时，通过改变解空间的范围或改变解的意义使得解存在例如， 当问题的古典解不存在时，我们可以考虑求问题的最小二乘解或最佳逼近解 2 ) 当解不唯一时，对解附加一些限制条件，以保证解的唯一性 3 ) 将第一类算子方程转化为适定的第二类算子方程来求解 4 ) 采用正则化方法 1 2 正则化方法的理论和发展 正则化方法是由p h i l l i p s 和t i k h o n o v 于2 0 世纪6 0 时年代分别独立提出的求解 不适定问题的稳定的方法( 参见 1 2 3 ，1 5 3 ) 在此之前，早期的求解不适定反问题的 重要方法，是t i k h o n o v 的选择法( 参见 1 5 3 1 ) 和i v a n o v 的拟解法( 参见 7 5 ，7 6 1 ) 我们假设方程( 1 1 ) 的解存在唯一但不稳定选择法的实质是选择一个包含方 程( 1 1 ) 的解砬的一个紧子集m ，把求解不适定问题( x ，v ，咒) 转化为求解适定问题 ( m ，c m ，i c ) ，其中k ：m 是m 在瓦作用下的象显然，当右端项，精确已知时，选 择法求得的是方程( 1 一1 ) 的真解选择法的困难之处在于如何选择紧子集m 使得 也m 另一方面，由于原始资料往往存在误差，我们只能知道，的一个近似，6 ，此 时未必有，6 c m ，从而选择法未必有解为了克服这一困难，i v a n o v 引入了拟解 的概念，它是方程解的概念的推广拟解法是以极小化问题 咖0 肮一，5 4 的解作为方程( 1 1 ) 的近似解，称为拟解或最小偏差解，这就解决了选择法有可能无 第4 页，共1 0 2 页 第一章绪论 解的问题但采用拟解法求解方程( 1 - 1 ) 时，保证解的唯一性和稳定性的条件非常苛 刻且很难验证，因此其适用范围受到限制 为了克服选择法和拟解法的缺陷，t i k h o n o v 于1 9 6 3 年提出了t i k h o n o v 正则化 方法( 参见 1 5 3 】) 其基本思想是利用具体问题的某些附加信息对不适定问题解的概 念重新定义，进而引进稳定泛函，构造展平泛函，通过求展平泛函的极小点来给出 原问题的近似解的一种稳定的方法 在实际应用中，我们通常无法精确知道右端项，而只能得到它的一个近似，6 ， 满足 ，一，6 0 正( 1 - 2 ) 其中艿 0 是误差水平因此，我们要求解的是一个右端带有扰动的方程 c u 6 = ，5 ( 1 - 3 ) t i k h o n o v 正则化方法是通过求展平泛函 l l i e u 一，6 1 1 3 + q l l u l l l( 1 - 4 ) 在x 上的极小化问题，以求得的极小点破作为原方程( 1 1 ) 的一个近似解 特别地，当x 和v 是h i l b e r t 空间时，上述极小化问题对应的e u l e r 方程是 ( 以+ 疋+ 疋) 钍：= 咒+ ，6 ，( 1 - 5 ) 其中聍是瓦的共轭算子易见，当口 0 时方程( 1 5 ) 是适定的，并且它的解牡：就 是展平泛函( 1 4 ) 的唯一极小点( 可参见 8 4 ，8 5 】) 由( 1 5 ) 可得 仳。5 = ( 以+ 咒石) 一1 瓦+ ，5 易证，7 ：= ( 以+ 瓦+ 瓦) 一1 聍是有界算子( 见【8 4 】) ，且有 。l l b i i - i i ( z + i c ) 。1 i i - o ( 1 - 6 ) 设砬是方程( 1 一1 ) 的真解，u a 是方程( 1 1 ) 对应于精确右端项，的正则化近似解，即 仳。= ，那么有如下误差估计 l i 旌一砬0si l 旌一t l q l i + lu q 一砬i l 第5 页，共1 0 2 页 1 2 正则化方法的理论和发展 = 0 ( ，6 一，) f i + 0 一砬0 l i 冗。忪+ i l u 口一砬0 石 焘+ 帆一砬。 上述误差由两部分组成第一部分去是由问题的不适定性和数据误差引起的， 代表的是近似解的稳定性，当q _ 0 时，赤o o ，当q _ o o 时赤_ 0 第二 部分f l t a 一训是由正则化方法带来的，代表的是近似解的精确性，当q _ 0 时 0 一训_ o 这两部分误差与q 的关系恰恰相反，因此q 的选取要使得近似解的 精确性和稳定性达到某种平衡，不能取得太大或太小所以，如何选取正则化参数 口，使得牡：以可能的最快速度收敛到砬，是应用正则化方法的关键问题我们会在 下一节简要介绍正则化参数选取策略的发展状况 除了t i k h o n o v 正则化方法之外，常用的正则化方法还有l a v r e n t i e v 正则化方 法( 见 5 0 ，9 6 ，1 1 1 ，1 2 8 ) ，l a n d w e b e r 迭代法( 见【5 8 ，6 9 ，1 3 4 ) ，共轭梯度法( 见 5 ，3 5 ， 4 1 ，6 0 ，6 1 ，1 1 3 ，1 2 6 ，1 2 9 ，1 3 0 1 ) 等2 0 0 2 年，r r a m l a u 提出了求解非线性不适定问 题的一种新的迭代算法( 见 1 3 5 ，1 3 6 1 ) 为了提高正则化近似解的精度，有人提出了 迭代正则化方法( 见 1 1 ，8 4 ，8 7 ，1 2 6 1 ) 理论分析和计算实践表明，正则化近似解的 收敛速度不仅与正则化方法本身有关，还与正则化参数的选取策略有关例如，当 砬冗( j | c + 瓦) 时，用t i k h o n o v 正则化方法所求得的近似解理论上可达到d ( 6 詈) 的收 敛阶，但若采用m o r o z o v 偏差原则来确定正则化参数，则近似解的收敛阶只能达到 d ( 6 ；) 经典的正则化方法是一种单参数的正则化方法，它只满足某一个稳定性条 件1 9 8 6 年，b a l e i v 在文献【1 】中引入带双参数的正则化方法，并考虑了线性不适 定问题后来，杨宏奇和侯宗义在文献 1 7 0 l 中利用这种方法考虑了非线性不适定 问题的双参数正则化方法，他们考虑的是h i l b e r t 空间中的单值算子2 0 0 7 年，李 招文，李景和刘振海在文献【9 5 】中考虑了b a n a c h 空间中的多值算子，利用双参数 t i k h o n o v 正则化方法构造出强收敛的逼近步骤近年来，有人提出多参数正则化方 法，使正则化近似解满足多个稳定性条件，相关研究可参考i s ，9 ，1 4 ，2 9 其中，文 献 8 】将i 广曲线准则推广到多维的情况，给出一种多参数选取策略【9 】将多参数i e 贝, s l 化算法用于求解过定的线性问题【1 4 】提出一种多参数正则化方法，并给出误差和 收敛性的估计 2 9 1 将多参数正则化方法应用到大气遥感问题中 第6 页，共1 0 2 页 第一章绪论 经典的正则化方法的收敛性分析都是基于所求的解的光滑性假设的基础上的， 即假设所求的解砬冗( ( 聍瓦) ”) ，0 i ，1 近年来，有些学者提出了一些对所求 的解砬更一般的假设，并在此基础上分析了正则化近似解的收敛性，这方面的相 关研究可以参考瞄，6 6 ，1 0 4 ，1 1 8 ，1 2 2 ，1 5 2 更多豹关于正则化方法酶研究霹参 见【6 ，4 4 ，4 5 ，9 4 ，1 0 1 ，1 0 3 ，1 1 0 ，1 1 2 ，1 3 3 ，1 4 6 ，1 6 5 ，1 6 6 1 3 正则化参数的选取策略 由上一节的分析可知，在正则化方法中，如何选取合适的正则化参数是一个 非常关键的问题正则化参数的选取策略，通常可分为先验的( op 婀d 哟和后验的( 口 p o s t e r i o r i ) 两类 所谓先验参数选取策略，就是指利用解的光滑性信息，在求解正则化方程 之前就确定i f _ 贝u 化参数口的值例如，当砬冗( ( 疋+ 疋) ) ，0 1 时，若 采用t i k h o n o v 正则化方法求解方程( 1 一1 ) ，可选取a = 6 赤以使近似解达 到最优收敛阶o ( 艿葫) ( 参觅【王5 雹) 关于正则纯参数筋先验选取的研究，可参 考【2 4 ，3 0 ，3 3 ，4 3 ，8 4 】等文献，其中文献 2 4 】在不适定问题的条件稳定性的基础上，给 出t i k h o n o v 正则化的一种新的先验参数选取策略，可适用于线性或者非线性问题， 并证明了所得近似解豹收敛率。 而所谓的后验参数选取策略则是指在不知道解的光滑性的情况下，在计算过程 中确定正则化参数 有关先验参数选取策略，可参考 4 3 ，1 5 餐。先验参数选取策略具有理论分析价 值，但在实际应用中常常难以知道问题的解的光滑性，从而使得其应用受到限制， 所以后验参数选取策略的研究成为热门方向下面我们回顾下线性不适定问题 的后验参数选取策略的发展 1 9 6 6 年，v 。a m o r o z o v 提出种偏差原则( 见 1 0 2 ，1 5 4 ) ，要求i e 爨f j 化参数 q = 口( d ) 满足方程 l l 瓦一，6 l l = 文( 1 - 7 ) 当矗冗( ( 舻) p ) ，0 y 时，这样选取正剃化参数所得的t i k h o n o v 正购化近 似解可以达到最优收敛阶d ( 6 蒲) ，但当i 1 0 ( 1 - 9 ) 他证明了当砬冗( ( 聍尼) ”) ，0 0 ，( 1 - 1 0 ) 并证明了当砬冗( ( | | | c + 瓦) p ) ，0 o ，q 0 ， ( 1 1 1 ) 第8 页，共1 0 2 页 第一章绪论 其中a 是舻芄的近似，兹是r 广的近似，满足当霸_ 时， l j i c a i i 叶0 ，i i r ，5 一兹1 1 0 链翻证明了按这静偏差原则选取参数o t 所得的t i k h o n o v 正则化近似解是收敛的， 并且当砬冗( ( 舻t o y ) ，0 0 对 q 往掰嚣，。o ) 成立，对于t i k h o n o v 正则化和迭代t i k h o n o v 正则化，其偏差瑷剥 形式为 d m e ( n ) ：= 皇里垒而高是三警= c 5 , c 1 他们证明了这样所得的t i k h o n o v 正则化近豢爻解可以达到最优收敛阶。 2 0 0 1 年，p m a 帮，s v p e r e v e r z e v ，r r a m l a u 和s g s o l o d k y 在文献 1 0 5 中 结合文献 1 0 6 】和 1 2 4 】的研究结果，将自适应离散化( 即根据正则化参数o t 的值来确 定空阂离散纯的规模) 和m o r o z o v 型偏差原则结合起来，褥至l 种基于磊验参数选 取的t i k h o n o v - p h i l l i p s 正则化的自适应离散化方法，并证明了当( 0 ，互1 1 时，所 得的近似解可达最优收敛阶，且计算复杂度远远低于常用的全离散方法 2 0 0 7 年，m 。t n a i r 和s v 。p e r z e v e r z e v 在文献 圭圭霹中提爨一种基于一般源 条件的正则亿配置法，并给出相应的正则化参数的自适应选取策略，证明了其 近似解可以达到最优收敛阶更多的关于后验参数选取策略的研究，可以参 爿譬【1 3 ，3 2 ，3 6 ，5 0 ，5 2 ，5 5 5 7 ，6 8 ，11 4 ，11 9 ，1 3 1 ，1 3 7 ，1 3 8 ，1 5 7 ，1 5 8 1 冬孥， 当用迭代法( 如共轭梯度法) 求躲不适定问题时，会出现半收敛现象i 3 嗣) ，也就 是说，在迭代初期，近似解的误差是逐步减小的，但当迭代次数超过某个值之后，近 似解的误差会越来越大因此，需要有一个合适的终止准则，使得迭代次数和原始 第9 页，共1 0 2 燹 1 3 正则化参数的选取策略 数据的误差水平相匹配，此时迭代步数就起到正则化参数的作用，而终止准则就是 相应的参数选取策略这方面的研究可以参考【3 5 ，4 1 ，5 9 - 6 1 ，1 2 5 - 1 2 7 ，1 2 9 等 用以上介绍的方法确定正则化参数时，都需要预先对原始数据的误差作出估 计但是，在实际应用中，有时候这是难以做到的，例如在经济领域中在未知原始 数据的误差水平的情况下，我们可以用拟最优准则( 参见 s 9 ，1 5 4 ，1 5 5 1 ) ，l 曲线准 则( 参见【1 2 ，6 2 ，7 0 ，9 3 ，1 0 0 1 ) 和广义交叉校验准则( 参见 2 0 ，4 9 ，1 6 0 ，1 6 1 ) t i k h o n o v 在文献【1 5 4 】中，提出当原始数据的误差水平无法得知时，可以用以下 准则来确定正则化参数： q 。= m i n ( 1 l a 垫d a l l j 这就是拟最优准贝j j ( q u a s i o p t i m a l i t yc r i t e r i o n ) 这种准则的基本思想是，让正则化参 数q 以及正则化近似解钍口对q 的变化率都稳定在尽可能小的水平上 【广曲线准则是通过分析参数曲线 z ( a ) = 1 。g o 瓦钍q 一，o ， 口 o i ( 口) = l o g l i u 口0 ， 的图像来确定正则化参数的值在大多数情况下，这条曲线表现为一个字母l 的 形状，而正则化参数就选为l 的拐角所对应的口值关于检测i 广曲线的拐角的算 法，可参考【1 2 ，7 0 】由于在很多实际应用中，原始数据存在误差，这导致所得的参 数曲线不是l 形，从而在没有一些启发式准则的前提下很难选出一个好的参数，这 是【广曲线准则的一个缺点另一方面，所得结果的好坏对参数的正确局部非常敏感， 对口的最优值估计得略小一点点都可能引起所得近似解牡a 的范数有很大增长，这 是它的第二个缺点( 【9 】) 广义交叉校验准贝l j ( g e n e r a l i z e dc r o s sv a l i d a t i o n ) 简称g c v ，是通过极小化某 个关于q 的泛函，以求得的极小值点作为正则化参数在求解过定的病态的线性方 程组 a x = b ，a r m x n ，z r ”，b p ，m n 的情况，这个泛函定义为( 参见 9 】) y ( 口) = 聒11面1(i-丽a(q)bll2， 第1 0 页，共1 0 2 页 第一章绪论 其中，a b ) 称为正则化方法的影响矩阵( i n f l u e n c em a t r i x ) ，定义为 a x 。= a ( o o b 关于原始数据误差水平未知情况下的参数选取方法，还可以参考f 4 ，3 3 ，7 2 1 其 中，文献 4 】说明了与误差水平无关的参数选取准则不能保证所得近似解的收敛性， 即未必有u 三一砬 用偏差原则来确定正则化参数通常需要求解一个非线性方程，比如采用 m o r o z o v 偏差原则时，需要求解以下非线性方程 l i c 罐一广l i =