（计算数学专业论文）解非线性不适定算子方程的一类正则化newton方法.pdf

原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。9 - 非 - - t 作的其他同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名曰期 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有j 汉保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：导师签名：日期： 2 0 0 4 上海大学硕士学位论文 摘要 本文主要考虑了求解菲线性反问题的一种新的正则化n e w t o n 型迭代方法，给 出了它的推导过程，理沦分析和数值试验 第一章在给出不适定，反问题和正则化的概念后，简单介绍了几种本文将要 用到的或者比较重要的线性正则化方法，非线眭正则化方法和正则化参数的选取法 则第二章到第五章是本文的主要工作 第二章首先叙述了本迭代法的推导过程，主要是对n e w t o n 法后得到的方程， 在正则化时用两步法然后证明本迭代法在某种条件下具有单调性 第三章证明了本迭代法在精确右端和非精确右端时的收敛性发现在m o r o z o v 残差准则和几个普通的条件下，这两种情况都有收敛性 第四章在前面几章的基础上进行了一下推广，在正则化时用n 步法，即对得 到的线性不适定问题，用n 步正则化来逼近。 第五章给出了一个数值例子，当然找合适的数值例子并不是很容易这里我们 采用了m h a n k e 2 3 1 的例子以方便比较且省去满足条件证明这一复杂工作 关键词：非线性算子方程，不适定性，迭代法，正则化，收敛性，隐式迭代法，m o m z o v 残差准则，参数反问题 2 0 0 4 上海大学硕士学位论文 2 a b s t r a c t i nt h i sp a p e r ，w em a i n l yc o n s i d e ran e w r e g u l a r i z e dn e w t o ni t e r a t i o nt h a ti sae x t r e m e l yp r o m i s i n gm e t h o df o rs o l v i n gn o n l i n e a r i l l p o s e di n v e r s ep r o b l e m s r e s u l t sr e l a t e d t oi t sp r o c e s s ，t h e o r e t i c a la n a l y s i sa n dn u m e r i c a l e x a m p l e sa r eo b t a i n e d c h a p t e ro n eb r i e f l yi n t r o d u c e ss e v e r a ll i n e a r ( n o n l i n e a r ) r e g u l a x i z a t i o nm e t h o d sa n d p a r a m e t e rc h o i c em e t h o d sw h i c hi si m p o r t a n to rd i s c u s s e di nt h i st h e s i sa f t e rg i v i n gt h e c o n c e p t i o n so fi l l - p o s e di n v e r s ep r o b l e ma n dr e g u l a r i z a t i o n t h em a i nw o r ko ft h i st h e s i s i sd e s c r i b e di nd e t a i li nc h a p t e rt w ot oc h a p t e rf i v e c h a p t e rt w oi n t r o d u c e st h ep r o c e s sh o w l e a dt ot h em e t h o d f i r s t ，w h i c hu s et w os t e p s i nr e g u l a r i z a t i o n g t h e nw o p r o v et h em o n o t o n i c i t yo ft h ei t e r a t ew i t hs o t n ea s s u m p t i o n c h a p t e rt h r e ep r o v et h ec o n v e r g e n c eo ft h ei t e r a t ew i t hn o i s eo rw i t h o u tn o i s eu n d e r s o m ea s s u m p t i o na n dm o r o z o v d i s c r e p a n c yp r i n c i p l e c h a p t e rf o u rw oe x t e n dt h er e g u l a r i z a t i o ni t e r a t ef r o mt w os t e p si nr e g u l a r i z a t i o n t ons t e p s a n dt h e nw o p r o v ei t sm o n o t o n i c i t ya n dc o n v e r g e n c e c h a p t e rf i v ew og i v ean u m e r i c a le x a m p l e sw i t hb e a u t i f u lr e s u l t sb y u s i n gt h i s m e t h o d f o rt h ea s s u m p t i o n r e a s i o n ，w eu s en u m e r i c a le x a m p l e si n 2 3 b ym h a n k e t h e n w ec a _ no m i tt h ep r o v ef o rs u i t k e y w o r d s ：n o n l i n e a ro p e r a t o re q u a t i o n ，1 1 l p o s e dp r o b l e m ，c o n v e r g e n c eo fr e g u l a r i z a t i o ni t e r a t i o n ，i m p l i c i ti t e r a t i v em e t h o d ，m o r o z o v d i s c r e p a n c y , p a r a m e t e r o v e r s ep r o b l e m 2 0 0 4 上海大学硕士学位论文 3 第一章预备知识 1 1 引言 自2 0 世纪6 0 年代以来，在许多应用科学与工程技术研究领域，如生命科学， 地球物理，地质勘探，图像重建与恢复，材料科学，遥感技术，最优控制和最优设 计中，都存在反问题( i n v e r s ep r o b l e m ) j 2 ，8 ，3 5 ，3 6 ，3 7 】粗略地说，如果将由本原求 一个过程或现象效应的数学问题称为正问题，则将由效应反求本原称为反问题反 问题的有效求解对数学学科本身以及相应的应用科学都有着十分重要的意义，有时 是关键所在因此对反问题求解的理论和方法的研究已经成为当代应用数学计算数 学学科中重要且活跃的领域 反问题的一大特点，亦为难点是，一般说来它们在h a d m a r d 定义下是不适定 的，即在反问题中我们不能完全保证其解的存在性，唯一性和稳定性【1 9 1 在数学 上我们称这一类问题为不适定问题( 1 1 1 p o s e dp r o b l e m ) 当然，我们可以通过弱化解 的定义来保证解的存在性，通过在解的集合中限定我们最感兴趣的那个解来解决唯 一性问题( 例如，我们可以求解的集合中具有最小范数的那个解) 【3 ，7 但是不 满足稳定性就会产生一些极其严重的后果：如果对于一个不满足稳定性的问题，即 它的解不随数据的改变而连续变化，试图采用“传统的”处理适定问题的数值计算 方法来求解，那么利用这种方法得到的结果就会极其不稳定 8 ，1 0 ，2 5 】概言之， 反问题常常是不适定的，若不用特殊的方法来求解，将得不到合理的解 数学物理反问题的求解已经发展了各种方法，例如脉冲谱技术( p s t ) ，广义脉 冲谱技术( g p s t ) ，最佳摄动量法，蒙特卡罗方法( m o n t ec a r l om e t h o d ) 各种优化方 法和正则化方法等j 其中，最具普适性，在理论上最完备而且行之有效的方法，就 是由著名学着t i k h o n o v 以第一类积分算子方程为基本数学框架，于2 0 世纪6 0 年 代初创造性地提出，后来得到深入发展的正则化方法一般说来，正则化方法的目 的是在尽可能地保证近似解的稳定性基础上保留解的尽可能多的信息 t , 1 3 】正则化 常用的思路之一是用一系列“邻近的”适定问题来逼近原始的不适定问题从而， 如何构造“邻近问题”而获得所谓的正则算子和正则解，如何控制与原问题的“邻 近程度”而决定与原始资料的误差水平相匹配的正则参数以及上述工作的快速数值 实现，就成为正则化理论和方法的三大核心问题本论文主要考虑正则化方法 2 0 0 4 上海大学硬士学位论文 4 考虑具有如下形式的线性算子方程 a x = y ( 1 t 1 ) 其中，a 是从h i l b e r t 空间x 到h i l b e r t 空间y 上的非退化线性算子一般说来，方 程( 1 1 1 ) 可能没有解在解存在的情况下，其解也不一定唯一 2 1 因此我们将求它 的一个特殊的广义解，即极小范数最小二乘解一这种广义解与算子a 的m o o r e - p e n r o s e 广义逆算子a + 有密切的联系，故亦称其为m o o r e p e n r o s e 广义解f 2 ，1 9 1 。 我们将在下面的定理中说明a + 是将y 映射到算子方程( 1 1 1 ) 的极小范数最小二乘 解z + 的解算子 定理1 1 t 1 9 设y 口( a + ) = n ( a ) + 冗( a ) j 。则方程( 1 1 1 ) 有唯一的极小范数 最小二乘解，它可以表示成 。+ ：= a + y ( 1 1 2 ) 并且，方程( 1 1 1 ) 的所有的最小二乘解的集合是一+ n ( a ) 在许多实际情况下，我们并不知道方程( 1 1 1 ) 的精确右端y ，只知道一个近 似的右端y d ，但它满足下面的条件 lj 矿一圳s j ( 1 1 3 ) 其中，6 是一个小量( 可以是已知的也可以是未知的) 我们称y 6 为扰动右端，称 6 为误差水平，相应地，方程( 1 1 1 ) 变为 a x = y 6 f 1 1 4 ) 在不适定的情况下，由于a + 的无界性，a + 矿不存在，即使存在，一般也不是a * y 的一个好的逼近 1 7 】因此，我们必须寻找一的某种更好的近似解，记作z ：，使 它满足：一方面，连续地依赖于右端y 6 ，以使我们可以用一种稳定的方法来计算 它；另一方面，当误差水平d 趋近于零，并且适当地选取参数a 时，近似解z ：趋近 于极小范数最小二乘解z + 通常我们利用正则化方法来实现上述目的：定义一族 与参数a 有关的连续算子来代替无界算子a + ，然后将。：= r 。y 6 作为x + 的 一种近似这样便可以通过一种稳定的算法来求解。：我们称这族算子r 。为正则 化算子，参数a 为正则化参数，近似解z ：为正则化解值得注意的是，通常对于 正则化参数a 的要求是：当误差水平6 趋于零时，正则化解。i 应该趋近于x + 因 此，恰当的正则化参数的选取在某种程度上与j 和( 或) y 6 ，_ 以及一些关于精确 2 0 0 4 上海大学硕士学位论文 5 解矿的先验信息均有关正则化算子的构造以及正则化参数的选取结合在一起便 形成了求解不适定方程的某种特定正则化方法f 1 8 1 反问题可以分为线性和非线性两类，当然正则化方法也是分为线性正则化和 非线性正则化方法线性反问题理论工作已经相对完善，在实际应用中也取得良好 效果；而非线性反问题的理论和实践都还有许多需要完善的地方，而且非线性反问 题的理论工作开展的少，相互借鉴的地方有限，因此需要回到线性正则化方法中寻 找灵感故我们下面要分别介绍线性和非线性反问题中已经取得的一些好的正则化 方法 当然正则化参数的选取工作也是十分重要粗略地说，目前正则化参数的选 取方法可被分成两大类：先验的和后验的如果我们事先知道关于精确解的一些信 息，例如其光滑程度一，则可选取a j 南，这样得到的结果可以达到最优收敛逮 度d i 南) ( 1 9 】但通常情况下，我们不知道精确解的任何先验信息，则只能通过 后验的方法来选取正则化参数后验的方法也可分成两大类，其一是我们已知关于 右端的扰动水平d ，则可以通过如对残量的估计来求解正则化参数a = a ( 6 ，矿) 这一方法的典型例子就是一直被广泛使用的m o r o z o v 残差准则【3 3 】另一类后验选 取正贝化参数的方法是近年来引起各界兴趣的e r r o r f r e e 方法，即在不知道扰动误 差d 的情况下，仅通过给定的扰动右端及正则化方法本身的特性来求解正则化参数 【3 3 在本章最后一节中我们简单介绍一下 1 2 一些线性正则化方法 到目前为止，人们已经提出了许多线性正则化方法例如，著名的t i k h o n o v 正 则化方法【1 9 】，截断奇异值分解方法【2 7 】，a 光滑正则化方法，隐式迭代法和一 些别的迭代正则化方法【2 l 】作为对于下面章节的准备工作，我们在这一节中简要 介绍一下t i k h o n o v 正则化方法，截断奇异值分解方法，a 一光滑正则化方法和隐式 迭代方法 1t i k h o n o v 正则化方法( t i k h o n o vr e g u l a r i z a t i o n ) 3 ，8 】 我们知道，方程( 1 1 1 ) 的最小二乘解满足法方程 a + a 。= a + y( 1 2 1 ) 2 0 0 4 上海大学硕士学位论文6 其中，a 是a 的共轭算子由于扩= a + g 是方程( 1 1 1 ) 的一个最小二乘解，故 其亦满足法方程( 1 , 2 1 ) 又因为自共轭紧算子a 具有非负特征，故对于任意正 数a ，算子4 a + n ，) 具有严格正的持征值( 其中是定义在x 上的单位算子) 。 特别地，算子( a + a + n j ) 具有有界逆算子，也就是说，关于求解下述方程( 1 2 2 ) 的 问题是适定的 ( a + a - t - 乜j ) z 。= a + y( 1 2 2 ) 我们称方程( 1 ，2 2 ) 为方程( 1 2 1 ) 的正则化形式，并称它的唯一解 。= ( a 4 a4 - o ) 。a ” ( 1 2 3 ) 为方程解( 1 1 1 ) 的极小范数最t l 、z 乘解a + y 的t i k h o n o v 正则化近似解 2 截断奇异值分解方法( t r u n c a t e ds v d ) 2 7 ，2 8 】 设 a i ；q ，胁耀l 是方程( 1 1 1 ) 中紧算子a 的一个奇异系，奇异值以按出大到 小的顺序排列， v i 和 m ) 分别是子空间( a ) 上cx 和可酉cy 的标准正交基 1 8 】若方程( 1 1 1 ) 的m o o r e - p e n r o s e 广义解存在，则可表示成 矿= a + y = 叮1 ( 以胁) 叫 ( 1 24 ) = l 若方程1 1 _ 1 的右端存在扰动误差曲，即y 6 = + 5 y ，则用类似( 1 2 4 ) 式表示的近 似解为 = 口f 1 ( 9 6 ，1 i ) v l ( 1 2 5 ) = 1 其与z + 的误差为 如= 一。+ = 口f 1 ( 氓# d v i ( 1 2 6 ) t = l 由( 1 2 6 ) 式可看出，o - i 越小，扰动误差曲在近似解一与精确解。+ 之间的 误差如中所起的影响就越大但当 _ 。时，以将趋近于0 ，故截断奇异值分解 方法的基本思想就是将( 1 2 5 ) 式右端进行截断，即仅保留前面k 个对应于较大奇异 值的部分，将后面的对应于较小奇异值的部分删掉，从而避免扰动误差被过分地放 大但为使近似解更加逼近精确解，还应该尽可能地保证女比较大由上述易知， k 在这里起到了正则化参数的作用，我们又称其为截断奇异值分解方法的截断阶， 而方程( 1 1 4 ) 的t s v d 解即可表示成 ( 】27 ) u 驴 瞄 。甜 = 2 0 0 4 上海大学硕士学位论文 3a 一光滑正则化方法( a s m o o t hr e g u l a r i z a t i o n ) 3 4 设 f f i ；v i ，p 。) 罄l 同上述2 中定义 设u = 墨1 ( u ，仉h ( a ) 1 ，芦r ，则u 的p 阶a 一导数定义为 7 u = a ( u ，v i ) v ，= ( a + a ) 一p 2 ( 1 28 ) = l 设u = 墨1 ( u ，u i ) u i 十u o ，其中u o z r ( a ) ，则我们称 ( 1 2 9 ) 为u 的p 阶a + 一导数 ( a ) 上中所有p 阶4 一可导元素的集合定义为a ( u ) ，y 中所有p 阶4 一可 导元素的集合定义为( 肛) 令m c ( a ) 1 ，可m 被称为m 中的p 阶a 一最光滑元素，如果b ) ea ( p ) 并且 i i v ( ) l ls | | u ( p ) j j ，v u m( 1 2 t o ) 如果百m ，满足oe a ( p ) ，v , u r ，并且e m ，存在p o = 卢o ( u ) r ，使得 l 百( p ) i isi i ( p ) i i ，v p p o( 12 1 1 ) 则称移为m 中的无穷阶a 一最光滑元素 设q 为y 到瓦两上的正交投影算子，6 0 ，记 d a ( y ) = 扫r ( a ) ：1 1 9 一q y l i d ) d 彳1 ( ) = u ( a ) 1 ：a p d 6 ( ) ) 若0 0 是控制参数若记v k ，。( ) = ( 1 一( 最) ) i x 出 z = 巩，。( a ) a “y 则迭代解。l 也可由下式给 隐式迭代法是一种强健的正则化方法，它具有最优的收敛速度， 控制参数。的取值来调节迭代次数 1 3 一些非线性正则化方法 ( 1 2 1 6 ) 并且可以通过改变 在许多实际应用领域也常导致非线性反问题( 比如说参数识别问题，反散射问 题，逆s t u r m - l i o u v i l l e 问题以及非线性第一类f r e d h o l m 方程的求解问题等等) 的求 解这类问题的一般形式是 f ( z ) = y( 1 3 1 ) 其中f ：x _ y 为非线性算子，x ，y 均为h i l b e r t 空间我们希望：任取y y ， 存在。x 使得f ( 。) = y 称问题( 1 3 1 ) 是适定的，如果以下条件得以满足： ( 1 ) v y r j z x 使得f 扛) = ； ( 2 ) 解。唯一存在； ( 3 ) 解z 连续地依赖于数据y ； 竺些坠塑主兰竺查 ! 在实际问题中，由于r ( f ) 未必是闭的，因此以上的条件( 1 ) ，( 3 ) 难以得到保 证，故问题0 , 3 1 ) 通常是不适定的我们假定f 关于z 是f r d e h e t 可微的，并记其 导数为f ，( 。) ，f ( z ) 4 为f ( z ) 的伴随算子 求解( 1 31 ) 的最常采用的方法是最小二乘法，即求( 1 3 1 ) 的最小二乘解z + ， 满足 i f ( x + ) 一f f f = m i n l i f ( x ) 一p f f ：z 口( f ) )( 1 3 2 ) 其中d ( f ) 表示f 的定义域 如前几节所述，右端项v 通常是观测数据，因而不可避免地带有误差d ，即 怕。一训6f 1 33 ) 这样，( 1 3 1 ) 式变为 f ( x ) = y 6f 1 34 1 我们应当寻求一x 使得 | | f ( 矿) 一y 6 | j 达到最小 一个标准的做法是对( 1 3 4 ) 式作线性化处理由t a y l o r 展开式，有 f ( z ) # 2 = 5 f ( z ) + r ( x + ，z 1 )( 1 3 5 ) r 扛+ ，。2 ) 是余项截掉余项，精确的。l 变为近似的缸，可得迭代程序 f ( $ 1 ) 如k = y 6 一f ( z 1 )( 1 3 6 ) 。l + 1 = z 2 + d z 七 然而如上的解法一般也是不适定的因为由于观测数据或舍入误差的影响，即 使“精确数据”y r ( f ) ，但也未必有( 矿一f ( z ) ) r ( f 7 ( z 1 ) ) ；从而式( 1 3 1 ) 的 古典解可能不存在，即使存在，可能并不唯一或者在数值上不稳定因此我们应当 另辟途径，研究稳定的数值解法 下面我们简要叙述几种常用非线性正则化方法： 1 l e v e n b e r g - m a r q u a r d t 方法( l e v e n b e r g - m a r q u a r d tm e t h o d ) l e v e n b e r g - m a r q u a r d t 方法是一种迭代方法它可以看作是对非线性问题( 1 3 1 ) 先线性化后正则化的过程本方法最初是用来求解下述非线性最小二乘问题的： 。嚣l i e ( z ) 一1 1 2 2 0 0 4 上海大学顼士学位论文 1 0 该方法的基本形式是，给定初始猜测值x o x ，在第k 步，令 d 。k = ( f ( 。k ) 4 f ( 。女) + a k i ) 一f ( 。女) + b f ( x k ) )( 1 3 7 ) 2 ：k + 1 2z + 如k 而鲰称作l m 参数在此方法中选取参数n k 是很关键的 考虑( 1 3 7 ) 的线性化形式： r 。a i x n 妒( s ) = i i f ( x k ) + f 7 ( 。) s 一1 1 2( 1 3 8 ) 需要指出的是，l m 方法是与如下约束极小化问题等价的( 参见【3 8 ) ： 卿妒( s ) t 2 1 r 2 其中r k 0 为球半径或者成为信赖域半径 2 t i k h o n o v 正则化方法( 或阻尼最j 、- - 乘法) ( t i k h n o n o vr e g u l a r i z a t i o nm e t h o d ) 给定参数a 0 ，选择。x 使得 f f f 扛) 一引f 2 + o l f z f | 2( 1 3 9 ) 达到极小；其中式( 1 3 9 ) 的极小解。x 是连续依赖于参数a 0 的该方 法于最优化领域中求解约束优化问题 赌2 ( 13 l o ) s t f ( x ) y = 0( 13 1 1 ) 的二次罚函数法类似这时我们需要求解一系列无约束优化问题： 恕1 2 + p l i f ( z ) 一g 仍 其解z 。x 是连续依赖于参数p 0 的假定( 1 3 1 ) 是一个适定的问题，则 在式( 1 3 1 0 ) 一( 1 3 1 1 ) 有解的情况下，当p 斗o 。时，却- 。+ ，。+ 为式( 1 31 ) 的 真解但是( 1 3 1 ) 往往是不适定的，而且右端项为带有噪音d 的观测数据矿，这 时约束集合 z ：f ( z ) = y ) 可能为空集，因此式( 1 3 1 0 ) 一( 13 1 1 ) 可能无解故经 典的二次罚函数方法求解( 1 3 1 ) 效果并不好 2 0 0 4 上海大学硕士学位论文 l i _ 一 下面我们考虑( 1 3 9 ) 式，给出如下稳定的正则化方法： 算法t 给定充分大的初始参数a o 0 ，初始猜测值。：。x ，r ( o ，1 ) ，。 0 及 观测数据y 6 ；在第k 步： ( a ) 运用某种无约束优化方法( 如n e w t o n 法，拟n e w t o n 法等) 求解式( 1 3 9 ) ， 并求得局部解z ：。； ( b ) 若1 f ( 2 7 ：。) 一y 6 ise ，则接受吐。：= 一作为( 1 3 9 ) 的近似解，结束；否则 按残差准则选定参数o t k + l ，并同时求得近似解x “k + “l ； ( c ) 若2 7 “k + “i 满足i e ( x l + 1 ) 一矿1 e 则停；否则。：。= z 女o + k + 1 t ，o o = t o t k + 1 返回步 骤( a ) 对于无约束化问题( 1 3 9 ) ，其梯度和h e s s e 矩阵是很容易精确地求出的，因此 我们也可以用优化中的其他方法求解( 1 3 9 ) ，比如用信赖域方法，由于信赖域方法 的强适应性( 全局收敛性) ，一定可以活得式( 1 3 9 ) 的稳定近似解 3 约束最小二乘法 给定参数b 20 ，选取z 6 x 使得它如下极小化问题 啤i l f ( 。) 一目| 1 2 s t 忪i i b ( 13 1 2 ) f 1 3 1 3 1 的解 定义约束函数c 6 ( z ) = 恻1 2 一b 2 ，则式( 13 1 2 ) 一( 1 3 1 3 ) 的l a n g r a n g e 函数可 表示为 l b ( x ，a ) = l i f 扛) 一fj 1 2 + a c 6 ( x )( 1 3 1 4 ) 这里 0 为l a n g r a n g e 乘子利用一阶必条件可以求得( 1 3 1 2 ) 一( 1 31 3 ) 的一个 解，但未必是使目标函数最小的一个解因此我们还得考虑其他有效的算法一个 强适应性的算法是序列二次规划法( s o p ) 给定初始猜测值z 2 ，考虑如下迭代： 。 + 1 = z + s ，= 0 ，1 ( 1 31 5 ) 其中。l 为下列二次规划问题： 婴安l i f ( z ) + f 7 ( z ) s 一1 1 2( 1 31 6 ) 2 0 0 4 上海大学硕士学位论文 1 2 的解 s t 岛( ) + v c 6 ( # ) 7 1 s 0 f 1 3 i t ) 4 b a k u s h i v s k i i 正则化方法( 又称g a u s s n e w t o nm e t h o d ) 我们解式( 1 3 1 ) ，n e w t o n 方法的过程是( 1 36 ) 式由于它的不适定性我们用 下面最小二乘： d 。r a 。i 。n 。f f f ( z ) 6 z + f ( 。一f 5 ) i | 2 + a | | d 。女斗z 一。1 1 2 z l + l = z l + 6 z k 其中n k 满足下面的条件； 。k 0 l 击s r l i mn = o 其迭代格式可以表示为 。l + 。：z l ( ，( z 2 ) + f ( 。 ) + a 女j ) 1 i f7 忙1 ) 。( f ( 。2 一矿) + o k ( z 一z o ) ( 1 3 1 8 ) ( 1 _ 3 1 9 ) 在f ( z 1 ) 满足一定的条件下，此迭代格式可以得到很好的收敛性而且他的 收敛速度b a k u s h i n s k i i 给出了证明参见【4 】 当然还一些别的方法，如信赖域方法，l a n d w e b e r 迭代方法等等，由于篇幅所 限就不一一列举，有兴趣的可以参考 1 9 ，3 5 1 4 几种正则化参数选取法则 一种好的正则化方法通常需要一种好的正则化参数选取法则在本论文中， 我们主要讨论下述两种正则化参数选取方法：残差准则( d i s c r e p a n c yp r i n c i p l e ) 和 e r r o r f l e e 方法 1 残差准则( d i s c r e p a n c yp r i n c i p l e ) 2 1 】 残差准则是一种被广泛使用的后验选取正则化参数的方法，它由m o r o z o v 3 4 首先提出残差准则通常利用下式来定义正则化参数 o ( 6 ，y 6 ) ：= s u p a 0ii i a x ：一5 | | st d ( 1 4 ，1 ) 2 0 0 4 上海大学硬士学位论文 1 3 其中，r 1 是一个常量 由于范函 o | | a 2 ：一可6 | | 是右连续的，故( 1 4 1 ) 式中的极大值可以取到，从而亦有 f f a z ：( d ，矿) y 6 f | sr 6 如果对所有的n 0 均有i i a 。：一y 6 1 1 r d ，那么a ( d ，y 5 ) = + o 。此时，。：( j ，一) 在 某种意义上可被理解为当a _ + + o 。时的极限，并且 z ：= 撬z ：= 0 由上知，残差准则是通过比较残量( 残差) l l 4 。：一y 6 i l 和已知误差水平6 来确定正 则化参数的 2 e r r o r f r e e 方法( e r r o r f r e em e t h o d ) e r r o r - f r e e 方法是这样一种参数选取方法：它不需要知道关于误差水平的任何 消息，而且它是根据所选取的正则化方法的实现情况来确定正则化参数的需要注意 的是，b a k u s h i n s k i i 1 指出这类参数选取方法不能总是保证正则化方法的收敛性， 但目前仍然有例子说明有时e r r o r f r e e 方法可以产生比一些复杂的按阶最优的参数 选取准则更好的收敛解【2 6 一种常用的e r r o r 一在e e 参数选取方法是w a h b a 1 2 】提出的g c v 方法( g e n e r a l i z e d c r o s s v a l i d a t i o n ) 它通常被用于算子a 的值域是有限维空间的情况，并且它强烈地 依赖于扰动数据的误差y 6 一y 是离散的自噪音( w h i t en o i s e ) 这一假设所谓离散的 白噪音是指 占y 】= 0 并且 e 一) ( 矿一) 1 1 = 0 2 其中，e 表示数学期望 在g c v 方法中，我们将下述范函的全局最小值点作为正则化参数。 脚，= 蒜绪 2 0 0 4 上海大学硕士学位论文1 4 到目前为止，已有一些文献讨论过这种正则化参数选取的e r r o r f r e e 方法，例 如， 6 将用于截断奇异值分解法， 1 2 】和【2 2 j 分别分析了将它用于t i k h o n o v 正则 化方法，等等 但就这种方法的数值实现来说，到目前为止，在寻找范函y ( a ) 的全局最小值 时仍然存在一些困难，因为在理想的正则化参数的领域内y ( a ) 常常呈现出a f = ；： 的图形，并且伴有大量起干扰作用的局部最小值【3 0 】因此，对于一些正则化方法， 例如迭代正则化方法，我们就要进一步考虑一些替代的实现方法一种实用的替代 方法是g i r a r d i t 】提出的所谓m o n t ec a r l oc r o s s - v a l i d a t i o n 的技巧我们在这里仅对 此类e r r o r - f r e e 参数选取方法做一个大致的介绍，其详细的内容请参阅有关参考文 献 另外一种非常流行的e r r o r - f r e e 参数选取方法是由h a n s e n 2 8 提出的它的主 要思想是；对定义在一个较大区间内的各。值，在l o g 1 0 9 比例下面画出忪洲相对 于怕6 一a x e l i 的曲线通常我们得到的这一曲线在总体上出现字母“l ”的形状， 故称其为l c u r v e ，丽这一正则化参数的选取方法就被称为l - c u f v e 准则( l - c u r v e c r i t e r i o n ) l c u r v e 的水平部分仅依赖于，而其垂直部分主要是取决于误差，故 我们寻找此l c u r v e 上的一个角点( c o r n e r ) 。作为相应的正则化参数的近似解 在许多问题中，人们对于不同的正则化方法都已经得到了这种”l ”形状的图 形【2 9 但是，这仍然不能保证上述曲线总是具有“l ”的形状，具体细节可以参 考 3 2 并且，对于截断奇异值分解方法和一些迭代正则化方法，这条l - c u r v e 的 曲线并不是连续的，而是一些离散点的组合 3 5 这时便需采取辅助的工具，如拟 合的方法，将这些离散点连接成为一条连续曲线，并使所得到的图形的主要形态与 原始的图形的主要形态尽可能地保持一致 2 0 0 4 上海大学硕士学位论文 1 5 第二章一种新的正则化n e w t o n 迭代法 2 、1 新的正则化n e w t o n 迭代法的推导 为了研究方便我们把( 1 3 4 ) 这样的非线性不适定算子方程重述如下， f ( z ) = 矿 ( 2 1 1 ) 这里f 是：d ( f ) cx 叶y 非线性映射，x ，y 都是h i l b e r t 空间方程( 211 ) 称为 不适定的是指它的解不连续依赖于右端项y 6 下面我们研究一下传统上是如何处理上述非线性不适定算子方程的 假设一的第女步近似值z 已经求得，传统上n e w t o n 法就是把f ( 。) 在第k 次迭代值z 处展开，可得 f 。( 。2 ) z 2 = y 6 一f ( 。1 ) + r ( 。+ ，z )( 2 1 2 ) r ( z + ，z 1 ) 是余项。截掉余项，精确的z l 变为近似的如女，可得n e w t o n 迭代程序 警三艺麓 ， 现在的问题是如何求解上述的线性算子方程? 由前面叙述我们知道方程( 2 1 3 ) 是 不适定的，一般来说它不存在精确解；即使精确解存在，这个解也没有什么意义( 参 见( 1 9 】) 所以必须用某种正则化方法求解方程( 2 1 3 ) 用正则化方法处理( 2 1 ，3 ) 后得到。h l ，然后再把( 2 1 1 ) 在z 2 + 1 处展开，再重复正则化过程这就是某种标 准的正则化n e w t o n 方法 从上面的过程我们可以看出正则化方法是上述过程的主要部分 下面我们看看有那些正则化方法可拿来用 1 ) 最容易想到的是t i k h o n o v 正则化方法，它是这样来处理方程( 2 1 3 ) 的 ( f p 2 ) ，( 。1 ) + c r k i ) s x k = f ( 卫2 ) 4 ( 矿一，( z 2 ) ) 其中f ( 。 ) 是f ，( 。 ) 的共轭算子，这实际上是最小二乘的思想 m i n ( | | 9 5 一，( z ) 一f7 ( z ) 矗z 女f | 2 + o k f f j z f f 2 j 2 0 0 4 上海大学硕士学位论文 1 6 2 j 另外一个常用的是b a k u s h i n s k i i 提出的方法 5 x k = - ( f ( z ) + f ( 2 ) + a f t ) 一1 ( f ，( $ 2 ) + ( f ( z ) 一y 6 ) + c e k ( p 一。o ) 1 这两个经典的解非线性不适定方程的方法可参考 1 ，4 ，2 3 ，2 4 j 我们注意到，n a n 种方法在处理( 2 1 3 ) 时，只迭代了一步就得到z + 1 然后 就进入下一步大家都知道在处理线性不适定方程( 2 1 3 ) 有很多方法，上面两种方 法只迭代了一步就结束了我们想如果用更好的方法在z 处多迭代几步，这样求 解【2 1 3 ) 就会更加精确，我们希望这样会对整个问题的解决会有帮助 3 ) n 次迭代t i k h o n o v 正则化方法 我们知道对于线性不适定算子方程，n 次迭代t i k h o n o v 方法是十分有效的( 参 见 4 ，3 0 ) 它是一种多步方法，就是在求解( 2 1 3 ) 时反复用t i k h o n o v 迭格式 ( f 0 2 ) f 0 2 ) + a k l ) s x g 。) = f 扛1 ) + 0 5 一f k ) ) + n 女如? 一，j = 1 ，2 ，一，礼，6 z ? = 0 参见【3 0 1 我们可以把上式整理为： 缸t = ，。( f 扛2 ) + f ( z 1 ) ) f ( z 2 ) + y 6 其中 鼬) = ；卜( 惫内 = a ( + n k ) “- 1 i = 0 这样我们可以很方便地把以n 次迭代t i k h o n o v 方法为主导的正则化过程的正则化 方法记为： d z 女= ( f ( z 1 ) + f ( 。2 ) 十a 女j ) - i - - 1 f ( z 1 ) + y 2 i = 0 这个正则化方法同以往的i e n 化方法的最大不同就是在求解线性不适定方程 ( 2 1 3 ) 时有多步迭代现在内迭代的次数成为关键问题，要问迭代多少次这个迭代 法能收敛? 2 次，3 次，还是n 次都可以? 作为理论分析的第一步，我们先在本章中讨论内迭代固定为两步的情形，即用 下式求解( 2 1 3 ) 式 ( f ( z 1 ) f ( z 1 ) + a j ) 6 。寥= f7 ( z 2 ) + ( 矿一f ( z ) ) + o k d z g 一”，= h2 ，6 z 字= 0 用h 女代替d z ：2 ，则新的迭代法可以写成 h k = ( a t a + q k j ) 一1 a k y + a ( a ；a k + o k f ) 一2 a ；9 2 ( 2 ，l4 ) 2 0 0 4 上海大学硕士学位论文 其中a k = f 7 ( z 1 ) ，y = y 6 一f ( z ) 为了推得迭代法( 2 1 4 ) 法的收敛性我们要作一下假设，这是一些很常见的条 件( 参见【2 0 】) 条件2 1 i ) f ( z ) 存在，并且是局部有界的 i i ) 存在正常数r c 和以一为中心，r 为半径的开球蓐= b ( x + ，r ) c 口( f ) 当 ，召，下式成立 i i r ( e ，x ) t 【sg i l 圣一z 洲f ) 一f 0 ) i ( 2 15 ) 2 2 迭代法的单调性 令e l = 矿一z 2 ，假设第步后e 2 有误差估计 雠一a , t 4 t l 曼卸9 洲 ( 2 肌2 ) 其中p ，y = 讥是满足0 p 1 1 的正参数 我们知道确定正则化参数对一个好的正则化方法来说是很重要的，我们用下 式来确定( 2 1 4 ) 式中参数口 雠一a 女h t 0 = p i 2 怫l i ( 2 22 ) ( 2 2 2 ) 式可以唯一确定参数n t 参见 14 文献 4 1 中用类似的准则确定参数o k ，那 里p 的指数是1 为方便计记t = ( 血