基于非凸稀疏域约束条件的Tikhonov正则化方法.doc

基于非凸稀疏域约束条件的Tikhonov正则化方法摘要 本文给出了一个奇特的正则化方法的理论分析用来解决（非线性）反问题，从而将正则化方法推广到稀疏域上。我们考察特定的Tikhonov正则化方法的稳定性和收敛性。我们将这种正则化方法用于传统的连续的空间，由于这是稀疏域上的正则化方法，所以我们将限定于0到1之间。当时三角不等式不再成立并且我们会得到一个带有非凸限制条件的伪Banach空间。我们将要证明在传统的环境下最小值的存在性，稳定性和连续性。除此之外，我们还将给出在各自的传统假设下拓扑Hilbert空间下的收敛速度。1. 介绍 本文是关于在稀疏域条件下正则化方法的理论分析。我们将这种方法不妨设在 空间上并且是非线性的算子。我们证明了Tikhonov正则化方法的解的存在性，解得稳定性，对数据扰动解的收敛性。除此之外，我们还将给出在各自的传统假设下拓扑Hilbert空间下的收敛速度。稀疏域上的反问题。我们有等式 这里是一个非线性算子。为此我们将该式用Tikhonov方法表示，求该等式的最小值 除了传统的正则化项，如范数，全部变量或者是最大正则化熵等方法，还有一个具有潜质的新奇的稀疏域上的正则化方法.普遍的选择设置都是基础上的延拓，例如小波扩张，傅里叶分解活着各种结构的扩张，典型地这些扩张被用于图像或者频率数据，因此本文所涉及的扩张系数通常指的是稀疏域的扩张。它可应用于各种潜在的应用。比如，X线断层摄影术（CT，SPECT，PET）。这些通常的医学成像技术正是传统的反问题同时又可以通过积分算子来得出Radon变换的具体形式。这种图像重构的方法是通过基扩展来实现的，如小波和像素基，参考文献【5,6】，一个适用用的正则化方法都是引进适当的惩罚项，如范数： ， 这里的k能够预示小波级数的系数。与范数相比惩罚非零部分更有效。因此在这种背景下一个稀疏域的解就能够和一系列具有有限零项系数相结合。 然而这种建议的范数并不总是能够提供稀疏域的解，在特殊情况下，如高维情形非线性算子就会无解。这时运用零范数就是解决问题的一个有效方法。考虑到正则化方法的过程我们更多的关注于稀疏解。然而这将会导致计算量的骤然增大和无解情况的出现，很自然地我们下一步会考虑的情况范数从而增强方法的重要特点。通过运用这些引进非零项系数来抑制的增加。单位球可以形象的表示出空间随着改变的变化情况（Figure1）。随后我们用稀疏域上的正则化方法来代替在Tikhonov表达式中的传统二次项，用（伪）范数来表示。在文献【5】中的几种拓展最初设定的正则化方法和压缩landwerber迭代是两种求最小值的算法，并在【6,7,9,14】中算法又得到了进一步完善。通过【5,15,16】中关于一些稀疏域上基本正则化方法的介绍我们能够实现将该方法延拓到稀疏域上。同时【8,12,13,17-20】给出了一些当下该领域的一些重要理论问题【12,13】的作者证明了一些特定的线性系统最小值解是稀疏解或者是数值近似解，在【8,17,20】中的理论是基于的稀疏tikhonov正则化方法的收敛率。在【8】中一些的结果已经额外给出。主要结果：我们研究如（2）式具有好的适定性的Tikhonov正则化非线性反问题，其中是伪范数。我们证明了传统意义下正则化非线性算子的最小解的存在性，稳定性，收敛性。因此我们用类似于求最大熵的方法 。这种思想是将问题（2）转化为在凸区域上的标准的正则化问题，此外我们还给出了拓扑空间标准收敛率。2. 预备知识令为（伪）Banach空间，令为可分的Hillbert空间（如空间）。其中是给定的正则化项，也包含了。令是连续算子的作用区域，该区域是凸的且闭合的区域，该算子将映射到。我们在寻找适定的解来满足等式 （4）通常我们得到的都是带有误差的且满足，这就造成了不适定问题的产生。因此我们关注下面广义的Tikhonov泛函 其中，并且是的伪范数: , (6)其中是数列的第项。接下来代表各自的对偶量或者是对偶空间。考虑这类连续空间的明显好处就是的对偶空间当离开传统的Banach时不会发生退化现象。因此就能够得到一些好的正则化性质。由此我们定义对偶空间，。注：考虑到这个方法的结构，读者会想到一个同样的手法就像Lebesgue空间，是一个非原子度量。然而会遇到一个障碍来妨碍类似的分析。首先这个对偶空间会发生退化即，。此时在上只存在唯一的连续线性函数零函数。因此传统假设在上的弱连续算子就不再合理了，如果将q介于这种情况就会被克服，同时约束条件的解也有可能得到。此外这种经过变形的Tikhonov正则化方法是为了保证解的存在。稀疏域上的正则化方法在前面的介绍章节中大部分给定的推广到稀疏域上的正则化方法有着很广的应用背景。很多都是基的扩张因此很多都是离散的。这些应用基本上都是问题重构或者是图像问题。后面的章节主要关注的是Tikhonov方法的正则化性质。我们要考虑的是最小值解的存在性，对数据的适定性还有正则化方法的收敛性。下面所要干的事情就是将原来的泛函（5）转换成更容易得到的或者是相近的。最终改造后的最小值问题就映射成区域上了，这样就能应用标准的正则化理论了，时是一种特殊的情况，这时的正则化理论很多都不能成立，因此就要单独讨论。现在在原问题（5）中表示各个量的从属关系在当前章节中我们用表示空间，表示空间，用表示可分的Hilbert空间。通过特定的非线性算子，可见最小值问题成功转化，下面的定义定理可以详细说明叠加算子如何使转化成功。定义3.1.令是到上的映射： 引理3.2.对任意的映射是双射且连续的定义3.3.我们定义映射序列算子 读者会发现通过这种方法定义的算子序列其实没什么必要，因为是不依赖于的，但是这种方法能够让我们清楚地看到他们的相近关系，从而我们能够更深入的了解定理定义。命题3.4.对任意的的，如定义3.3，该算子是有界的，连续的且双射。证明：在边界上满足条件论点2.1和定理3.1，映射满足引理3.2.令，映射成a因为是满射的因此也是双射的。很自然的我们能够给出精确地最小值模型通过定义叠加算子，因此我们定义一个新的算子其中 问题一： 令是真实值的一个近似满足条件并且，最小值公式为： 映射成问题二： 令是真实值的一个近似满足条件并且，定义其中x最小值是 映射成满足。论点3.5问题一与问题二是等价的证明：为了能够利用以前的结果我们必须证明是弱循序闭的或者弱连续。我们首先考虑，因此是一个伪Banach空间。定义3.6：假设存在一个弱非平凡拓扑，是一个正交空间，存在一个弱闭算子使得对一切弱序那假设存在一个弱非平凡拓扑，是一个正交空间，存在一个弱连续算子使得对一切弱序列有论点3.7： 对任意的，算子，如定义3.3是弱连续的。证明： 令，然后我们会发现 。这种传统算子作用于同时有个函数： ，根据【30】中的推论4.11.【30】中的4.14表明是弱连续的在上。如： 在Z上我们有一个弱收敛序列，因为根据定义，我们能够推测出这个弱收敛序列在上。通过弱收敛序列在上，我们能够推出逐点收敛正如： 我们能够得出弱收敛序列在上。注： 论点3.7证明了若连续算子是Z上的拓扑。人们会得出边界算子然而因为得到的结果is feasible and immediately allows us to infer the sufcient properties of the operator F是可行的，立即让我们推断算子F给出有效的性质，人们会注意到具有相同结果的并不存在。考虑到这个事实并不适用普遍情况。已经解决的典型的假设上的算子是弱闭的，再次运用事实因为我们假设是Z上弱闭的拓扑。假设3.8：令算子在上是连续的并且是弱闭的拓扑结构。假设3.9： 当时，令算子是满的证明：令让 xn 是一个序列在D(G)Z这样xn xG(xn)。由于操作员Np,问弱顺序连续(关于Z)我们Np,q(xn)Np,q(x)。声明之前,F是弱顺序关闭:= F(Np,q(x)= G(x)。 注：一开始的想法所目前的方法是改变最初的问题,采用正规化理论已知结果。考虑到情况1-regularization的文学,我们只知道结果在一个稍微不同的设置选择在这里。特别是这是营商的域F的事实(或其类似物)和Tikhonov功能不是1,但一些空间包含1空间(cf(6、8、20)例如)。因此利用这些结果需要在目前的方法轻微的变化考虑设置。然而正如我们将在下面显示的情况下q = 1将不提供额外的结果,特别是收敛的原始数量吗可以获得独立的问的选择。因为这个原因后我们将所有结果对1 2问,而你可以注意,这样做是为了清晰。定义3.10.： 令X最小解是F(x)=y：引理3.11： 令，如果（4）存在解那么就有最小值解。证明：因为存在最小值解 我们有 正如是满射的这等价于 定理3.12（最小解的存在性）令。再令算子是满的假设3.8，然后存在一个最小解 ，这个转化存在最小解，是原方程。 可能会注意到，证明如下直接从文献中的标准结果（CF 1 为实例）。定理3.12的Q的选择并不重要，因为我们在存在感兴趣对原问题的最优解。定理3.13（稳定性）令。再令算子是满的假设3.8令位数列，同时，是方程的最小解，将代替令表示相应的序列与功能（11）然后存在一个收敛序列极限为，每一个收敛序列都是一个最小值，因此存在一个最小值是收敛的： 注：除了原始数量的收敛性,证明了定理3.13(和定理3.16)遵循从标准文献结果(cf1,20)。考虑稀疏促进正规化的问题我们的目标是获得这些稳定性和收敛性结果就一个兼容的拓扑结构,通常由(这里的空间解决方案X = p,p 0 1)。自从1-regularization已经证明促进稀疏解决方案,我们至少应该寻求的1-convergence各自的数量。通过引理2的引理证明(20日)我们可以推断出原始变量的收敛1-topology尊重。但是最小的延伸引理将另外处理提供收敛对原始拓扑X,0 p 1。引理3.14：令a，b，然后有不等式证明：令是显然的当时，运用三角不等式 所以 由于引理3.14以上,lemma2in20也是有效的对0 p 2。引理3.15提供了这种轻微的泛化和翻译的结果20符号。引理3.15：令，设数列是收敛的，因此令收敛于，从而引理3.15的证明是完全类似的证明引理220为了证明theorem3.13we剩余的部分显示了假设引理3.15的实现的分量方式收敛序列和收敛的。利用我们获得通过的标准结果正规化定理3.13的, 因此是弱连续的，我们能够直接知道它的收敛性所以我们有所以通过引理3.15和定理3.13有：定理3.16（收敛性）令。再令算子是满的假设3.8，从而令，存在一个最小范数解，令是带有扰动的数据令，因此然后每一个数列并且是方程（12）的最小解(强烈)序列收敛Z和每个序列收敛的极限是最小范数解决方案。因此这个参数选择规则提供了一个序列与后继融合在X X这种后继X-最小值解决方案的限制。定理3.16高于直接遵循从相应的结果(1、21、31)和类似的考虑对于定理3.13,即通过引理3.15。在本节中,我们已经表明,方程(5)提供了一种正则化方法标准条件操作符f .尤其是否则,不利于我们证明的存在稳定的数据和标准下的收敛结果的假设。4. 收敛速率本节涉及的问题视为Tikhonov收敛率正则化函数,研究的空间序列。自然有人会喜欢的原始问题的收敛率的拓扑相关的空间。这被证明是有价值的,我们无法证明等在合理的假设下。但是因为我们能够把正规化9逆问题25(2009)025006 C Zarzer通过转换成标准的制定问题我们可以利用现有的结果在收敛率。因为类似的方法为原则收敛的问题(见定理3.13),不能用于获得收敛率,发生非线性转换操作符Np,问阻碍的解释利率的原创问题。通过使用局部李普希茨连续性p,问在定义3.1中可以直接推断收敛率的原始变量的拓扑(在有界集):原则上有几种可能性应用各种结果收敛率转换后的问题。每个会稍微不同的利率和假设分别。然而在前一节中已经解决大部分结果(尤其是对于1-regularization)制定对运营商F:D(F)Y,D(F)被认为是至少一些反身巴拿赫空间的一个子集。因此在为了利用这些1-regularization结果问题必须转换为1例,即q = 1。然而在当前符号这也意味着提出的问题1空间。这可以避免选择一个稍微不同的制定最初的问题(见问题1)。令测量数据满足上述问题的转换将导致用于大多数所需的设置结果对于1-regularization,即连接操作符G可以考虑对2,而处罚期内仍将1-norm。为了体现了我们所给的建议方法的一个简单的结果2-regularization的经典案例,因此考虑的情况下,Z = 2(cf1)。这个设置让我们保持与原配方如问题1。选择的结果精制(源)条件可以通过类似的方法(17、20、32、33)(例如基于这样的配方问题3)。定理4.1：，再令算子是满的假设3.8，是最小解存在的条件。令测量数据满足，如下性质成立：（1） ：算子F是可微的（2） ：存在使得如下式子成立（3）：存在使得如下成立（4） ：然后我们会得到从而在方程(23)的原始变量的收敛率获得通过的局部李普希茨连续性p,问:注：一个容易显示Np,问修正,可微(cf34)。如果q / p 2,p,q(cf定义3.1)在社区周围局部李普希兹连续x,即条件(3)如果F是局部李普希茨持续满射。考虑到条件(2)的来源线性算子的F(x)= Ax获得一个标准源条件(凸)为p = 1,正规化读者会将写为因此在条件（2）下会得到等式为一个传统上的条件更精确地获得一个在一般情况下的非线性算子。等价于 产生模拟结果的线性算子。解决方案的x,这可以解释为条件,x必须严格零个或有界远离零,例如,x是稀疏的。因此条件(我)(iv)紧密组装常见的假设在稀疏的背景下促进正规化收敛率。5. 结论我们已经证明了最小解的存在性，稳定性，连续性和Tikhonov正则化方法的延拓：的序列空间。为此我们更改变给定的问题经典配方,我们利用知名正规化理论的结果。由于的性质选择转换这些结果与原始的直接翻译问题,获得所需的正则化属性。最终我们能够显示收敛速度结果与类似的策略。我们为建议的方法利用一个众所周知的结果在希尔伯特空间拓扑下的经典假设。总结,这表明考虑Tikhonov-type的最小化功能提供了一个正则化方法一般设置,包括可能非可微的运营商,一个分析或灵敏度分析可能会变得不利和广泛的。潜在的应用程序必须被测试,但似乎很多。我们计划将此领域的正则化方法应用系统生物学。作为第一数值试验显示,参数识别和逆分叉(cf37)似乎利润从这种技术如寻找和守恒量和最小的变化动态。动机是例如所需的模型和动力学行为限制tomodify尽可能fewas参数。更为普遍的是,某些生物的概念像生物网络往往“稀疏”38中讨论。这表明,利用这个属性时,试图确定这些网络的建模参数。鸣谢作者感谢H W杂志监督工作和吸引注意力的事。我们感谢P Kugler为众多和一些宝贵的意见和建议富有成果的讨论。我们感谢R Ramlau许多有用的讨论稀疏的问题在这一领域促进正规化和最近的结果。作者感谢评论者这项工作的专门工作和有价值的帮助。作者欣然承认支持WWTF赠款MA05和ma07 - 030。参考文献1 EnglHW,HankeMandNeubauerA1996 Regularization of Inverse Problems (Mathematics and its Applicationsvol 375) (Dordrecht: Kluwer)2 Engl H W and Landl G 1993 Convergence rates for maximum entropy regularization SIAM J. Numer. Anal.30 1509363 Engl HWand Landl G 1996 Maximum entropy regularization of nonlinear ill-posed problems World Congressof Nonlinear Analysts 92 vols IIV (Tampa, FL, 1992) (Berlin: de Gruyter) pp 513254 Rudin L I, Osher S and Fatemi E 1992 Nonlinear total variation based noise removal algorithms PhysicaD 60 259685 Daubechies I, Defrise M and De Mol C 2004 An iterative thresholding algorithm for linear inverse problemswith a sparsity constraint Commun. Pure Appl. Math. 57 1413576 Ramlau R and Teschke G 2006 A Tikhonov-based projection iteration for nonlinear ill-posed problems withsparsity constraints Numer. Math. 104 1772037 Teschke G and Ramlau R 2007 An iterative algorithm for nonlinear inverse problems with joint sparsityconstraints in vector-valued regimes and an application to color image inpainting Inverse Problems23 1851708 Lorenz D A 2008 Convergence rates and source conditions for Tikhonov regularization with sparsity constraintsJ. Inverse Ill-Posed Problems 16 463789 Bonesky T, Bredies K, Lorenz D A and Maass P 2007 A generalized conditional gradient method for nonlinearoperator equations with sparsity constraints Inverse Problems 23 20415810 BurgerM, Resmerita E and He L 2007 Error estimation for Bregman iterations and inverse scale space methodsin image restoration Computing 81 1093511 Deans S R 1983 The Radon Transform and Some of its Applications (New York: Wiley)12 Donoho D L 2006 For most large underdetermined systems of equations, the minimal l1-norm near-solutionapproximates the sparsest near-solution Commun. Pure Appl. Math. 59 9073413 Donoho D L 2006 For most large underdetermined systems of linear equations the minimal l1-norm solution isalso the sparsest solution Commun. Pure Appl. Math. 59 79782914 Daubechies I and Teschke G 2005 Variational image restoration by means of wavelets: simultaneousdecomposition, deblurring, and denoising Appl. Comput. Harmon. Anal. 19 11615 Donoho D L 1992 Superresolution via sparsity constraints SIAM J. Math. Anal. 23 13093116 Donoho D L and Tanner J 2005 Sparse nonnegative solution of underdetermined linear equations by linearprogramming Proc. Natl. Acad. Sci. USA 102 94465117 Ramlau R and Resmerita E Convergence rates for regularization with sparsity constraints (submitted)18 Candes E J and Tao T 2005 Decoding by linear programming IEEE Trans. Inf. Theory 51 42031519 Cand es E J 2006 Compressive sampling International Congress of Mathematicians vol III Eur. Math. Soc.,Z urich pp 14335220 Grasmair M, Haltmeier M and Scherzer O 2008 Sparse regularization with lq penalty term InverseProblems 24 05502021 Engl H W, Kunisch K and Neubauer A 1989 Convergence rates for Tikhonov regularisation of nonlinearill-posed problems Inverse Problems 5 5234022 Ruckle W H 1981 Sequence Spaces (Research Notes in Mathematics vol 49) (Boston, MA: Pitman)23 Day M M 1940 The spaces Lp with 0 p 1 Bull. Am. Math. Soc. 46 8162324 Dunford N and Schwartz J T 1988 Linear Operators. Part I (New York: Wiley)25 Larsen R 1973 Functional Analysis: An Introduction (Pure and Applied Mathematics vol 15) (New York:Dekker)26 Appell J and Zabrejko P P 1990 Nonlinear Superposition Operators (Cambridge Tracts in Mathematics vol 95)(Cambridge: Cambridge University Press)27 Dedagich F and Zabre ko P P 1987 On superposition operators in lp spaces Sibirsk. Mat. Zh. 28 8698, 22528 Kolk E and Raidj oe A 2007 The continuity of superposition operators on some sequence spaces dened bymoduli Czech. Math. J. 57 7779229 Petranuarat S and Kemprasit Y 1997 Superposition operators of lp and c0 into lq (1 p, q ) SoutheastAsian Bull. Math. 21 1394730 Cioranescu I 1990 Geometry of Banach Spaces, Duality Mappings and Nonlinear Problems (Mathematics andits Applications vol 62) (Dordrecht: Kluwer)31 Seidman T I and Vogel C R 1989Well-posedness and convergence of some regularisation methods for nonlinearill-posed problems Inverse Problems 5 2273832 Hofmann B, Kaltenbach