奇异线性系统的正则化.doc

奇异线性系统的正则化摘要：奇异线性系统在应用方面很广泛，例如，可以解决积分方程问题和非线性规划问题的求解问题。在线性代数中有很多应用，例如找到一个很好的近似量x其中xRn,其满足一个近似方程AXB，其中A满足的条件，给出的bRm。直接用由电脑解出的x来逼近x是没有意义的，因为b的右边界的错误和此条件对于矩阵A的限制。为了避免这一问题，通常的一种做法是用一个对于b的误差不敏感的近似系统来取代线性方程组Ax=b，并且由后一系统经过电脑所得到的解是对x的近似。这一替代被称为正则化。本文探讨了各种为奇异线性系统计算出稳定解的正则化方法。目录1.简介1.1线性系统的基本概念 1.2向量和矩阵的范数2奇异线性系统2.1奇异线性系统的定义2.2矩阵A的条件数2.3检测一个线性系统的解的精确性2.4经典的奇异系统2.4.1多项式数据拟合：范德蒙系统2.4.2 2.4.2一个多项式函数的近似：希尔伯特系统3线性系统的最小二乘解3.1奇异值分解3.2用奇异值分解解决线性系统3.2.1奇异值分解和线性系统的稳定性3.3数值秩4正则化方法4.1秩的定义和不适定问题4.2正则化方法4.2.1吉洪诺夫方法4.2.2截断奇异值分解（TSVD）5结论一个截断奇异值分解（TSVD）参考文献1.简介 我们将开始研究奇异线性系统的一些线性代数的基本概念。1.11.1.1线性系统的基本概念一个线性系统方程的形式如下：AXB，其中A是一个已知的Mn维的coefficient矩阵，形式如下：A是mn的矩阵，b是m维的向量，形式如下：，x是n维的未知向量，形式如下：，线性方程组有很多应用，包括以下内容：a. 用牛顿迭代法求解非线性方程组。b.b.2.Curve拟合或多项式插值曲线。c.3.用有限差分法求解微分方程的数值解d.在有限区间0,1上用多项式逼近连续函数，其实是解决一个线性系统Ax=b，其中A是一个希尔伯特矩阵。对于任何给定的线性系统的增广矩阵给出如下形式：定理1.1.考虑系统的AXB，其中A是coecient矩阵，以及增光矩阵A|b,大小为M（N+1）。接下来，建立线性系统：1. AXB是不连续的（即，没有解存在）当且仅当等级A的秩n，我们有一个超定系统（即，方程的个数大于未知数的个数），而一个超定系统通常没有解。相反，一个欠定系统（mn）通常有一个解。在这些情况下，我们最好的希望有一个向量X，它使Ax尽可能的接近b。换句话说，我们寻求一个向量x，它使最小。如果用二范数，那么这个解是最接近方程Ax=b的线性二乘的解的。找到线性系统最小二乘的解是知道线性系统的最小二乘问题。AXB被称为线性最小二乘问题（LSP）。线性最小二乘问题正式的定义如下。定义3.1：找一个x使得尽可能的小。若这一系统有多个解，则有二范数的解称为最小解。3.1奇异值分解 这一方法很重要，虽然有一个世纪的历史了，但是在数值计算中的应用比近期的方法都重要。定义3.3 ：A是mn的矩阵，U是mm的矩阵,V是nn的矩阵，是mn的矩阵，则A的奇异值分解如下：。3.2用奇异值分解解决线性系统3.2.1奇异值分解和线性系统的稳定性3.3数值秩4。正则化方法在这一章中，我们给出维数定义和离散奇异问题的一种简要介绍。我们将介绍正则化方法提高了计算奇异线性系统的解的精度，我们集中在两个方法，如截断奇异值分解（TSVD）和吉洪诺夫的方法。4.1维数的定义和不适定问题奇异的coecient矩阵方程组的数值处理取决于矩阵A的奇异的类型有两类重要的问题需要考虑，因为很多实际问题都属于这两个类之一。1。秩的的问题通过矩阵A的一簇小奇异值来定性，且在大的和小的奇异值之间有很好的稳定性。这意味着A的一个或多个行和列几乎是一些或全部行和列的线性组合。2。离散奇异问题。在这里，A的所有奇异值逐渐趋于零，同时最大的和最小的非零奇异值之间的比例是大的，并且对于这些矩阵的数值秩没有概念。离散不适定问题最困难的是，不适定问题，它们本质上是欠定的，因为A有一簇小奇异值。因此为了使问题稳定并且挑出一个有用的稳定的解决方案，有必要将奇异值的知识进一步研究。这是正规化的目的。4.2正则化方法得到一个有用的解决离散奇异或秩的问题的一个方法是正则化。正则化方法的主要思想是发现一个新问题或方法，其是输入数据时的噪声中的阻尼，并且使一个奇异线性解AX=B系统更“正规”或光滑。解决奇异问题最普通的方法却给出了不可接受的解决方案，因此这样的正则化方法是必要的。因此许多对奇异矩阵的讨论需要矩阵A的SVD知识，我们的论文主要集中在研究截断奇异值分解（TSVD）和吉洪诺夫正则化方法。4.2.1吉洪诺夫方法吉洪诺夫正则化方法是正则化最常用的方法。吉洪诺夫正则化方法包括最小化线性系统的获得精确方法或最小二乘法解决方法：对于，约束条件为：，为了计算的稳定性，我们将改为将如下表达式最小化：，其中0，则：，我们考虑L=I，则，有两个条件要满足：x的二范数要很小；x要使得很小。4.2.2截断奇异值分解（TSVD）这是另一种常用的正则化方法。通过矩阵A的数值秩来解决这一问题。对于，它的逆为：，则k为矩阵A的数值秩。所以我们用它的数值秩来代替矩阵A，则：。5。结论最后我们要给出一个简短的总结。本文我们从各个方面简明介绍了奇异线性系统和正则化方法。在第一章中，我们介绍了线性系统，线性代数的一些基本概念，以及一个矩阵的秩的条件。在第二章中，我们定义了奇异线性系统，为了说明的目的，我们举了两个（线性）奇异线性系统的例子（如希尔伯特和范德蒙矩阵）。在三章中我们也定义了最小二乘解线性系统和作为一个数值“工具”的奇异值分解（SVD），这是适合于不适定问题的分析。我们还确定了用通过计算得到的x来近似精确x通常是没有意义的，因为b的右边