5 向量和矩阵的范数2.doc

5 向量和矩阵的范数为了研究线性方程组近似解的误差估计和迭代法解线性方程组的收敛性，需要对向量和矩阵引进范数的概念。一、向量的范数1、向量范数的概念定义1 如果向量空间上的某个非负实值函数满足条件：（1）正定性：，当且仅当时；（2）齐次性：，为任意实数；（3）三角不等式：。则称为上的一个向量范数。由（3）可得。维向量空间上常用的三种范数：；（范数）；（1范数）；（2范数）进一步，可定义。（范数）例 计算向量的各种范数。解 ，。2、迭代法收敛的概念定义2 设，若，则称点列收敛于，并记作。由定义可知：，。3、向量范数的等价性定理 设和是上向量的任意两种范数，则存在常数，使得对一切，有。特别，对于上述常用的三种范数，有。二、矩阵范数定义3 如果矩阵空间上的某个非负实值函数满足以下条件：（1） 正定性：，且；（2）齐次性：，为任意实数；（3）三角不等式：；则称为上的一个矩阵范数。由（3）可得。在研究方程组解的误差时，常需要涉及到矩阵乘积的范数以及矩阵与向量乘积的范数，为了研究的方便，我们要求它们之间满足，其中前一个条件称为矩阵范数与向量范数的相容性，后一个条件称为矩阵范数的可乘性。下面用向量范数定义一类矩阵范数，这种矩阵范数满足上述两个条件。定理1 设，给定一种向量范数，相应地定义一个矩阵的非负函数，则是一个矩阵范数，称之为向量范数的诱导范数（算子范数）。证明 只要验证矩阵范数定义的三个条件即可。（1）对于任意的，由于，故。进一步，（2）（3）。根据矩阵范数的定义，是一个矩阵范数。性质1 设是由向量范数诱导的矩阵范数，则（1）；（2）；（3）时，。证明 （1）由当时，。进一步，当时，显然成立。（2）。（3）显然。有的矩阵范数不是向量的诱导范数。例如：可以验证，它是一个矩阵范数（叫做Frobenius范数），但不是任何向量范数的诱导范数。定理2 对于诱导矩阵范数，如果，则为非奇异矩阵，且。证明 如果为奇异矩阵，则方程组有非零解，设为，于是，从而，这是矛盾。又所以，两边取范数，得，移项，得，即有。定理3 由向量范数诱导的矩阵范数分别为（1），行范数，（2），列范数，（3），谱范数，其中表示的最大特征值。证明 只要证明（1）和（3），（2）的证明与（1）类似。（1）设，不妨设，则，因此下面证明存在，使。不妨设，在中，对，取，则，因此 。（3）对于一切，从而的特征值都是非负实数，设为。由于为对称矩阵，故存在标准正交的特征向量组，使得对于任意的非零向量，设，则取，则因此，即有。 定义 设的特征值为，称为矩阵的谱半径。定理（特征值的上界）设，为上的任意一种诱导范数，则。证明 对于的一个特征值，设为其对应的特征向量，则因此。注意到，得。6 误差分析考虑线性方程组 （6.1）其中为非奇异矩阵，。本节不考虑求解过程中的舍入误差，仅考虑当线性方程组的系数矩阵或右端项有舍入误差时，这些误差对方程组解的影响。一、输入数据的误差对解的影响设有误差，有误差。定理 设，为非奇异矩阵，且和分别有扰动和。若的扰动很小，使，则有。证明 扰动后的方程组为将代入上式，整理后有将上式两端取范数，应用向量范数的三角不等式及矩阵和向量范数的相容性，有，整理后，得。由于足够小，使得，所以。利用，得。推论 设，为非奇异矩阵，则有（1）当是精确的而有误差时，。（2）当是精确的而有误差，且时，。上述推论中结论（1）表明：最坏的情况下，的相对误差可能在解中被放大倍；结论（2）表明：虽然，但是，当较大时，可能出现接近1，此时就可能导致解的相对误差较大。总之，量可以刻划方程组的解对原始数据误差的敏感程度，通常用它来描述方程组是否病态。二、矩阵的条件数与病态方程组1矩阵的条件数定义 设为非奇异矩阵，称为矩阵的范数下的条件数。当很大时：（1）即使不考虑计算过程的舍入误差，仅输入误差就使求解结果有较大的误差。（2）很多求解方程组的算法是数值不稳定的。譬如，即使采用选主元的高斯消去法，也不能有效求解病态方程组。因此，当较大时，称方程组是病态的，并称相应的系数矩阵是病态矩阵。应该注意的是：所谓矩阵是病态的，是针对解线性方程组（包括求逆矩阵）而言的。譬如对于矩阵的加法运算，的大小对结果的精确性就没有直接影响。通常使用的条件数有：（1）（2）的谱条件数，这是因为最后一式成立是因为当为非奇异矩阵时，与相似，即存在可逆矩阵，而相似矩阵有相同的特征值。特别，当为对称矩阵时，其中分别为的绝对值最大和最小特征值。例如：Hilbert矩阵，可见，越大，病态越严重。令一个典型的病态矩阵是Pascal矩阵：2病态方程组的判断虽然矩阵的条件数可以定量反映矩阵是否病态，但逆矩阵的范数很难求得，导致求条件数实际上难以实现。通常依照经验判断矩阵是否病态，出现以下情况，病态的可能性较大：（1）用列主元消去法时，出现绝对值很小的主元；（2）系数矩阵行列式的绝对值很小或很大；（3）系数矩阵元素的量级差别很大。（4）系数矩阵的行列式“几乎”线性相关。对矩阵性态的深入了解，可参考文献：郑孝勇等，病态线性方程组的判定方法，数学的实践与认识，2006（36）（9）：166-169。 3病态方程组解法简介病态线性方程组的求解是一个十分困难的问题，理论上讲最可靠的方法是扩充计算机的字长，但无论如何扩充，计算机的字长总是有限的。因此，需要研究克服方程组病态的有效算法。方法一：对方程组作预处理，改善系数矩阵的条件数。预处理方法的基本思路是：取非奇异矩阵（特别，最好是正定矩阵），使，然后将求解方程组转化为求解，得到后，令作为原方程组的解。算法的具体实现可参见：1赵金熙，一个解高度病态问题的高精度算法的数值结果。高等学校计算数学学报，1987（1）：59-64。2高等学校计算数学学报， 1988（3）：250-262。3高等学校计算数学学报，2002（2）：155-162。方法二：转化为最优化问题或算法的实现思路是：将求解方程组转化为求最优化问题的稳定点这实际上相当于在原方程组的两边同时左乘可逆矩阵。记，其中为正定矩阵，则问题变为求，使。算法：第1步：确定初始搜索区域第2步：计算第3步：计算并判断（1）（2）如果 ，结束，输出解；否则对于，执行如果 ，则令，如果 ，则令，如果 ，则令。转第2步。上述算法可参见：史文谱等，求解线性方程组的一种新方法，计算力学学报，2003（20）（6）：715-720。方法三：转化为常微分方程问题算法可参见：吴新元，解病态线性方程组的常微分方程方法。南京大学学报，1993（29）（2）：195-199。三、解的误差估计与解的修正线性方程组解的误差是由两方面原因产生的：一是输入数据的误差，二是计算过程中的舍入误差。下面的定理给出了解的误差的一种度量。定理 设，非奇异，为方程组的精确解，为求得的近似解，其剩余向量为，则有误差估计。证明 由，得，即，所以。从上述误差估计式可以看出，当系数矩阵的条件数很大时，即使残差向量的范数很小，也不能保证解的相对误差很小。当系数矩阵的条件数不太大时，用下面的方法可以提高解的精度。（金一庆）设是方程组的近似解，是剩余向量，解方程组，得解。取，如果是的