[理学]3线性方程组解法课件.doc

第3章 线性方程组的解法本章探讨大型线性方程组计算机求解的常用数值方法的构造和原理，主要介绍在计算机上有效快速地求解线性方程组的有关知识和方法.重点论述Jacobi迭代法、Seidel迭代法、Guass消元法及LU分解法的原理、构造、收敛性等内容。3.1 实际案例3.2问题的描述与基本概念解线性方程组问题在线性代数中已有很优美的行列式解法，但对大型的线性方程组（阶数n40）的求解问题使用价值并不大，因为其计算量太大。实际问题中经常遇到自变量个数n都很大的线性方程组求解问题，这些线性方程组要借助计算机的帮助才能求出解。n个变元的线性方程组的一般形式为 （3.3）式中，aij 称为系数，bi称为右端项，它们都是已知的常数。如果有使方程组（3.3）成立，则称值为线性方程组的（3.3）的一组解。本章在不作特别说明的情况下，主要讨论m=n的线性方程组的求解问题，且假设它有唯一解。线性方程组的矩阵表示式中A称为系数矩阵，b称为右端项。数值分析中，线性方程组的数值解法主要分为直接法和迭代法两大类。直接法是用有限次计算就能求出线性方程组“准确解”的方法（不考虑舍入误差）；迭代法是由线性方程组构造出迭代计算公式，然后以一个猜测的向量作为迭代计算的初始向量逐步迭代计算，来获得满足精度要求的近似解。迭代法是一种逐次逼近的方法。3.3线性方程组的迭代解法线性方程组迭代解法有Jocobi迭代法、Seidel迭代法及Sor法等基本思想（与简单迭代法类比）将线性方程组等价变形为以构造向量迭代格式用算出的向量迭代序列去逼近解。1. 构造原理1）Jacobi迭代法（1)将线性方程组（3.4）的第i个变元用其他n-1个变元表出，可得 （3.5）称（3.5）为不动点方程组。（2）将（3.5）式写成迭代格式 （3.6）Jacobi迭代格式（3）取定初始向量，代入，可逐次算出向量序列，这里。2）Seidel迭代法Seidel迭代格式Seidel迭代并不能取代Jacobi迭代。3）Sor法用Seidel迭代算出的与相减得到差向量采用加速技术做下一步迭代：得Sor法的迭代格式式中参数w称为松弛因子，可以任意选取，当w =1时，Sor法就是Seidel迭代法。例如对线性方程组先将其写成不动点方程组Jacobi迭代Seidel迭代Sor迭代 2.迭代分析及向量收敛 1） 三种迭代法的向量迭格式对 Ax=b，将系数矩阵A作如下分解则Ax=b可以写成。假设存在，得Ax=b的等价方程组由此可得到Jacobi迭代的向量迭代格式，称为Jacobi迭代矩阵。Seidel向量迭代格式式中矩阵称为Seidel迭代矩阵，。 Sor法的向量迭代格式式中矩阵称为超松弛迭代矩阵，。三种迭代格式可用一个迭代格式2）向量收敛定义定义3.1 设向量序列及向量都是中的向量，如果有 成立，,则称收敛于。简记为。3）范数定义与科学计算中的常用范数定义3.2 设L是数域K上的一个线性空间，如果定义在L上的实值函数满足1) 任取，有, 且；2) 任取，有；3) 任取，有,则称是L上的一个范数，称为x的一个范数。范数的定义很象绝对值函数，故常用或表示范数，而范数常记为或。这样，上面范数定义中的3个条件常写为1）任取，有, 且；2）任取，有；3）任取，有将其与绝对值比较，是否很象？实际上，很多有关绝对值的运算和结论可以平行引进到有关范数的运算和证明问题中。数值分析中常用的线性空间有l n维向量空间l 矩阵空间连续函数空函数空间是由闭区间上所有连续函数组成的集合，其线性运算定义为加法数乘 ，为数在这些空间上，数值分析中常用的范数有(1)的向量范数1) ，2) ，3）式中向量。(2) 的矩阵范数矩阵范数要满足如下四条1）任取，有,且；2）任取，有；3）任取，有4）任取，有（相容性）与向量范数做对比由于线性方程组求解问题中，系数矩阵总是与向量联系在一起的，为描述这种联系，引入如下的算子范数概念。定义3.3 设矩阵，称为矩阵A的算子范数。 容易证明，矩阵A的算子范数也是矩阵范数，且满足不等式关系.常用的矩阵范数有如下4种1）列范数： 2）行范数：3） F范数： 4） 2范数：是最大特征值以上4个矩阵范数中，是算子范数，不是算子范数。3）范数等价与向量极限定义3.4 设是线性空间L上的两个范数，若存在正常数m和M，成立则称范数是等价范数。定理3.1 上的所有范数都是等价的。定理3.2 。式中是上任何一种范数。4）谱半径及其与范数的关系定义3.5 设，是A的n个特征值，则称实数为矩阵A的谱半径。注意如果是复数，表示复数模。定理3.3 设，则有，为矩阵A的任意算子范数。证明 设是A的任意一个特征值，为对应的特征向量，则有取范数，得因为，上式同除，得由k的任意性可得。3. 迭代法的收敛条件与误差估计1）收敛条件定理：线性迭代格式对任意初始向量都收敛的充要条件是迭代矩阵谱半径。引理3.4 设，则证明 必要性设，在中令，得，两式相减并把k+1记为k，得由及的任意性，有。由引理，可得。充分性因为，则有IB非奇异（这里I为单位矩阵），从而线性方程组有唯一解，即有，展开有。类似必要性处理，有由引理，由有，上式取极限，得。谱半径一般不易计算，因此充要定理通常只用在理论上。但由充要定理，可以得到如下易于计算的判别迭代收敛条件，但要注意它们都是充分条件！l 判别条件若，则迭代格式对任意初始向量都收敛于线性方程组的唯一解。是矩阵B的某种算子范数。定义3.6设，1）如果A的主对角元素满足 （3.17）则称矩阵A是严格行对角占优阵；2）如果A的主对角元素满足 （3.18）则称矩阵A是严格列对角占优。严格行对角占优阵和严格列对角占优阵统称为严格对角占优阵。定理 严格对角占优阵是非奇异矩阵。证明 不妨设矩阵是严格行对角占优阵。用反正法。若A是奇异的，则由矩阵理论可知，齐次线性方程组有非零解，即存在，满足。记，有。将的第m个等式写为等式两边取绝对值有因为，上式同除，有此与A是严格行对角占优阵矛盾。故若A是非奇异的。l 判别条件设矩阵A是严格对角占优阵，则线性方程组的Jacobi迭代和Seidel迭代对任意初始向量都收敛。l 判别条件III设A是对称正定矩阵，则的Seidel迭代对任意初始向量都收敛。判别条件II的证明证明 只对A是行对角占优情况证之。设矩阵A是严格行对角占优阵，则有，将不等式两边同除，成立 Jacobi迭代矩阵，故有由判别条件，可得Jacobi迭代的收敛性。对Seidel迭代，其迭代矩阵，设是矩阵的任一特征值，则有特征方程因，故矩阵的特征方程变为写出这个行列式方程对应的矩阵如果，利用矩阵A的行对角占优的不等式，可以得出如下不等式这说明矩阵也是行严格对角占优阵，由定理，有。矛盾，故应有成立。由的任意性有谱半径，于是可得Seidel迭代的收敛性。定理3.7 Sor法收敛的必要条件是松弛因子w满足0w2。证明 因为Sor法的迭代矩阵为有 设是的n个特征值，则有，若Sor收敛，必有，注意到，得。解之得。2）误差估计定理3.8 设矩阵B的某种矩阵范数，则由式算出的序列与线性方程组的准确解有如下的误差估计1）事后估计式 2）事先估计式 证明可以参照非线性方程求根定理的证明，注意将那里的绝对值换成这里的范数，那里的函数换成这里的矩阵，并注意范数关系的使用即可。例3.1 用Jacobi 迭代法解线性方程组 5x1+2x2+3x3= -12x1+4x2+2x3= 202x1-3x2+10x3= 3要求误差解 本题的Jacobi迭代格式为它的Jacobi迭代矩阵为。因为，故本题的Jacobi迭代格式对任意初值都收敛。取初值进行迭代计算如下故所求近似解为。（准确解为）例3.2 已知方程组1）写出Jacobi和Seidel迭代格式；2) 判别两种迭代格式的收敛性。解 1） Jacobi迭代格式为 Seidel迭代格式为2）要判别收敛性，由于本题不能由范数及矩阵本身特性判定，只能用谱半径判别。由，得的特征根，于是谱半径得，故本题Jacobi迭代收敛。对Seidel迭代，由得的特征根，所以有，故本题Seidel迭代发散。3.4 线性方程组的直接解法 解线性方程组的直接法有Gauss消元法，LU分解法及一些特殊线性方程组的解法等，其中Gauss消元法是直接法的基础。本章的重点是在一般公式推导上，要注意学习和体会。1. Gauss消元法基本思想 先将线性方程组通过消元方法化为同解的上三角方程组，然后从该三角方程组中按第n个方程、第n-1个方程、第1个方程的顺序，逐步回代求出线性方程组的解。1) 构造原理 Gauss消元法的求解过程可分为两个:把原方程组化为上三角形方程组的“消元”过程和求上三角方程组的解的“回代”过程。 为推导公式的方便，假设记要求解的原方程组为（3.22）Gauss消元法的算法构造如下一、消元过程 1）设,令乘数 , 做(消去第i个方程组的x1)操作第1个方程+第i个方程（i =2,3,n）则第i个方程变为这样消去第2，3，n个方程的变元x1后，原线性方程组（3.22）变为 （3.23）式中的计算公式为（3.24）这样就完成了第1步消元。2) 对线性方程组（3.23）中由第2，3，n个方程组成的n-1元线性方程组做同样的处理，可得到第2步消元后的线性方程组式中的计算公式为（3.25） 3）由（3.24）与（3.23）系数计算规律，得第k步消元过程的计算公式（3.26） 当做到第n-1步消元后，就完成了Guass消元过程，得到上三角方程组 （3.27） 二、回代过程 1）在方程组（3.27）的最后一个方程中解出，得 2）将的值代入（3.27）的倒数第2个方程，再解出，得 3）依次回代，得计算的公式为当时，就完成了回代过程，从而完成了Gauss消元法的全过程，得到所求解。要注意的是，计算公式中分母不能为零，于是可以得到如下Gauss消元法计算公式。三、Gauss消元法计算公式 1. 对，计算 2.对，计算2）分析 （1）Gauss消元法的计算量 Gauss消元法由消元过程和回代过程两部分组成，消元过程的计算量来自计算，所用的乘法和计算所用的除法。容易得出Gauss消元法的消元过程计算量为因此消元过程计算量为类似地可算出Gauss消元法的回代过程的计算量，于是得Gauss消元法的计算量为当n很大时，。由于科学计算中，变元个数n都很大，因此也常说Gauss消元法的计算量为。（2）Gauss消元法的矩阵解释 借助矩阵的理论，能更清楚地看到Gauss消元法的本质，也可得出易于推广的内容。Gauss消元法过程实际是对的增广矩阵（A，b）做第三种行初等变换，它对应着用第三种初等矩阵左乘要变换的增广矩阵。Gauss消元过程的第一步消元的矩阵描述为式中与是消元后的线性方程组的系数矩阵和常数项。记利用矩阵运算与相等定义，有和类似地，经过第n-1步消元后，可以得出式中是变换后的上三角方程组的系数矩阵，若记，有和，易验证，M是单位下三角矩阵，且因为，所以存在。可以证明也是下三角矩阵，且注意到是上三角矩阵。若令，则有（矩阵的一种分解形式）这种矩阵分解为寻找新的线性方程组解法创造了条件。注意，矩阵还有分解形式（3）Gauss消元法可使用的条件 Gauss消元法要求，什么样的线性方程组满足这个要求显得很重要，下面不加证明地给出两个结果。定理3.9 的充要条件是矩阵A的所有顺序主子式不为零。定理3.10 若线性方程组的系数矩阵A的顺序主子式都不为零，则可用Gauss消元法求解此方程组。（4）Gauss消元法的改进缺点1：必须在都成立时才能使用，这不能令人满意；缺点2：在使用Gauss消元法进行计算机求解时，人们发现有时求出的解是错误的。例3.4 研究下面线性方程组的Gauss消元法求解结果，假设计算在4位浮点十进制数的计算机上求解。当将方程组输入计算机后，计算机中记录为可以进行Gauss消元法计算。因为，取，做第一步Gauss消元法，有类似有，得方程组回代，求得解，但这个解不满足原方程组，求出的解是错误的！ 若将本例的方程组调换方程的次序，变为在同一个计算机上再用Gauss消元法计算，可得到解，它与原方程组的准确解，相差不多，是可以接受的解。通常称消元法中用作分母的数为主元，主元所在的方程称为主方程。列主元消元法全主元消元法例3.5 设线性方程组试用Gauss消元法、列主元消元法求解之。 解 1）Gauss消元法 做第一步消元，得，做第二步消元，得回代求得2）列主元消元法 因为，交换第一个方程和第二个方程得此时，做第一步消元，得，交换第二个方程和第三个方程，得，做第二步消元，得回代求解得2. LU分解法基本思想将方程组的系数矩阵A分解为下三角矩阵L与上三角矩阵U的乘积，即，使求解的问题变为求解两个三角矩阵和的问题。即 1) 构造原理Gauss消元法的矩阵解释说明矩阵A可以分解为下三角矩阵与上三角矩阵相乘的形式。知道矩阵有这种三角分解的结构后，我们可以利用矩阵运算及相等的概念直接由A求出其分解矩阵L和U。具体做法为先设出L 和U的形式，再由求出L和U的元素。矩阵的三角分解有如下几种常用形式(1) Doolittle分解分解后，L和U的结构为，(2) Grout分解分解后，L和U的结构为(3) LDU分解分解后，L、D和U的结构为Doolittle分解算法的构造过程，其它三角分解算法和分析可以类似得到。Doolittle分解算法构造过程由及矩阵乘积和相等概念，有得计算公式当 时，有从而得到矩阵U的计算公式同理有当时，可得到矩阵L的计算公式若规定式中求和项在时表示不求和，则计算Doolittle分解的L和U元素的公式用后两个表示：用算出的，回代求出的解；用算出的及，回代求出的解。用上述过程求解的方法称为Doolittle分解方法。2) 分析(1)A可以进行Doolittle分解的条件定理3.11非奇异矩阵A的Doolittle分解是唯一的。定理3.12设，且A的各阶顺序主子式，则A有唯一的Doolittle分解。即：能进行Gauss消元法就能做Doolittle分解。（2）Doolittle分解的紧凑格式按下图方式存贮和计算的格式称为Doolittle分解的紧凑格式。例3.6用LU分解法求解线性方程组 解 因为没有指定用哪种LU分解，这里使用Doolittle分解法做之。用紧凑格式计算。紧凑格式故，求解解得求解得所求解为。3特殊线性方程组解法1）追赶法是解如下三对角方程组的专用方法：其系数矩阵称为三对角矩阵为讨论追赶法的计算公式，引入有关带状矩阵的概念和结论。 定义3.7 设，且A中任意元素满足（且，与为不小于n的正整数），则称A为上带宽为p、下带宽为q的n阶带状矩阵。此时A的非零元素都集中在主对角线两边的带状区域，即三对角矩阵就是上下带宽都是1的带状矩阵。关于带状矩阵有如下的分解定理定理3.12 若上下带宽分别为p和q的n阶带状矩阵A有Doolittle分解，则L为下带宽为q的单位下三角矩阵，U为上带宽为p的上三角矩