解线性方程组

1、解线性方程组的直接法对方程 , 矩阵的维数是,为一给定的维向量.则有(1) 恰定方程,寻求精确解;(2) 超定方程, 寻求最小二乘解;(3) 欠定方程，寻求基本解, 其中至多有个非零元素.针对不同的况,MATLAB 将采用不同的算法来求解.一、超定方程组当时, 方程组个数比未知数多, 上式为一超定方程组.一般而言, 满足方程的解将不存在, 方程没有精确解, 在MATLAB 中, 利用左除命令来寻求它的最小二乘解, 即使最小.还可以用广义逆来求, 即, 所得的解不一定满足,只是最小二乘意义上的解.左除的方法是建立在奇异值分解基础之上, 由此获得的解最可靠;广义逆法是建立在对原超定方程直接进行ho

2、useholder 变换的基础上,其算法可靠性稍逊于奇异值分解, 但速度快.二、欠定方程组当时, 未知数比方程个数多, 上式为一欠定方程组.这时, 满足方程 的解有无穷多个,MATLAB 只给出其中一个基本解, 要得到它的通解,可用函数 来实现三、恰定方程组恰定方程组由个未知数, 个方程构成, 对在线性代数教科书中, 最常用的方程解法有:(1) 利用cramer 公式求解法;(2) 利用矩阵求逆解法, 即;(3) 利用gauss 消去法;(4) 利用LU 分解法求解.一般来说, 对于维数不高、条件数不大的矩阵, 上面4 种解法所得的结果差别不大.前两种解法的真正意义是在其理论上, 而不是实际的

3、数值计算.而Gauss 消去法, 其本质上利用LU 分解,在MATLAB 中, 出于对算法稳定性的考虑, 行列式及逆矩阵的计算大都在LU 分解的基础上进行.因此, 在MATLAB 中, 求解这类方程组时可直接采用表达式: .(LU 分解)若阶矩阵可逆且顺序主子式不为零, 则可以分解为一个单位下三角阵和一个上三角阵的积, 并且这种分解是唯一的.由于记, 则, 从而由求得, 再由求,MATLAB 中, 用函数求得, 再用求得解.如果矩阵是对称正定矩阵, 可采用Cholesky 分解法, 矩阵Cholesky 分解定理为:如果是对称正定矩阵, 则(至少)存在一个实的下三角矩阵使得此外, 我们可以限定

4、矩阵的对角元素全部为正, 那么, 对应的分解是唯一的.在MATLAB 中, 用函数求得, 再用求得解.Guass 法(LU 分解)和cholesky 法的基础都是把线性方程组的矩阵分解为下三角矩阵和上三角矩阵的乘积, 但对于对称正定矩阵的情形, cholesky 比Gauss 法更加简便.我们也可以使用Householder 法则把矩阵分解为正交矩阵和上三角矩阵的乘积, 称为因子分解法.给定阶矩阵, 则存在一个酉矩阵, 以及一个上三角矩阵 , 使得此外, 我们可以设法使矩阵的对角元素都为正.如果是可逆的, 则这时所对应的分解是唯一的.在MATLAB 中, 用函数求得, , 再用求得解.线性方程

5、组的最小二乘解 线性最小二乘问题的解法在数据拟合、测量平差、控制理论等方面均得到广泛的应用。例如,已知对数据 （其中）和个已知函数 （其中）试构造线性组合。用该线性组合最佳地拟合这对数据 （其中）即我们希望适当地选取组合系数（）,使得在某种范数意义下,误差能够达到最小。令。则上式可用矩阵向量形式把误差向量表为，其中当时,在上式中可要求， 则估计的问题就转化为求解线性方程组。当时,一般，最小二乘问题就是适当选取 使误差在2范数意义下等于最小。给定矩阵及向量 ,寻找满足这就是线性最小二乘问题,其解也称为线性方程组的最小二乘解。在方程组不相容情形,它可视为方程组在最小二乘意义下的最优近似解。在方程组

6、相容时,则最小二乘解与通常意义下的解是一致的。奇异值分解1、奇异值与奇异值分解定理奇异值定理： 设，r=rank(A)，则一定存在阶酉矩阵U和阶酉矩阵V和对角矩阵 ，使得，称为A的奇异值分解。复数域内的奇异值： 设则称为A的正奇异值；当A为零矩阵时，它的奇异值都是零。易见，矩阵A的奇异值的个数等于A的列数，A的非零奇异值的个数等于rank(A)。2、奇异值分解的理解 奇异值跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r大的奇异值来近似描述矩阵。 即A可表示为r个秩为一的举证的

7、和，这是A得奇异值分解的紧凑格式。3、奇异值分解特征 奇异值分解的第一个特征是可以降维。A表示 n个 m维向量 ,通过奇异值分解可表示成 m + n个 r维向量 ,若A的秩 r远远小于 m和 n ,则通过奇异值分解可以大大降低 A的维数。可以计算出 ,当 r mn/(m + n + 1)时 ,可以达到降维的目的 ,同时可以降低计算机对存贮器的要求。 奇异值分解的第二个特征是奇异值对矩阵的扰动不敏感 ,而特征值对矩阵的扰动敏感。在数学上可以证明 ,奇异值的变化不会超过相应矩阵的变化 ,即对任何相同阶数的实矩阵A、B ,按从大到小排列的奇异值和,有. 奇异值的第三个特征是奇异值的旋转不变性。即若

8、P是正交阵 ,PA的奇异值与A的奇异值相同。奇异值的比例和旋转不变性特征在数字图像的旋转、 镜像、 平移、放大、缩小等几何变化方面有很好的应用。 奇异值的第四个特征是容易得到矩阵 A的秩为 k (k r)的一个最佳逼近矩阵。奇异值的这个特征可以应用于信号的分解和重构 ,提取有用信息 ,消除信号噪声。 讨论理解判别收敛条件1收敛性问题现在来研究与方程组 对应的基本型迭代公式 设是方程组（也即）的就解，即有要研究由迭代公式产生的序列当 时是否收敛于, = =可见当时，是否有，等价于是否有（零矩阵，即的每一个元素趋于零）根据线性代数，任何n阶矩阵都存在非奇异矩阵，使得 其中为的Jordan标准形 于

9、是，可得这时，若设 = 其中 于是又可得到 注意到，即 ，于是最后可得由上面就得到下面迭代法的收敛定理。2收敛性基本定理定理 1 （迭代法收敛性基本定理）设方程组为 对任意的初始向量，解此方程组的迭代法 收敛的充分必要条件是迭代矩阵的谱半径 注意： 此定理为判断迭代法的敛散性提供了一个强有力的手段（充分必要条件）。然而，定理的条件往往不容易验证。因此，利用特征值上界性质,可以给出另一个条件较弱的结果。定理 2 （迭代法收敛性充分条件） 如果迭代法 的迭代矩阵的某一种算子范数，则 （1） 对任意的初始向量,迭代法收敛；（2） 迭代序列与方程组的解存在误差估计式 或 证明 （1）由条件及从而，按定

10、理3.3.2 可知迭代法收敛。（2） = 整理得 由 得 则可得(2).3其他定理设 ，若 则称为严格对角占优矩阵。容易证明，若 严格对角占优，则 ，且为非奇异。事实上，前者由定义可得到。后者用反证法，设奇异，则有满足。又设其中为，则 的第个方程为由此有 定理 3 若方程组 中 为 严格对角占优矩阵，则解此方程组的J法和GS法收敛。定理3.3.4 若方程组中为对称正定矩阵，则解此方程组的GS法收敛。4收敛速度由定理 2 （2）式可知 （1）越接近，迭代法收敛速度越快，即收敛速度与初值选取有关； (2 ) 迭代矩阵的范数越小，(当然应有 )，迭代法收敛也越快；（3）由于 ，所以迭代矩阵的谱半径越小，迭代收敛越快。讨论设计算法及编程实现共轭斜量法根据书P175的算法表述可得算法流程图如下：利用Matlab编程如下：A=1 -.1 -.2;-.1 1 -.2;-.2 -.2 1;b=.72 .83 .84;x=F(A,b)F.m:function x=F(A,b)N=size(A,2);x=rand(