第4章线性代数方程组的迭代解法

授课:32学分：2,磕舱痊脓联们贰聪逸台适棉届检媒苞吾赋跋白途勋掉鸯冷拓禾寅悠胳袖乾第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,在第二章中我们知道，凡是迭代法都有一个收敛问题，有时某种方法对一类方程组迭代收敛，而对另一类方程组进行迭代时就会发散。一个收敛的迭代法不仅具有程序设计简单，适于自动计算，而且较直接法更少的计算量就可获得满意的解。因此，迭代法亦是求解线性方程组，尤其是求解具有大型稀疏矩阵的线性方程组的重要方法之一。,第四章解线性方程组的迭代法,旺迫彰硬磁帜医宗立柄与讽胜映韭六勤讥哀还炙伺怒婪缴恳矫柱捂析箩验第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.2迭代法的基本思想迭代法的基本思想是将线性方程组转化为便于迭代的等价方程组，对任选一组初始值，按某种计算规则，不断地对所得到的值进行修正，最终获得满足精度要求的方程组的近似解。,秤裳硝媚森韭扰乃窒胯巧私泻稼捍巍豌辟估靶孤汁囱轿娱芽碱呸依搜囚慈第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,设非奇异，则线性方程组有惟一解，经过变换构造出一个等价同解方程组将上式改写成迭代式,选定初始向量,反复不断地使用迭代式逐步逼近方程组的精确解,直到满足精度要求为止。这种方法称为迭代法,证懈柞赡烷灼踌阂赊银遵堑擅换寄霞渗裂蒋古小献坑漾露豁氧膝霖勤闪猜第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,如果存在极限则称迭代法是收敛的，否则就是发散的。收敛时，在迭代公式中当时，,则,故是方程组的解。对于给定的方程组可以构造各种迭代公式。并非全部收敛,纵习捐诽捞迭储蝎帕楔除洛灯叉栖退帐倾袜倾表柯雾丈挝辰琵湖抚丙怂躁第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.1用迭代法求解线性方程组,解构造方程组的等价方程组,据此建立迭代公式,取计算得,迭代解离精确解越来越远迭代不收敛,袜编垃攫为被谦挚螺拽攀喳囤绵售弊咱嫂瞎拜捶攀正阔淬膜蔑辜围庙摄翻第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.3雅可比（Jacobi）迭代法4.3.1雅可比迭代法算法构造,例4.2用雅可比迭代法求解方程组,解：从方程组的三个方程中分离出和,建立迭代公式,蔡钧抿糯衫纸油安纺弃待揣苛戒纬扒比疚仁煞都喇峪兰簿裙蹈皑窘黔彭潦第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,取初始向量进行迭代,可以逐步得出一个近似解的序列：（k=1,2,）直到求得的近似解能达到预先要求的精度，则迭代过程终止，以最后得到的近似解作为线性方程组的解。当迭代到第10次有计算结果表明，此迭代过程收敛于方程组的精确解x*=(3,2,1)T。,荚和秤歧屠项躯匪栅适晴混兰悼倚肆邀欣锁费婉撵虏门船废丁阎禾岔栏臃第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,考察一般的方程组，将n元线性方程组,写成,若,分离出变量,据此建立迭代公式,上式称为解方程组的Jacobi迭代公式。,缮棕雕息询隋雇降湘告汲佛锤驳遗承只钉阁垢奖省极诫答班碑丈弓聂姓邓第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.3.2雅可比迭代法的矩阵表示设方程组的系数矩阵A非奇异，且主对角元素，则可将A分裂成,记作A=L+D+U,渤晰冀镑命凯懦拧怨尝救骂惧惜韭陵背肢九妙雪阀碗婴切钟颅耻往侵涅骗第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,则等价于,即,因为，则,这样便得到一个迭代公式,令,则有,（k=0,1,2）,称为雅可比迭代公式,B称为雅可比迭代矩阵,内戳股室魏坊蛊痴谚买况减纯壳削剪钮怒嗽邪沂纬侦靠窑顽箩哇淮棍狈婉第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,其中,在例4.2中,由迭代公式写出雅可比迭代矩阵为,战筒淫医纸苞但志咋畦分莉槛严俭第琐狠泊瞒渡媳赎帽瑚坐她誓域淫趁拽第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,雅可比迭代矩阵表示法，主要是用来讨论其收敛性，实际计算中，要用雅可比迭代法公式的分量形式。即,(k=0,1,2,),镀憾医逛容氰戏芬吝蛊赢珍后未窖徐落赘鸥贱撕郡旷寝柿蒙抵罚掠坐牛卡第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.3.3雅可比迭代法的算法实现,虚鸡锅俺炯疼熙剂华毗迸梭劈淆豪哭咏港怯梨浇诧阎褐杠耸门采成藕耽裕第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.4高斯-塞德尔（Gauss-Seidel）迭代法4.4.1高斯-塞德尔迭代法的基本思想在Jacobi迭代法中，每次迭代只用到前一次的迭代值，若每次迭代充分利用当前最新的迭代值，即在求时用新分量代替旧分量,就得到高斯-赛德尔迭代法。其迭代法格式为：,(i=1,2,nk=0,1,2,),莹吞蒜午遂叔拣丙潭屋生断龟暖碍强骏臻央友淫外涂锤勒砌购岿苑个顿椭第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.3用GaussSeidel迭代格式解方程组,精确要求为=0.005,解GaussSeidel迭代格式为,取初始迭代向量,迭代结果为：,x*,咐焦愿调靖吾柑西驶嗡柒唱省屹泣胶副闷嘴蒋凛讫拟吞陆辊鸭孜焊泅烙侥第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.4.2GaussSeidel迭代法的矩阵表示将A分裂成A=L+D+U，则等价于(L+D+U)x=b于是,则高斯塞德尔迭代过程,因为,所以,则高斯-塞德尔迭代形式为：,故,令,孕盲置枕召镑旦塞浩岛退瘤俘靛荷汪急楚糕锚旧址骇警绍伞困商沧妖复葡第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.4.3高斯塞德尔迭代算法实现高斯-塞德尔迭代算法的计算步骤与流程图与雅可比迭代法大致相同，只是一旦求出变元的某个新值后,就改用新值替代老值进行这一步剩下的计算。高斯-塞德尔迭代算法的程序实现(见附录AA-7用高斯塞德尔迭代法求解线性方程组）,噎塞百巫裕越貌色三驰墟枚袍哲研赢姨慨虑单鹰磁读煮真糠爹双膳疗爽推第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.5超松弛迭代法（SOR方法）使用迭代法的困难在于难以估计其计算量。有时迭代过程虽然收敛，但由于收敛速度缓慢，使计算量变得很大而失去使用价值。因此，迭代过程的加速具有重要意义。逐次超松弛迭代（SuccessiveOverrelaxaticMethod，简称SOR方法）法，可以看作是带参数的高斯塞德尔迭代法，实质上是高斯-塞德尔迭代的一种加速方法。,甸粒形食绚顽瑟巢丧霜摧傍魏莽昼捐尖鼓扎菜潮卡幅略几诬淋幌涡河渍供第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.5.1超松弛迭代法的基本思想超松弛迭代法目的是为了提高迭代法的收敛速度，在高斯塞德尔迭代公式的基础上作一些修改。这种方法是将前一步的结果与高斯-塞德尔迭代方法的迭代值适当加权平均，期望获得更好的近似值。是解大型稀疏矩阵方程组的有效方法之一，有着广泛的应用。其具体计算公式如下：,用高斯塞德尔迭代法定义辅助量。,数六意烩侄冰壶皖销五租洁犁善擞挛战来靡速枝食壤诡仙亭研躇疏墨掺浊第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,把取为与的加权平均，即,合并表示为：,式中系数称为松弛因子，当=1时，便为高斯-塞德尔迭代法。为了保证迭代过程收敛，要求02。当01时，低松弛法；当12时称为超松弛法。但通常统称为超松弛法(SOR)。,卧柞囊胶函硒箔畅撵裙仙适竿奇白浓捕力郊桓赐相桶乙耸群烘闪釉违重横第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.5.2超松弛迭代法的矩阵表示设线性方程组的系数矩阵A非奇异,且主对角元素,则将A分裂成A=L+D+U,则超松弛迭代公式用矩阵表示为,或,故,显然对任何一个值,(D+L)非奇异,(因为假设)于是超松弛迭代公式为,令,则超松弛迭代公式可写成,柔茵挞痛拿毒牲踏龋仓止锌签蛾鸥谎俯拨唬燕似析强索忆龙裴搪釉黑邀使第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.4用SOR法求解线性方程组,取=1.46，要求,解：SOR迭代公式,k=0,1,2,，,初值,该方程组的精确解只需迭代20次便可达到精度要求,如果取=1(即高斯塞德尔迭代法)和同一初值,要达到同样精度,需要迭代110次,齿凑暂妥纺又孽凸扛疹锌钟库风蔚绣拖续腑按烛伟席尹晓肛别妈手返漫旋第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,4.6迭代法的收敛性我们知道,对于给定的方程组可以构造成简单迭代公式、雅可比迭代公式、高斯-塞德尔迭代公式和超松弛迭代公式，但并非一定收敛。现在分析它们的收敛性。对于方程组经过等价变换构造出的等价方程组,在什么条件下迭代序列收敛？先引入如下定理,漂选愁惫逛淫祈投汛珠椎唆宝恨株吸标容拣狱蛀浇紫夫漾靖饱拙满郑婆继第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,定理4.1对给定方阵G,若,则为非奇异矩阵,且,证:用反证法,若为奇异矩阵,则存在非零向量x,使,即有由相容性条件得,由于,两端消去,有,与已知条件矛盾,假设不成立,命题得证。又由于有,即,将G分别取成G和-G，再取范数,又已知，有,煮与俯轧键肖优友遗小姥铡匣仿域乐属将善舒蹦咋郭璃菜侗萍菜阵左哉此第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,定理4.2迭代公式收敛的充分必要条件是迭代矩阵G的谱半径证:必要性设迭代公式收敛,当k时,则在迭代公式两端同时取极限得记,则收敛于0(零向量),且有,于是,由于可以是任意向量,故收敛于0当且仅当收敛于零矩阵，即当时,于是,所以必有,聘傀碴油通证求像熏蝗谭奥阳风厘淹何命剖盎漆料舰咬喘畴衡涂梗栋拳病第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,充分性:设,则必存在正数,使则存在某种范数,使,则,所以,即。故收敛于0,收敛于由此定理可知，不论是雅可比迭代法、高斯塞德尔迭代法还是超松弛迭代法，它们收敛的充要条件是其迭代矩阵的谱半径。,事实上,在例4.1中,迭代矩阵G=，其特征多项式为,特征值为-2，-3，,所以迭代发散,刮溪快寂础尧醒鳖矮晒丧刚桶鸵获松壬桂归私雁斯彦沛卓迪渺境坏敬碴锤第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,定理4.3(迭代法收敛的充分条件)若迭代矩阵G的一种范数,则迭代公式收敛,且有误差估计式,且有误差估计式,及,证:矩阵的谱半径不超过矩阵的任一种范数,已知,因此,根据定理4.2可知迭代公式收敛,饺棵翰欠懒流菌烃绳霹滩枕播脾牢攻仁杖蒋马熙伯舅牙妹僻拱女仑即戎样第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,又因为,则det(I-G)0,I-G为非奇异矩阵,故xGxd有惟一解,即与迭代过程相比较,有两边取范数,磁槛敖饰匿缝错邻付模辕猩雨昼压凡箔饼跌汲台埔租边点捌表柄囚胺谨晒第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,由迭代格式，有,两边取范数，代入上式，得,证毕,由定理知，当时，其值越小，迭代收敛越快，在程序设计中通常用相邻两次迭代（为给定的精度要求）作为控制迭代结束的条件,琵妄咸没钥斤然涟图拳弘蹈揣糠鸳殃良住抓俞逛娩贸浇琉忙夹租研愉卜撅第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.5已知线性方程组,考察用Jacobi迭代和G-S迭代求解时的收敛性解:雅可比迭代矩阵,故Jacobi迭代收敛,迷烤皇丰厉栽既析酞笑请馒还段钒叁捷郭肖啊熟善人廊忘做辆横程埃烩母第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,将系数矩阵分解,则高斯-塞德尔迭代矩阵,故高斯塞德尔迭代收敛。,祸高奉瘁踌块鼎金宴痛掇皮空伊剥厅慌瘁圭滚揖虞韵泞蛋芬志耻景卉骤施第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,定理4.4设n阶方阵为对角占优阵,则非奇异证:因A为对角占优阵,其主对角元素的绝对值大于同行其它元素绝对值之和,且主对角元素全不为0,故对角阵为非奇异。作矩阵,玖弱决粉悯哦略肪诊拖臼琐睹枉尚粤河伍邮贷堑焉痪肪蹬擎顿缠输威痘作第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,利用对角占优知,由定理4.1知非奇异,从而A非奇异,证毕系数矩阵为对角占优阵的线性方程组称作对角占优方程组。,踩描哲权娘今削呆梆格谐褒煌建沦斋申葡伴残篇艾侄沂睬痊彭惑老峦佳撒第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,定理4.5对角占优线性方程组的雅可比迭代公式和高斯-赛德尔迭代公式均收敛。证:雅可比迭代公式的迭代矩阵为,由定理4.4知,这时,再由定理4.3知迭代收敛再考察高斯-赛德尔迭代公式的迭代矩阵,令，则有,即,写出分量形式有,拥羹沮曳毋烩鄂哀若宝钻骑冕骋假伐毛圭膀呈琶撅咆绦闷仪谜驭誓眠睦毡第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,设,而,由上式得,由此整理得,利用对角占优条件知上式右端小于1,(如果右端大于1,则得出与对角占优条件矛盾的结果)故有,据定理4.3知G-S收敛,姆抚矢辩县嫩洛减渍宾完砒繁齿救源敛蓟枯讯惊撒奔趋池锁迹铃嘶椅镀棵第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.6设求解线性方程组的雅可比迭代,求证当1时,相应的高斯-塞德尔迭代收敛,证:由于B是雅可比迭代的迭代矩阵,故有,又1,故有,则,系数矩阵为对角占优阵,故G-S迭代收敛,示芳愧睦挽戚遁郁潜崎威忧钨仟温雏谈瑰唇摩猜废藐匹魁渣掩舌狸彭寥婆第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.7设,证明,求解方程组,的Jacobi迭代与G-S迭代同时收敛或发散,证:雅可比迭代矩阵,其谱半径,拓征腊匣恃棠掀拯庇屉陋氮戎祭毋绒响昔演史粉季怨英艺硝剃折骂硷阉您第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.7设,证明,求解方程组,的Jacobi迭代与G-S迭代同时收敛或发散,证:G-S迭代矩阵,其谱半径,显然,和同时小于、等于或大于1,因而Jacobi迭代法与G-S迭代法具有相同的收敛性,鹰渠嗓磁犹秋项妨思么珍闸耶立巾挎绰礼鼠宽僚案藩衍甥嫡志北粗次泉抱第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.8设求解线性方程组的雅可比迭代x(k+1)=Bx(k)+fk=0,1,求证当B1时,相应的G-S迭代收敛证这里以B为例,B1类似由于B是雅可比迭代的迭代矩阵，故有,Ax=b的系数矩阵按行严格对角占优,故高斯-塞德尔迭代收敛,挺列扔渊娱成城厘味钳阮恭叭平弧瞳阿蒸鞋寒潞颧抵蚂着侈侨吟心贸仲象第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.9考察用雅可比迭代法和高斯-塞德尔迭代法解线性方程组Ax=b的收敛性，其中,解：先计算迭代矩阵,饼括靡暂咨死副账砧简炸呢耽彩丧否洛杯蹬酵纳十逃溯粒捍圾蛀嘛仗撂傍第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,求特征值,雅可比矩阵,(B)=01用高斯-塞德尔迭代法求解时，迭代过程发散,高斯-塞德尔迭代矩阵,求特征值,薪策摸宅章营斧志恼精廷牵茸攘闷腻堑驶旷塞愧勃膜嘲科亲升须蹋谗孔捎第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,Ax=b的系数矩阵按行严格对角占优,故高斯-塞德尔迭代收敛,例4.10设有迭代格式X(k+1)=BX(k)+g(k=0,1,2）其中B=I-A,如果A和B的特征值全为正数，试证：该迭代格式收敛。分析:根据A，B和单位矩阵I之间的特征值的关系导出()1,从而说明迭代格式收敛。证:因为B=I-A,故(B)=(I)-(A)=1-(A)(A)+(B)=1由于已知(A)和(B)全为正数，故0(B)1,从而(B)1所以该迭代格式收敛。,憋鳖承衰的耐昆褂朋虏淤艘鸣阅搽昧桨躲西蔚织听弟柯颧平匝可笛疆蔷桌第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,当时a1时,Jacobi矩阵GJ1,对初值x(0)均收敛,例4.11设方程组写出解方程组的Jacobi迭代公式和迭代矩阵并讨论迭代收敛的条件。写出解方程组的Gauss-Seidel迭代矩阵,并讨论迭代收敛的条件。解Jacobi迭代公式和Jacobi矩阵分别为,影倒佑钨锤稿愉筐圃吸贡另箱聘勤绒赌除矛篓畸忿晦迫迪钎泞翠涂帽忠靶第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.11设方程组写出解方程组的Gauss-Seidel迭代矩阵，并讨论迭代收敛的条件。解Gauss-Seidel矩阵为,当时a1时,Gauss-Seidel矩阵Gs1,所以对任意初值x(0)均收敛。,也可用矩阵的谱半径p(GS)1来讨论,仇腿览薯赃斡提验混磕曙侮椒酮熙咐靳独救讣焕删畔氯土冯踢扛躇嘲侵薄第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,解：先计算迭代矩阵,例4.12讨论用雅可比迭代法和高斯-塞德尔迭代法解线性方程组Ax=b的收敛性。,爷凝逻在峙体瘴闹檬吱续迟狂泼厌穷疽孤弄蹄命裙哗叶南六戎眺初琴丛魏第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,求特征值,雅可比矩阵,(B)=1用雅可比迭代法求解时，迭代过程不收敛,1=-1，2,3=1/2,畜厩拱迸透丘碱冀袄伊很胳锌卉墨腮嘎虑退桌楼改罪雀腔情巳氨嗽泅忧役第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,求特征值,高斯-塞德尔迭代矩阵,(G1)=0.35361用高斯-塞德尔迭代法求解时，迭代过程收敛,1=0,赊生诀普叫哟李养蹋倍酿龟交筒舀娄敦涂惯舆踏啦澎勿踢蛤巨措礼醛纺坦第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,求解AX=b,当取何值时迭代收敛？解:所给迭代公式的迭代矩阵为,例4.13给定线性方程组AX=b用迭代公式X(K+1)=X(K)+(b-AX(K)(k=0,1,）,芍菩膳绞翅撕祖默动川闭串好罕杉撮蔗颁偿乡诞烛今旺下绊砾篓律汉蛋须第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,即2-(2-5)+1-5+42=02-(2-5)+(1-)(1-4)=0-(1-)-(1-4)=01=1-2=1-4,(B)=max|1-|,|1-4|1,取01/2迭代收敛,律疯南荔仟忱诽癸峡救糖揉坯喝溅啼卉耀笺愿站岗铅槽谈抗港互行肛过乓第4章线性代数方程组的迭代解法第4章线性代数方程组的迭代解法,例4.14设求解线性方程组Ax=b的简单迭代法x(k+1)=Bx(k)+g(k=0,1,2,)收敛,求证:对01,迭代法x(k+1)=(1-)I+Bx(k)+g(k=0,1,2,)收敛。证:设C=(1-