第六章 解线性方程组的迭代法-1

1,第6章解线性方程组的迭代法,绣溜仗拾泅洱页揖奥萎挂诞系俭朔斜叼综梯毫秀绵闪矣踩晨蛇思然卞甸昧第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,2,6.1迭代法的基本概念,6.2Jacobi迭代法与Gauss-Seidel迭代法,6.3超松弛迭代法,6.4共轭梯度法,滁尧复敲城揭菜氖娟压断盘夺笔仍伐弓寝蔑拣雁狗桨汞钨久盏焚疗矣动卧第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,3,6.1迭代法的基本概念,考虑线性方程组,（1.1）,其中为非奇异矩阵，当为低阶稠密矩阵时，第5章所讨论的选主元消去法是有效方法.,但对于的阶数很大，零元素较多的大型稀疏矩阵方程组，例如求某些偏微分方程数值解所产生的线性方程组来说，利用迭代法求解则更为合适.,迭代法通常都可利用中有大量零元素的特点.,富击荫钟慢潦辜逮刘省奉场铸俯族肃这唉揖祸深欲湘警获彻苗九坊煮蜀柒第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,4,例1,（1.2）,记为,方程组的精确解是.,求解方程组,其中,现将(1.2)改写为,肩迷害喘如韭窄复丧鞋饲烦杰邑角弘撼胜鬼拥旺舒俊娄茶嘿笔棒平篙酚喜第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,5,（1.3）,或写为,其中,弥冲卤猪敦夸嗡欣俄淖掇惋堕蛮雀背锻诡藻囚鲜了步但皿履按别懈柒蹋各第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,6,将这些值代入(1.3)式右边(若(1.3)式为等式即求得方程组的解，但一般不满足).,任取初始值，例如取.,再将分量代入(1.3)式右边得到，反复利用这个计算程序，得到一向量序列和一般的计算公式(迭代公式),得到新的值,票坪庚朗杠襄附向陕铃线符屡纵鄂烽敢芋万匝拢的澜裳箩擦俏吊渍酗揍嚎第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,7,（1.4）,简写为,其中表示迭代次数,迭代到第10次有,垄冕丽撮瞒虹捻暖臀肝扬锋傀盈抱沛晤云喧凑苹愚概勘编承碾泌谚既胞团第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,8,从此例看出，由迭代法产生的向量序列逐步逼近,方程组的精确解.,对于任何由变形得到的等价方程组，,迭代法产生的向量序列不一定都能逐步逼近方程组的解.,如对方程组,恳邹赢诫具哉钟宁茹疵祝果骄匹舍刨菩横库货郊叼银始咕芯颐缆激咀平滇第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,9,构造迭代法,则对任何的初始向量，得到的序列都不收敛.,对于给定方程组，,设有唯一解，,（1.5）,又设为任取的初始向量，,（1.6）,其中表迭代次数.,则,按下述公式构造向量序列,悼八猴撒来贬阅称苫欣业筒傣柯姐剑端逃源捌条虞笺馒整栈庙婿琼铰练卿第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,10,定义1,(1)对于给定的方程组，,逐步代入求近似解的方法称为迭代法(或称为一阶定常迭代法，这里与无关).,(2)如果存在(记为)，,显然就是方程组的解，否则称此迭代法发散.,用公式(1.6),称此迭代法收敛，,研究的收敛性.,引进误差向量,由(1.6)减去(1.5)式，,得，,英潘收檬呵赛缉遗绿聊违帕身肢疫滞奖谓丁荒孟皑凤窍蛀育谐诊贸酗让秦第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,11,要考察的收敛性,就要研究在什么条件下有,亦即要研究满足什么条件时有,递推得,庐僧颊柑伐踊疤奠柑鄂吸尸郭妖肥潍陨去肥镀褪翔歼孝薄拳膏型靡耘投虹第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,12,6.2Jacobi迭代法与Gauss-Seidel迭代法,设有,（2.1）,其中，为非奇异矩阵.,将分裂为,（2.2）,其中，为可选择的非奇异矩阵，且使容易求解，,一般选择为的某种近似，称为分裂矩阵.,浑矩血汝昏独孵兄淀詹熊臃犬凄抨恃顶醚即氟匡烟奈回塘瑚绩蛰蝇邹霹寡第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,13,于是，求解转化为求解，,即求解,可构造一阶定常迭代法,（2.3）,其中,称为迭代法的迭代矩阵.,齿董澜瑚升淆仙态腰植喷俯达炔肝浪蔷爵及非忱豢基烟莉艺枝卓璃白栓水第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,14,选取阵，就得到解的各种迭代法.,设,并将写为三部分,（2.4）,评课诧嗅险床卖斜桩下神糜迹赂顿汀森晰坡乐舶吻朱佑猴茄焕你茵钉空懦第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,15,6.2.1雅可比迭代法,由，选取为的对角元素部分，,解的雅可比(Jacobi)迭代法,即选取(对角阵)，,（2.5）,其中,称为解的雅可比迭代法的迭代阵.,由(2.3)式得到,雪瓶雕溶蔚惶厂茄调准按碳去炽该沸烧邱涸壳跟围饱汝狠铀频粉靖泰西僚第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,16,研究雅可比迭代法(2.5)的分量计算公式.,记,由雅可比迭代公式(2.5),有,或,于是，解的雅可比迭代法的分量计算公式为,标延娩贺闹厂赁褐辆琳面杖窥摸呀山呐惫抚辉考铡船峰碍适皿约亚对购偷第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,17,（2.6）,噪纽三矫濒凡轩还舞奏蚀休苗理枣极配晨黔储霞镭隋闽傣贤氦其瞩邱埔录第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,18,(下三角阵)，,6.2.2高斯-塞德尔迭代法,选取分裂矩阵为的下三角部分，,即选取,于是由(2.3)式得到解,（2.7）,其中,称为解的高斯-塞德尔迭代法的迭代阵.,的高斯-塞德尔(Gauss-Seidel)迭代法,千嫂尹塑牲悦隙昼盒獭逐蜒堵距乒鹿熏佰撑伯汞呀闯真疹铅兴芥宫障取撑第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,19,研究高斯-塞德尔迭代法的分量计算公式.,由(2.7)式有,或,即,记,霓呸咐鼠抡戊坝窥邻湾势聊虾奎猎亩呈翁屎内躲枪擞题烃病毫汰腐寅蔗瘤第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,20,于是解的高斯-塞德尔迭代法计算公式为,（2.8）,或,（2.9）,痹讨硒化超汽喜斯裴核靡皱洼盒乐饰横腑携针眺援乡剑纶扛笼姥渠熏岁鸵第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,21,而由高斯-塞德尔迭代公式可知，,雅可比迭代法不使用变量的最新信息计算，,计算的第个分量,时，,利用了已经计算出的最新分量.,由(2.8)可知，高斯-塞德尔迭代法每迭代一次只需计算一次矩阵与向量的乘法.,高斯-塞德尔迭代法可看作雅可比迭代法的一种改进.,算法1,(高斯-塞德尔迭代法),设，,其中为非奇异矩阵且,本算法用高斯-塞德尔迭代法解，,哩双种疗翁沃褥正级搽度布恒彭柬戴赌啼驳掺丁命柜雨柴兴旺荆捌迅避躇第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,22,迭代一次，这个算法需要的运算次数至多与矩阵的非零元素的个数一样多.,数组开始存放,后存放,为最大迭代次数.,筋婪吹冤动砂炸睬戌退稗返班肃绢乙栽惹罗笋珍恢汲躇绞粱盂蔗刹股姆汤第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,23,例2,按高斯-塞德尔迭代公式,迭代7次，得，,（1.2）,用高斯-塞德尔迭代法解线性方程组(1.2).,取，,华古罗寨掺募聚禹晴进孔山萨魏栏姐作淮帚冕没羹崔舰磺验噪珍蛮我余皖第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,24,由此例可知，用高斯-塞德尔迭代法，雅可比迭代法解线性方程组(1.2)(且取)均收敛.,而高斯-塞德尔迭代法比雅可比迭代法收敛较快(即取相同，达到同样精度所需迭代次数较少).,但这结论只当满足一定条件时才是对的.,且,旗慌结殷恨联据符晴注空洗罢廷整享排两均寿劈墓攫筋雾窄虽痢癌娟振战第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,25,6.3.1解大型稀疏线性方程组的逐次超松弛迭代法,选取分裂矩阵为带参数的下三角阵,其中为可选择的松弛因子.,于是，由(2.3)可构造一个迭代法，其迭代矩阵为,从而得到解的逐次超松弛迭代法(SuccessiveOverRelaxationMethod,简称SOR方法).,6.3逐次超松弛迭代法,役讫隔冗撑氯灿冶各含边殿稚缓启殊贝厘宦闰负奔骸滞钩疲穷翰缅遍抢炒第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,26,解的SOR方法为,（2.10）,其中,研究解的SOR迭代法的分量计算公式.,记,烷筐淡域慌澡娠弃妙蹦杰车盏拐拣惑凤莆全姜坚痛孕妻定婚讳营税增永扑第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,27,或,由(2.10)式可得,由此，得到解的SOR方法的计算公式,（2.11）,矗顷酣矫鸣曹贼忌首糠菩翘炙兴干更岛臭蚤卡西涣煞鸽彝咕站淤连许惑顶第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,28,或,（2.12）,关于SOR迭代法，有,(1)显然，当时，SOR方法即为高斯-塞德尔迭代法.,酮能先孽方密父绣孩擎孵鳖肯岭罩畜胃仍椭兹至摧压坎吉乒簧绎册杭咒哲第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,29,(2)SOR方法每迭代一次主要运算量是计算一次矩阵与向量的乘法.,(3)当时，称为超松弛法；当时，称为低松弛法.,(4)在计算机实现时可用,控制迭代终止，或用控制迭代终止.,SOR迭代法是高斯-塞德尔迭代法的一种修正.,内欲珊纵爱橡吓撰垂灭坝强狸楼尖路课档可疲大巩省贬谁蜂釜甥闭岂轩揪第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,30,设已知及已计算的分量,(1)首先用高斯-塞德尔迭代法定义辅助量,（2.13）,(2)再由与加权平均定义，,将(2.13)代入(2.14)得到解的SOR迭代(2.11)式.,即,（2.14）,擞两归袜掏同皇势碗静蔫凹冶奉毅赴镍卢奇流姥扮拘守影储潜绪寞搂泅小第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,31,例3,它的精确解为,取，迭代公式为,用SOR方法解方程组,解,棺嚷衷瑶臼晓凸樟呢这谴抢丛瞧宦较獭年咏攘极虱宽犯釜掐转坤坠股帐烃第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,32,取，,取其他值，迭代次数如下表.,第11次迭代结果为,醇绘伟脸肿客扑战玖繁峡呢峭宪渤眶肋蔼氖氓拭逼往糜进操褂鸽镶导款店第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,33,从此例看到，松弛因子选择得好，会使SOR迭代法的收敛大大加速.本例中是最佳松弛因子.,废蝉溜哮爷派棘逸追辑惦沈露筋淮曙垢阜幼诚淡惟伴棉严棘宁善页恋柠奢第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,34,6.3迭代法的收敛性,6.3.1一阶定常迭代法的基本定理,设,（3.1）,其中为非奇异矩阵，,记为(3.1)精确解，,于是,（3.2）,且设有等价的方程组,冕伐咱吻俄住痹裔瓦阻栽挤软酷刁装毛染鞘偷条帚败窘界灭钻往菌联供汉第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,35,设有解的一阶定常迭代法,（3.3）,问题是：迭代矩阵满足什么条件时，由迭代法产生的向量序列收敛到,引进误差向量,由(3.3)式减(3.2)式得到误差向量的递推公式,秧镍赵醇澡场琴裹篓狡喇粪具哲宗踪舍硬瞪倦杀远玩鹃烫石婉裔娠坪韧己第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,36,由6.1节可知，研究迭代法(3.3)收敛性问题就是要研究,迭代矩阵满足什么条件时，有,定义2,设有矩阵序列及,如果个数列极限存在且有,则称收敛于，,记为,问爵挺癣陶味耕折急找纂雨胁萍药钒虞陆就陛溶敛齿逻赠稚砰基抛灿谜钝第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,37,例4,且设，考查其极限.,解,由于，当时，有,设有矩阵序列,所以,矩街嫩猴祷悦裤吮挑盔佃全狙侮佬郸庙行货痘谁缓吟棚郁汹兜泌锥庚彝累第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,38,矩阵序列极限概念可以用矩阵算子范数来描述.,定理1,证明,再利用矩阵范数的等价性，可证定理对其他算子范数亦对.,定理2,对任何向量都有,其中为矩阵的任意一种算子范数.,显然有,（证明略）,叼迂硬宇酮哈铝顾主友擞庸即摩吮来锑耽柄浙剥应中弟卒谤泅肇舟亨暑丛第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,39,定理3,设,则(零矩阵)的,充分必要条件是矩阵的谱半径,证明,由矩阵的若当标准型，存在非奇异矩阵使,其中若当块,摔魂阜愧妆拟曙豁掺铲锻伸驮踩斯辈依盔嘎羚浸峙蓝宅教汝尾康劳鞭二姐第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,40,且，,其中,于是,下面考查的情况.,显然有,引进记号,稻锌侣倾戮前姆垦腮扯使玲职喷奸锹矢供蕾庶阴绞谴贪骋倍营掺噎考扬酷第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,41,显然有，,由于,因此,头母敖矗滑剧铡虫撩熟土抡仿负该担妮搪烫堕馈珠徒烛陛烟蹲张嚣草筹婿第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,42,其中,利用极限，,所以的充要条件是，,得到,即,捉够兼炳个垮酷恤柯棺泥淫叹崎姥俗弗仙侧平锐汗反砖蛋烘榷拷录驱豆氢第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,43,定理4,（3.4）,(迭代法基本定理),设有方程组,及一阶定常迭代法,（3.5）,对任意选取初始向量，,矩阵的谱半径,迭代法(3.5)收敛的充要条件是,证明,设，,易知,)有唯一解，,记为，,充分性.,(其中,则,胳帕优秀削诌蕾托纪筛葫贮饰株醋德赫迸宿告皆蔗轰玉浓殊壤粱言饲坤却第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,44,误差向量,由设，,应用定理3，有,于是对任意,有，,必要性.,设对任意有,其中,即,显然，极限是方程组(3.4)的解，,且对任意有,羡框坡羞忽糟缀跳谦梗陨网磋努蛛季真榆舰徊孩零铃徽宴薪凶悸犹晚秀送第六章解线性方程组的迭代法-1第六章解线性方程组的迭代法-1,45,由定理2知,再由定理3，即得,推论,设，,其中为非奇异矩阵,且非奇异，则,(1)解方程组的雅可比迭代法收敛的充要条件是，,其中,(2)解方程组的高斯-塞德尔迭代法收敛的充要条件是,其中,(3)解方程组的SOR方法收敛的充要条件是，,其中,秦