线性代数的几个基本概念学习教案

1、会计学1线性代数线性代数(xin xn di sh)的几个基本的几个基本概念概念第一页，共92页。F几何几何(j h)的抽象化的抽象化实用实用(shyng)直观直观抽抽象象(a, b，c)第2页/共92页第二页，共92页。第3页/共92页第三页，共92页。通常的教学模式通常的教学模式概念概念相应定理公式相应定理公式(gngsh)(gngsh)例题求解例题求解直觉性丧失直觉性丧失(sngsh)(sngsh)！第4页/共92页第四页，共92页。向量向量(xingling)(xingling)是是什么？什么？ 向量是具有向量是具有n n个相互独立的性质（维度个相互独立的性质（维度）的对象）的对象(d

2、uxing)(duxing)的表示的表示问问 题题第5页/共92页第五页，共92页。矩阵(j zhn)是什么？矩阵(j zhn)的乘法规则怎样定义？矩阵(j zhn)的相似是什么意思？特征值的本质是什么？Axx1P APB A第6页/共92页第六页，共92页。 纯粹的数学理论纯粹的数学理论(lln)描描述、证明不能令人满意和述、证明不能令人满意和信服信服 ！第7页/共92页第七页，共92页。一、线性空间和矩一、线性空间和矩阵的几个阵的几个(j )(j )核核心概念心概念 第8页/共92页第八页，共92页。空空 间间 为什么要用“空间(kngjin)”来称呼一些这样的集合呢？奇怪!第9页/共92

3、页第九页，共92页。这里我们所说的运动是从一个点到另一个点的跳跃（这里我们所说的运动是从一个点到另一个点的跳跃（变换）变换）,而不是微积分意义而不是微积分意义(yy)上的上的“连续连续”性的运动性的运动. 第10页/共92页第十页，共92页。由变换所规定由变换所规定.第11页/共92页第十一页，共92页。第12页/共92页第十二页，共92页。 要回答要回答(hud)“(hud)“矩阵是什么矩阵是什么”，取决于你从，取决于你从什么角度去看它什么角度去看它. .第13页/共92页第十三页，共92页。第14页/共92页第十四页，共92页。 矩阵矩阵(j zhn)是线性空间中的线性变换的一个描是线性空

4、间中的线性变换的一个描述述第15页/共92页第十五页，共92页。线性变换不同于线性变换的一个线性变换不同于线性变换的一个(y )(y )描述描述 对于同一个线性变换，选定一组基，就可以找到一个矩阵来描述这个(zh ge)线性变换；换一组基，就得到一个不同的矩阵. 所有这些矩阵都是这同一个线性变换的描述，但又不是线性变换本身.第16页/共92页第十六页，共92页。同一个线性变换的矩阵具有性质：同一个线性变换的矩阵具有性质： 若若A A和和B B是同一个线性变换的两个不同矩阵，是同一个线性变换的两个不同矩阵，则一定存在则一定存在(cnzi)(cnzi)非奇异矩阵非奇异矩阵P P，使得，使得 即同一

5、个线性变换在不同的坐标系下表现为不同的矩阵(j zhn)，但其本质相同，所以特征值相同.1APBP第17页/共92页第十七页，共92页。第18页/共92页第十八页，共92页。第19页/共92页第十九页，共92页。 维线性空间里的方阵 的 个 维向量如果线性无关，那么它们就可以(ky)成为度量 维线性空间的一组基，事实上就是一个坐标系体系.矩阵(j zhn)与坐标系nnnnA第20页/共92页第二十页，共92页。1001A矩阵描述矩阵描述(mio sh)了一了一个坐标系个坐标系第21页/共92页第二十一页，共92页。1001bbI bb?M bMIbM b?bb第22页/共92页第二十二页，共9

6、2页。()MbM IbMbaaaIab变换变换(bin(binhun)hun)坐标坐标(zubi(zubio)o)Mb()MbMI bMb第23页/共92页第二十三页，共92页。()()RMRM ITI 从变换的观点(gundin)来看，对坐标系M施加R变换，就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点(gundin)来看，对坐标系M的每一个基向量，把它在I坐标系中的坐标找出来,然后通过R组成一个新的（坐标系）矩阵. MIT第24页/共92页第二十四页，共92页。数学定义数学定义(dngy)(dngy)：矩阵就是由矩阵就是由 行行 列数列数放在一起组成的数学对象放在一起组成的数学

7、对象mn第25页/共92页第二十五页，共92页。 数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类对数学某些局部(jb)理解的精微. 这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样. 第26页/共92页第二十六页，共92页。 数学容许我们每个人按自己的理解方数学容许我们每个人按自己的理解方式来理解式来理解, , 这就看你怎样对它加工，使它这就看你怎样对它加工，使它明确明确(mngqu)(mngqu)、使它华丽、使它完美、使它华丽、使它完美. . 使使它更易于理解和使用它更易于理解和使用. . 这个过程也就是一这个过程也就是一个人学懂数

8、学的过程个人学懂数学的过程. .第27页/共92页第二十七页，共92页。第28页/共92页第二十八页，共92页。第29页/共92页第二十九页，共92页。二、矩阵的四个基本二、矩阵的四个基本(jbn)(jbn)子子空间空间第30页/共92页第三十页，共92页。1212m nnmA基本基本(jbn)(jbn)定义定义第31页/共92页第三十一页，共92页。():nC AAx xRmR12 ,(,)nspan135070001213519m nAn=5第32页/共92页第三十二页，共92页。():TTmC AA xxRnR12(,)TTTmspan135070001213519m nAm=3第33页

9、/共92页第三十三页，共92页。dim( )dim()TrankAC AC A135070001213519m nA第34页/共92页第三十四页，共92页。135070001200000m nRNotice ()()C AC R()RrrefABAR1ABR则存在可逆矩阵(j zhn)B使得第35页/共92页第三十五页，共92页。135070001200000m nRPivot rows 1 and 2Pivot columns 1 and 4dim( )dim()2TrankRC RC R例例1第36页/共92页第三十六页，共92页。Null space():0,nNAxAxxR123451

10、350700012,00000m nR 有三个自由变量(binling)： 方程235,.xxx0Rx 有解：223355xkkk( ) :0,nN Rx RxxR第37页/共92页第三十七页，共92页。355700,1002012- 31其 中=000dim ( )5 23N Rn r dim( )N Rnr第38页/共92页第三十八页，共92页。 方程组方程组 中，若中，若 不等于不等于 0 且有解，则其解不会构成子空间，因为且有解，则其解不会构成子空间，因为(yn wi)没没 有有0元素元素.Rxbb第39页/共92页第三十九页，共92页。Left nullspace() :0,TTmN

11、 Ry R yyRLeft nullspace?00TTTRyyR第40页/共92页第四十页，共92页。dim()TN Rmr1231,3,5,0,70,0,0,1,20,0,0,0,0yyy0,0,0,0,03(0,0,)()TyyN R第41页/共92页第四十一页，共92页。3 3103012115A12 = 1 0 3 =0 1 2（ ，）（ ，）3 3103012000R13 3231030120115xAXxx 设设由由例例2 2行基第42页/共92页第四十二页，共92页。13 3231030120000 xRxx 12 X=1 0 3 X=0 X=0 1 2 （ ，）（ ，） X

12、= 012 X ,X12 (,)LX TC(A )( )N A第43页/共92页第四十三页，共92页。(3,2,-1)(0,1,2)(1,0,3)T12 C(A )(,)L N(A)第44页/共92页第四十四页，共92页。例3123123246A1()()CAsp a n0TAy 21y()()TNAsp a ny()()TCANA则由解得则显然(xinrn)第45页/共92页第四十五页，共92页。Row spaceall ATyColumn spaceall AxNullspaceAx=0Left nullspaceATy=0C(AT)dim rRnN(A)dim n-rRmC(A)dim

13、rN(AT)dim m-r互为正交补互为正交补AX=b有解 b N(AT)Rn第46页/共92页第四十六页，共92页。Row spacerxrxbArnxxxb0nx Anullspace Left nullspaceAction of on ArnxxxColumn spacexAnx第47页/共92页第四十七页，共92页。例4若1236A分解(fnji)43x 得2241rnxx 122110()3643TrAxC A 1220( )3610nAxN A 第48页/共92页第四十八页，共92页。第49页/共92页第四十九页，共92页。 应用领域应用领域 1. 1.最优化问题；最优化问题；

14、特征值问题；特征值问题； 最小二乘问题；最小二乘问题； 广义逆矩阵问题等广义逆矩阵问题等. . 2. 2.统计分析；统计分析； 信号信号(xnho)(xnho)与图像处理；与图像处理； 系统理论和控制等系统理论和控制等. .第50页/共92页第五十页，共92页。矩阵的正交对角分解 若A是n阶实对称矩阵，则存在正交矩阵Q，使得 (1)其中 为矩阵A的特征值，而Q的n个列向量组成A的一个完备(wnbi)的标准正交特征向量系. 对于实的非对称矩阵A，不再有像式（1）的分解，但却存在两个正交矩阵P和Q，使 为对角矩阵，即有下面的正交对角分解定理.12(,.)TnQ AQdiag (1, 2,. )ii

15、nTP AQ第51页/共92页第五十一页，共92页。12()(,.)TTnQA A Qdiag 0(1,2,. )iin12(,.)TnP AQdiag n nARTA A0(1,2,. )iinTA A(1,2,. )iiin12(,.)ndiag 第52页/共92页第五十二页，共92页。1()TAQAQ 2()TTQA A Q 1PAQ则有 或者再令 ,于是(ysh)有即P为正交矩阵，且使改写式(2)为 (3)称式（3）为正交矩阵A的正交对角分解11() ()TTP PAQAQI12(,.)TnP AQdiag 12( ,.)TnAP diagQ 第53页/共92页第五十三页，共92页。(

16、0),m nrrAC()Trank A ArankATA A(0),m nrrAC0A0TA A第54页/共92页第五十四页，共92页。ArTA A定义(dngy) 设 是秩为 的 实矩阵，mn的特征值为的特征值为1210rrn 则称则称 为为A A的奇异的奇异(qy)(qy)值值. .(1,2, )iiir(0)r r 第55页/共92页第五十五页，共92页。奇异奇异(qy)(qy)值分解定值分解定理理 设设A是秩为是秩为(0)r r 的的mn则存在则存在(cnzi) (cnzi) 阶正阶正交矩阵交矩阵实矩阵实矩阵, ,mU与与 阶正交矩阵阶正交矩阵(j zhn)(j zhn),V使得使得T

17、SOU AVOO 其其中中12diag(,)r (1,2, )ir10r为矩阵为矩阵A的全部奇异值的全部奇异值. .n第56页/共92页第五十六页，共92页。证明证明 设实对称设实对称(duchn)矩阵矩阵 的特征值为的特征值为A1210rrn 则存在n阶正交矩阵(j zhn) ，使得 V12TT()nOVA AVOO 将 分块为V12()VVV其中(qzhng) ， 分别是 的前 r 列与后 列.1V2VVnr第57页/共92页第五十七页，共92页。并改写(gixi)式为2TOA AVVOO 则有T2T112A AVVA AVO， 由的第一(dy)式可得TT2T1111() ()rV A A

18、VAVAVE， 或者 由的第二(d r)式可得T222()() A VA VOA VO或 者令 ，则 ，即 的r个列是两两正交的单位向量.记111UAV T11rU UE1U第58页/共92页第五十八页，共92页。112(,)rUuuu因此可将 扩充成 的标准正交基，记增添的向量为 ，并构造(guzo)矩阵则是m阶正交矩阵,且有于是可得12,ruuumC1,rmuu21(,)rmUuu12121( ,) ( , , ,)rrmUU Uu uu uuTT1121 rU UEU UO，TTT1121T2()()OUU AVUAVAVUOOOU， 第59页/共92页第五十九页，共92页。TTTT11

19、 1222rrrOAUVuvu vu vOO 称上式为矩阵A的奇异(qy)值分解.第60页/共92页第六十页，共92页。 在矩阵(j zhn)理论中，奇异值分解实际上是“对称矩阵(j zhn)正交相似于对角矩阵(j zhn)”的推广.奇异值分解中 是 的特征向量，而 的列向量是 的特征向量，并且 与 的非零特征值完全相同. 但矩阵(j zhn) 的奇异值分解不惟一.121,rrmu uu uuTAAVTA ATAATA A注意(zh y)A第61页/共92页第六十一页，共92页。1/ 31/ 32 / 32 / 32 / 34 / 31/ 32 / 312 / 51/ 53 / 53 / 71

20、/ 74 / 7A第62页/共92页第六十二页，共92页。1/31/32/32/32/34/31/32/312/51/53/53/ 71/ 74/ 7Aformat long eA=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7；D= svd(A)第63页/共92页第六十三页，共92页。 因为有因为有“三三”个非零奇异值，所以个非零奇异值，所以A的秩的秩为为“3”. 然而，注意到在然而，注意到在IEEE双精度的标准下双精度的标准下,其中一个奇异值是微小的其中一个奇异值是微小的. 也许应该将它看作也许应该将它看作(kn zu)零

21、零.因为这个原因，引人数值秩的概念因为这个原因，引人数值秩的概念.第64页/共92页第六十四页，共92页。-161toleps ( eps=2.24 10)nAAAkk第65页/共92页第六十五页，共92页。求矩阵求矩阵(j (j zhn)zhn)01.60.601.20.8000000A的奇异的奇异(qy)(qy)值值分解分解解解:MATLAB:MATLAB程序程序(chngx)(chngx)为：为：A=0,-1.6,0.6;0 ,1.2,0.8;0,0,0;0,0,0U,S,V=svd(A)第66页/共92页第六十六页，共92页。计算结果计算结果A = 0 -1.6000 0.6000 0

22、 1.2000 0.8000 0 0 0 0 0 0U = 0.8000 0.6000 0 0 -0.6000 0.8000 0 0 0 0 1.0000 0 0 0 0 1.0000第67页/共92页第六十七页，共92页。S = 2.0000 0 0 0 1.0000 0 0 0 0 0 0 0V = 0 0 1.0000 -1.0000 0.0000 0 0.0000 1.0000 0第68页/共92页第六十八页，共92页。奇异值分解奇异值分解(fnji)(fnji)的的几何意义几何意义 研究研究(ynji)(ynji)将一个空间映射到不同空间，特别是将一个空间映射到不同空间，特别是不同维

23、数的空间时，例如超定或欠定方程组所不同维数的空间时，例如超定或欠定方程组所表示的情况，就需要用矩阵的奇异值来描述算表示的情况，就需要用矩阵的奇异值来描述算子对空间的作用了子对空间的作用了. . 第69页/共92页第六十九页，共92页。 考察二维平面考察二维平面(pngmin)(pngmin)上的单位圆上的单位圆2:1xRx在映射在映射A A下的变换下的变换(binhun)(binhun)过程过程, ,其中其中33133211A MATLAB程序程序(chngx)为：为：A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2); 1sqrt(2),1s

24、qrt(2)U,S,V=svd(A)第70页/共92页第七十页，共92页。第71页/共92页第七十一页，共92页。V是正交矩阵，表示二维空间是正交矩阵，表示二维空间(kngjin)的一个的一个旋转旋转TV1110111012TV1 1(,)2 21 1(,)2 2(1,0)(0,1)第72页/共92页第七十二页，共92页。S11220010100001010000S S 将平面上的圆变换将平面上的圆变换(binhun)到三到三维空间坐标平面上的椭维空间坐标平面上的椭 圆圆12第73页/共92页第七十三页，共92页。V是正交矩阵是正交矩阵(j zhn)，表示二维空间的，表示二维空间的一个旋转一个

25、旋转 S 维维将将 空空平平 间间面面 坐坐上上 标标的的 平平圆圆 面面变变 上上换换 的的到到 椭椭三三 圆圆U是正交矩阵是正交矩阵(j zhn)，表示三维空间的一个旋，表示三维空间的一个旋转转TAUSVTVSU1v2v11u22u第74页/共92页第七十四页，共92页。 当A是方阵时，其奇异值的几何意义是: 若x是 维单位(dnwi)球面上的一点，则 是一个 维椭球面上的点，其中椭球的 个半轴长正好是A的 个奇异值. 简单地说，在2维情况下，A将单位(dnwi)圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴.nAxnnn第75页/共92页第七十五页，共92页。(0)r r m nTA

26、USVAVUS11(,)rrmUuu uu第76页/共92页第七十六页，共92页。1rm nOSOO11(,)rrnVvvvv则第77页/共92页第七十七页，共92页。（4）是的标准正交基.（5）是的标准正交基.rank( )rA1,rnvv1,ruu( )C A1,rmuuT()N A1,rvvT()C A()NA第78页/共92页第七十八页，共92页。T()( )CNAAT()()CNAAdim()dim()CNnAAT()()C与CAA同构第79页/共92页第七十九页，共92页。1.1.奇异奇异(qy)(qy)值分解可以降维值分解可以降维 A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 , 则通过奇异值分解