第6讲 矩阵分解

1、第6讲 矩阵分解内容：1. 矩阵的三角分解2. 矩阵的满秩分解3. 矩阵的QR分解4. 矩阵的Schur定理5. 矩阵的谱分解和奇异值分解矩阵分解指将一个矩阵写成结构比较简单的或性质比较熟悉的另一些矩阵的乘积它在控制理论和系统分析等领域有广泛应用§1 矩阵的三角分解定义1.1 称A=(aij)nna110= 0a12 a1na22 a2n为上三角矩阵， 0 annB=AT为下三角矩阵特别地，称A（或AT）的对角元素为1的上（下）三角矩阵为单位上（下）三角矩阵三角矩阵是一类特殊的矩阵，具有特殊的性质1.Gauss消元法a111+a122+ +a1nn=b1a+a+ +a=b211222

2、2n12n元线性方程组 ，其矩阵形式 an11+an22+ +annn=bnAx=b，其中：A=(aij)nna11a=21 an1a12a22 an2 a1n a2n，x=, ,T，b=b,b, ,bT 12n12n ann采用按自然顺序选主元素进行消元假定化A为上三角矩阵的过程未用到行和列交换，按自然顺序进行消元，即进行行倍加初等变换，使a11aA=21 an1a12a22 an2 a1na11a12 a1na11a12 a1n0c0c a2n c c222n222n ， ann0c c00 en2nnnna110a12c220, ,n-10称这种其中顺序主子式：1=a110，2=对A的元

3、素进行的消元过程为Gauss消元法2.矩阵的三角分解定义1.2 如果方阵A可分解成一个下三角矩阵L和一个上三角矩阵R的乘积，则称A可作三角分解或LR分解，当L是单位下三角矩阵时，则称此分解为A的杜利特（Doolittle）分解；当R是单位上三角矩阵时，则称此分解为A的克劳特（Crout）分解如果方阵A可分解成A=LDR，其中L是单位下三角矩阵，D是对角矩阵，R是单位上三角矩阵，则称A可作LDR分解定理 1.1 n阶矩阵A有三角分解LR或LDR的充要条件是A的顺序主子式不为零，即r0，（r=1,2, ,n-1）n阶非奇异矩阵A有三角分解LR或LDR的充要条件是A的顺序主子式都不为零，即r0，（r

4、=1,2, ,n）注：矩阵的三角分解（A=LR）不是惟一的，而LDR分解是惟一的a11a设21 an1a12a22 an2 a1n10 0r11l0 a2n1 021= annln1ln2 10r12 r1nr22 r2n，则 0 rnnr1j=a1j,j=1,2, ,n；li1=ai1r11,i=2,3, ,n；rkj=akj-lmkrmj,k=2,3, ,n;j=k,k+1, ,n；m=1k-1lik=(akj-limrmk)kk,k=2,3, ,n-1;i=k+1, ,nm=1k-1定理1.2 设ACnn是Hermite正定矩阵，A=(aij)nn，则存在下三角矩阵G=(gij)nn，使

5、A=GGH，如果G具有正对角元素的下三角矩阵，则此分解是惟一的其中，i-1aii-gikik,i=1,2, ,nk=1j-1gij=(aij-gikgjk)gjj,i>jk=10,i<j称A=GGH为A的乔累斯基（Cholesky）分解(平方根分解、对称三角分解)5-20，-23-1例1.2 已知矩阵A=求A的Cholesky分解.0-11解：可求得05-20=-A=-23-1-50-110500600-2- 060§2 矩阵的满秩分解将矩阵分解为一个列满秩矩阵与一个行满秩矩阵的乘积，在讨论广义逆矩阵的问题中是非常重要的定义2.1 设ACmn，若A的秩r=m,则称矩阵A行

6、满秩; 若A的秩r=n,则称矩阵A 列满秩.若矩阵ACr,存在矩阵mnFCrmr及GCrrn，有A=FG，则称A=FG为A的一个满秩分解(或最大秩分解).定理2.1 任一矩阵ACrmn,存在矩阵FCrmr及GCrrn，使得A=FG证明: 设rank(A)=r,则存在m阶可逆矩阵P和n阶可逆矩阵Q使得PAQ=-1Er00E (E0)rn,有 = 0mn0mrE-1A=P 0(E0)rnQ, mr记F=P-1 E-1,则得A=FG. ()G=E0Qrn0mr显然，满秩分解是不唯一的.定义2.2 设BCrmn，r1，且满足：1）B的前r行中每一行至少含一个非零元素（称为非零行），且第一个非零元素为1

7、，而后(m-r)行的元素全为零（称为零行）；2） 若B中第i行的第一个非零元素（即1）在第ji列(i=1,2, ,r)，则j1<j2< <jr; 3）矩阵B的第j1列，第j2列，,第jr列合起来恰为m阶单位方阵Em的前r列，称B为Hermite标准形（行阶梯标准形）.显然，ACrmn可由初等行变换将其化为Hermite标准形，且使B前r行线性无关定理 2.2 设ACrmn的Hermite标准形为B，那么在A的满秩分解式中，F为A的第j1,j2, ,jr列构成的mr矩阵，G为B的前r行构成的rn矩阵例1230，求其满秩分解 021-12.1 设A=102110211212300

8、11-1=B，于是 F=02解： A=021-1221010210000，121021102102A=FG=G=容易验证：012-2 011-11022可以将Hermite标准形进行推广，从而得到同一矩阵的不同满秩分解例1230，求其满秩分解 021-12.2 设A=102112301230021-1=B021-1解: A= ， 于是 102100001001 F=1-11230，G=01即A的满秩分解为A=FG=021-11-1§3 矩阵的QR分解以初等变换为工具的LR分解方法并不能消除病态线性方程组不稳定问题20世纪60年代以后，人们以正交(酉)变换为工

9、具，给出了QR分解方法1.QR分解定义3.1 如果实(复)矩阵A能化成正交(酉)矩阵Q与实(复)上三角矩阵R的乘积，即A=QR，则称A=QR是A的QR分解2.定理定理3.1 任何实的非奇异n阶矩阵A可以分解成正交矩阵Q和上三角矩阵R乘积，即A=QR，且除去相差一个对角元素的绝对值（模）全为1的对角因子外，上述分解唯一证明 设非奇异n阶矩阵A=a1,a2, ,an，其中a1,a2, ,an依次为A的各列向量，对a1,a2, ,an正交化可得b1=a1b2=a2-k21b1(ai,bj),(j<i) ， b=a-kb-kb，其中k=33311322ijbj,bj bn=an-kn1b1-kn

10、2b2- -knn-1bn-11k2101矩阵表示为A=b1,b2, ,bnC,其中C=00 00k31 kn1k32 kn21 kn30 1对b1,b2, ,bn单位化可得qi=bib1b1,b2, ,bn=q1,q2, ,qnb2i,i=1,2, ,n，且(qi,qj)=ij，有， bn2C=QR n1即 A=b1,b2, ,bnC=q1,q2, ,qn其中，Q是正交矩阵,R是上三角矩阵.唯一性（反证法）.设A=QR=Q1R1，则得Q=Q1R1R-1=Q1D，式中D=R1R-1为上三角矩阵,于是E=QTQ=DTD,表明D不仅为正交矩阵,而且还是对角元素绝对值（模）全为1的对角阵,从而R1=

11、DR,Q1=QD-1定理3.2 设A是mn的实（复）矩阵，且其n个列线性无关，则A具有分解A=QR其中Q是mn阶实（复）矩阵，且满QTQ=E(QHQ=E)，R是n阶实（复）非奇异三角矩阵除了相差一个对角元素的绝对值（模）全为1的对角阵因子外，上述分解唯一.§4 矩阵的Schur定理定义4.1 设A,BRnn(Cnn)，如果存在n阶正交（酉）矩阵U，使得UTAU=U-1AU=B，（UHAU=U-1AU=B），则称A正交（酉）相似于B定理4.1（Schur定理） 任何一个n阶复矩阵都酉相似于一个上三角矩阵即存在一个n阶酉矩阵U和一个n阶上三角矩阵R，使得UHAU=R其中R的对角元是A的特

12、征值，它们可以按照要求的次序排列定义4.2 设ACnn,如果AAH=AHA，则称A为正规矩阵 显然，对角矩阵，Hermite矩阵，反Hermite矩阵，正交（酉）矩阵都是正规矩阵定理4.2 n阶矩阵A酉相似于对角矩阵的充分必要条件是A为正规矩阵证明 先证必要性设A酉相似于对角矩阵，即存在酉矩阵U，使A=UUH，则AHA=UHUHUUH=UHUH=UHUH=UUHUHUH=AAH 即A为正规矩阵再证充分性由Schur定理知，存在酉矩阵U，使得r110HA=URU，其中R是上三角矩阵，记R=00r12r220 0r13 r1nr23 r2nr33 r3n因 0 rnn为AHA=AAH，所以RHR=

13、RRH比较111213 1n02223 2n0 333n0r110000 nn0r12r220 0r13 r1nr110r23 r2nr33 r3n=0 0 rnn0r12r220 0r13 r1n11r23 r2n12r33 r3n13 0 rnn1n02223 2n0 333n000 nn两边的对角元素，即得R=diag(r11,r22, ,rnn)，即A=UUH推论4.1 若A为n阶Hermite矩阵，则A必酉相似于实对角矩阵，即存在n阶酉矩阵U，使得UHAU=，=diag(1,2, ,n)，i是A的特征值§5 矩阵的谱分解和奇异值分解矩阵的谱分解和奇异值分解不仅是矩阵计算和矩

14、阵理论的最基本和最重要的工具之一，而且在控制理论，优化问题，系统辨别和信号处理及其广义逆矩阵等方面都有直接的应用1. Hermite矩阵的谱分解定义5.1 设A为Hermite矩阵，U是酉矩阵，将U写成列向量形式，即U=(u1,u2, ,un)，则称A=UU的谱分解定理5.1 设A为Hermite矩阵，则存在酉矩阵U，使UHAU=diag(1,2, ,n)，H=iuiuiHi=1n为Hermite矩阵将U写成列向量形式，即U=(u1,u2, ,un)，则A=UU2. 非奇异矩阵的奇异值分解H=iuiuiHi=1n引理5.1 设ACmn，则rank(AHA)=rank(AAH)=rank(A)

15、证明： 如果xCn是齐次方程组Ax=0的解，则它显然是齐次方程组AHAx=0的解；反过来，如果xCn是齐次方程组AHAx=0的解，则xHAHAx=0，即(Ax)H(Ax)=0，所以Ax=0，即xCn是齐次方程组Ax=0的解因此，方程组 Ax=0与 AHAx=0同解，从而rank(AHA)=rank(A)同理，可证rank(AAH)=rank(A)从而证明了结论 引理5.2 设ACmn，则 1）AHA与AAH的特征值均为非负实数； 2）AHA与AAH的非零特征值相同，且非零特征值的个数等于rank(A)证明：1）设为AHA的任一特征值，x为对应的特征向量，则有x0，使(AHA)x=x，且有(Ax

16、,Ax)=(Ax)H(Ax)=xH(AHAx)=(x,AHAx)=(x,x)=(x,x)0 因 (x,x)>0，所以 0同理，可证AAH的特征值均为非负实数显然，Hermite矩阵的特征值是非负实数2）显然，AHACnn,AAHCmm设mn，AAH和AHA的特征多项式分别记为fAA()和fAA()，因 HHEm0A-EmAHEnAEm-En0AAAH-Em=-EnAHA-Em=HEnA0， -En0-EmAH， AHA-EnHH则有 mEn-AHA=nEm-AAH，即fAA()=(m-n)fAA()，所以AHA与AAH的非零特征值相同，且非零特征值的个数等于rank(AHA)结合引理5.

17、1即得结论定义5.2 设ACrmn,AHA的特征值12 r>r+1= =n=0, 则称i=i(i=1,2, ,n)为A的奇异值,并称i,(i=1,2, ,r)为A的正奇异值，其中r=rank(A)定义5.3 设A为n阶非奇异矩阵，U及V为n阶酉矩阵，称A=iuiviHi=1n为A的奇异值分解，其中，U=(u1,u2, ,un)，V=(v1,v2, ,vn)定理5.2 设A为n阶非奇异矩阵，则存在n阶酉矩阵U及Vn，使得UHAV=diag(1,2, ,n)，i>0，i=1,2, ,n即A=iuiviHi=1证明: 因AHA为n阶非奇异矩阵，而且是Hermite矩阵，正定矩阵，故存在n

18、阶酉矩阵V，使VH(AHA)V=diag(12,22, ,n2), i2为AHA的特征值令=diag(1,2, ,n)，UH=-1VHAH，则U=AV-1，UHU=En，UHAV=3. 一般矩阵的奇异值分解定理5.3 设ACrmn，则存在m阶酉矩阵U及n阶酉矩阵V，使UHi=1,2, ,r即A=iuiviH i>0，AV=diag(1,2, r,0, ,0)，i=1r证明： 因rank(AHA)=rank(AAH)=rank(A)，故AHACrnn，AHA是Hermite矩阵，且是半正定的，故存在n阶酉矩阵V，使得2VH(AHA)V=diag(12,2, ,r2,0, ,0)，i2为AHA的特征值令:=diag(1,2, ,r)，V=V12，V1C