矩阵的奇异值分解

1、§2矩阵的奇异值分解定义设A是秩为r的mxn复矩阵，ATA的特征值为1,-2,-r-r-1='n=°则称5="77(i=1,2，n)为A的奇异值.易见，零矩阵的奇异值都是零，矩阵A的奇异值的个数等于A的列数，A的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：(1) A为正规矩阵时，A的奇异值是A的特征值的模；(2) A为半正定的Hermite矩阵时，A的奇异值是A的特征值；(3)若存在酉矩阵UWCm>m,VWC襁，矩阵BWCm沏，使UAV=B,则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值.奇异值分解定理设A是秩为r(r>°

2、)的m"复矩阵，则存在m阶酉矩阵u与n阶酉矩阵v,使得Uhav=01=.00其中工=diag(%,巴,，9),巴(i=1,2，r)为矩阵A的全部非零奇异值.证明设Hermite矩阵aHA的n个特征值按大小排列为1一2一-"''r1='n=°.则存在n阶酉矩阵V,使得HH.112O1少V(AA)V='.=.LOo1九一将V分块为V=(V1V2),其中Vi,V2分别是V的前r列与后nr列.乍2OAV=V1=V1Z,AAV2=O.并改写式为HA则有AHAV1由的第一式可得HH2HV1AAV1=工，或者(AV11)(AV1工)=E'

3、.由的第二式可得(AV2)h(AV2)=O或者AV2=O.令U1=AV1E1则U1HU1=Er,即U1的r个列是两两正交的单位向量.记作U1=(u1，u2,明）,因此可将U1,U2,，扩充成Cm的标准正交基,记增添的向量为ur1,，Um,并构造矩阵U2=（%+，Um）二(U1，U2)=(U1,U2，,ur，%1,um)是m阶酉矩阵，且有U1HU1HU2U1=O于是可得HAVH二U(AV1,AV2)二U1H.U2H(U1JO)=OOi由式可得A=UO'_H_二；1u1V1二称式为矩阵A的奇异值分解.值得注意的是：在奇异值分解中U1,u2,，Ur，UT，um是AAH的特征向量，而V的列向量

4、是AHA的特征向量，并且AA“与八HA的非零特征值完全相同.但矩阵A的奇异值分解不惟一.证明2设Hermite矩P$aHA的n个特征值按大小排列为'1一,'-2一一，rr1='n=0.则存在n阶酉矩阵V,使得iHHV(AA)V=2olOn一将V分块为V=(vi,v2,，vn),它的n个列V1,V2,，Vn是对应于特征值I一n的标准正交的特征向量.为了得到酉矩阵U,首先考察Cm中的向量组Av-Av2,，Avr,由于当i不等于j时有HHHHH(AVi,AVj)=(Avj)(AVi)=VjAAv、=Vj、v、=、Vjv、=0所以向量组Av1,Av2,，Avr是Cm中的正交向量

5、组.IIAvi2扫viHAAvi=Xy、W=产，i所以IIAvi|由二.1ui=Avi,i=1,2r,则得到C中的标准正父向重组ui,u-i把它扩充成为Cm中的标准正交基u1，,ur,ur+,"Lum,令U二(ui,ur,uri,um)则U是m阶酉矩阵.由已知及前面的推导可得AVjSUj,i=1,2：r；AVj=0,i=r+1n；从而AV=A(v1v2;vn=)Av(1,AVr,0,0,，Um)故有AV=UA,HAV例1求矩阵A=1一2的奇异值分解.的特征值为,i=9,2=4,%=0V-(5,2,4),V2(0,2,-1),V33:5、5二一(-2,1,2).3所以V=3,5一510

6、62.5-3=(二U1,二明，0,0)=(U1,U2,于是可得3r(A)=2,X=J。计算U=AV1工°=%；j则A的奇异值分解为300A=U020在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是aHA的r个非零特征值所对应的特征向量，将他们取为矩阵A的左奇异向量，将U从前V1,则V=(v1,v2).酉矩阵U的列向量被称为r列处分块为u=(ui,U2),由分块运算，有HUAV(AV1,AV2)/HU1AV1一H(U2AV1UiHAV21=工O|U2HAV2QO从而AV2=0,AVU.因此，有下列结果(1) V2的列向量组是矩阵A的零空间N(A)=xAx=0的一组标

7、准正交基；(2) U1的列向量组是矩阵A的列空间R(A)=Ax的一组标准正交基；(1)V1的列向量组是矩阵A的零空间N(A)=xAx=0正交补R(AH)的一组标准正交基;(1)U2的列向量组是矩阵A的列空间R(A)=Ax正交补N(AH)的组标准正交基.在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息.更进一步，由于U=(U1,u2um),V=(V1,V2,，vn),可借助于奇异值分解，将A表示为A=(Ui,u2,H二r%V,HH=；：1U1v102U2v2归纳这一结果，有如下定理定理设AWC1A的非零奇异值为。1之。2之2，UI,U2厂Ur是应于奇异值的左奇

8、异向量，VjV2,，vr是应于奇异值的右奇异向量，则A-1U1V1T二2U2V2r-，rUrV:.上式给出的形式被称为矩阵A的奇异值展开式，对一个k<r,略去A的一些小的奇异值对应的项，去矩阵A卜为Ak=c；U1V:二2U2vT-,-；：kukvT.则ak是一个秩为k的mXh矩阵.可以证明，ak是在所有秩为k的mXh矩阵中，从Frobenius范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个m刈阶像素矩阵来储存，存储量mM是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值5,奇异向量Ui,Vi的分量，总计r(m+n+1)

9、个数.取m=n=1000,r=100作一个比较，m>n=1000000,r(m+n+1)=100(1000+1000+1)=200100.取A的奇异值展开式，存储量较A的元素情形减少了80%.另外，可取k<r,用Ak逼近A,能够达到既压缩图像的存储量，又保持图像不失真的目的.由矩阵A的奇异值分解可得A=uvT.uvTuvT1u1V12u2v2rurvr可见，A是矩阵umt,u2V:，UrVT的加权和，其中权系数按递减排列二1二2吟0.显然，权系数大的那些项对矩阵A的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵A,这一点在数字图像处理方面非常有用.矩阵的秩k逼近定义

10、为TTTA-；1u1v102u2v20kukvk1sksr秩r逼近就精确等于a,而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如StevenJ.Leon的线性代数.3矩阵A的奇异值分解与线性变换ta设A是一个秩为r的mxn复矩阵，即AWCmxn,rank(A)=r,则由T=TA(«)=AB可以定义线性变换nmTa：CC.设矩阵A有奇异彳1分解A=U2VH,则将矩阵VWC.的列向量组v1,v2,，vn取作空间Cn的标准正交基；则将

11、矩阵UWC由种的列向量组ui,u2,um取作空间Cm的标准正交基，则在所取的基下，线性变换TA对应的变换矩阵就是2.设o(WCn,“在基v1,v2，vn下坐标向量为x=(x1,x2，xn)T,V=Vx.那么口在线性变换TA下的像P具有形式：hiXi'0H灯rxrT=TA(a)=A0(=(UEV)Vx=U(Ex)=U0其中5,5,，5是A的非零奇异值，所以，口的像P=TaQ)在Cm中基u1,u2,um下的坐标是y=2x=（j1x1二rX,0o）T从中可以看出，当rank(A)=r时，在取定的基下，线性变换TA(«)的作用是将原像坐标中的前r个分量分别乘以A的非零奇异值<11,仃2，°,后(n-r)分量化为零.如果原像坐标满足条件：222X1+x2+xn=1,则像坐标满足条件：（多2（二）212_1.在rank(A)=r=n时，等式成立.因此，有如下定理定理设A=U2VH是m>n实矩阵A的奇异值分解，rank(A)=r,则Rn中的单位圆球面在线性变换Ta下的像集合是:(1)若r=n,则像集合是