第六章 广义逆矩阵（课堂PPT）

第六章,广义逆矩阵,1,知识要点,投影矩阵广义逆矩阵相容方程组的最小范数解矛盾方程组的最小二乘解矛盾方程组的最小范数最小二乘解总体最小二乘技术,2,6.1投影矩阵,一、投影算子与投影矩阵设L和M都是Cn的子空间，且LM=Cn于是任意xCn都可唯一分解为x=y+z，yL，zM，称y是x沿着M到L的投影1.定义将任意xCn变为沿着M到L的投影的变换称为沿着M到L的投影算子，记为PL,M，即PL,Mx=y。显然，R(PL,M)=L，N(PL,M)=M投影算子PL,M是一个线性算子。,3,2.定义投影算子PL,M在Cn的基e1,en下的矩阵称为投影矩阵记为PL,M。3.幂等矩阵：A2=A引理设ACnn是幂等矩阵，则N(A)=R(I-A)。证：A2=AA(I-A)=O对任意xR(I-A)即x=(I-A)y，yCn，必有Ax=0。故R(I-A)N(A)dimR(I-A)dimN(A)=n-dimR(A)即rank(I-A)n-rankA。考虑到I=A+(I-A)nrankA+rank(I-A)有rank(I-A)=n-rankA，使得dimR(I-A)=n-dimR(A)=dimN(A)，即得N(A)=R(I-A)。,4,4.定理：P为投影矩阵的充要条件是P为幂等矩阵,证：设P=PL,M为投影矩阵，则对任意xCn有P2L,Mx=PL,M(PL,Mx)=PL,My=y=PL,Mx故P为幂等矩阵。反之，设P为幂等矩阵，则：对任意xCn有x=x-Px+Px=(I-P)x+Px，其中(I-P)xN(P)，PxR(P)，使得Cn=N(P)+R(P)。设zN(P)R(P)，由于N(P)=R(I-P)故存在u，vCn使得z=Pu=P2u=P(I-P)vz=Pu=(I-P)v=0故N(P)R(P)=0。这样Cn=N(P)R(P)，这意味着对任意xCn，Px是x沿着N(P)到R(P)的投影，故而P=PR(P),N(P),5,5.投影矩阵PL,M的构造方法,设dimL=r，则dimM=n-r，在子空间L和M中分别取基底X=(x1,xr)和Y=(y1,yn-r)，于是有PL,MX,Y=X,O。由于(X,Y)为Cn的一个基底，故X,Y可逆，于是得PL,M=X,OX,Y-1例：设L是由向量1,0T张成的子空间，M是由向量1,1T张成的子空间，则可求得平面上沿着M到L的投影矩阵为PL,M=,6,二、正交投影算子与正交投影矩阵,1.定义：设L是Cn的子空间，则称沿着L到L的投影算子PL,L为正交投影算子，简记为PL；正交投影算子在Cn的基e1,en下的矩阵称为正交投影矩阵，记为PL2.定理矩阵P为正交投影矩阵的充要条件是P为幂等Hermite矩阵证：若P=PL是正交投影矩陈,由前述定理知，它是幂等矩阵。把任意xCn分解为x=y+z，yL，zL，则PLx=yL，(I-PL)x=zL使得PLx正交于(I-PL)x，即xHPLH(I-PL)x=0，x的任意性使得PLH(I-PL)=O，即,7,PLH=PLHPLPLH=PLHPL=(PLHPL)H=(PLH)H=PL即PH=P，P为幂等Hermite矩阵。反之，设P为幂等Hermite矩阵，由幂等性知P=PR(P),N(P)，N(P)=R(I-P)对任意Px与(I-P)y，有=xHPH(I-P)y=xHP(I-P)y=xH(P-P2)y=0即得：R(P)N(P)。因此P为正交投影矩阵。,8,3.正交投影矩阵PL的构造方法,设dimL=r，则dimL=n-r。在子空间L和L中分别取基底X=(x1,xr)和Y=(y1,yn-r)满足XHY=Or(n-r)，于是说明：令，则有两边左乘XH得即A=(XHX)-1XH，同理可得B=(YHY)-1YH,9,例：设L是由向量1,2,0T和0,1,1T张成的子空间，则可求得正交投影矩阵为,10,三、正交投影原理及其应用,1.正交投影原理令M是向量空间H的子空间，如果对于H中的向量x，在M中有一向量x，使得x-x正交于M中的所有向量y，即(x-x,y)=0，则|x-x|x-y|对于所有向量yM都成立，并且等号仅当y=x时成立。证：|x-y|2=|x-x+x-y|2=|x-x|2+2(x-x,x-y)+|x-y|2，故(x-x,x-y)=0使得|x-x|2|x-x|2+|x-y|2=|x-y|2并且等号仅当y=x时成立。2.x=PMx为x在M的投影，x-PMx为x在M的投影。3.W-H方程：使用线性滤波d=(h,x)从观测随机向量x估计希望信号d，则由(d-(h,x),x)=0有W-H方程rdx=Rxxh，其中互相关向量rdx=(d,x)=E(d,x)，自相关矩阵Rxx=E(xxT)。,11,四.子空间分析,1.观测空间：观测x=信号s+噪声n，其中s与n不相关，观测矩阵X=信号矩阵S+噪声矩阵N=(x1,xn)，观测空间Span(X)=Spanx1,xn2.信号子空间和噪声子空间解：RX=E(XTX)=RS+RN，其中假设噪声独立同分布使得RN=E(NTN)=n2I和RS=E(STS)秩r使得RS=USSUSTRX=USSUST+n2I=US(S+n2I)UST=UXXUXTUX=US和X=S+n2I,令UX=u1,un，BS=u1,ur，BN=ur+1,un，则称Span(BS)和Span(BN)分别为信号子空间和噪声子空间。3.s1+n2,sr+n2为主特征值，n2为次特征值,12,4.信号子空间投影矩阵PS=BSBST，噪声子空间投影矩阵PN=BNBNT=I-PS=PS为信号子空间正交投影矩阵。5.子空间分析法应用例：现代谱估计的MUSIC算法。设信号向量是r个不相干的复正弦的叠加，即其中A=a(1),a(r)，a(k)=1,exp(j(n-1)T为频率分量向量，s(t)=s1(t),sr(t)T为随机信号向量，具有零均值其协方差阵为RS=E(s(t)s(t)H)，n(t)=n1(t),nn(t)T为零均值方差为n2的独立同分布高斯白噪声。RX=BS(S+n2I)BSH+n2BNBNH=ARSAH+n2IRXBN=n2BN=ARSAHBN+n2BNARSAHBN=OAHBN=O即BNHA=O，也即BNHa()=0，=k,k=1,r,13,于是有基于噪声子空间的功率谱估计P()=1/|BNHa()|2，所有的。其r个峰值给出了r个复正弦频率。由于BNBNT=I-BSBSH，其中RX-n2I=BSSBSH，于是有基于信号子空间的功率谱估计P()=1/(a()H(I-BSBSH)a()。用哪个取决于哪个子空间有较小的维数。,14,6.2广义逆矩阵定义及其性质,定义：设矩阵ACmn，若矩阵XCnm满足如下四个方程AXA=AXAX=X(AX)H=AX(XA)H=XA中的一个或几个，则称为矩阵A的广义逆；若四个方程全部满足，则称为矩阵A的Moore-Penrose逆，记为A+。定理一：矩阵ACmn的广义逆A+存在且唯一。证明：先证存在性。设矩阵A的满秩分解为A=BC，定义,15,A+=CH(CCH)-1(BHB)-1BH则A+满足定义中的四个方程。下面证唯一性。设矩阵X与Y都满足四个方程，则X=XAX=X(AX)H=XXHAH=XXHAHYHAH=X(AX)H(AY)H=X(AXA)Y=XAYY=YAY=(YA)HY=AHYHY=AHXHAHYHY=(XA)H(YA)HY=XAYAY=XAY所以X=Y。(证完)若矩阵A是满秩方阵，则A+=A-1.一般研究满足定义中四个方程中部分或全部构成的广义逆，如满足1，1,2，1,3，1,4，1,2,3,4，分别记为A1，A1,2，A1,3，A1,4，A1,2,3,4，自然A+=A1,2,3,4。A+是最常用的广义逆。一般记：A-=A1。,16,定理二：设矩阵A给定，则A+满足如下性质,rankA+=rankA(A+)+=A(AH)+=(A+)H,(AT)+=(A+)T(AHA)+=A+(AH)+,(AAH)+=(AH)+A+A+=(AHA)+AH=AH(AAH)+R(A+)=R(AH),N(A+)=N(AH)推论：若ACnmn，则A+=(AHA)-1AH若ACmmn，则A+=AH(AAH)-1矩阵A广义逆A+的等价定义:AA+=PR(A),A+A=PR(A+)。即AA+=PR(A),A+A分别为R(A)和R(A+)上的正交矩阵。更有：AA1、A1A、AA2、A2A均为幂等矩阵,17,6.3广义逆矩阵A+的计算方法,满秩分解：设ACrmn，A=BC为满秩分解，即BCrmr，CCrrn，则A+=CH(CCH)-1(BHB)-1BH奇异值分解：设ACrmn，其奇异值分解A=VrUrH，=diag(1,2,r)，则A+=Ur-1VrH特别，若A为实对称矩阵，则有分解式A=UrUrT，=diag(1,2,r)，i为矩阵A的非零特征值，且A+=Ur-1UrT,18,例1：设求A+。解：（方法一）利用满秩分解公式可得,从而A的伪逆矩阵是,19,（方法二）先求A的奇异值分解：,令：,20,21,例2：设求A+。解：（方法一）由满秩分解公式可得于是其伪逆矩阵为,22,（方法二）先求A的奇异值分解：,令：,23,计算A+的迭代法（Greville法）,定理一：设ACrmn，记ak(k=1,2,n)为A的第k列，Ak为A的前k列构成的子矩阵，又记则其中,24,线性模型参数的最小二乘估计,假设线性模型为,其中,已知观测数据,计算a可以看做求解,25,计算a可以看做求解其最小二乘估计的范数最小解为现考虑实时在线估计，记,线性模型参数的最小二乘估计,26,线性模型参数的最小二乘估计,27,算法,线性模型参数的最小二乘估计,28,定理二：设ACrmn，则存在奇异值分解于是证明：由于A的秩为r，因此存在形如(1)式的分解。设GA1，则有AGA=A,广义逆A-的计算,(1),(2),29,即,把矩阵UHGV分块，设代入得即最后得,30,由此得出即于是有这证明了(2)式。,31,定理三：设ACrmn，其奇异值分解为则因此rank(A)=rank(A1,2)。证明：设GA1,2，有定理二知再由条件：GAG=G得,广义逆A1,2的计算,(1),(3),32,即,于是有得再由,即,知rank(A)=rank(G),33,定理四：设ACrmn，其奇异值分解为则证明：设GA1,3，有定理二知再由条件：(AG)H=AG得,广义逆A1,3的计算,(1),(3),34,即,于是有得,35,定理五：设ACrmn，其奇异值分解为则证明：设GA1,4，有定理二知再由条件：(GA)H=GA得,广义逆A1,4的计算,(1),(3),36,即,于是有得,37,设ACrmn，其奇异值分解为则,广义逆的计算,38,6.4广义逆矩阵与方程组的求解,一致方程的公式解一致方程解的结构一致方程的最小范数解非一致方程的最小二乘解非一致方程的最小二乘解的结构非一致方程最小二乘解的范数极小解,39,一致方程的公式解,一致方程：若Ax=b有解，则称Ax=b为一致方程。Ax=b为一致方程当且仅当rank(A)=rank(A,b)。定理一：非齐次方程Ax=b有解的充分必要条件为AA-b=b证明：必要性。设AX=b有解，则A=b。因为AA-A=A，所以b=A=AA-A=AA-b充分性。设AA-b=b，取=A-b，则是AX=b的解。,40,定理二：设非齐次线性方程组Ax=b是一致方程，则它的一般解（通解）为x=A-b证明：由于Ax=b为一致方程，因此由定理一有AA-b=b可知x=A-b是方程Ax=b的解。下面证明Ax=b的解都可以表示成这种形式。设A的奇异值分解为则有令U=U1,U2，V=V1,V2及,41,则有,即,通解,于是有,42,定理三：齐次线性方程组Ax=0的通解为其中z是任意n维列向量。证明：首先容易证明即(In-A-A)z是Ax=0的解。其次证明Ax=0的解具有以上的形式。设是其任意解，则有定理四：一致方程Ax=b的通解为x=A-b+(I-A-A)z,43,一致方程的最小范数解,定理五：一致方程Ax=b的最小范数解为x=A1,4b=A+b证：由定理二的证明知Ax=b的通解为所以最小范数解必然满足C=0，即最小范数解,44,非一致方程的最小二乘解,定义：非一致方程Ax=b的最小二乘解为如下目标函数的极小解定理六：非一致方程Ax=b