矩阵范数详解

1、15向量和矩阵的范数的若干难点导引矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数，是把矩阵A Cmn可以视为一个 mn维的向量（采用所谓“拉直”的变换），所以，直观上可用 Cmn上的向量范数来作为 A Cm n的矩阵范数。比如m n1在 li -范数意义下，| A|1 二二 & | htr（AH A） 2 ；（ 1.1）i= j二1广 m n在12-范数意义下，iia|f=送送|2 ，（ 1.2）vj 二 j 二 丿注意这里为了避免与以后的记号

2、混淆，下标用“F”，这样一个矩阵范数，称为Frobenius范数，或F-范数。可以验证它们都满足向量范数的3个条件。那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起 来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB的“大小”相对于A与B的“大小”关系。定义1设A Cmn，对每一个 A，如果对应着一个实函数 N（A），记为| A|，它满 足以下条件：（1） 非负性：| A|_0 ；（a）正定性：A = 0m n ：二 |A|=0（2）齐次性：|A|=|A|,C ；（3）三角不等式:|A|A B|_|A|B|,-B Cm n则称N（A） =|A|为A的广义矩

3、阵范数。进一步，若对 Cm n,Cn ',Cml上的同类广义矩阵范数| |，有（4）（矩阵相乘的）相容性:|A|AB|_|A|B|， B Cn 1，则称N（A） =| A|为A的矩阵范数。我们现在来验证前面（1.1 ）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）,把较容易的（1.1 ）的验证留给同学们，三角不等式的验证。按列分块，记A = （a,a2, lll,an）, B = （b|,b2,IH,bn）。|A B|F=|gbj,® b2）, ,（anbn）|F=|a1b|2|a2b2|2Hanbn|；2 2兰（|旧1|2 +|b1|2 ） +1l|+（|an

4、|2 +|bn|2）=|a1|2|an|；2 |a,|2|bi|2|an|2|bn|2-|b1|2- |bn|2对上式中第2个括号内的诸项，应用 Cauchy不等式，则有(1.3 )|A + B|F 卸 A|F +2|A|f|B|f +|B|A（|A|F +|B|f）2 于是，两边开方，即得三角不等式。再验证矩阵乘法相容性。m l|AB|；m z ag 巧瓦 IZ 总 |除|i =1 j =i k =ii # j=i2 -m l n一、'""| aiki 4 j 4 k 4I2I bsj|2,s4(这一步用了 Cauchy不等式)lakI2i 4 k 4n l、ss

5、 lb I2 制aiiFiibiiF/ <sj j(1.4 )可见，矩阵相容性满足。这样就完成了对矩阵 F-范数的验证。是不是这样直接将向量范数运用到矩阵范数就可以了吗？ No!运用L-范数于矩阵范数时便出了问题。如果I|A|max | aj |，那么,这样的矩阵范1壬n1 r'2 2、数在下面一个例子上就行不通。设A=,A =| = 2Ao因此，按上述矩阵aJ 1丿<2 2丿-范数的定义，I|A|A1，I|A|A|/1,|A2|d2 ,于是2=|A2|：4|A A|L纠|A|：|A|寸 1但这是矛盾的。所以简单地将I：-范数运用于矩阵范数，是不可行的虽然这仅是一个反例，但

6、是数学的定义是不可以有例外的。由此，我们必须认识到，不能随便套用向量范数的形式来构造矩阵范数。为此,我们仅给出矩阵范数的定义是不够的，还需要研究如何构成具体的矩阵范数的方法。当然，你也可以不去考虑构成方法，一个函数一个函数去试，只要满足条件就行。不过这样做的工作量太大，也很盲目。第二，在实际计算时，往往矩阵与向量出现在同一个计算问题中，所以在考虑构造矩阵范数时，应该使它与向量范数相容。比如要考虑Ax的“大小”，Ax是一个向量，但它由 A与x相乘而得的，它与 A的“大小”和x的“大小”的关系如何？这提出了两类范数相容的概念。定义2对于Cmn上的矩阵范数| «|m和Cm,Cn上的同类向量

7、范数IHIV，如果成立I|Ax|v<|A|m IlxlV, -A Cmn,-x cn( 1.5)则称矩阵范数| *|m与向量范数|V是相容的。1,Z m n人 21例1. 1可以证明|A|f=瓦瓦|aij |2 =(tr(AHA)2是与向量范数IW 相容。2匚丿事实上，在(1。2)中，取B =x Cn 1，那么I|Ax|2 =|AB|/|A|f|B|f=|A|f|x|2.矩阵算子范数现在给出一种构造矩阵范数的一般方法，它可以使构造出的矩阵范数与向量范数相容， 当然，它也满足定义 1规定的4个条件。定义3设Cm,Cn上的同类向量范数为|V , A Cmn，定义在Cm n空间上的矩阵A 的由

8、向量范数| «|V诱导给出的矩阵范数为| A |V = max 11 Ax IV(2.1 )心 IlxlV可以验证，这样定义出的矩阵范数IIAIV满足定义1规定的4个条件，同时又满足矩阵范数与向量范数相容性要求（定义2）。由于有什么样的向量范数|V ,就有什么样的矩阵范数， 所以，这样的矩阵范数称为由向量范数诱导出的，简称诱导范数；又因为（2.1 ）实际上规11 AX|V的最大定了一个函数（或算子），故又称为算子范数。（2.1 ）给定的范数实际是寻求一个最优化问题的最优值，求目标函数l|x|v值，约束条件是x = 0，也就在Cn空间中除原点外的点中，找一个 n维向量x，使1一业 l|

9、x|v 取得最大值。如果直接考虑这样一个优化问题，还是有困难的可以证明，它可以下列等价方式定义，使问题的处理简单。|A|v二 maxx=0|Ax|V|x|v二 max|MV =1|Ax|V|x|Vm卿Ax|V(2.2)事实上，分母上的|x|v是一个正数（X = 0）,那么根据向量范数的齐次性有max 业=max |丄 Ax =max心 |x|v 心 |x|v v 心xA x|vvAxx上面第3个等号成立是因为向量 z为一个单位向量。|x|v下面我们从理论上证明这样的矩阵范数| A|v满足定义1规定的4个条件，同时又满足矩阵范数与向量范数相容性要求。定理2。1由（2.1 ）或（2.2 ）给定的C

10、m n上的矩阵范数满足矩阵范数定义1的4个条件，且与相应的向量范数相容。证明：首先，矩阵范数与向量范数的相容性是不难证明的，事实上，对|x|v =1,|A|v|x|v =| A|v二max|Az|v -| Ax|v ,因此，矩阵范数与向量范数的相容性条件 |zHv T（1.5 ）成立。我们下面来验证（2.1 ）或（2.2 ）满足矩阵范数的4个条件。这4个条件中，前2个也 容易验证，因此这里只来考察第3,4个条件。三角不等式的验证：对于任一 B Cm n| A B| = max|（A B）x| = max| Ax Bx|_max | A| | B|刈#|x|m|X|曰-max | Ax| max

11、 |Bx | A|B |矩阵相乘相容性的验证：由（1.5 ），不难有|ABx|V 闻A|V|Bx|V 闻A|v|B|v|x|V当 x=0时，|ABx|v <|A|v |B|V|x|V| ABx |V所以|AB|v = nmaxV -| A|V| B |v席 |x|v至此，证实了用算子范数确能给出满足矩阵范数定义和矩阵范数与向量范数的相容性 的矩阵范数。推论1对于Cn n上的任一种向量诱导范数，都有| I |=max|lx|F1（2。3）|刈1但是要注意的是，对一般的矩阵范数，对任一向量x. Cn，有l|x|=|lx|凶|l |x| 故有|一1。比如，|A|F不是诱导矩阵范数，所以。三.

12、几个常用的诱导矩阵范数上面的论述表明，诱导矩阵范数与向量范数密切相关，有何种向量范数，就有什么样的诱导矩阵范数。下面就来具体地构造几个常用的诱导矩阵范数。设A cmn。例3. 1设A Cm n，由向量h-范数诱导而来的 最大列和诱导矩阵范数m|A|i = max'Taj |(3.1)证明：按列分块，记 A = (q ,a2,|)l,an)，则由(3.1 )和向量l1-范数的定义可知| A|h 二max |aj |h设 x =(x!，X2，|1，Xn)n Cn，且有 |x|1=1mnm nn/ m|Ax|1=Z为 ajXj红迟|aj |区空区|庄|aj |id：j壬y jyVd：丿n乞

13、max | aj | ' | 为 | =max 幺 |jj djm因此，| A |1 = max | Ax |1 乞 max'： | a” |(+)1|刈1 吕1j j J另一方面，选取k,使得mmx |ajk | = max' |ajj |i dj i =1令 xo 为第 k 的单位向量 e(0jl|0,1,0j|,0)T,那么 Ax。=ak =(a1k,a2k,川,amQTmm|A|1=maxJ| Ax|1| Ax。|1=迟 a| = max 迟 |a0 |(+)|x|1 j 综合(+)与(+)可知，由向量h-范数诱导出的矩阵范数既是|A|1的上界，又是其下界，因此

14、必有(3.1).例3. 2 设A Cm n，矩阵谱范数由J-范数诱导得出的矩阵范数，定义为|A|2 = max ' | '是 A A的特征值 = - ' max(A A) =；” 1(3.2)其中 5为A的最大奇异值，当A Rnn时，| A|2-max(ATA)(3.3)证明：首先由线性代数，AHA是半正定矩阵，事实上，对任一 xCn,有(x, Ah Ax) = xH Ah Ax = (Ax)H (Ax) =|Ax|-0因此，AH A的特征值都为非负实数，记为 1 一，2 IH 'n-0,而且AH A具有n个相互 正交的，匚-范数等于1(即标准化了的)特征向量x

15、，x，IH,x(n),它们分别对应于特征值】- 2 川n -。故这组特征向量构成了一组标准正交基，用它们可表示任一个范数|x|2n(i)x 二' :iX()i 4n而且，由| x |2 =1 可得到=1。i 二nnn这样，AhAx=AhAv 冷x八 j(AH Ax(i)汁公。i 4i 4i 丄由此(n . n.、II Ax|；=(x, AHAx) - ' : iX，二 i7丿(n 、虫1 I ：'1 |22 h 2 f J|l 'n N n f 一、岸j2 “ 仝1，li丄丿也就是|Ax|2<，由x的任意性和算子范数的定义|A|2=max| Ax |2&l

16、t;2 |刈2 土1另一方面，由|x|2 = 1，并且取 1对应的特征向量x，考虑|Ax |2=(x,AH Ax)=(x，X)(X,x)|x |2 所以|A|“maq|Ax|2 却 ax |占人综合(* )和(*)，由12-范数诱导得出的矩阵范数应为| A |2 _ 1 = max二 | 二是 Ah A的特征值 -' max(AH A) 。例3. 3设A Cmn, h：-范数诱导得出的矩阵范数n|A|：=max、6 |1住y证明：设 X =(音，X2,ll|,Xn)T,且 |x|：=1，即 max | Xi 戶1。n1的向量x :(*)(* )(3.4 )1 ：i：m|Ax|h=max

17、瓦 aijxj 兰 max瓦 |aij xj |=max瓦 |aij |xj |j =1i jn兰 maxE (|aj | (max | Xj |)兰 mpx瓦 |a0 |i j 1ji j由算子范数，n| A|Fma3J| Ax|严 mpxV |aj |-jm另一方面，选取k,使得n(*)、& |= max'& |j =1i jif akj 二 0if akj 01,令 y =(yi,y2,IH,yn)T,其中 yj 二三色U aq则H y H ： ： - 口严I yj 1 =1，从而有nAy =送 |akj 1j 二由算子范数(* )nnI|A|：=maXlIAx|

18、I：I Ay|：_' |akj | = max' Ia I。|x|Qj 二| jm综合(* )和(*),便得n“僅:二啊' ® |o-j 二除了上述3种常用的矩阵范数外，Frobenius范数虽然不是算子范数，但也经常所用,在讨论序列收敛等问题上是等价的。(1-2 例3. 4 设A=，求其各种矩阵范数。1-34解：|A|1=最大列和=6 ;| A| ：-最大行和=7 ;| A|F = >12 22324 30 : 5.477 ；| A|2=W15221 5.4650四. 由矩阵范数推出的向量范数矩阵范数可由向量范数诱导，反过来，向量范数有时也可从矩阵范数

19、推出。例4. 1设II «|m是Cn n上的矩阵范数，任取 Cn中的非零向量y，则函数I|x|"|xyH |m，eCn（4。1）是Cn上的向量范数，且矩阵范数ILIIm与向量范数| IV相容。证明：欲证IIxIV是一个向量范数，只须验证它满足向量范数得个条件。非负性：当x=0时，由于y非零，故IIxIV=IIxyH IIM 0,x Cn ；当 x =0 时，xyH =0.场，故 |x|V=I|xyH IIm =0。齐次性：对任一常数 cC，有|cx|V=|cxyH|M =|c|xyH|M =|c|x|V。三角不等式：对任意的x,zCn，有|x z|V=|(x z)yH |M

20、=|xyH xzh|m 引|xyH |M|xzH |m=|x|V |z|m。因此由向量范数的定义知，|x|V是一个向量范数。下面再证两种范数的相容性。如果A三cn n, x三cn，那么|Ax|"|(Ax)yH |m =|A(xyH)|M<|A|M|xyH |m =|A|m|x|V。 可见，矩阵范数|m与向量范数|V相容。五. 范数的若干应用范数的应用很广泛，这里只举 2例。1 矩阵奇异性的条件对于矩阵A Cn n，能否根据其范数的大小，来判别 (I -A)的奇异性？判别一个矩阵的奇 异性，并不方便(比如计算 A的行列式的值是否非零，判断 A的诸列是否线性无关等，均 不大容易)，

21、但矩阵的范数的计算，女口 | A|k，| A|，还是方便的。定理5.1 (Banach引理)设矩阵 A Cn n ,且对矩阵 Cn n上的某种矩阵范数|,有|A|：1,则矩阵(I _A)非奇异,且有_±|(IA) |<|1 |1-|A|(5.1)(I 一 A)非奇异，可通过证明：假设矩阵范数|A|与向量范数|x|相容。欲证矩阵det(l 一 A) = 0。用反证法。假设det(l _A)=0，则齐次线性方程组(I _A)x = 0有非零解x0，即(1 一 A)x0 =0, X。=0于是，两边取范数x0 二千 Ax°。|x0|v =|Ax0|V|A|x0|V<|x

22、0|V其中最后一个不等号是由于|A|：1。但上式是矛盾的，假设 det(l _A)=0不成立，从而矩阵(I _A)非奇异，故有逆。再由 两边取范数， 再移项，有(1 ：A)(I _ A) =1 可得(I ：A)=I 千(I _矿人 得 |(I -A)'|=|I 千(1 A)'A|_|I | |(I -A)1|A|(I A)'|(1-|A|n|l |从而|(I - A)，|" |1T|A|这正是我们要想证明的。在推演分析Ax =b的直接法的误差分析时起重要的作用。请同学们自行证明下面类似的结果。定理5.2设矩阵A Cn n,且对矩阵Cn n上的某种矩阵范数|卜|

23、,有|A|卜：1，则|"衬|心|2 .近似逆矩阵的误差一一逆矩阵的摄动在数值计算中，误差无处不在，考虑由于这些误差存在而带来的后果，是一项重要的课题。设矩阵AwCn>°的元素q带有误差6丙，（i, j =1,2,|",n），则矩阵的真实的值应为 A A，其中二Ca）称为误差矩阵，又叫摄动矩阵。若A为非奇异，其逆阵为AJ。问题是：（A 、； A）J与AJ的近似程度如何呢？或者说, （A与AJ的“距离”大小为多少？下面是回答上述问题的摄动定理。定理5.3 设矩阵 A Cn n非奇异，BCnn，且对Cn n上的某种矩阵范数|，有|AJB|：1，则（1）A B 非奇异；（2）记 F=l-（lAB），那么 |F | |A B11 ；1-IIA B|（3）|A-（A + B）|$ |AB|AA|1-|AB|证明：由于| AdB|p：1，所以| - A，B|：1。由定理5。1，（I AJB）非奇异，故 A B = A（I AB）非奇异。在定理5。2中，将A换成AB，即得（2）。又因为 A-（A B）二（1 -（1 AB）A