工程矩阵理论

1、第 页共55页双语国际教育版系统分析的数学工具工程矩阵理论适用于数学专业和其它理工科研究生）倪郁东编著合肥工业大学数学学院第 页共55页目录第一章线性空间与线性变换1TOC o 1-5 h z HYPERLINK l bookmark8 1.1线性空间1 HYPERLINK l bookmark25 1.2线性变换及其矩阵31.3内积空间81.4正交变换及其几何与代数特征 HYPERLINK l bookmark53 1.5应用于小波变换的框架理论15第二章矩阵的标准形理论 HYPERLINK l bookmark83 2.1线性变换的特征值和特征向量29 HYPERLINK l bookma

2、rk95 2.2矩阵的相似对角化32 HYPERLINK l bookmark123 2.3特征矩阵的Smith标准形34 HYPERLINK l bookmark179 2.4矩阵的Jordan标准形342.5矩阵的最小多项式第三章矩阵分解293.1Gauss消去法与矩阵三角分解293.2矩阵的QR分解323.3矩阵的满秩分解343.4矩阵的奇异值分解343.5矩阵分解的应用 HYPERLINK l bookmark213 第四章矩阵范数理论及其应用164.1范数与赋范线性空间 HYPERLINK l bookmark215 4.2向量范数及其性质17 HYPERLINK l bookmar

3、k237 4.3矩阵的范数18 HYPERLINK l bookmark275 4.4范数的应用19 HYPERLINK l bookmark293 第五章矩阵分析及其应用20 HYPERLINK l bookmark295 5.1矩阵序列20 HYPERLINK l bookmark315 5.2矩阵级数21 HYPERLINK l bookmark333 5.3矩阵函数22 HYPERLINK l bookmark339 5.4矩阵的微分和积分255.5矩阵函数的一些应用265.6梯度分析和最优化27第六章特征值估计及极性386.1特征值的估计386.2广义特征值问题406.3对称矩阵特征

4、值的极性416.4广义特征值分析的应用42第七章广义逆矩阵437.1投影矩阵437.2广义逆矩阵467.3总体最小二乘方法49第八章Matlab中的矩阵运算简介508.1基本矩阵运算508.2矩阵分解528.3广义逆矩阵和解线性系统54参考文献57编著者说明1、体例格式为：知识要点，章节内容，各章习题。2、章节内容包括：定义，结论，例题，定理，推论，注记。其中，定理和例题均有证明或解答，而结论和推论则不加详述。前言矩阵的概念和理论已被广泛地应用于现代科技的各个领域，有力地推动着现代科学技术的发展。矩阵的思想方法，被广大的科技工作者所掌握和应用(矩阵切换器，线性控制理论)，尤其是计算机科学家和控

5、制科学家爱不释手的重要工具。矩阵的概念脱胎于行列式的形式，是作为表达线性方程组的简单记法而产生的，但其发展的历史却耐人寻味。为了求解线性方程组，1693年莱布尼茨首次使用行列式概念，1750年克拉姆(Gramer)法则创立，1820年高斯(Gauss)提出消元法(这是一种基本而又重要的方法，广泛用于线性方程组的求解，更重要的是由此凝炼出了矩阵初等变换的基本方法)，但矩阵的概念一直没有形成。虽然，1801年高斯已把一个线性变换的全部系数视作一个整体，而爱森斯坦因(Eisenstein)在1844年就讨论了线性变换及其乘积，并强调了乘法次序的重要性。直到1851年，西尔维斯特(Sylverster

6、)首先提出使用二维数表的符号表示线性方程组，才引入了矩阵的概念。将矩阵作为一个独立的数学对象进行的研究，开始于1855年以及其后凯莱(Cayley)发表的一系列研究矩阵理论的文章。在这些文献中，他引进了关于矩阵的一些直至现代仍通用的定义，如矩阵相等、零矩阵、单位矩阵、矩阵的和、一个数与一个矩阵的数量积、矩阵的乘积(并且注意到：矩阵的乘法是可结合的，但一般不可交换，且mxn矩阵只能用nxm矩阵去右乘)、矩阵的逆、转置矩阵、对称矩阵等，并借助于行列式定义了方阵的特征方程和特征根。1858年凯莱发表了关于矩阵理论的研究报告，证明了一个重要结果：任何方阵都满足它的特征方程。这个结果现被称为凯莱哈密顿定

7、理。由于正是由于这些奠基性的工作，凯莱被认为是矩阵理论的创始人。当然，在矩阵理论之中，也积淀了其它众多科学家的卓越贡献。埃米特(Hermite)证明了别的数学家发现的一些矩阵类的特征根的特殊性质，如现在称为埃米特矩阵的特征根性质等。后来，克莱伯施(Clebsch)、布克海姆(Buchheim)等证明了对称矩阵的特征根性质。泰伯(Taber)引入矩阵的迹的概念并给出了一些有关的结论。在矩阵论的发展史上，弗罗伯纽斯(Frobenius)的贡献是不可磨灭的。他讨论了最小多项式问题，引进了矩阵的秩、不变因子和初等因子、正交矩阵、矩阵的相似变换、合同矩阵等概念，以合乎逻辑的形式整理了不变因子和初等因子的

8、理论，并讨论了正交矩阵与合同矩阵的一些重要性质。1870年，约当(Jordan)研究了矩阵化为标准形的问题，建立了著名的约当标准型理论。1892年，梅茨勒(Metzler)引进了矩阵的超越函数概念并将其写成矩阵的幂级数的形式。傅立叶、西尔和庞加莱的著作中还讨论了无限阶矩阵问题，这主要是适用方程发展的需要而开始的。到19世纪末，矩阵理论已日臻完善，但其应用并不十分广泛，这主要归因于大规模线性方程组求解问题的计算复杂度太大，难以手工进行下去。进入20世纪之后，当人们渐渐以为有限维度的矩阵理论和方法已经终结的时候，计算机技术出现了，这使得矩阵理论获得新生。矩阵本身所具有的性质依赖于元素的性质即相互关

9、系，矩阵由最初作为一种工具经过一个多世纪的发展，现在已成为独立的一门数学分支矩阵理论。而矩阵理论又可分为矩阵方程论、矩阵分解论和广义逆矩阵论等矩阵的现代理论。矩阵及其理论的应用是多方面的，不仅在数学领域里，而且在力学、物理、科技等方面都十分广泛的应用。这些应用主要集中于线性问题表示、计算与分析，以及非线性问题的线性分析与处理。矩阵理论发展示意图第9页共55页第 页共55页第一章线性空间与线性变换知识要点：1、线性空间的概念（数域、线性运算封闭性、线性运算公理），结构（线性无关、基、维数，向量在基下的线性表示和坐标），过渡矩阵和向量的坐标变换（可按形式矩阵乘法直接表示）。2、线性空间同构的概念（

10、可自学）。3、线性子空间的概念（定义与充要条件，生成子空间，交空间，和空间，维数定理，直和与直和分解定理）。4、线性变换及其矩阵表示（定义与运算，象空间、核空间和不变子空间，线性变换在基下的表示:变换与矩阵一一对应、不同基下矩阵相似，线性变换下向量的坐标：变换矩阵左乘向量坐标）。5、欧氏空间与酉空间（内积、范数与距离，正交基、正交阵与酉阵，正交补与正交分解）6、正交变换及其特征（正交变换及其线性性，正交变换的几何特征，正交变换的矩阵特征）。7、应用于小波变换的框架理论（对偶框架，紧框架，Riesz基）。1.1线性空间一、线性空间的概念定义1：设非空集合V相对于数域P具有封闭的加法和数乘运算，并

11、且具有与任何元素之和仍为该元素的零元素，同时每个元素均具有与其之和为零元素的负元素。若V中运算满足加法结合律与交换律、数乘结合律与分配律、乘1不变性，则称V为数域P上的线性空间。注1：数域是指对加减乘除四则运算封闭的数集，如有理数集、实数集、复数集等。注2：易证零元素和负元素均是唯一的。例1：数域P上的n维（列）向量空间Pn。按n维向量的线性运算，Pn构成数域P上的线性空间。例2：Pn中的子集S=（x|Ax=o。mxn按Pn中的线性运算，非空子集S是封闭的，从而构成数域P上的线性空间。例3：数域P上的mXn阶矩阵空间Pmxn。按mXn阶矩阵的线性运算，Pmxn构成数域P上的线性空间。例4：数域

12、P上的多项式空间Px。按多项式的线性运算，Px构成数域P上的线性空间。例5：区间a,b上的实值连续函数空间Ca,b。按函数的线性运算，Ca,b构成数域P上的线性空间。例6：Pn例7：二、线性空间的结构定义2：设a,a,a为数域P上的线性空间V中的一组向量，若有P中不全为零的一2r组数k,k,k，使得ka+ka+ka=0，则称a,a,a线性相关，否则称12r1122rr12r为线性无关。定义3：设线性空间V中有一组向量a,a,a，满足：12ra,a,a线性无关；12rV中任一向量均可由a,a,a线性表示。12r则称a,a,a为V的一组基，数丫称为V的维数，记为dimV。12r1组数k,k,12结

13、论1：设a.,a,a为数域P上线性空间V的一组基，则对于任何向量卩eV，存在唯2nnn,k.eP，使得P=ka+ka+ka，从而n1122V=ka+ka+ka112片,k2，ke2将卩记为叫a2,称为卩在基ai，a2，a下的坐标。注：线性空间的基可以理解为空间中的一种参照系，能将所有元素线性表示出来。例6：(1,0,0)T,(0,1,0)T,(0,0,1)T为Pn中的一组基，dimPn=n；r10.0、r0丄.0、r000、000000000,为Prnxn中的一组基，、000丿000丿001JmxnmxnmxndimPmxn=mn；x,x2,xn-1为Px中的一组基，dimPx=n；nn1,x

14、,xn-1,中任意有限个向量均为Ca,b中线性无关的向量组，因而Ca,b不是有限维空.间。.注：有限维空间的基不是唯一的，但其维数是唯一确定的。三、过渡矩阵和向量的坐标变换定义4设a,a,a和ppp为线性空间V中的两组基，若12n12n.P=pa+pa+pa1111212n1n第 页共55页P=pa+pa+pa2121222n2nP=pa+pa+pan1n12n2nnn则矩阵P=(p)称为从a,a,a到卩,卩,卩.的过渡矩阵。ijn12n12n将上述基变换表达式简记为(P,P,P)q(a,a,a)P，称之为基变换公式。12n12n定理1：线性空间基之间的过渡矩阵是可逆的。.证明：设从基a,a,

15、a到基P,P,P的过渡矩阵为P，贝q(P1，P2,对于任何列向量W，k2,2n,p)=(a,a,n12(k、1k2,a)P。n由此可得(k)1k2=0时,(P1,P2,12,P)n(k、1k2=(a,a,a)P12n(k、1k2Ik丿nIk丿n=0。=0，从而过渡矩阵P是可逆的。Ik丿n推论：设P为a,a,2,a到P,P,2,卩的过渡矩阵,n则卩J卩2，,Pn到a，a，a的1过渡矩阵为P-1。证明：设P,P,12(p,p，,p)=(a12n可得(p,P,p.)=(a,a,a)P=(p,p,p)QP，从而QP二E，即Q=Pt。12n12n12n这说明P,P，P到a,a，,a的过渡矩阵为P-1。n

16、112n定理2：,Pn,an的过渡矩阵为Q,a,a)P，(a,a,12n12则由,a)=(P,p,12,P)Qn设向量a在基a2,，an和卩1,P-，卩下的坐标分别为2n仏、5、11p2和2屮丿,P为na,a,12,a到P,P,P的过渡矩阵，n12n1九21证明：由(a,a,a)=(P,P,P)212n12nn及(即卩2,解：考察ka+ka+ka=0，即k+kx+kx2三0对任何数x成立，则由多项式理论12233123可知k=k=k=0。因而a,a,a是线性无关的，并构成Px的一组基。1231233由卩=1=a,P=x1=-a+a,卩=(x1)2=a2a+a及1r-10100121-2可逆知，

17、卩-，卩P_也构成Px3的一组基,1丿12323并且a,a,a到卩,卩,卩1231231九2=P12或12=P-11九2d丿nnnn11111.24)得，(a,a,a)九2二(a,a,a)P2，从而2=P2或=P-1.212n12nnnnnnn注：上述公式称为向量在不同基下的坐标变换公式。例9：验证a=1，a=x,a=x2和卩=1,卩=x一1,卩=(x-1)2均为Px中的基，并1231233求前一组基到后一组基的过渡矩阵，以及P=1-2x-3x2在后一组基下的坐标。的过渡矩阵为P。-現可得,由p=1-2x-3x2=-4-8(x-1)-3(x-1)2=-4P-8P12厂-4、下的坐标为-8。,a

18、=(i,-i,3,7,0=(i,2,i,0,0=(-i,i,i,i，i2i2V=Span(a,a，V=Span0,0，求Vp|V、V+V及它们的一组基。ii22i2i2rk)k2lil!丿解之得，(k,k,l,l)T=k(-3,i,-i,4)T，从而a=k(5,2,3,4)t，kgR。i2i2222由此可得，匕P|V2=(5,2,3,4)T|ker，(-5,2,3,4)t为其一组基。任取aeV+V，则a=ka+ka+l0+1i2ii22ii22i2i2i由R(a,a,0)=R(a,a,0,0)=3可知，a,a,0为V+V的一组基。i2ii2i2i2ii2维数定理：dim(V)+dim(V)=d

19、im(V+Vi2i2证明：设dim(V)=m,dim(V)=n,dim(VQV)并将其分别扩展为V和V的基：a,a,a,a,a，a,a,i2i2ll+imi2考察ka+ka+k0+.k0=.0，iimmm+iim+n-ln-l解：任取応Vf匕，则a=kiai+怡=li卩i+l2卩丄，即（a,a，一卩，一卩）1212=0。0，因此V+V=Spana,a,0,0。2)+dim(VV)。=l，取V.V的一组基a11121,a,卩l1,a,2,卩。n-l第 页共55页TOC o 1-5 h z由kQ+ku=（kP+kP）可知，右端属于Vp|V可由J,J,J11mmm+11m+nlnl1212l线性表示

20、，即有-（kp+kp）=+J，整理后得到m+11m+nlnl11ll九J+.+九J+kP+k.P0。11llm+11m+nlnl由J,J,p,p的线性无关性可得，九九kk0，从而1l1nl1lm+1m+nlTOC o 1-5 h zkJ+kJ0.。11mm0，从而向量组再由J,J的线性无关性可得，k=k=k=k=1m1mm+1m+nlnlJ,J,J,p,p线性无关，并构成V+V的一组基。由此可得，1lm1nl12dim（V.+V）n+ml，并且dim（V）+dim（V）dim（V+V）+dim（VnV）。1212121112定义6：设V、V为V的子空间，若V+V中每个向量J的分解式JJ+J是唯

21、一的，121212则称V+V为V与V的直和，记为VV。121212直和判别定理：V+VVVoVrVoodim（V）+dim（V）dim（V+V）。1212r121212证明：若V+V是直和，假设存在JeVV,JH0，则JGV,JGV，并且J+（J）=o，12111212由零向量分解式的唯一性可得，J0,这与假设矛盾，因此而Vp|Vo若VnV，假设V+v中向量j的分解式不唯一，即存在j,pev,j,pev，111212111222JHP,JHP，使得JJ+pJ+p。由此可得，JJppGVnV，从11221122121212而JJ=卩卩=0，即J=卩，J=卩，这与假设矛盾，因此V+V是直和。121

22、2112212注1：V+V为直和的充要条件为某一向量（包括0）的分解式唯一。（设分解式JJ+J1212是唯一的，则对于0的分解式0P+P，JJ+0（J+P）+（J+P），由此可得，121122P0,P0，因此0的分解式唯一）12注2：V、V的基合并在一起构成V+V的充分必要条件是V+V为直和。121212直和分解定理：设V为V的子空间，则存在V的子空间V，使得VVV。1212证明：取V的一组基J,J,J，将其扩展为V的一组基J,J,J,J,J。令TOC o 1-5 h z112l12ll+1mVspanJ,J，则Vp|V0，因此V为V和V的直和。l+1m111212注1：若J,J,J为V的一组

23、基，则VSpanJ笑SpanJ笑SpanJ，12n12n但SpanJUSpan.jSpanJ远充不满线性空间V。注2：直和分解的意义还在于将大规模的线性运算分解成较小规模线性运算的线性组合，这将大大加快线性运算的速度，傅立叶（Fourier）变换的快速计算就是建立在这种思想上的。1.2线性变换及其矩阵一、线性变换及其运算(定义与运算、构成线性空间)线性变换是线性运算和运算具有线性性的共性化的概念，其本质是像的线性运算与原像的线性运算可以互相转换。如n维向量的线性变换、函数的微分和积分运算均为线性变换。定义1：设T是数域P上线性空间V到V(或另一线性空间)中的映射，若对任何a,beV,九wP，总

24、成立着T(a+b)二Ta+Tb,T(九a)二九(Ta),则称T是V上线性变换。例1：对于结论1：线性变换的加、减、乘、数乘和逆运算仍为线性变换，按线性运算构成线性空间L(V)。注：线性变换的研究与其他许多数学对象一样，常常是从运算性质、特殊区域上的表现、运算表达式等方面着手的。二、象空间、核空间和不变子空间定义2：T(V)=TxxeV,Ker(T)=x|Tx=0,xeVo定理1：dimT(V)+dimKer(T)二dim(V)。证明：取Ker(T)的一组基a,a,a，并将其扩张为V的一组基a,a,a,a,TOC o 1-5 h z12l1ll+1n则对于任何aeV,a=ka+ka+la,总有T

25、a=kTa.+kTa.,从11llnnl+1l+1nn而T(V)=Sapn(Ta,Ta。l+1n对于九Ta+.入Ta=0,由T(九a+九a)=0可知,l+1l+1nnl+1l+1nn九a+九aeKer(T),从而可由a,a，,a线性表示，即l+1l+1nn12l九a+.+九a=pa+pa+pa,再.由a,a,a,a的线性无关l+1l+1nn1122ll1ll+1n性可知，九=九=0,从而Ta，,Ta线性无关。由此可知，Ta,Ta构成l+1nl+1nl+1nT(V)的一组基，因此dimT(V)=n-1，.从而dimT(V)+dimKer(T)=dim(V).。定义3：若T(W)uW，则称W为T的

26、不变子空间。注：不变子空间是线性变换的属性在定义空间上的反映，不变子空间中线性变换的性质独立于其它范围中的性质，因此寻找合适的不变子空间是性质分析的重要的内容。由特征向量生成的子空间就是一个不变子空间，特征向量的方向就是线性变换的信号增益通道。结论2：T(V)，Ker(T)均为T的不变子空间。三、线性变换在基下的矩阵表示定义4：设T为线性空间V上的线性变换，若V的一组基e,e,e在T下的像为12nTe=ae+ae+ae1111212n1n则称A=(aj)neE为T在ei,e2,e下的矩阵表示，nTe=ae+ae+ae2121222n2nTe=ae+ae+aenIn12nnn并将上述表达式记为T

27、(e,e,e)=(Te,Te,Te)=(e,e,e)A。12n12n12n注：A不一定可逆，但A可逆时Te,Te,Te也构成一组基。12n结论3：L(V)与Pnxn同构。即L(V)中线性变换与Pnxn中矩阵对应，并且保持对应的线性变换。注：这说明除具体形式和符号不同以外，从线性运算的角度看，两者没什么区别。即同一个本质，具有两个不同的表现形式。定理2：设a,a,a和BBB为线性空间V中过渡矩阵为P的两组基，线性变换TOC o 1-5 h z12n12nT在这两组基下的表示分别为A,B，则B=P-1AP，即A,B相似。证明：由T(a,a,a)=(a,a,a)A，T(B,B,B)=(B,B,B)B

28、，12n12n12n12n(B,B,B)=(a,a,a)P可得，(a,a,a)=,B,B)P-i，12n12n12n12n(B,B，,B)B=T(B,B，,B)=T(a,a,a)P12n12n12n=(a,a,a)ap=(B,Bv,B)p-iap12n12n从而B=P-1AP。注：定理的意义还在于，可将矩阵的相似化理解为线性变换在不同基(或参照系)下的转换。例2：设线性空间V为由基函数x=eatcosbt,x=eatsinbt,x=teatcosbt,x=teatsinbt生1234成的实数域上的线性空间，令y=eatcosb(t-1),y=eatsinb(t-1),y=teatcosb(t-

29、1),y=teatsinb(t-1)。1234(1)证明：y,y,y,y也为v的一组基；(2)求y,y,y,y到x,x,x,x的过渡矩阵;123412341234(3)求微分算子d在基x,x,x,x下的矩阵。1234解：y=eatcosb(t一1)=eatcosbt-cosb+sinbt-sinb=x-cosb+x-sinb，112y=eatsinb(t1)=eatsinbt-cosb一cosbt-sinb=-x-sinb+x-cosb，212y=teatcosb(t-1)=teatcosbt-cosb+sinbt-sinb=x-cosb+x-sinb，34y=teatsinb(t-1)=te

30、atsinbt-cosb-cosbt-sinb=-x-sinb+x-cosb。34cosb-sinb00厂cosb-sinb00、sinbcosb00sinbcosb00由-1丰0可知，可逆00cosb-sinb00cosb-sinb00sinbcosb00sinbcosb丿y,y,y,y线性无关从而构成V的一组基。1234厂cosb-sinb00、-1厂cosbsinb00、sinbcosb00-sinbcosb00=为y,y,y,y到00cosb-sinb00cosbsinb123400sinbcosb/0，当且仅当x=0时等号成立，|ux|=|x|,aeP，|x+y|x|+|y|，即|x

31、|构成V上的一个范数，称为内积诱导的范数，V构成赋范线性空间。注：若定义d(x,y)=|x-y，则d(x,y)具有正定性、对称性并满足三点不等式，从而d(x,y)构成V上的一个距离，称为内积诱导的距离，V构成一个距离空间。Schwarz不等式：|x,y|o可得，y,yy,yx,x-x，y：y0，从而|(x,y2x,xy,y，y,y并且等号成立当且仅当y,yx-x,yy二0即x与y线性相关。二、正交基1、正交向量组与Schmidt正交化定义2：设V是内积空间，x,yeV，若x,y=0，则称x与y正交，记为x丄y。若V中非零向量组J,J,J两两正交，则称J,J,J为正交向量组。TOC o 1-5

32、h z12n12n结论2：正交向量组必是线性无关的，线性无关向量组必可Schmidt正交化。J,P对于线性无关向量组J,J,J，令卩=J，卩=J-2弋卩，12n11220,0111J，0(，0、,0=J-”十0n十0，则J,J,J是与J,J,J相互nn0，0n-10，0112n12nn-1n-111等价的正交向量组。例2：试将内积空间Ca,b中向量1,x,x2正交化。解设a广1，-广X，-3=x2，令B=a，卩=a12a,卩a,卩乔卩222112、标准正交基卩=a33则P1二1，卩2k1b设A1=，令W=spana,A,12即a+b=0,b+c+d=0，解之得(a,b,c,d)T=c(1,-1

33、,1,0+d(1,1,0,1万。r1-11r1-11A=,A=3J0丿401丿r1111r-111l,B2100丿222丿由此可得，B=3B11卩-1V3J0ri-iV151-23丿四、最小二乘法定义：定理：最小二乘法定理：设勺a2，an，b均为m维列向量，若X=(%，3，JR使得Hb-(X1+xa)1达到最小,nn则AtAx=Arb，其中A=(a,a,12证明：由|b-(xa+xa+1122得,|b-(x1注:lib-(xa+xa+xa+xa)|2=(b-Ax)t(b-Ax)=xtatAx-20tAx+bTb可nn1a+xa+xa)1达到最小时，x满足atAx=Arb。122nn11122n

34、n|b-(兀气+兀畀2+xa)|的最小值大于0时，由R(AtA)=R(At)可知，对于任何r1101r11例4：设A=121,b=1,231,0JnnbgRm，ATAx=ATb.总是有解的。求Ax=b的最佳解。)|的最小值为0时，x满足Ax=b；1.4正交变换及其特征一、正交变换的概念定义：设T是内积空间V到V中的映射，若对任何x,ygV,都有=，则称T是V上的正交变换。注：正交变换保持内积运算不变。性质：正交变换必为线性变换；证明：对任何x,ygV，|T(x+y)-Tx-Ty|2=-+-+=-+-+=0。由此可得，对任何x,ygV，T(x+y)=Tx+Ty。对任何xgV，九gP,|T（九x）

35、九TX|2=-+=-X九皿=一九一九+XXx,x=0由此可得，对任何xeV,XeP,T（九x）=XTx。二、正交变换的特征定理1：线性变换为正交变换的充分必要条件是在标准正交基下的矩阵为酉矩阵或正交矩阵。证明：注：标准正交基之间的过渡矩阵为酉矩阵或正交矩阵，因此可利用正交变换来构造新的标准正交基。定理2：线性变换为正交变换的充分必要条件是将标准正交基变为标准正交基。证明：推论：向量在正交变换基下的坐标等于在原标准正交基下的坐标左乘过渡矩阵(也即正交变换系数矩阵)逆矩阵(也即转置矩阵)。注：标准正交基之间的过渡矩阵恰好对应着一个正交变换。定理3：线性变换为正交变换的充分必要条件是保持长度不变。证

36、明：注：保持长度不变的线性变换也保持夹角不变。三、正交变换的几何作用：二维和三维空间中的旋转、反射变换。1、二维空间中的旋转变换对于任何(x,y)TeR2，设T(x,y)T=(xcosG+ysin0,-xsin0+ycosG，则正交变换T是R2中的旋转变换。事实上，若设ei=（1,0）T,e2=(0,1，则T在e,e下的矩阵为A=12/cos0、sin0由此可知，T是x轴逆时针旋转0的正交变换。2、三维空间中的旋转变换对于任何(x,y,z)teR3，设T（x,y,z）t=（xcosycosO-ysin0-zsinycosOxcosysinO+ycos0-zsinysinO,xsiny+zco则

37、正交变换T是R3中的旋转变换。事实上，若设e=(1,0,0)t,e=(0,1,0”，e=(0,0,1，则T在e,e,e下的矩阵为123123cosycosOsinOA=cosysinOcosOsinycosOsinysinO。cosy丿由此可知，T是x轴旋转(9，丫)、y轴旋转。、z轴旋转Y的正交变换。3、二维空间中的反射变换对于任何(x,y)teR2，设T(x,y)t=(xy)t，e=(1,0,e=(0,1，则正交变换11,e2Ti是R2中关于y轴的反射变换，基(e2下的矩阵为A】二设T(x,y)t=(x,y，则正交变换T是R2中关于坐标原点的反射变换，基e,e下2212-103-1。设-I

38、,y=G，X，则正交变换T3是R2中关于对角线y=X的反射变换，基ei，e2下的矩阵为A3二4、三维空间中的反射变换对于任何(x,y,z)TeR3，设T(x,y,z)T=(y,x,z)T，则正交变换T是R3中关于平面,e3001丿y=x的反射变换，基e=(1,0,0)t,e=(0,1,0,e=(0,0,1下的矩阵为12010,则称Hermite阵A为正定矩阵。定理4：Hermite阵A为正定矩阵的充分必要条件是其特征值均为正数。定理5：定理6：定理7：九丿n+X|yI2,nnHermite阵A为正定矩阵的充分必要条件是存在可逆矩阵B，使得ABhB。Hermite阵A为正定矩阵的充分必要条件是各

39、顺序主子式均大于0。设AeCmxn，则存在酉矩阵U,V使得UHAVmn(Dd12(D注：A=U0v00)ojVH称为A的奇异值分解，%d2,d称为A的奇异值，r为A的秩。r推论：A的奇异值为AhA或AAh的正特征值的算术根，U和V的列向量分别为AhA或AAh的单位正交特征向量组。2.3特征矩阵的Smith标准形在对矩阵化简问题的研究中，由于相似对角化对矩阵有较高的要求条件，不能广泛地解决矩阵的化简问题。矩阵化简的一个首要要求，应该是化简后的矩阵仍能保持原有矩阵的基本性质，通常至少还要求所作的化简应该是可逆的，而最基本的可逆变换就是初等变换。线性代数理论中，一个数值矩阵可通过初等变换将其化为最简

40、形式，但这种最简形式只与矩阵的秩有关，不能全面反映矩阵的性质。即对元素为常数的矩阵进行初等变换，可能会遗失矩阵的一些性质。这一结果启示我们，可将数值矩阵函数化,考察函数矩阵的化简，利用可逆的初等变换对函数矩阵进行化简，将可能保留原矩阵的基本性质。以多项式为元素的矩阵(即九矩阵)是最基本的函数矩阵，这类矩阵的概念和性质将不同于数值矩阵，如两个矩阵相等是指对应位置上的多项式恒等，可逆矩阵的充要条件是其行列式为非0常数。一、九矩阵的秩、逆与初等变换定义1：以九的多项式为元素构成的矩阵称为九矩阵，常表示为A(九)。显然，每个为九矩阵均可表示为矩阵系数的多项式AXn+AXn-i+A九+A。01n-1n定

41、义2：X矩阵A(x)中不恒等于o子式的最髙阶数称为A(x)的秩，记为R(A(x)。显然，特征矩阵XEA的秩为no定义3：对于X矩阵A(X)，若存在另一X矩阵B(X)，使得A(X)B(X)=B(X)A(X)=E，则称A(X)可逆，B(X)为A(X)的逆矩阵，并记为A-i(X)o定理1：X矩阵A(X)可逆的充分必要条件为其行列式为非0常数。必要性证明：由A(x)B(X)=B(X)A(x)=E可知，IA(x)|B(X)|=1o因此，多项式|A(x)|B(X)|均为常数，并且|A(X)|主0,从而A(X)的行列式为非0常数。充分性证明:|A(x)|主0为非0常数时,1|A(X)|A*(x)也为X矩阵，

42、其中A*(x)为A(x)的伴随矩阵。由()A*(X)A(X)=(AX)1|a(X)a*(x)=E可知，A(X)可逆。显然，特征矩阵XE-A是不可逆的，但是满秩的。定义4：如下变换称为对九矩阵的初等变换：1、互换两行（列）；2、某行（列）乘以一个非0常数（相当于一个可逆矩阵）；3、将某行（列）的九多项式倍加到另一行（列）上。显然，初等变换是可逆变换，对应的初等矩阵也是可逆的。若A（九）经一系列初等变换化成B（九），则称B（九）与AG）等价。结论1：初等变换下九矩阵的秩不变。二、特征矩阵九E-A的行列式因子定义5：特征矩阵九E-A中所有k阶非零子式的最大首一公因式D（九）（k=1,2,n）称为kT

43、OC o 1-5 h z特征矩阵九E-A的k阶行列式因子，也称为A的k阶行列式因子。显然，特征矩阵的行列式因子是唯一的，并且D卩）=|E-A|。结论2：设D（九）=1，则D（九）|D（九）（k=1,2,n）。0k-i1k结论3：特征矩阵的行列式因子在初等变换下保持不变。三、不变因子与Smith标准形定义6：多项式d（X）=D（X）/D（X）（k=1,2,n）称为特征矩阵或A的不变因子。kkk-1显然，初等变换下不变因子保持不变，并且D.（X）=d（X）d（X）（k=12,n），特k1k别D(九)=九E-A|=d(九)2(九)即不变因子是特征多项式一种分解因子。(X-ac1九一a例1：求A(X)

44、=由（ci）=c丰0,1c1X-a九一a=cc丰0,12的不变因子，其中c1c2cn-1丰0。cn-1九a/ci九一ac丰0，n-1九一acn-1得D=D=D=1。由|A(X)|=(九a，得D=(九a,12n-1-(Xan由此可得，A(X)的不变因子为d=d=d=1,d=(x-a12n-1n、例2：求A(X)=n九一a的不变因子。先求行列式因子再求不变因子可得，d=d=d=Xa。12n、例3：设A，求其特征矩阵的不变因子。-an-an-1a2(X-1X-1对于A的特征矩阵XEA=，由行列式因子可求得不变an-1因子，d=d=d=1,d=fC)，其中fC)为A的特征多项式12n1nXn+aXni

45、+aX+a。1n1n结论4：方阵A.的特征矩阵XEA等价于对角阵D=(d(X)1d(X)2d(X)丿n(X)(i=1,2,n)，对角阵D称为ii+1其中d(X)(i=1,2,n)为首一多项式，i特征矩阵XEA的.Smith标准形。显然，特征矩阵的Smith标准形是唯一的，d(X)(i=1,2,n)即为A的不变因子。i(d(X)1并且d(X)dd(X)2，其中注：对于一般X矩阵A(X),Smith标准形为D二d(X)r0丿r=R(A(X)。d(X)(i=1,2,n)为首一多项式，并且d(X)Id(X)(i=1,2,n)，ii1i+1推论：特征矩阵等价的充分必要条件是不变因子或行列式因子相同。2.

46、4矩阵的Jordan标准形一、初等因子的概念定义1：特征矩阵XEA的所有不变因子中一次因子的方幂(包括各个不变因子中重复的因子)，称为A的初等因子。性质1：特征矩阵的初等因子由不变因子唯一确定，反之亦然。性质2：每个初等因子是且仅是一个不变因子的因子，无初等因子的不变因子均为1。例1：设九EA的全体不变因子为1、1、1、1、1、九+1、九2（九+1）、九2（九+1）2，试求A的初等因子。显然，其初等因子为九2、九2、九+1九+1（九+1）2。例2：设特征矩阵九E一A的全体初等因子为九、九2、九2、九+1（九+1）2、九一2、九一2,试求A的不变因子。不变因子与初等因子的转化表、不变因子一次因子

47、、d厂d1U7d8d9d1oXXX2X2X+1X+1(X+1)2X-2X2X2由上表可知，A的不变因子为d10亠2。+（I2），d9亠2（九+1）2），入d=d=1。17结论.1：对角九矩阵中对角线上元素的一次因子的方幂（包括对角线上元素中重复的因子）,为其初等因子。结论2：分块对角九矩阵上个对角块的初等因子合在一起即为整个九矩阵的初等因子。二、矩阵相似的特征定理1：矩阵A、B相似的充分必要条件是存在矩阵P、Q，使得九EA=P（XEB）Q。必要性证明：设矩阵A、B相似，则存在可逆矩阵P，使得A=PBP-1。令Q=P-1,则对于任何九成立着九EA=P（九EB）Q。充分性证明：由九EA=P（九EB

48、）Q可知，PQ=E，A=PBQ，因此矩阵A、B相似。结论3：矩阵相似的充分必要条件是它们的特征矩阵等价。结论4：矩阵相似的充分必要条件是不变因子或初等因子相同。三、Jordan块与标准形1、约当块J=k1kmk的初等因子为（九巳）叫注：对角阵(k的初等因子为、S而不是（九-九k）mk。件丿kmk2、Jordan标准形J=的初等因子为-讣，k二12,s。结论5：每个方阵均可相似化为Jordan标准形。推论：方阵可相似对角化的充分必要条件是其初等因子均为一次的。3、相似变换矩阵的计算,J,Jks设（九九）mk,k=1,2,s为A的初等因子，J为由对应的Jordan块J,k1构成的Jordan标准形

49、，P=（P,P,P）为对应的相似变换矩阵，则由AP=PJ，可1ksTOC o 1-5 h z HYPERLINK l bookmark199 得AP=PJ,k=1,2,sokkk对于(九九)mk(k=1,2,s)，设P=(p,p,p),则有 HYPERLINK l bookmark201 kk12mkAp=Xp.；Ap=p+九p,Ap=p+九po HYPERLINK l bookmark203 1k121k2mm1kmkkkk1因子（九一九）叭的向量组p,p,k12便可得到相似变换矩阵。令H=XEA，可得Hp=0,Hp=p，Hp=p，由此可解得对应初等21mm1kk，po将所有初等因子对应的这

50、些向量按列排成矩阵P,m注：pi的选择可能会影响到p2,k，P的求解；对于特征值相同的不同初等因子，向量pi的选择应保持与p,p线性无关。(2例3：设A=22mk-1.，1、-1-2,-112丿(1(1)解：九E-ADX17(九一1)2丿，初等因子为X1、（X1）2，J=11,(1,0,1中(1,1,0为p，并取p为c(1丄0)t+c(1,0,c12122(-111由(E-A,-P2)口0002000-c-c12c+2c12-c-2c,12可知，必须且只须c+2c=0,c丰0。122取p=(1,2,1)T、p=(1,0,0)t可得，P=12231-2.5Cayley-Hamilton定理与矩阵

51、的最小多项式一、矩阵多项式TOC o 1-5 h z定义1：对于f(九)=a九m+a九m-1+a九+a,称aAm+aAm-1+aA+aE01m-1m01m1-m为n阶矩阵A的矩阵多项式，记为f(A)。显然，矩阵多项式仍为n阶矩阵。性质1：相似矩阵的多项式仍然相似，且具有相同的相似变换阵。证明：设矩阵A、B相似，则存在可逆矩阵P，使得A=PBP-1。对于多项式f(九)=a九m+aXm-1+a九+a，由Ak=PBkP-1，k=1,2,m01m-1m可知，f(A)=Pf(B)P-1,即f(A)与f(B)相似。性质2：对角阵的多项式仍为对角阵，分块对角阵的多项式仍为分块对角阵。证明：设f(X)=aXm

52、+aXm-1+aX+a，01m-1m(X)1X2(A)1A2则对于对角阵A=和分块对角阵B=;XJnJAk丿f(A)=(f(X)1f(X)2，f(B)=(f(A)1f(A)2f(X)丿nJf(Ak)JTOC o 1-5 h z HYPERLINK l bookmark209 (f(J)1f(J)结论1：对于n阶矩阵A和多项式f(X)，f(A)必相似于2.1)F3、算子范数(定义，列范数，行范数，谱范数)4、矩阵范数的应用(矩阵序列及幂级数的收敛性，矩阵条件数，摄动理论、矩阵的谱半径)3.1向量范数及其性质一、范数与赋范线性空间定义1：如果对于线性空间V的任一向量x，对应个实值函数f(x)(记为

53、|x|)，并满足以下三个条件(称为范数公理)：非负性：x主0时,|x|o；x=0时，制=0；齐次性：|ax|=|a|xi,aeK，xgV；三角不等式：|x+y|冬制+|卜|，x,ygV；则称|x|为V上向量x的范数，V称为赋范线性空间。易证|x-y|满足距离公理，称之为范数诱导的距离。若|片-x|T0，则称x收敛于x,记为xTx。n例：对于连续函数空间Ca,b中的向量f(x)，1-范数、g-范数和p-范数分别定义为：p，1pg。|f(t)|=Jb|f(t)|dt，|f(t)|二max|f(t)|，|f(t)|=Jb|f(t)|Pdt1agatb性质1：赋范线性空间V上的实函数f(x)=ixi为

54、连续函数，即xTxo时，f(x)Tf(x)。性质2：设p为可逆矩阵，对于n维向量xgCn，lix为Cn中的一个范数,aba则I|x|也为Cn中x的范数。b注：内积空间可构成为赋范线性空间，但赋范线性空间不一定是内积空间。二、n维向量的p-范数(1pg)定义2：对于n维向量x=仝，勺)Tg5|x=Eg，称为x的1-范数，记为|x|，由此诱导岀的距离称为街区距离。i1i=1片=（工g|2）12，称为x的2-范数，记为|x|ii=1，由此诱导岀的距离称为欧氏距离。2|x|=max|g，称为x的h-范数，记为卜|，由此诱导岀的距离称为棋盘距离（也1inZ称契比雪夫距离）。UM=（工|g|p）1P，称为

55、x的p-范数，记为|x|。Pi=1；P卜=|Px|=QxhPhPx，称之为加权范数或椭圆范数，其中P为可逆矩阵。P2定理1：对于n维向量xgCn，lim|x|=|x|。pthPh注：几何意义上，向量PQ的2-范数、8范数和1-范数分别是斜边PQ长度、直角边PR长度以及两直角边PR和RQ的长度之和。三、范数的等价性定义3：对任意XGV,满足不等式C1|x|x|C|x|的两种范数称为是等价的。卩a2卩定理2：对于n维向量xgCn，总成立着|x|x|Jn|x|,|x|x|卜|，212h2h|x|x|In|x|，|x|XPIIXI。h1hhp,a是n维赋范线性空间E的一组基，则存在正数A,B，使得对一

56、切n定理3：设巴巴,x=工gagE,kkk=1成立着A|X|0。取A=,B=，即可证得定理的结论。Mm=1上连续函数，从而必能取到最小值m和最大值M，且显然结论1：有限维赋范空间的范数是等价的，即对于n维赋范线性空间E中的范数|xx|b，ab存在正数A,B，使得对一切xgE，成立着A|x|卜B|x|。a推论：范数IIX,卜|等价时，lim|x|=0等价于lim卜|=0。nthnannth注：在Cn中，各种P-范数均是等价的，从而对于不同的问题可灵活选用适当的范数。结论2：n维赋范线性空间必与n维向量空间Pn同构并且同胚。设a,a,a是n维赋范线性空间E的一组基，对任何x=ZwE，令12nkkk

57、=1Tx=（勺,q,飞），则T为E到Pn上的同构映射，并且由A|x|ITXI1。FF定理（F-范数的酉不变性）：设AWCnxn中范数，且P,QWCnxn都是酉矩阵，则PA=AQ=AFFQ都是正交矩阵）。，即给A左乘或右乘以酉矩阵后其I值不变（在AWRnxn时P和证明：|PA|=tr(AhPhPA)12=tr(AhA)12=AFF由IIA=F|及Qh也为酉矩阵可得,F(瓦|a2)12=tr(AAh)12=|Ah|i,j=1|aQ|=|(aQ)h=|QhA=|Ah=kFFFFF推论：酉(或正交)相似变换下矩阵的F-范数保持不变。定义2：设AWCnxn，称|A|=为|Maii,j=1性质2：|A,|

58、A满足范数公理构成CnxnMiM二、矩阵范数的相容性.为M-范数，|A|=nmaxa为M-范数。I=Ma1i,jnij中范数，并且|E|=nn1，|E|定义3：满足条件|AB|A|B的矩阵范数称为具有相容性。注：工程应用中的矩阵范数常要求满足非负性、齐次性、三角不等式和相容性，因此下文中矩阵范数总假定具有相容性。性质3：满足相容性的矩阵范数必有IIEln1。性质4：若a可逆训a|a-i|例1：Frobenius范数|A具有相容性。F例2：M-范数|A|和M-范数|A具有相容性，但范数|A|二maxa不具有相容性。1Mi31i,jnij三、矩阵范数与向量范数的相容性定义4：若|Ax|Ax|，则称

59、矩阵范数|A|与向量范数|x|具有相容性。VMVMV|x|T0时，|Ax|T0，即|Ax是x的连续函数或Ax是V上线性连续算子。Axil当x丰0时，-xllV注1：注2：M，从而max罟叫。例3：|Ax|2|A|x|2。注：视矩阵为线性变换时，通常要求线性变换是连续即有界的，因此自然有了相容性（包括范数的相容性）要求。3.3矩阵的算子范数一、算子范数的概念定义：=maxx主0注：一般算子范数的求解步骤：1、|Ax|K|x；2、|x|=1,|Ax=K。VV0V0V二、算子范数的性质性质1：性质2：性质3：|Ax|Ax|。VTVIIABI1lALPLT|A|二maxTf1=1。TTT|Ax|A|V

60、M（假设|A|与|x|具有相容性）。MV性质4三、常见的算子范数1、列范数：l|x|二Qa|，|A|i=1二max1jn另lajli=1设A=(aj)&Cm，x=(,g2,令Ax=y=叫J6）T，其中耳=才ag，i=1,2,noiijjj=1附|=卜|=工h.|丄tag.iiijji=1i=1j=1抠区(IajIE)i=1j=1=工另(iaji$ji)=(即工ijin1max工ia.;oj=1i=1jjjj=1i=1max11jnji=1令M=max1jni=1，则|Ax|M卜|，从而|A|M。不妨设m=ai=1j0，1j0M。由此可得，|A|I=max工|ao11jnj1ji=12、行范数：