第1,2章线性空间与线性变换

1、矩阵分析简明教程by 张亮Email: Tel:bout textbook 教材： 矩阵分析简明教程，曾祥金，张亮，科学出版社，2010 参考文献： 矩阵分析，Horn R A著，杨奇 译，机械工业出版社 高等工程数学，于寅，华中理工大学，1995A short history Such is the advantage of a well-constructed language that its simplified notation often becomes the sourse of profund theories.-P.S. Laplace 这就是结构好

2、的语言的好处，它的简化简化的记法的记法常常是深奥理论的源泉.A short history 4000年前，Babylonians已经会解决22的线性方程组 200 B.C. 九章解决了33的线性方程组 自此之后发展缓慢！A short history：遇到障碍 言辞数学符号数学 丢番图(Diophantus of Alexandria), 约250A.C. 代数学之父 上帝让他的童年时代占一生的六分之一，又过了一生的十二分之一，他开始长胡子，再过一生的七分之一，上帝为他点燃婚礼的烛光，婚后第五年，赐给他一个儿子。天哪，这真是一个晚生的孩子，孩子活到他父亲一半的年龄时，残酷的命运之神就把他带走了

3、；他花了四年的时间用数的科学抚慰自己的悲伤，之后也就去世了。A short history：开始发展 符号数学 韦达(Viete, 1540-1603), 引入符号 笛卡尔(Descartes, 1596-1650), 解析几何，方法论，我思故我在 费马(Fermat, 1601-1665), 解析几何，数论，微积分，费马猜想 牛顿(Newton,1643-1727) 莱布尼兹(Leibniz,1646-1716) .科学加速发展！A short history：线性方程组的解 1693，Leibniz创造了行列式； 1760，Cramer提出Cramer法则； 1815，Cauchy(178

4、9-1857)第一次系统定义行列式； 1811，Gauss(1777-1855)提出高斯消元法； A short history：matrix，创始人 Arthur Cayley (1821-1895) 17岁入剑桥大学三一学院 20岁写了13篇文章，明确一生的研究方向 28岁入律师行，做了14年律师，其后入剑桥大学 主要贡献：矩阵论，代数不变量，高维几何（相对论的理论基础之一） James Joseph Sylvester (1814-1897) 15岁入皇家学院，17岁剑桥大学；曾任保险精算 62岁入约翰. 霍普金斯大学；创立美国数学杂志（Mathematics Magazine） 南丁格

5、尔，喜欢诗歌、发明数学名词 矩阵理论论的应用 Cayley正在为未来的一代物理学家锻造武器- Tait 量子力学的最佳语言 Matlab=Matrix Liboratory 几乎所有的工程数学、科学计算 课程各章节的应用Ch1 线性空间与线性变换-相对论Ch2 内积空间-高维几何Ch3 矩阵的标准形-控制理论Ch4 矩阵的分解-数值计算Ch5 向量范数与矩阵范数-泛函分析初级Ch6 矩阵分析及其应用-控制理论Ch7 矩阵特征值的界等-工程应用、金融预备知识：线性代数1. 矩阵的运算；逆矩阵；2. 线性方程组的Gauss消元；3. 矩阵的秩；4. n维向量的相关知识：线性相关性，最大线性无关组。

6、：一一. . 线性空间的基本概念线性空间的基本概念14定义：设定义：设 V 是一个非空集合，是一个非空集合，F 为数域，为数域，a a, , b b, , g g V, 对于任意的对于任意的a a, , b b V, 总有唯一的元素总有唯一的元素 g g V与之对应，与之对应，称称 g g 为为a a 与与b b 的和，的和，记作记作 g g = =a a + +b b，且，且;)1(a ab bb ba a+ += =+ +);()()2(g gb ba ag gb ba a+ + += =+ + +，存存在在零零元元素素：a ab ba aa ab b= =+ + ,)3(VV; 0,)4

7、(= =+ + b ba ab ba a，存存在在负负元元素素VV;0为为并记并记为零元素，为零元素，称称b bb b;a ab ba ab b 为为并并记记的的负负元元素素，为为称称15对于任意的对于任意的 l l F 及任意的及任意的a a V ，总有唯一的元素总有唯一的元素d d V 与之对应，与之对应，称称d d 为为l l与与a a 的积，记作的积，记作 d d = = lala，且，且a aa a= =1)8(a allaal l)()()5(= =lblblalab ba al l+ += =+ +)()7( a al la aa a l l+ += =+ +)()6(则称则称V

8、 为数域为数域 F 上的线性空间，称上的线性空间，称V 的元素为向量，的元素为向量，称满足称满足(1)-(4)的和为加法，满足的和为加法，满足(5)-(8)的积为数乘。的积为数乘。线性空间定义总结线性空间定义总结17定义加法：定义加法：T2211),(nnyxyxyx+ + + += =+ +b ba a,),(T21nxxx= =a a,),(T21nnRxxx = =b b,|),(TRxxxxxxRnnn = =2121例例1. 实数域上全体实数域上全体 n 维向量的集合维向量的集合Rk 定义数乘：定义数乘：,),(T21nkxkxkxk= =a a上上的的线线性性空空间间。是是数数域域

9、 RRn上上的的线线性性空空间间。是是数数域域 CCn例例2 2 实数域实数域 R上的全体上的全体 mn 矩阵，对矩阵的加法矩阵，对矩阵的加法 和数乘运算构成和数乘运算构成 R上的线性空间，记作上的线性空间，记作 Rmn,nmnmnmnmRCBA = =+ +,nmnmnmRDA = =l l Rmn是一个线性空间。是一个线性空间。,)(|RaaAARijnmijnm = = = 18对于多项式的加法、数乘多项式构成对于多项式的加法、数乘多项式构成线性空间。线性空间。111010 ,nnnnF xaxa xa aaR = =+ + + + 19例例3 3 次数小于次数小于n 的多项式的全体，记

10、作的多项式的全体，记作 F Fxnp00001+ + + += = xxnxQn 对于多项式的加法和乘数运算不构成对于多项式的加法和乘数运算不构成线性空间线性空间n 次多项式的全体次多项式的全体0 01 + + + += =aaxaxaxQn-1n-1n-1n例例4 4.对运算不封闭xQn20例例6 6 正实数的全体正实数的全体 R+ ，在其中定义加法及乘数，在其中定义加法及乘数 运算为运算为 + + = = = RbaRaaabba,l ll ll l验证验证 R+对上述加法与乘数运算构成线性空间对上述加法与乘数运算构成线性空间21;)1(abbaabba = = = = );()()()(

11、2(cbacabcabcba = = = = = ;11aaa= = = = ; 111= = = = aaaa有有对任何对任何中存在零元素中存在零元素, 1)3(+ + + RaR使使有负元素有负元素,)4(1+ + + + RaRa证明证明22;1)5(1aaa= = = ;)6(aaaaal l l l l ll l l l = = = = = ; )7(aaaaaaaa l l l l l l l l l l = = = = = =+ + + l ll ll ll ll lbaababba= = = = )()()8(所以所以 对所定义的运算构成线性空间对所定义的运算构成线性空间R+

12、+. babal ll ll ll l = = = =23例例5 5 在区间在区间a, b上全体实连续函数，对函数的上全体实连续函数，对函数的加法与数和函数的数量乘法，构成实数域加法与数和函数的数量乘法，构成实数域R上的上的线性空间，记作线性空间，记作Ca, b。24,)()(baCxgxf + + Ca, b是一个线性空间。是一个线性空间。,)(| )(,上上连连续续在在baxfxfbaC= =( ) , kf xC a b ,)(),(baCxgxf 00 or 0kka aa a= = = =定义定义: : 设设V 是一个线性空间，是一个线性空间，a a1, a a2, a anV 若若

13、 (1) a a1, a a2, a an 线性无关，线性无关， (2) a aV , a a 可由可由a a1, a a2, a an 线性表示，线性表示， a a = = x1a a1+ x2a a2+ +xna an 则称则称a a1, a a2, a an 为为V 的一组基，的一组基， 称称 n 为为V 的维数，记作的维数，记作 dimV = n 。31例例1 1 设设2 2, , ,abRa b c dRcd = = 则则2 2R 是实数域是实数域 R 上的线性空间。上的线性空间。32自然基自然基 = = = = = = = =100001000010000122211211EEEE

14、,22211211dEcEbEaEdcbaA+ + + += = = =35 = = = = = =100210321321a aa aa a,例例2 设设123,aaaaaa下的坐标。下的坐标。求求a a = = (1,0,- -1)T 在在基基为为 R3 的一组基，的一组基，332211a aa aa aa axxx+ + += =36 = =+ + += =+ += = + + + += = 123021232101321211321211xxxxxxxxxxxx, = = = = =021321xxx为坐标向量为坐标向量 021212a aa aa a = =3712341101111

15、0,11100000AAAA = = = = = 2 2R 1211= = A例例3 求求中的元素中的元素，在基，在基下的坐标。下的坐标。38解：设解：设112233441211x Ax Ax Ax A = =+ + + + 134123121xxxxxxxxx+ + + = = + + 39134112321231411221111xxxxxxxxxxxxx+ + += = = = = = + += = = = = = = 123412211AAAA=+=+ nR =3120A2=2111A1=1013A3=7342A41 ,.,n21aaannnnC=),.,(),.,(2121aaabb

16、b,.,21nbbb,.,n21aaaX).(n21aaa=aY).(n21bbb=a ,.,21nbbbnnnnC=),.,(),.,(2121aaabbb44例例 设设3R123,aaaaaa123,b bb bb b是是中的两组基，求由基中的两组基，求由基到基到基的转移矩阵的转移矩阵P P ； 1231231001002 ,1 ,0 ;1 ,1 ,1321111a aa aa ab bb bb b = = = = = = = 45 = =310111001321321),(),(a aa aa ab bb bb b基变换公式基变换公式 = = = = = =3233222113a aa

17、ab ba aa ab ba aa ab bP 是由基是由基123,aaaaaa到基到基123,b bb bb b的转移矩阵的转移矩阵P00120110130030002137 :： 50定义定义: : 设设V 是数域是数域F上的线性空间，上的线性空间，W 是是V 的非空子集，的非空子集， 若对于若对于V 中的加法和数乘二种运算，中的加法和数乘二种运算， W 是数域是数域F 上的线性空间，则称上的线性空间，则称W 是是V 的子空间。的子空间。定理定理: : 设设V 是数域是数域F上的线性空间，上的线性空间，W 是是V 的非空子集，的非空子集， 若若W 对于对于V 中的加法和数乘二种运算封闭中的

18、加法和数乘二种运算封闭，即，即则称则称W 是是V 的子空间。的子空间。WW + + b ba ab ba a则则,)(1WkFkW a aa a则则,)2(。51,|),(TRxxxxWnn = =220例例1. 实数域上实数域上 n 维向量的集合维向量的集合的的子子空空间间。是是则则nRW例例2. 设设A为为mn 矩阵，矩阵，向量的集合向量的集合,|)(nRxAxxAN = = =0。或或核核空空间间的的零零空空间间并并称称为为的的子子空空间间是是则则)(,)(ARANn,.) 1 , 1 (,)2 , 1 (,) 1 , 0(,)0 , 1 (2413432122114321aaaaaaa

19、aaaaaspanWspanWspanWspanWTTTT=、 ： VWWWWWW+2121211.4 子空间的直和子空间的直和定义：设定义：设V1, V2 是线性空间是线性空间V 的子空间，若对每个向量的子空间，若对每个向量a V1+ V2 都有唯一的分解式都有唯一的分解式221121VaVaaaa + += =,则称则称V1与与V2 的和的和V1+ V2是直和，记作是直和，记作 V1 V2 。定理：设定理：设V1, V2 是线性空间是线性空间V 的子空间，则下列命题等价的子空间，则下列命题等价(2) 向量向量 0 的分解式是唯一的；的分解式是唯一的；(4) V1的一组基与的一组基与V2 的

20、一组基的的一组基的简单并简单并是是V1+ V2的基；的基；(1) V1与与V2 的和的和V1+ V2是直和是直和;(3) V1 V2 = 0; (5) dim(V1+ V2) = dimV1 + dimV2 。 设在设在Rnn中，子空间中，子空间 W 1=A AT =A ， W2=B BT= B ， 证明证明Rnn=W1 W2。例例1. 设设T 为为R2上的线性变换，上的线性变换， T : R2R2T (a) = a （如图）（如图）T 把向量把向量 a 绕原点逆时针绕原点逆时针旋转旋转 q q 角度变换为角度变换为a 。xyOaa q q称称T为旋转为旋转 变换。变换。例例2. 设设T 为为

21、R3上的线性变换，上的线性变换， T : R3R3 = = 0yxzyxTnRxAxxT = =,)(例例3. 设设T 为为 上的线性变换，上的线性变换， nRnnRRT:其中矩阵其中矩阵A是是 n 阶方阵阶方阵.设设T是是V上的线性变换，则上的线性变换，则(2)()( )TTa aa a = = (1)(0)0T= =11221122(3)()()()()mmmmT xxxx Tx Tx Taaaaaaaaaaaa+=+=+1212(4),(),(), ()mmTTTaaaaaaaaaaaa若若线线性性无无关关，则则线线性性无无关关. .线性变换的矩阵线性变换的矩阵定义定义 设设 T 为为

22、V 上的线性变换，上的线性变换，a a1, a a2, , ,a an为为 V 的基的基 + + + += =+ + + += =+ + + += =.)(,)(,)(22112222112212211111nnnnnnnnnntttTtttTtttTa aa aa aa aa aa aa aa aa aa aa aa a = = =nnnnnnnnntttttttttTTTT212222111211212121),()(,),(),(),(a aa aa aa aa aa aa aa aa aA 称为称为T 在基在基 a a1, a a2, , ,a an 下的矩阵下的矩阵. .68A, 0

23、|,1011221122211211RxxxxxxxXVBij=+=线性空间VXBXXBXTTT= ,)(例例1. 设设 T 为为 上的线性变换，上的线性变换， ， 求求 T 在基在基22 R( )3T AAA = = 123411011110,11100000AAAA = = = = = 下的矩阵下的矩阵. .1111()32T AAAA = = = =解：解：2222()34T AAAA = = = =3332323()3210T AAAAA = = = = =+ + 4444()32T AAAA = = = =1234123420000410(,)(,)00200002T AAAAAAA

24、A = = 例例2. 设设 T 为为R3上的变换，上的变换，下的矩阵下的矩阵. .TTxxxxxxxT),(),(3131321+ += = (2) 求求 T 在基在基 (1) 证明：证明： T 为为 R3上的线性变换；上的线性变换； = = = = = =100,101,011321a aa aa a(3) 求T 的象和核 = = =+ += = = = =2321211101112011a aa aa aa aa aa aa aTTTTTT),()(),()(),()( = =000110011321321),(),(a aa aa aa aa aa aT1.7 不变子空间不变子空间定义定

25、义: : 设设V 是线性空间是线性空间，W是是V 的子空间，的子空间， T 是是V上的上的线性变换线性变换，若，若 a W , 都有都有T(a) W, 则称则称W是是V的的T不变不变空间。空间。例例 设设T 是线性空间是线性空间V上的上的线性变换，则线性变换，则 ImT , KerT 是是T 不变不变空间；空间； 两组基两组基a a1，a a2，,a a n ，b b1，b b2，, b b n ， （b b1b b2b b n）=（a a1a a2a a n ）C T（a a1 a a2 a a n ）=（a a1 a a2 a a n）A T（b b1 b b2 b b n）=（b b1

26、b b2 b b n）B B=C1AC123 实内积空间实内积空间(欧氏空间欧氏空间)定义定义. .设设V 是一个实线性空间，是一个实线性空间，R为实数域，为实数域，78若若 a a, , b b V, 存在唯一的存在唯一的 r R与之对应，与之对应，记作记作(a a, , b b ) = r, 并且满足并且满足(1) (a a, , b b ) = (b b, , a a ) (2) (a a + +b b, , g g ) = (a a, , g g ) + (b b, , g g )(3) (ka a, , b b ) = k(a a, , b b )(4) (a a, , a a )0

27、0, (a a, , a a ) = 0 0 a a = 0 0则称则称 (a a, , b b ) 为为a a 与与b b 的内积，的内积，V 为为实实内积空间。内积空间。实实内积空间也称欧几里得内积空间也称欧几里得 Euclid 空间。空间。对称性对称性线性性线性性非负性非负性79定义内积定义内积b ba ab ba aT2211),(= =+ + + += =nnyxyxyx,),(T21nxxx= =a aT21),(nyyy= =b b,|),(TRxxxxxxRnnn = =2121例例. 线性线性空间空间称为内积称为内积空间空间 的标准内积。的标准内积。nRnmijnmijnji

28、ijijbBaAbaBA=)(,)( ,),(1,nnynxyxyxYX+=.2),(2211181定义内积定义内积b ba ab ba aAT),(= =,),(T21nxxx= =a aT21),(nxxx= =b bA为为 n 阶实正定矩阵，阶实正定矩阵，,|),(TRxxxxxxRnnn = =2121例例. 线性线性空间空间82定义内积定义内积 = =aadxxgxfgf)()(),(例例. 线性线性空间空间Ca, b，f , gCa, b83由定义知由定义知(5) (a a , , b b + +g g ) = (a a, , b b ) + (a a, , g g )(6) (a

29、 a, , kb b ) = k(a a, , b b )欧氏空间内积的性质：和复内积空间不一致欧氏空间内积的性质：和复内积空间不一致向量长度向量长度, Cauchy-Schwarz不等式不等式),(a aa a定义定义. 设设V 为为实实内积空间，称内积空间，称 为向量为向量a a 的长度，的长度，记作记作 | |a a | |。定理定理. 设设V 是是实实内积空间，内积空间，a a , , b b V , k R ，则，则；当且仅当当且仅当且且00|, 0|)1(= = = a aa aa a；| |)2(a aa akk= =(4) |( ,)|,a a b ba ab b 等号成立当且

30、仅当等号成立当且仅当a a , , b b 线性相关；线性相关；(3) |a ab ba ab b+ + + +。Cauchy-Schwarz不等式不等式三角不等式三角不等式正定性正定性齐次性齐次性85 = = = = niiniiniiiyxyx12121)1(例：利用例：利用Cauchy-Schwaz不等式证明不等式证明 bababadxxgdxxfdxxgxf)()()()()2(22向量的夹角向量的夹角由由Cauchy-Schwaz不等式可知不等式可知,1| ),( |1 b ba ab ba a可可用用，中中的的结结论论对对比比nR| ),( |,cosb ba ab ba ab b

31、a a= =.,b ba ab ba a在在内内积积空空间间中中的的夹夹角角与与定定义义向量的正交向量的正交定义定义. 设设V 是是实实内积空间，内积空间，a a , , b b V , 若若 a a , , b b ) = 0= 0 , 则称则称 a a 与与b b 正交正交，记作，记作 a a b b 。),(|2b ba ab ba ab ba a+ + += =+ +由由知知22|),(2|b bb ba aa a+ + += =a a 与与b b 正交正交222|b ba ab ba a+ += =+ +这就是实这就是实内积空间中的勾股定理。内积空间中的勾股定理。 =ji0ji1F

32、nGram-Schmidt 正交化过程正交化过程Gram-Schmidt 正交化过程：正交化过程：设设是内积空间是内积空间V 中线性无关的向量组，中线性无关的向量组，na aa aa a,21，使得，使得则则V 中存在正交向量组中存在正交向量组nb bb bb b,21 = = nnb bb bb ba aa aa a,2121Gram-Schmidt 正交化过程正交化过程 2222|a aaaaaa a = = 1212121(,)|b abb aba ababbab= =12111(,)(,)b ab ab bbbbb= =11a ab b= =222a aa ab b = =111212

33、2),(),(b bb bb ba ab ba ab b = =),(),( ,432),0| ),(4321432144332211314321yyyyYxxxxXyxyxyxyxYXWxxxxxxXW=+=（上定义在线性空间2.3 正交子空间正交子空间定义定义: : 设设W, U是实内积空间是实内积空间V 的子空间，的子空间，(1) a a V , 若若 b b W, 都有都有(a, b a, b ) = 0, 则称则称a a 与与W 正交，记作正交，记作a a W ;(2) 若若 a a W, b b U, 都有都有(a, b a, b ) = 0, 则称则称W 与与U 正交，记作正交，

34、记作W U ;(3) 若若W U，并且，并且W + U = V, 则称则称U 为为W 的正交补。的正交补。注意：若注意：若W U，则则 W与与U 的和必是直和。的和必是直和。(i) 集合的集合的U的正交集：的正交集： U =aaV： bbU， a a，b b =0 (ii) U是是V的子空间的子空间 U 是是V子空间子空间 (iii) V=U U 。U的正交补子空间的正交补子空间正交补的存在唯一性正交补的存在唯一性定理定理: : 设设W 是实内积空间是实内积空间V 的子空间，则的子空间，则W 的正交补的正交补存在且唯一，记该正交补为存在且唯一，记该正交补为 ，并且，并且 W,|VWW = =

35、a aa aa a;,0)1(. = = =WVW证证再扩充再扩充的一个正交基的一个正交基取取,0)2(21reeeWW 记记的一个正交基的一个正交基为为,11nrreeeeV+ + = =+ +nreeU,1,|VWUWU = =a aa aa a且且的正交补，的正交补，是是往证，往证，2.4 正交变换正交变换定义定义: : 设设T 是实内积空间是实内积空间V 的线性变换，若的线性变换，若 a a V 有有),()(),(a aa aa aa a= =TT则称则称T 为为V 的正交变换。的正交变换。),(|a aa aa a= =保持向量的长度不变；保持向量的长度不变；可看做可看做等式等式T

36、TT),()(),(a aa aa aa a= =正交变换的特征刻画正交变换的特征刻画定理定理: : 设设T 是实内积空间是实内积空间V 的线性变换，的线性变换，a a, , b b V ，保持向量的长度不变；保持向量的长度不变；即即TTT),()(),()1(a aa aa aa a= =保保持持向向量量的的内内积积不不变变；即即TTT),()(),()2(b ba ab ba a= =则下列命题等价，则下列命题等价，的标准正交基，的标准正交基，是是Veeen,21的标准正交基；的标准正交基；是是VeTeTeTn)(,),(),()3(21,)4(21AeeeTn下下的的矩矩阵阵是是在在标标

37、准准正正交交基基若若EAAAT= =即即是正交阵是正交阵则则,98推论推论：(1) 两个正交变换的积仍是正交变换；两个正交变换的积仍是正交变换；(2) 正交变换的逆变换仍是正交变换。正交变换的逆变换仍是正交变换。11,2 = = = =|A|A|EAAAT，则则，即即是正交阵是正交阵设设,21AeeeTn下下的的矩矩阵阵是是在在标标准准正正交交基基设设正正交交变变换换或或称称为为旋旋转转变变换换；为为第第一一类类的的正正交交变变换换，称称时时，则则当当T|A|1= =为为第第二二类类的的正正交交变变换换。称称时时，当当T|A|1 = =), 3 , 2()(,)(:11njTTjj= = =

38、= =a aa aa aa a定定义义例例如如，.,也也称称为为镜镜面面反反射射此此时时变变换换就就是是一一个个第第二二类类的的正正交交则则TT2.5 复内积空间复内积空间定义定义. .设设V 是一个复线性空间，是一个复线性空间，C 为复数域，为复数域，99若若 a a, , b b V, 存在唯一的存在唯一的 c C与之对应，与之对应，记作记作(a a, , b b ) = = c, 并且满足并且满足(2) (a a + +b b, , g g ) = = (a a, , g g ) + (b b, , g g )(3) (ka a, , b b ) = = k(a a, , b b )(4) (a a, , a a )00, (a a, , a a ) = = 0 0 a a = = 0 0则称则称 (a a, , b b ) 为为a a 与与b b 的内积，的内积，V 为为复复内积空间。内积空间。复复内积空间也称酉空间。内积空间也称酉空间。对称性对称性线性性线性性非负性非负性(1) (a a, , b b ) = = (b b, , a a ) 10