第二章 内积空间

1、第二章第二章 内积空间内积空间 当向量元素在复数域内取值时，欧氏空间当向量元素在复数域内取值时，欧氏空间 就被推广到了就被推广到了。许多欧氏空间中的定义。许多欧氏空间中的定义 和性质几乎可以和性质几乎可以“平滑地平滑地”推广到酉空间。欧推广到酉空间。欧 氏空间和酉空间统称为氏空间和酉空间统称为。 线性空间中向量的运算仅是线性空间中向量的运算仅是线性运算线性运算。一。一 般而言，我们知道，现实世界是般而言，我们知道，现实世界是3维欧氏空间。维欧氏空间。 对于对于 维线性空间，定义了维线性空间，定义了以后，向量不以后，向量不 仅有了仅有了长度长度（模），还有了两向量之间的（模），还有了两向量之间的

2、夹角夹角 等等。特别是有了。特别是有了概念后，我们可概念后，我们可 以得到以得到标准正交基标准正交基、勾股定理勾股定理、正交投影正交投影等许等许 多优美的结果。多优美的结果。 n 1、欧氏空间的基本概念、欧氏空间的基本概念 向量空间中向量的长度与夹角是用内积向量空间中向量的长度与夹角是用内积 定义的，因此要在线性空间中引入相关定义的，因此要在线性空间中引入相关 概念，自然要概念，自然要对内积的概念进行推广对内积的概念进行推广。 由于向量的内积与向量的线性运算无关，由于向量的内积与向量的线性运算无关， 所以欧氏空间实际上是所以欧氏空间实际上是特殊的线性空间特殊的线性空间， 即定义了内积的线性空间

3、。即定义了内积的线性空间。 一、内积空间一、内积空间(Inner Product Space) 在在线性代数线性代数中，我们将中，我们将 中的内积推广到中的内积推广到 ： n R n R 11 ( , ), TTn nn x yx yx yx yy xx yR 3 R 并在此基础上定义了并在此基础上定义了 中的向量长度、夹角等概念。中的向量长度、夹角等概念。 当然可以将这种定义推广到任意线性空间，但由于这当然可以将这种定义推广到任意线性空间，但由于这 种定义与向量空间的基有关，我们目前不打算这样做。种定义与向量空间的基有关，我们目前不打算这样做。 取而代之的是，注意到取而代之的是，注意到内积是

4、从两个向量得到的一个内积是从两个向量得到的一个 数数，我们自然希望确定这种运算的性质，进而给出线，我们自然希望确定这种运算的性质，进而给出线 性空间中内积的性空间中内积的公理化定义公理化定义。 (1)( , )( , );x yy x 对对称称性性： (2)(, )( , )( , ); (+ )( , )( , ); xy zx zy z xy zx yx z 性性性性： ， 双双线线 (, )( , ) ,; ( ,)( , ) ,; kx yk x ykR x kyk x ykR (3)( , )0;x x 正正性性： (4)( , )=0.x xx 定定性性： 注意到注意到 中的内积显

5、然具有如下性质：中的内积显然具有如下性质： n R (2)(, )( , )( , ); (+ )( , )( , ); xy zx zy z xy zx yx z 性性性性： ， 双双线线 (, )( , ) ,; ( ,)( , ) ,; kx yk x ykR x kyk x ykR (1) ( ,)( ,); (2) (,)( ,);()R (3)(, )( , )( , ); (4) ，当且仅当，当且仅当 时，等号成立。时，等号成立。 ( ,)0 V 、 、 是实数域是实数域 上的线性空间。如果对上的线性空间。如果对 中任意中任意 两个向量两个向量 都存在所谓都存在所谓 与与 的的

6、，满足下面，满足下面四个条件四个条件。称定义了内积的线。称定义了内积的线 性空间性空间 为为，简称，简称。 VV R V V 、 ()R , , 据此，我们可以给出线性空间中内积的据此，我们可以给出线性空间中内积的公理化定义公理化定义。 ( ,) TT 例例2 2 定义了定义了的的 是欧氏空间。这里，是欧氏空间。这里， 对任意两个向量对任意两个向量 及及 ， 标准内积为标准内积为 n R 12 (,)T n n a aaR 12 (,)T n n b bbR 1 122 . nn a ba ba b ( ,) TT 2 12 1 |(,) , T ni i Ha aaa 1 122nn a b

7、a ba b 例例3 3 定义了定义了的集合的集合 称为称为 ，这里，这里 是所有是所有平方和收敛平方和收敛的的实数列实数列的集合，即的集合，即 H H 将向量推广到无限维，可得到：将向量推广到无限维，可得到： , (, ), Tn n x yAx yy AxAR 例例 4 4 在向量空间在向量空间 中，对任意中，对任意 和和 实对称矩阵实对称矩阵 ，定义，定义 n R A n xyR 、 则则 是是 的一个内积。的一个内积。 , x y n R 特别地，特别地， 时时 就是二就是二 次型次型 ；当；当 时就是前面的标准内积。时就是前面的标准内积。 , T x xx Ax xy AI 注意到标

8、准内积是特殊的二次型注意到标准内积是特殊的二次型 ，因此有如下推广：，因此有如下推广： 由于由于函数也可以看成向量函数也可以看成向量，所以内积也可以推广到函，所以内积也可以推广到函 数。先考虑折线函数：数。先考虑折线函数： 12 |(,) T n Ffffff 显然其内积可定义为显然其内积可定义为 1122 (, ) nnii f gf gf gf gf g 如果将一般函数看成具有无穷段折线段的向量如果将一般函数看成具有无穷段折线段的向量，此时，此时 上面的内积定义又会变成什么形式呢？上面的内积定义又会变成什么形式呢？ 无限求和即积分！无限求和即积分！ , , ( , )( ) ( ) b a

9、 f gf x g x dxfgC a b、 证明：证明： 例例 5 5 线性空间线性空间 按下列内积构成欧氏空间：按下列内积构成欧氏空间： , C a b 则由函数的连续性，存在邻域则由函数的连续性，存在邻域( )0,( , ).f cca b 当当 时，若有时，若有 2 ( ,)( )0 b a f ffx dx ，使其内任意点的函数值满足，使其内任意点的函数值满足 ， 从而从而 2 ( )0fx ( , )N c 22 ( ,)( )( )0 bc ac f ffx dxfx dx 矛盾。其他性质显然可证。矛盾。其他性质显然可证。 11 ( ,) mn i ji j ij a bA B

10、则则 是定义了内积是定义了内积 的内积空间。的内积空间。( ,)A B mn R 例例6 6 在矩阵空间在矩阵空间 中，对任意中，对任意 定义定义 mn R m n ABR 、 类似地，类似地，将矩阵看成由行向量依次连接而成将矩阵看成由行向量依次连接而成 的一个超级向量的一个超级向量，即可得如下，即可得如下内积定义内积定义： ()() TT tr B Atr A B (7) ( , )( ,). 根据前面的分析，欧氏空间中内积还具有下列性质。根据前面的分析，欧氏空间中内积还具有下列性质。 (5) (+ )( , )( , );xy zx yx z， (6) ( ,)( , ) ,;x kyk

11、x ykR 222 123123 ( , ),(,)Txxxxx xxxxx 注意到注意到3维空间中，维空间中， 欧氏空间欧氏空间 中的向量中的向量 的的为为V ,.() 特别地，称特别地，称 的向量的向量 称为称为。 1 任意非零向量任意非零向量 ，经过，经过或或后可得到单位后可得到单位 向量向量 . 二、欧氏空间的度量二、欧氏空间的度量 我们知道，平面几何中成立余弦定理，那么我们知道，平面几何中成立余弦定理，那么n维空维空 间中余弦定理是否仍然成立呢？间中余弦定理是否仍然成立呢？注意到注意到 (,)( ,)( ,) (,)( , )( , ) 2 ( , )( , ) ( , )( , )

12、( , ) 2 ( ,)( ,) ( ,). 证明证明：对任意对任意 ，显然，显然R 0(,) 2 ( ,)2( ,)( ,) 当当 时，取时，取 即即两向量线性相关两向量线性相关 时等式时等式 成立。成立。 0 （柯西柯西-施瓦茨不等式施瓦茨不等式）如果如果 是是数域数域 上上 的的，则对，则对 中的任意向量中的任意向量 ，有，有 VR V 、 V 2 4 ( ,)4( ,) ()0, 这个一元二次不等式对任意这个一元二次不等式对任意 恒成立，因此恒成立，因此 类似于高等数学，根据柯西类似于高等数学，根据柯西-施瓦茨不等式，我们称施瓦茨不等式，我们称 ( , ,0, ) acos0c,r 、

13、 为欧氏空间为欧氏空间 中向量中向量 与与 的的。 V 特别地，当特别地，当 时，称时，称 与与 或或垂垂 直直，记为，记为 。 ( ,)0 因此因此 2 (,) ( , )( ,)2( ,) 22 2cos( ,) 余弦定理成立！余弦定理成立！ 如果如果 是是数域数域 上的上的，则对，则对 中中 的任意向量的任意向量 ，具有下列三条性质（，具有下列三条性质（非负性、非负性、 正齐性和三角不等式正齐性和三角不等式）：）： V R V 、 V 另外，欧氏空间中的另外，欧氏空间中的范数显然具有下列性质范数显然具有下列性质。 |(2) |;()R 3| | | （ ）。 (1) ，当且仅当，当且仅当

14、 时，等号成立。时，等号成立。 |0 如果如果 是是数域数域 上的上的，则对，则对 中中 的任意向量的任意向量 ，有：，有： V R V 、 V 范数还具有下列范数还具有下列平行四边形法则平行四边形法则、极化恒等式极化恒等式和和勾股勾股 定理定理。 | | | | | | | | | | | | | | | | | | | | | | | | | | | 2222 (1)2() ;+ + +- -= =+ + 22 1 (2)( ,)(| ); 4 | | | | | | | | | | | | | | | | | 222 .+=+=+ （3）特别地，当）特别地，当 与与 正交时，有正交时，有

15、 最后我们给出欧氏空间最后我们给出欧氏空间 的内积的坐标表示形式。的内积的坐标表示形式。 V 1212 (,) ,(,) . TT nn xxxxyyyy 设设 为为 的任意一组基，向量的任意一组基，向量 在在 此基下的坐标分别为此基下的坐标分别为 则内积则内积 12 , n , 11 (,) nn ij i i j j x y 由由内内积积的的双双线线性性性性 V最后我们给出欧氏空间最后我们给出欧氏空间 的的内积的坐标表示形式内积的坐标表示形式。V T yxG 11 ( ,)(,) nn iijj ij xy 欧氏空间欧氏空间 的一个向量组的一个向量组 的的 或或指的是矩阵指的是矩阵 12

16、, s V 11121 21222 12 12 (,)(,)(,) (,)(,)(,) (,) (,)(,)(,) s s s ssss G 可以证明可以证明Gram矩阵矩阵 是对称正定矩阵。是对称正定矩阵。G 1 1 3 (, )( ),(f gf t g t dtfgP t 、 例例 12 12 欧氏空间欧氏空间 的内积为：的内积为： 3 P t （2）用矩阵方法计算用矩阵方法计算下列函数的内积：下列函数的内积： 22 ( )1,( )145 .f tttg ttt 2 1, , t t（1）求）求自然基自然基 的度量矩阵的度量矩阵 。G 1 1111 1 (1)(,)(11 1,1)2,

17、gdt 解解： 1 1212 1 (,)(1, )0,1gtdtt 1 2 1313 1 2 2 3 (,)(1,)1,tgtdt 1 2222 1 2 3 (,)( , ),gt tdtt t 1 2 23 2 32 1 (,)( ,)0,gt tdt tt 1 22 3333 1 22 2 5 (,)(,).gttdttt 2 3 2 3 22 53 20 00. 0 G 度量矩阵度量矩阵 是对称矩阵，所以所求为是对称矩阵，所以所求为 G (1, 1,1) ,(1, 4, 5) . TT xy （2） 和和 在自然基下的坐标分别是在自然基下的坐标分别是( )f t( )g t ( , )0

18、. T f gx Gy 所以所求内积为所以所求内积为 U U 拓扑空间拓扑空间线性空间线性空间 U U Hausdorff空间空间 U U 赋范空间赋范空间 距离空间距离空间 (度量空间度量空间) U U 拓扑线性空间拓扑线性空间 U U 完备距离完备距离 线性空间线性空间距离线性空间距离线性空间 内积空间内积空间 U U Hilbert空间空间 Banach空间空间 U U U U 欧氏空间欧氏空间 和和 n R n C U U 2、标准正交基、标准正交基 正交性的重要性无论怎么强调都不过分正交性的重要性无论怎么强调都不过分， 尤其在尤其在数值线性代数数值线性代数和和微分方程数值解微分方程数

19、值解 中，许多重要的算法都与正交性有密切中，许多重要的算法都与正交性有密切 联系。而这两门学科是在工程科学中有联系。而这两门学科是在工程科学中有 着最广泛应用的数学分支之一。着最广泛应用的数学分支之一。 在欧氏空间内引入标准正交基后，在欧氏空间内引入标准正交基后，欧氏欧氏 空间空间内向量的内积运算就内向量的内积运算就转化转化成了我们成了我们 熟悉的熟悉的向量空间向量空间内向量的内积运算。内向量的内积运算。 ( , )( , )( , )1 0 0 ( , ) ( , ) ( , )0 1 0 ( , ) ( , ) ( , )0 0 1 i ii ji k Gj ij jj kI k ik j

20、k k 轾轾轾轾 犏犏犏犏 = = = = 犏犏犏犏 犏犏犏犏 臌臌臌臌 说明此时内积是标准内积，因此用坐标计算内积的公说明此时内积是标准内积，因此用坐标计算内积的公 式有最简单的形式。式有最简单的形式。 我们当然希望在欧氏空间中通过适当选取基，使得我们当然希望在欧氏空间中通过适当选取基，使得 欧氏空间的度量矩阵也是单位矩阵（或者尽可能简欧氏空间的度量矩阵也是单位矩阵（或者尽可能简 单些）。单些）。 一、标准正交基一、标准正交基(Orthonormal Basis) 在在 中，选取自然基中，选取自然基 ，则度量矩阵，则度量矩阵 3 R, ,i j k 欧氏空间欧氏空间 的一组基称为的一组基称为

21、 的一个的一个， 如果它们两两正交。如果此正交基的每个基向量又都如果它们两两正交。如果此正交基的每个基向量又都 是单位向量，则称此基为是单位向量，则称此基为 的一个的一个 VV V 11111 ,cos ,sin ,cos,sin , 2 xxnxx 例例 2 2 欧氏空间欧氏空间 的一个标准正交基是的一个标准正交基是0,2 C 从规范正交基的定义看，有三个要件从规范正交基的定义看，有三个要件： （1）是向量个数与维数相等的线性无关的向量组；）是向量个数与维数相等的线性无关的向量组； （2）是两两正交的向量组，即）是两两正交的向量组，即； （3）是每个向量都是单位向量的）是每个向量都是单位向量

22、的单位向量组单位向量组。 如何求欧氏空间的标准正交基呢？如何求欧氏空间的标准正交基呢？ 欧氏空间欧氏空间 的向量组的向量组 线性无线性无 关的关的充要条件充要条件是矩阵是矩阵 非奇异非奇异(可逆可逆) V 12 (,) s G 12 , s 证明证明： 1111 ( ,)(,)(,) ssss iiiiijij iiij xxx x 1122 , ss xxx 。如果。如果 线性无关，则它线性无关，则它 们也是们也是 的一组基。的一组基。 12 , s 12 (,) s Wspan 假设假设 奇异，则奇异，则 有非零解有非零解 ，则，则GGx s xR 故故 ( ,)0. 但是但是 0. HH

23、 x G xx 出现矛盾。出现矛盾。 首先，如何确定向量组是否线性无关性呢？首先，如何确定向量组是否线性无关性呢？ 证明证明：。如果。如果 线性相关，线性相关， 不妨不妨 ，则，则 12 , s 112211sss ttt 11111 2121 1 2 11 1 1 1 1 1 (,)(,)(,) (,)(,)(,) | (,)(,)(,) s ii i s ii s s ssrs i s ii i t t t G 1 1 1111 1 1 1 1 21212 11 1 (,)(,)(,) (,)(,)(,) (,)(,)(,) s ii i s s s s ii i s r i siis t

24、 t t ()由由内内积积的的双双线线性性性性 这与这与 非奇异矛盾，所以非奇异矛盾，所以 线性无关。线性无关。G 12 , s 11111 21212 11 1 1 (,)(,)(,) (,)(,)(,) 0, (,)(,)(,) i s i i i i s s ssss t 那么，向量组的正交性与线性无关性有什么联系呢？那么，向量组的正交性与线性无关性有什么联系呢？ 向量组向量组 是欧氏空间是欧氏空间 的非零的非零 的正交向量组，则的正交向量组，则 必线性无关。必线性无关。 V 12 , s 12 , s 证明证明： 设有设有 1122 0 ss 等式两边与等式两边与 作内积，作内积，(1

25、,2, ) j js= =L L 1122 1 (,)(,)0 s ssjiij i 注意到注意到 以及以及(,)0 () ij ij=(,)0 jj 从而从而 ，得证。，得证。0 (1,2, ) j js=L L 根据定理根据定理4，规范正交基剩下，规范正交基剩下两个要件两个要件： （1）是向量个数与维数相等的）是向量个数与维数相等的； （2）是每个向量都是单位向量的单位向量组。）是每个向量都是单位向量的单位向量组。 注意到注意到定理定理4的逆命题不成立的逆命题不成立，所以我们自然会问：，所以我们自然会问： 一个线性无关组，在一个线性无关组，在“跋涉千山万水跋涉千山万水”，成为基之，成为基之

26、 后，如何后，如何“更上一层楼更上一层楼”，成为规范正交基？，成为规范正交基？ 在规范正交基的两个要件中，正交性显然很不容易在规范正交基的两个要件中，正交性显然很不容易 达到。下面我们把注意力集中在达到。下面我们把注意力集中在如何首先从已知基如何首先从已知基 获得正交基？获得正交基？ 设设 是定义了内积的线性空间（即欧氏是定义了内积的线性空间（即欧氏 空间）空间） 的一个基，的一个基， 是我们希望得到是我们希望得到 的的 的一个正交基？的一个正交基？ 12 , n 12 , n V V 显然，我们可令显然，我们可令 11. 如何得到如何得到 呢？呢？ 2 11 () 2 2 1 r 21 11

27、 (,) (,) k 联想到联想到正交分解正交分解，我们想，我们想 到到 在在 即即 上作投上作投 影后的影后的，设成，设成 立立 ，则，则利用利用 正交性正交性 ，可得，可得 2 1 1 1 r 121 k 11 r 经验算，它满足经验算，它满足 21 (,)0. 令令 。注意到正交性，即要求。注意到正交性，即要求 3132 1122 (,)(,) ,. (,)(,) pq 2122 ( ,)( ,)0rr 21 121 1 1 11 2221 11 (, (,) (,). (),) rk 故故 21 221 11 (,) . (,) 这说明，可取这说明，可取 2312 rpq 继续考察继续

28、考察 在在 上作投影后的上作投影后的 12 , 3 2 r 解得解得 故可令故可令 32 r 12 123 112 3 2 3 . (,) (,)(,) (,) 至此，我们就得到了矩阵计算中具有基础性作用的至此，我们就得到了矩阵计算中具有基础性作用的 Gram-Schmidt。 一般地令一般地令 (2,3, )jn 1 1 (, (,) ) j kj jjk k jk 11, ()I 经验算，它满足经验算，它满足 3132 (,)0,(,)0. 是定义了内积的线性空间是定义了内积的线性空间 （即欧氏空间）（即欧氏空间） 的一个基，则按式的一个基，则按式 构造出的构造出的 就是就是 的正交基。的

29、正交基。 12 , n 12 , n V V ( )I 显然，将正交化后得到的正交基再显然，将正交化后得到的正交基再单位化单位化，就得到，就得到 的了的了 12 12 12 ,. n n n 对于对于向量空间向量空间，使用矩阵语言，上述，使用矩阵语言，上述就是就是 12 12 , , n n B AUU 这里这里 是单位上三角阵。是单位上三角阵。U 1 AUD 111 12 | ,| ,| n UAdiag 12 , n Q 单位化单位化后后 111 1212 ,| ,| ,| nn diag 1 .QQDUAR 因此因此 其中其中 是上三角阵。是上三角阵。 1 RDU .AQR （QR分解分

30、解） 设矩阵设矩阵 列满秩列满秩，则存在单位正交列矩阵，则存在单位正交列矩阵 （各列都是单位列向量，且两两正交各列都是单位列向量，且两两正交）和上和上 三角可逆矩阵三角可逆矩阵 ，使，使 m n AC m n QC n n RC 12, , n , , 线性无关。因此按施密特正交化过程，存在单位正线性无关。因此按施密特正交化过程，存在单位正 交列向量组交列向量组 ，使得，使得 12 , n u uu 1111, ub 因为矩阵因为矩阵 列满秩，所以列满秩，所以 的列的列 AA 2121222 ,ubb 1122 , nnnnnn ubbb 用矩阵表示，即为用矩阵表示，即为 12 (,) n Q

31、u uu 11121 222 12 (,) n n n nn bbb bb b 1 .AR .AQR 二、标准正交基的几个性质二、标准正交基的几个性质 为什么总是取标准正交基呢？原因很简单！为什么总是取标准正交基呢？原因很简单！ 是定义了内积的线性空间是定义了内积的线性空间 （即欧氏空间）（即欧氏空间） 的一组标准正交基，则对任意向的一组标准正交基，则对任意向 量量 ，有，有 (,),1, 2, ii xin 12 , n V 1122nn xxxV 向量的坐标分量是该向量与相应基向量的内积！ V 是定义了内积的线性空间是定义了内积的线性空间 （即欧氏空间）（即欧氏空间） 的一组标准正交基，则

32、对任意两的一组标准正交基，则对任意两 个向量个向量 仍然有仍然有 1122 (,) nn a ba ba b 12 , n 1122 1122 , , nn nn aaaV bbbV 向量的内积就是（标准正交基下）坐标的内积 n R 我们知道，我们知道，在在向量空间向量空间中，以标准正交基为列向量的中，以标准正交基为列向量的 矩阵是正交矩阵。在矩阵是正交矩阵。在线性空间线性空间中，虽然基不一定能构中，虽然基不一定能构 成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于 欧氏空间欧氏空间，虽然标准正交基同样不一定能构成矩阵，虽然标准正交基同样不一定能构成

33、矩阵， 但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。 和和 是欧氏空是欧氏空 间间 的两组标准正交基，则两组基间的过渡矩阵是的两组标准正交基，则两组基间的过渡矩阵是 正交矩阵正交矩阵。 V 12 , n 12 , n 11211 12222 1212 12 (,)(,) m m nn nnmn ppp ppp ppp 显然矩阵显然矩阵 的各列就是的各列就是 在标准正交基在标准正交基 下的坐标，所以下的坐标，所以 12 , n 设两组标准正交基间的过渡矩阵为设两组标准正交基间的过渡矩阵为 ，即，即P 12 , n P 定理定理9 9的证明。的证明。 显

34、然矩阵显然矩阵 的各列就是的各列就是 在标准正交基在标准正交基 下的坐标，所以由定理下的坐标，所以由定理7，可知，可知 12 , n 12 , n P 11 (,) ijijnin j p pp p 1, (,) 0, iji j ij ij 因此因此 11ijnin ji j p pp p 由于由于 也是标准正交基，所以也是标准正交基，所以 12 , n 这说明矩阵这说明矩阵 是正交矩阵。是正交矩阵。P 因此因此 由于由于 也是标准正交基，所以也是标准正交基，所以 12 , n 由定理由定理9可以想到，标准正交基可以想到，标准正交基 通过正交通过正交 矩阵矩阵 过渡而来的向量组过渡而来的向量

35、组 一定也是标一定也是标 准正交基。因为准正交基。因为 12 , n 12 , n P 1 12 21 12 2 ( ,) (,) ijiiin njjjn n pppppp 1 ( ,) n ikjkk k k p p 1 1, . 0, n k T ikjkij ij p pP P ij 正交矩阵正交矩阵 是欧氏空间是欧氏空间 的标准正交基的标准正交基 到向量组到向量组 的过渡矩阵，则向的过渡矩阵，则向 量组量组 也是也是 的标准正交基。的标准正交基。 VP 12 , , n 12 , n 12 , n V 1 2 2 22 1 ,( ,)(). i j i j i ji j j i Aa

36、BbAa bRB 、 例例 11 11 欧氏空间欧氏空间 的内积为：的内积为： 2 2 R 2122 (),0 i j VXxxx V的一组标准正交基，使得的一组标准正交基，使得 中的线性变换中的线性变换 12 (), 21 T XX 求求 的子空间的子空间 2 2 R 在该基下的矩阵表示为对角矩阵。在该基下的矩阵表示为对角矩阵。 解解： 111221 100100 , 000011 Xxxx 首先注意到自然基首先注意到自然基 不符号要不符号要 求求（理由？（理由？），其次），其次 11122122 ,EEEE 所以要求的正交基应该是所以要求的正交基应该是 123 100100 ,. 0000

37、11 XXX 再标准化为再标准化为 1 11 10101 , 0000(,) Y XX 3 33 000011 . 1111(,)2 Y XX 遗憾地是，遗憾地是， 不是所求的标准正交基，因为它不是所求的标准正交基，因为它 在线性变换在线性变换 的作用下的矩阵表示不是对角阵！的作用下的矩阵表示不是对角阵！ 123 ,Y Y Y T 2 22 01011 , 0000(,) Y XX 112 101212 2, 002100 TYYY 33 00120011 3. 11213322 TYY 不过，我们可以从不过，我们可以从 出发，通过正交矩阵，出发，通过正交矩阵， 过渡到欲求的标准正交基。线性代

38、数知识告诉我们，过渡到欲求的标准正交基。线性代数知识告诉我们， 实对称矩阵可实对称矩阵可正交对角化正交对角化，所以我们要结合线性变，所以我们要结合线性变 换，寻找相应的实对称矩阵。换，寻找相应的实对称矩阵。 123 ,Y Y Y 112 011221 2, 002100 TYYY 所以所以 123123123 120 ( ,)( ,) 210( ,) , 003 T Y Y YY Y YY Y Y A 将实对称矩阵正交对角化，可得正交矩阵将实对称矩阵正交对角化，可得正交矩阵 1 (3,3, 1).Q AQdiag A这里这里 是实对称矩阵！是实对称矩阵！ 它使得它使得 2 2 22 22 2

39、2 0 0, 100 Q 这样按照定理这样按照定理10，令，令 123123 (,)( ,) ,Z Z ZY Y Y Q 即得欲求的标准正交基为即得欲求的标准正交基为 112311233 0 001 ( ,)( ,) 0, 112 1 ZY Y Y qY Y YY 22 212321222 111 ( ,), 002 ZY Y Y qYY 22 312331222 1 11 ( ,). 002 ZY Y Y qYY 1 21 4 1 (, )( ) ( ) 1 , f gf t g tfgPdtt t 、 求求 的一组正交基。的一组正交基。 4 P t 例例 12 12 欧氏空间欧氏空间 的的

40、带权带权 内积内积为：为： 4 P t 2 1 1t 显然应该从显然应该从自然基自然基 出发，应用正交化出发，应用正交化 过程得到正交基。过程得到正交基。 23 1, ,t tt解解： 23 1234 11 1 1 21 221 1 1 1 2 1 2 1, 1, (,) 1 1 1 1 1 1 (, 1 , ) 1 ttt dt tt d t t t t 3132 3312 1122 11 122 2 22 1 2 1 2 1 11 2 1 1 11 11 11 (,)(,) (,)(,) 1 1 11 2 1 tt t dtdt tt dtd ttt t t t t t 434142 44

41、123 112233 11 11 3 11 11 1 1 2 1 33 22 22 2 2 2 3 3 2 21 11 11 11 11 11 () 2 1 111 () 1 1 1 (, () 22 1 )(,)(,) (,)(,)(,) 1 3 4 dtdt tt dtdt dt t dt t tt tt t t ttt t t t tt t t 将所有多项式的系数整数化，即得将所有多项式的系数整数化，即得切比雪夫多项式切比雪夫多项式： 0 1 2 2 3 3 ( )1, ( ), ( )21, ( )43 . T t T tt T tt T ttt 3、正交投影及其应用、正交投影及其应用

42、 正交性的应用主要是通过正交投影来实正交性的应用主要是通过正交投影来实 现的。现的。无论是无论是微分方程数值解微分方程数值解中的有限中的有限 元方法等谱方法及其大量应用，还是元方法等谱方法及其大量应用，还是最最 优化理论（主要是极值问题）优化理论（主要是极值问题）及其在控及其在控 制、通信、雷达、时间序列分析、信号制、通信、雷达、时间序列分析、信号 处理等诸多学科中的应用，都与正交投处理等诸多学科中的应用，都与正交投 影有密切联系。横看成岭侧成峰，一言影有密切联系。横看成岭侧成峰，一言 以蔽之，这是以蔽之，这是认识现实世界的一种思维认识现实世界的一种思维 方式方式。 一、正交补一、正交补(Or

43、thogonal complement)与投影定理与投影定理 11 |VVV 设设 是数域是数域 上欧氏空间上欧氏空间 的两个的两个 子空间。向量子空间。向量 。如果对任意。如果对任意 ，都，都 有有 ，则称，则称 ，记，记 为为 。如果对任意。如果对任意 ，都有，都有 ， 则称则称，记为，记为 。 中中 所有与子空间所有与子空间 正交的向量的集合也构成正交的向量的集合也构成 的的 子空间，称为子空间，称为 的的，记为，记为 ，即，即 V 12 ,V VR 2 V 1 V ( ,)0 1 V V 1 V 1 V 2 V 1 V 12 VV V V 1 V 1 V 1 V 欧氏空间的正交补是否存

44、在呢？欧氏空间的正交补是否存在呢？ 11 .VVV 设设 是数域是数域 上欧氏空间上欧氏空间 的子空间，的子空间， 则则存在存在 的的唯一唯一正交补正交补 ，使得，使得 可以可以 为为 V 1 V R 1 V 1 VV ：正交分解是特殊的直和分解。正交分解是特殊的直和分解。 证明证明：。设。设 是是 的一组标的一组标 准正交基，对任意准正交基，对任意 ，令，令 12 , m 1 V V 1112221 ( ,)( ,)( ,), mm 则则 ，且，且 11 V 21 1 (,)( ,)(,)( ,)( ,) ,) m iiiijji j ( ,)( ,)( ,)0,1,2, iiii im 故

45、故 与与 中的每个向量都正交，所以中的每个向量都正交，所以 。 2 1 V 21 V 因为因为 ，故，故 。又。又 因此因此 ，从而，从而 12 11 VVV 11 VV 11 VV 11 .VVV 证明证明： 11122 ( ,)( ,)( ,) mm 。设。设 都是都是 的正交补，则的正交补，则 对任意对任意 ，有，有 23 ,V V 1 V 22 V 21113111 0(,)(,)(,)(,) 2131133 ,VV 因为因为 ，所以，所以 2131 , 从而从而 ， 故故 。同理。同理 。 因此因此 23 VV 23 .VV 12333 ,V 32 VV 设设 是数域是数域 上欧氏空

46、间上欧氏空间 的子空间。的子空间。 向量向量 。如果有。如果有 使得使得 则称则称 V 1 VR 12 1 V 1 V 1121 ,VV 设设 是数域是数域 上欧氏空间上欧氏空间 的的 子空间，则对任意子空间，则对任意 ， 在在 上上存在唯一存在唯一 的正交投影。的正交投影。 V 1 VR 1 VV 二、正交投影的应用二、正交投影的应用 1 |,V 设设 是数域是数域 上欧氏空间上欧氏空间 的子空间。的子空间。 对给定的向量对给定的向量 在子空间上在子空间上 的的指指 的是满足下列条件的的是满足下列条件的 ： RV 1 V 1 V V 1 V 设设 是数域是数域 上欧氏空上欧氏空 间间 的子空

47、间，则对给定的的子空间，则对给定的 ， 是是 在在 上的最佳逼近的上的最佳逼近的充要条件充要条件是是 ， 即即 是是 在在 上的正交投影。上的正交投影。 V 1 VR 1 V V 11 V 211 V 1 V 1 证明证明： 至少有一个向量至少有一个向量 ，使得，使得 1 ,| 1V 2 (, )0t 222 222 |(,)| |ttt 。设。设 是是 在在 上的最佳逼上的最佳逼 近，但近，但 不正交于不正交于 ，则，则 11 V 1 V 1 V 21 令令 ，则，则 ，并且，并且 1 t 1 V 因为因为 ，所以，所以 。因。因 此此 不是不是 在在 上的最佳逼近。出现矛盾。上的最佳逼近。

48、出现矛盾。 1 | 2 | |0t 1 1 V 证明证明： 22 11 |()()| 。设。设 且且 ， 则对任意的则对任意的 ，根据勾股定理，有，根据勾股定理，有 11 V 1 V 211 V 因此因此 是是 在在 上的最佳逼近。上的最佳逼近。 1 1 V 222 111 | 例例 7 7 （不相容线性方程组的最小二乘解）（不相容线性方程组的最小二乘解） 对于对于不相容不相容的线性方程组的线性方程组 ，由于该方程，由于该方程 组无精确解，因此我们只好设法找出方程组在组无精确解，因此我们只好设法找出方程组在某种某种 意义下意义下的的最优近似解最优近似解。 Axb 如果存在近似解如果存在近似解

49、，使得，使得 就称就称 为方程组的为方程组的，这种方法就称为，这种方法就称为 。 12 (,)T n xxxx 22 |AxbAxb 2 1122 1 () m iiinni i a xa xa xb x 令令 ，显然，显然 ，因此求不相容方，因此求不相容方 程组的最小二乘解的问题即为在程组的最小二乘解的问题即为在 中找出向中找出向 量量 ，使得向量，使得向量 到到 的距离比到子空间的距离比到子空间 中其它向量的中其它向量的距离距离都短，即都短，即 是向量是向量 在在 上的上的最佳逼近最佳逼近。 Ax ()yR A yAx ()R A b()R A Ax Ax b()R A 根据最佳逼近定理根

50、据最佳逼近定理 ，这样的最小二乘解满足，这样的最小二乘解满足 TT A AxA b ().AxbR A 令令 ，则，则 1 (,) n A (1, ) j jn 即即 ，因此得，因此得0 (1, ) T j jn 从从高等数学高等数学的分析学眼光看，的分析学眼光看，多元函数多元函数 12 2 (,)|,| n fxxAxxb 的最小值满足条件的最小值满足条件 2 1122 1 () m iiinni i a xa xa xb 0(1,2, ) k f kn x 即即 1122 1 02() m ikiiinni i aa xa xa xb 写成矩阵形式，则为写成矩阵形式，则为 () T AAx

51、b 也就是也就是 11 112 211 11211 1222221 122 222 121 12 2 0 0 0 n n m mn n nnmnmmmn nm a xa xa xb aaa aaaa xa xa xb aaaa xa xa xb 试用试用代数多项式代数多项式下列数据：下列数据： 13 4 5 6 7 8 9 10 10 5 4 2 1 1 2 34 i i x y 绘图发现这组数据的变化趋势接近于抛物线，故设绘图发现这组数据的变化趋势接近于抛物线，故设 所求所求代数多项式代数多项式为为 2 012 ( )y xcc xc x 将这组数据代入线性方程组将这组数据代入线性方程组 A

52、cb 10 3 (),1,10;0,1,2 j i Axij 012 ( ,) T cc c c (10,5,4,2,1,1,2,3,4) T b 2 ( )13.45973.60530.2676y xxx 法方程组为法方程组为 TT A AcA b 95338132 533813017 ,143 381 3017 253171025 TT A AA b (13.4597, 3.6053,0.2676) T c 解得解得 %ex201.m x=1 3 4 5 6 7 8 9 10; y=10 5 4 2 1 1 2 3 4; p=polyfit(x,y,2); % polyfit计算与x，y拟

53、合的多项式，并按次数从高到 低将多项式的系数保存在向量p中，参数值2表示多 项式的次数 plot(x,y,+b,x,polyval(p,x),-r ) % polyal根据x值返回拟合多项式p的y值 例例 8 8 （泰勒逼近不敌正交多项式逼近）（泰勒逼近不敌正交多项式逼近） 对欧氏空间对欧氏空间 中的函数中的函数 ，在，在 子空间子空间 找一个多项式找一个多项式 ，使得，使得 尽可能小尽可能小 ？ ( )sinf xx 2 555 2 5 | ( )( )|( ( )( ), ( )( ) | ( )( )| f xu xf xu x f xu x f xu xdx , C 5 ( )u x

54、6 UP x 首先想到的是首先想到的是泰勒展开式泰勒展开式 5 35 3!5! ( ), xx u xx 取取 ，时，绝对误差为，时，绝对误差为3x 0.3839. 另一种思路是从自然基另一种思路是从自然基 出发，应出发，应 用正交化过程得到标准正交基用正交化过程得到标准正交基 ， 然后可得到然后可得到正交多项式逼近正交多项式逼近 2345 1, ,x xxxx 123456 , 35 0.9878620.1552710.00564312,xxx 取取 ，时，绝对误差为，时，绝对误差为3x 0.0014. 51166 ( ) ( ,)( ,)u xff 例例 9 9（傅立叶级数的应用（傅立叶级

55、数的应用非线性信号的线性逼近）非线性信号的线性逼近） ( ) n pxW 22 |( )( )|( )( )| nn f xP xf xP x 2 2 0 ( )( ) n f xP xdx 对欧氏空间对欧氏空间 ，子空间，子空间 对对 中的非线性函数中的非线性函数 的的指的指的 是求某个代数多项式是求某个代数多项式 ，使得，使得 0,2 C 0,2 C ( ) n pxW 1,cos ,sin ,cos,sinWspanxxnxnx ( )f x 对欧氏空间对欧氏空间 ，子空间，子空间 对对 中的非线性函数中的非线性函数 的的指的指的 是求某个代数多项式是求某个代数多项式 ，使得，使得截断误

56、差截断误差 例例 10 10 （矩阵的值域与零空间之间的关系）（矩阵的值域与零空间之间的关系） 12 (, )0,(, )0,(, )0. m xxx 齐次线性方程组齐次线性方程组 显然等价于显然等价于Ax 这里这里 12 (,). T m A 因此求方程组因此求方程组 的解向量，就是求所有与向的解向量，就是求所有与向 量组量组 正交的向量。换言之，求齐次正交的向量。换言之，求齐次 方程组方程组 的解空间的解空间 就是求就是求 的的正交补空间正交补空间。 12 , m ()N A Ax Ax 12 (,() m T R Aspan ()(),()() TTm R AN AR AN AR 对任意

57、对任意 ，有，有 12 (,) mn n AR 一般地，对于矩阵的值域与零空间，存在下列一般地，对于矩阵的值域与零空间，存在下列 关系：关系： ()(),()() TTn R AN AR AN AR 证明证明： 所以所以( )( )( )(). mT RR AR AR AN A排排 1122 |(),() nnj kkkkRR A |,1,2, j jn |0 ,1,2, T j jn |,1,2,(,) TT N AAjn 同理可证同理可证()(). nT RR AN A 4、正交变换、正交变换 鉴于正交的重要性，所以相应的鉴于正交的重要性，所以相应的 显得尤为重要。显得尤为重要。House

58、holder变换变换（即（即反反 射变换射变换）和）和Givens变换变换（即（即旋转变换旋转变换）是）是 两种最重要的正交变换，它们的作用主要两种最重要的正交变换，它们的作用主要 是是在数值算法中构造正交基在数值算法中构造正交基。 在第一章指出，二维平面中的图形经过在第一章指出，二维平面中的图形经过旋转变换旋转变换或或 反射变换反射变换后只是位置改变了，形状和大小都没有改变，后只是位置改变了，形状和大小都没有改变， 所有的长度、角度都保持不变。前面又指出，向量的长所有的长度、角度都保持不变。前面又指出，向量的长 度和角度都可以由内积来计算。因此，变换前后的内积度和角度都可以由内积来计算。因此

59、，变换前后的内积 保持不变，即保持不变，即两向量的像的内积与原像的内积相等两向量的像的内积与原像的内积相等。 由于二维平面是特殊的欧氏空间，因此这个想法自由于二维平面是特殊的欧氏空间，因此这个想法自 然也可以推广到一般的欧氏空间。然也可以推广到一般的欧氏空间。 ()() .TT , , , 欧氏空间欧氏空间 上的线性变换上的线性变换 称为称为 上的上的 一个一个，如果，如果 保持保持 中的内积不变中的内积不变，即，即 对任意的对任意的 ，都有，都有 V V 、 V VT T 根据定义，显然正交变换也保持欧氏空间中向根据定义，显然正交变换也保持欧氏空间中向 量的量的长度长度、距离距离及向量间的及

60、向量间的夹角夹角等几何属性不等几何属性不 变。变。 x y 2 e 2 1 e 如图，显然有正交分解如图，显然有正交分解 1122 ( ,)( ,)xx e ex e e , 2222 22( ,)2( ,)yxxx e exex e 例例 2 2 再探再探HouseHolder变换变换 2222 (2)2 TT Ixxexeee 因此向量因此向量 关于关于“与与 轴正交的直线轴正交的直线”（这里就（这里就 是是 轴）轴）对称对称的镜像向量的表达式为的镜像向量的表达式为 2 e x 1 e 类似地，可定义将向量类似地，可定义将向量 变换为关于变换为关于“与单位与单位 向量向量 正交的正交的 维