第二章 内积空间

1、第二章 内积空间,当向量元素在复数域内取值时，欧氏空间就被推广到了酉空间。许多欧氏空间中的定义和性质几乎可以“平滑地”推广到酉空间。欧氏空间和酉空间统称为内积空间。,线性空间中向量的运算仅是线性运算。一般而言，我们知道，现实世界是3维欧氏空间。对于 维线性空间，定义了内积以后，向量不仅有了长度（模），还有了两向量之间的夹角等几何性质。特别是有了正交概念后，我们可以得到标准正交基、勾股定理、正交投影等许多优美的结果。,1、欧氏空间的基本概念,向量空间中向量的长度与夹角是用内积定义的，因此要在线性空间中引入相关概念，自然要对内积的概念进行推广。,由于向量的内积与向量的线性运算无关，所以欧氏空间实际

2、上是特殊的线性空间，即定义了内积的线性空间。,一、内积空间(Inner Product Space),当然可以将这种定义推广到任意线性空间，但由于这种定义与向量空间的基有关，我们目前不打算这样做。取而代之的是，注意到内积是从两个向量得到的一个数，我们自然希望确定这种运算的性质，进而给出线性空间中内积的公理化定义。,注意到 中的内积显然具有如下性质：,，当且仅当 时，等号成立。,定义1 是实数域 上的线性空间。如果对 中任意两个向量 都存在所谓 与 的内积 ，满足下面四个条件。称定义了内积的线性空间 为实内积空间，简称欧氏空间。,据此，我们可以给出线性空间中内积的公理化定义。,例2 定义了标准内

3、积的 是欧氏空间。这里，对任意两个向量 及 ， 标准内积为,例3 定义了标准内积的集合 称为希尔伯特空间，这里 是所有平方和收敛的实数列的集合，即,将向量推广到无限维，可得到：,例 4 在向量空间 中，对任意 和实对称矩阵 ，定义实双线性型（Bilinear Form ）,则 是 的一个内积。,特别地， 时 就是二次型 ；当 时就是前面的标准内积。,注意到标准内积是特殊的二次型 ，因此有如下推广：,由于函数也可以看成向量，所以内积也可以推广到函数。先考虑折线函数：,显然其内积可定义为,如果将一般函数看成具有无穷段折线段的向量，此时上面的内积定义又会变成什么形式呢？,无限求和即积分！,证明：,例

4、 5 线性空间 按下列内积构成欧氏空间：,则由函数的连续性，存在邻域,当 时，若有,，使其内任意点的函数值满足 ， 从而,矛盾。其他性质显然可证。,则 是定义了内积 的内积空间。,例6 在矩阵空间 中，对任意 定义,类似地，将矩阵看成由行向量依次连接而成的一个超级向量，即可得如下内积定义：,根据前面的分析，欧氏空间中内积还具有下列性质。,注意到3维空间中，,欧氏空间 中的向量 的范数（norm)为,定义7,特别地，称 的向量 称为单位向量。,任意非零向量 ，经过规范化或单位化后可得到单位向量,二、欧氏空间的度量,我们知道，平面几何中成立余弦定理，那么n维空间中余弦定理是否仍然成立呢？注意到,证

5、明：,对任意 ，显然,当 时，取 即两向量线性相关时等式 成立。,定理8（柯西-施瓦茨不等式）如果 是数域 上的欧氏空间，则对 中的任意向量 ，有,这个一元二次不等式对任意 恒成立，因此,类似于高等数学，根据柯西-施瓦茨不等式，我们称,为欧氏空间 中向量 与 的夹角。,特别地，当 时，称 与 正交或垂 直，记为 。,因此,余弦定理成立！,定理9如果 是数域 上的欧氏空间，则对 中的任意向量 ，具有下列三条性质（非负性、正齐性和三角不等式）：,另外，欧氏空间中的范数显然具有下列性质。,，当且仅当 时，等号成立。,定理10 如果 是数域 上的欧氏空间，则对 中的任意向量 ，有：,范数还具有下列平行

6、四边形法则、极化恒等式和勾股定理。,（3）特别地，当 与 正交时，有,最后我们给出欧氏空间 的内积的坐标表示形式。,设 为 的任意一组基，向量 在此基下的坐标分别为,则内积,最后我们给出欧氏空间 的内积的坐标表示形式。,定义11 欧氏空间 的一个向量组 的度量矩阵或Gram 矩阵指的是矩阵,可以证明Gram矩阵 是对称正定矩阵。,例 12 欧氏空间 的内积为：,（2）用矩阵方法计算下列函数的内积：,（1）求自然基 的度量矩阵 。,解：,度量矩阵 是对称矩阵，所以所求为,（2） 和 在自然基下的坐标分别是,所以所求内积为,拓扑空间,线性空间,Hausdorff空间,赋范空间,距离空间 (度量空间

7、),拓扑线性空间,完备距离线性空间,距离线性空间,内积空间,Hilbert空间,Banach空间,欧氏空间 和,各类空间的层次关系,2、标准正交基,正交性的重要性无论怎么强调都不过分，尤其在数值线性代数和微分方程数值解中，许多重要的算法都与正交性有密切联系。而这两门学科是在工程科学中有着最广泛应用的数学分支之一。,在欧氏空间内引入标准正交基后，欧氏空间内向量的内积运算就转化成了我们熟悉的向量空间内向量的内积运算。,说明此时内积是标准内积，因此用坐标计算内积的公式有最简单的形式。,我们当然希望在欧氏空间中通过适当选取基，使得欧氏空间的度量矩阵也是单位矩阵（或者尽可能简单些）。,一、标准正交基(O

8、rthonormal Basis),在 中，选取自然基 ，则度量矩阵,定义1 欧氏空间 的一组基称为 的一个正交基，如果它们两两正交。如果此正交基的每个基向量又都是单位向量，则称此基为 的一个标准正交基。,例 2 欧氏空间 的一个标准正交基是,从规范正交基的定义看，有三个要件： （1）是向量个数与维数相等的线性无关的向量组； （2）是两两正交的向量组，即正交向量组； （3）是每个向量都是单位向量的单位向量组。,如何求欧氏空间的标准正交基呢？,定理3 欧氏空间 的向量组 线性无关的充要条件是矩阵 非奇异(可逆),证明：,必要性。如果 线性无关，则它们也是 的一组基。,假设 奇异，则 有非零解 ，

9、则,故,但是,出现矛盾。,首先，如何确定向量组是否线性无关性呢？,证明：,充分性。如果 线性相关，不妨 ，则,这与 非奇异矛盾，所以 线性无关。,那么，向量组的正交性与线性无关性有什么联系呢？,定理4 向量组 是欧氏空间 的非零的正交向量组，则 必线性无关。,证明：,设有,等式两边与 作内积，,注意到 以及,从而 ，得证。,根据定理4，规范正交基剩下两个要件： （1）是向量个数与维数相等的正交向量组； （2）是每个向量都是单位向量的单位向量组。,注意到定理4的逆命题不成立，所以我们自然会问：一个线性无关组，在“跋涉千山万水”，成为基之后，如何“更上一层楼”，成为规范正交基？,在规范正交基的两个

10、要件中，正交性显然很不容易达到。下面我们把注意力集中在如何首先从已知基获得正交基？,设 是定义了内积的线性空间（即欧氏空间） 的一个基， 是我们希望得到的 的一个正交基？,显然，我们可令,如何得到 呢？,联想到正交分解，我们想到 在 即 上作投影后的残差向量 ，设成立 ，则利用正交性 ，可得,经验算，它满足,令 。注意到正交性，即要求,故,这说明，可取,继续考察 在 上作投影后的残差向量 。,解得,故可令,至此，我们就得到了矩阵计算中具有基础性作用的格拉姆-施密特(Gram-Schmidt)正交化方法。,经验算，它满足,定理5 是定义了内积的线性空间 （即欧氏空间） 的一个基，则按式 构造出的

11、 就是 的正交基。,显然，将正交化后得到的正交基再单位化，就得到的了标准正交基,对于向量空间，使用矩阵语言，上述正交化过程就是,这里 是单位上三角阵。,单位化后,因此,其中 是上三角阵。,Q R 分解,定理 6 （QR分解） 设矩阵 列满秩，则存在单位正交列矩阵 （各列都是单位列向量，且两两正交）和上三角可逆矩阵 ，使,线性无关。因此按施密特正交化过程，存在单位正交列向量组 ，使得,证明： 因为矩阵 列满秩，所以 的列,用矩阵表示，即为,二、标准正交基的几个性质,为什么总是取标准正交基呢？原因很简单！,定理 7 是定义了内积的线性空间 （即欧氏空间） 的一组标准正交基，则对任意向量 ，有,向量

12、的坐标分量是该向量与相应基向量的内积！,定理 8 是定义了内积的线性空间 （即欧氏空间） 的一组标准正交基，则对任意两个向量 仍然有,向量的内积仍然具有 中标准内积的简单形式！ 即向量的内积就是（标准正交基下）坐标的内积。,我们知道，在向量空间中，以标准正交基为列向量的矩阵是正交矩阵。在线性空间中，虽然基不一定能构成矩阵，但是两组基间的过渡矩阵是可逆矩阵。对于欧氏空间，虽然标准正交基同样不一定能构成矩阵，但标准正交基间的过渡矩阵肯定比可逆矩阵特殊。,定理 9 和 是欧氏空间 的两组标准正交基，则两组基间的过渡矩阵是正交矩阵。,显然矩阵 的各列就是 在标准正交基 下的坐标，所以,设两组标准正交基

13、间的过渡矩阵为 ，即,定理9的证明。,显然矩阵 的各列就是 在标准正交基 下的坐标，所以由定理7，可知,因此,由于 也是标准正交基，所以,这说明矩阵 是正交矩阵。,因此,由于 也是标准正交基，所以,由定理9可以想到，标准正交基 通过正交矩阵 过渡而来的向量组 一定也是标准正交基。因为,定理10 正交矩阵 是欧氏空间 的标准正交基 到向量组 的过渡矩阵，则向量组 也是 的标准正交基。,例 11 欧氏空间 的内积为：,的一组标准正交基，使得 中的线性变换,求 的子空间,在该基下的矩阵表示为对角矩阵。,解：,首先注意到自然基 不符号要求（理由？），其次,所以要求的正交基应该是,再标准化为,遗憾地是，

14、 不是所求的标准正交基，因为它在线性变换 的作用下的矩阵表示不是对角阵！,不过，我们可以从 出发，通过正交矩阵，过渡到欲求的标准正交基。线性代数知识告诉我们，实对称矩阵可正交对角化，所以我们要结合线性变换，寻找相应的实对称矩阵。,所以,将实对称矩阵正交对角化，可得正交矩阵,这里 是实对称矩阵！,它使得,这样按照定理10，令,即得欲求的标准正交基为,求 的一组正交基。,例 12 欧氏空间 的带权 内积为：,显然应该从自然基 出发，应用正交化过程得到正交基。,解：,将所有多项式的系数整数化，即得切比雪夫多项式：,3、正交投影及其应用,正交性的应用主要是通过正交投影来实现的。无论是微分方程数值解中的

15、有限元方法等谱方法及其大量应用，还是最优化理论（主要是极值问题）及其在控制、通信、雷达、时间序列分析、信号处理等诸多学科中的应用，都与正交投影有密切联系。横看成岭侧成峰，一言以蔽之，这是认识现实世界的一种思维方式。,一、正交补(Orthogonal complement)与投影定理,定义1 设 是数域 上欧氏空间 的两个子空间。向量 。如果对任意 ，都有 ，则称 与子空间 正交，记为 。如果对任意 ，都有 ，则称子空间 与 正交，记为 。 中所有与子空间 正交的向量的集合也构成 的子空间，称为 的正交补，记为 ，即,欧氏空间的正交补是否存在呢？,定理2 设 是数域 上欧氏空间 的子空间，则存在

16、 的唯一正交补 ，使得 可以正交分解为,注意：正交分解是特殊的直和分解。,证明：,存在性。设 是 的一组标准正交基，对任意 ，令,则 ，且,故 与 中的每个向量都正交，所以 。,因为 ，故 。又 因此 ，从而,证明：,唯一性。设 都是 的正交补，则对任意 ，有,因为 ，所以,从而 ，故 。同理 。 因此,定义3 设 是数域 上欧氏空间 的子空间。向量 。如果有 使得 则称 是 在 上的正交投影（Orthogonal Projection).,定理4 （投影定理）设 是数域 上欧氏空间 的子空间，则对任意 ， 在 上存在唯一的正交投影。,二、正交投影的应用,定义5 设 是数域 上欧氏空间 的子空

17、间。对给定的向量 在子空间上 的最佳逼近指的是满足下列条件的 ：,定理 6 （最佳逼近定理） 设 是数域 上欧氏空间 的子空间，则对给定的 ， 是 在 上的最佳逼近的充要条件是 ，即 是 在 上的正交投影。,证明：,至少有一个向量 ，使得,必要性。设 是 在 上的最佳逼近，但 不正交于 ，则,令 ，则 ，并且,因为 ，所以 。因此 不是 在 上的最佳逼近。出现矛盾。,证明：,充分性。设 且 ， 则对任意的 ，根据勾股定理，有,因此 是 在 上的最佳逼近。,例 7 （不相容线性方程组的最小二乘解）,对于不相容的线性方程组 ，由于该方程组无精确解，因此我们只好设法找出方程组在某种意义下的最优近似解

18、。,如果存在近似解 ，使得 就称 为方程组的最小二乘解，这种方法就称为最小二乘法。,令 ，显然 ，因此求不相容方程组的最小二乘解的问题即为在 中找出向量 ，使得向量 到 的距离比到子空间 中其它向量的距离都短，即 是向量 在 上的最佳逼近。,根据最佳逼近定理 ，这样的最小二乘解满足,令 ，则,即 ，因此得法方程组,从高等数学的分析学眼光看，多元函数,的最小值满足条件,即,写成矩阵形式，则为,也就是法方程组或正规方程组,试用代数多项式曲线拟合下列数据：,绘图发现这组数据的变化趋势接近于抛物线，故设所求代数多项式为,将这组数据代入线性方程组,法方程组为,解得,%ex201.m x=1 3 4 5

19、6 7 8 9 10; y=10 5 4 2 1 1 2 3 4; p=polyfit(x,y,2); % polyfit计算与x，y拟合的多项式，并按次数从高到低将多项式的系数保存在向量p中，参数值2表示多项式的次数 plot(x,y,+b,x,polyval(p,x),-r ) % polyal根据x值返回拟合多项式p的y值,首先想到的是泰勒展开式,取 ，时，绝对误差为,另一种思路是从自然基 出发，应用正交化过程得到标准正交基 ，然后可得到正交多项式逼近,取 ，时，绝对误差为,例 9（傅立叶级数的应用非线性信号的线性逼近）,例 10 （矩阵的值域与零空间之间的关系）,齐次线性方程组 显然等

20、价于,这里,因此求方程组 的解向量，就是求所有与向量组 正交的向量。换言之，求齐次方程组 的解空间 就是求 的正交补空间。,定理11 对任意 ，有,一般地，对于矩阵的值域与零空间，存在下列关系：,证明：,所以,同理可证,4、正交变换,鉴于正交的重要性，所以相应的正交变换显得尤为重要。Householder变换（即反射变换）和Givens变换（即旋转变换）是两种最重要的正交变换，它们的作用主要是在数值算法中构造正交基。,在第一章指出，二维平面中的图形经过旋转变换或反射变换后只是位置改变了，形状和大小都没有改变，所有的长度、角度都保持不变。前面又指出，向量的长度和角度都可以由内积来计算。因此，变换

21、前后的内积保持不变，即两向量的像的内积与原像的内积相等。,由于二维平面是特殊的欧氏空间，因此这个想法自然也可以推广到一般的欧氏空间。,定义1欧氏空间 上的线性变换 称为 上的一个正交变换，如果 保持 中的内积不变，即对任意的 ，都有,根据定义，显然正交变换也保持欧氏空间中向量的长度、距离及向量间的夹角等几何属性不变。,如图，显然有正交分解,例 2 再探HouseHolder变换,因此向量 关于“与 轴正交的直线”（这里就是 轴）对称的镜像向量的表达式为,类似地，可定义将向量 变换为关于“与单位向量 正交的 维子空间”对称的向量 的镜像变换。,定义3设 为单位向量，称矩阵 为Householde

22、r 矩阵（初等反射矩阵）， 对应的变换 称为Householder 变换（初等反射变换）,定理4对任意 ，存在Householder 矩阵 ，使得 其中 为标准单位向量。即可以通过Householder变换将向量反射到某个坐标轴上。,Householder变换在矩阵计算中占有重要地位，这是因为存在Householder变换能将非零向量的后 个分量变为零。,证明：若 ，则取与 正交的单位列向量 ，从而,若 ，令,注意到,从而,定理5设 是欧氏空间 上的一个线性变换，则下列命题是等价的： （1） 是正交变换； （2） 保持向量的范数不变，即 ； （3） 若 是 的一组标准正交基，则 也是 的标准正

23、交基； （4） 在 的任意一组标准正交基下的矩阵表示 为正交矩阵。,证明：,若线性变换保持长度不变，即,展开上式并化简，即得,同样有,根据正交变换的定义显然成立。,证明：,因此,则,对任意 ，令,显然成立。,证明：,设 在 下的矩阵为 ，即,由于 也是标准正交基，所以 是两组标准正交基间的过渡矩阵，因此 是正交矩阵。,证明：,设 是正交矩阵，则,所以 也是标准正交基。,例 6 （Givens 变换)将线性空间 中的所有向量均绕原点顺时针旋转角 的Givens变换 就是一个正交变换。因为此变换的矩阵表示 是正交矩阵。,取,则 （几何上表示什么意思？），并且,类似地，线性空间 中的任意向量 均可先通过Givens变换,变换为 。这里,显然，可以继续通过Givens变换,变换为 。这里,一般形式的Givens矩阵为：,第j 列,第i 列,定理7对任意 ，存在有限个Givens矩阵的乘积 ，使得 其中 为标准单位向量。即通过有限次Givens变换可以将向量旋转到某个坐标轴