第二章 内积空间ppt课件

第二章内积空间 当向量元素在复数域内取值时 欧氏空间就被推广到了酉空间 许多欧氏空间中的定义和性质几乎可以 平滑地 推广到酉空间 欧氏空间和酉空间统称为内积空间 线性空间中向量的运算仅是线性运算 一般而言 我们知道 现实世界是3维欧氏空间 对于维线性空间 定义了内积以后 向量不仅有了长度 模 还有了两向量之间的夹角等几何性质 特别是有了正交概念后 我们可以得到标准正交基 勾股定理 正交投影等许多优美的结果 1 欧氏空间的基本概念 向量空间中向量的长度与夹角是用内积定义的 因此要在线性空间中引入相关概念 自然要对内积的概念进行推广 由于向量的内积与向量的线性运算无关 所以欧氏空间实际上是特殊的线性空间 即定义了内积的线性空间 一 内积空间 InnerProductSpace 当然可以将这种定义推广到任意线性空间 但由于这种定义与向量空间的基有关 我们目前不打算这样做 取而代之的是 注意到内积是从两个向量得到的一个数 我们自然希望确定这种运算的性质 进而给出线性空间中内积的公理化定义 注意到中的内积显然具有如下性质 当且仅当时 等号成立 定义1是实数域上的线性空间 如果对中任意两个向量都存在所谓与的内积 满足下面四个条件 称定义了内积的线性空间为实内积空间 简称欧氏空间 据此 我们可以给出线性空间中内积的公理化定义 例2定义了标准内积的是欧氏空间 这里 对任意两个向量及 标准内积为 例3定义了标准内积的集合称为希尔伯特空间 这里是所有平方和收敛的实数列的集合 即 将向量推广到无限维 可得到 例4在向量空间中 对任意和实对称矩阵 定义实双线性型 BilinearForm 则是的一个内积 特别地 时就是二次型 当时就是前面的标准内积 注意到标准内积是特殊的二次型 因此有如下推广 由于函数也可以看成向量 所以内积也可以推广到函数 先考虑折线函数 显然其内积可定义为 如果将一般函数看成具有无穷段折线段的向量 此时上面的内积定义又会变成什么形式呢 无限求和即积分 证明 例5线性空间按下列内积构成欧氏空间 则由函数的连续性 存在邻域 当时 若有 使其内任意点的函数值满足 从而 矛盾 其他性质显然可证 则是定义了内积的内积空间 例6在矩阵空间中 对任意定义 类似地 将矩阵看成由行向量依次连接而成的一个超级向量 即可得如下内积定义 根据前面的分析 欧氏空间中内积还具有下列性质 注意到3维空间中 欧氏空间中的向量的范数 norm 为 定义7 特别地 称的向量称为单位向量 任意非零向量 经过规范化或单位化后可得到单位向量 二 欧氏空间的度量 我们知道 平面几何中成立余弦定理 那么n维空间中余弦定理是否仍然成立呢 注意到 证明 对任意 显然 当时 取即两向量线性相关时等式成立 定理8 柯西 施瓦茨不等式 如果是数域上的欧氏空间 则对中的任意向量 有 这个一元二次不等式对任意恒成立 因此 类似于高等数学 根据柯西 施瓦茨不等式 我们称 为欧氏空间中向量与的夹角 特别地 当时 称与正交或垂直 记为 因此 余弦定理成立 定理9如果是数域上的欧氏空间 则对中的任意向量 具有下列三条性质 非负性 正齐性和三角不等式 另外 欧氏空间中的范数显然具有下列性质 当且仅当时 等号成立 定理10如果是数域上的欧氏空间 则对中的任意向量 有 范数还具有下列平行四边形法则 极化恒等式和勾股定理 3 特别地 当与正交时 有 最后我们给出欧氏空间的内积的坐标表示形式 设为的任意一组基 向量在此基下的坐标分别为 则内积 最后我们给出欧氏空间的内积的坐标表示形式 定义11欧氏空间的一个向量组的度量矩阵或Gram矩阵指的是矩阵 可以证明Gram矩阵是对称正定矩阵 例12欧氏空间的内积为 2 用矩阵方法计算下列函数的内积 1 求自然基的度量矩阵 解 度量矩阵是对称矩阵 所以所求为 2 和在自然基下的坐标分别是 所以所求内积为 拓扑空间 线性空间 Hausdorff空间 赋范空间 距离空间 度量空间 拓扑线性空间 完备距离线性空间 距离线性空间 内积空间 Hilbert空间 Banach空间 欧氏空间和 各类空间的层次关系 2 标准正交基 正交性的重要性无论怎么强调都不过分 尤其在数值线性代数和微分方程数值解中 许多重要的算法都与正交性有密切联系 而这两门学科是在工程科学中有着最广泛应用的数学分支之一 在欧氏空间内引入标准正交基后 欧氏空间内向量的内积运算就转化成了我们熟悉的向量空间内向量的内积运算 说明此时内积是标准内积 因此用坐标计算内积的公式有最简单的形式 我们当然希望在欧氏空间中通过适当选取基 使得欧氏空间的度量矩阵也是单位矩阵 或者尽可能简单些 一 标准正交基 OrthonormalBasis 在中 选取自然基 则度量矩阵 定义1欧氏空间的一组基称为的一个正交基 如果它们两两正交 如果此正交基的每个基向量又都是单位向量 则称此基为的一个标准正交基 例2欧氏空间的一个标准正交基是 从规范正交基的定义看 有三个要件 1 是向量个数与维数相等的线性无关的向量组 2 是两两正交的向量组 即正交向量组 3 是每个向量都是单位向量的单位向量组 如何求欧氏空间的标准正交基呢 定理3欧氏空间的向量组线性无关的充要条件是矩阵非奇异 可逆 证明 必要性 如果线性无关 则它们也是的一组基 假设奇异 则有非零解 则 故 但是 出现矛盾 首先 如何确定向量组是否线性无关性呢 证明 充分性 如果线性相关 不妨 则 这与非奇异矛盾 所以线性无关 那么 向量组的正交性与线性无关性有什么联系呢 定理4向量组是欧氏空间的非零的正交向量组 则必线性无关 证明 设有 等式两边与作内积 注意到以及 从而 得证 根据定理4 规范正交基剩下两个要件 1 是向量个数与维数相等的正交向量组 2 是每个向量都是单位向量的单位向量组 注意到定理4的逆命题不成立 所以我们自然会问 一个线性无关组 在 跋涉千山万水 成为基之后 如何 更上一层楼 成为规范正交基 在规范正交基的两个要件中 正交性显然很不容易达到 下面我们把注意力集中在如何首先从已知基获得正交基 设是定义了内积的线性空间 即欧氏空间 的一个基 是我们希望得到的的一个正交基 显然 我们可令 如何得到呢 联想到正交分解 我们想到在即上作投影后的残差向量 设成立 则利用正交性 可得 经验算 它满足 令 注意到正交性 即要求 故 这说明 可取 继续考察在上作投影后的残差向量 解得 故可令 至此 我们就得到了矩阵计算中具有基础性作用的格拉姆 施密特 Gram Schmidt 正交化方法 经验算 它满足 定理5是定义了内积的线性空间 即欧氏空间 的一个基 则按式构造出的就是的正交基 显然 将正交化后得到的正交基再单位化 就得到的了标准正交基 对于向量空间 使用矩阵语言 上述正交化过程就是 这里是单位上三角阵 单位化后 因此 其中是上三角阵 QR分解 定理6 QR分解 设矩阵列满秩 则存在单位正交列矩阵 各列都是单位列向量 且两两正交 和上三角可逆矩阵 使 线性无关 因此按施密特正交化过程 存在单位正交列向量组 使得 证明 因为矩阵列满秩 所以的列 用矩阵表示 即为 二 标准正交基的几个性质 为什么总是取标准正交基呢 原因很简单 定理7是定义了内积的线性空间 即欧氏空间 的一组标准正交基 则对任意向量 有 向量的坐标分量是该向量与相应基向量的内积 定理8是定义了内积的线性空间 即欧氏空间 的一组标准正交基 则对任意两个向量仍然有 向量的内积仍然具有中标准内积的简单形式 即向量的内积就是 标准正交基下 坐标的内积 我们知道 在向量空间中 以标准正交基为列向量的矩阵是正交矩阵 在线性空间中 虽然基不一定能构成矩阵 但是两组基间的过渡矩阵是可逆矩阵 对于欧氏空间 虽然标准正交基同样不一定能构成矩阵 但标准正交基间的过渡矩阵肯定比可逆矩阵特殊 定理9和是欧氏空间的两组标准正交基 则两组基间的过渡矩阵是正交矩阵 显然矩阵的各列就是在标准正交基下的坐标 所以 设两组标准正交基间的过渡矩阵为 即 定理9的证明 显然矩阵的各列就是在标准正交基下的坐标 所以由定理7 可知 因此 由于也是标准正交基 所以 这说明矩阵是正交矩阵 因此 由于也是标准正交基 所以 由定理9可以想到 标准正交基通过正交矩阵过渡而来的向量组一定也是标准正交基 因为 定理10正交矩阵是欧氏空间的标准正交基到向量组的过渡矩阵 则向量组也是的标准正交基 例11欧氏空间的内积为 的一组标准正交基 使得中的线性变换 求的子空间 在该基下的矩阵表示为对角矩阵 解 首先注意到自然基不符号要求 理由 其次 所以要求的正交基应该是 再标准化为 遗憾地是 不是所求的标准正交基 因为它在线性变换的作用下的矩阵表示不是对角阵 不过 我们可以从出发 通过正交矩阵 过渡到欲求的标准正交基 线性代数知识告诉我们 实对称矩阵可正交对角化 所以我们要结合线性变换 寻找相应的实对称矩阵 所以 将实对称矩阵正交对角化 可得正交矩阵 这里是实对称矩阵 它使得 这样按照定理10 令 即得欲求的标准正交基为 求的一组正交基 例12欧氏空间的带权内积为 显然应该从自然基出发 应用正交化过程得到正交基 解 将所有多项式的系数整数化 即得切比雪夫多项式 3 正交投影及其应用 正交性的应用主要是通过正交投影来实现的 无论是微分方程数值解中的有限元方法等谱方法及其大量应用 还是最优化理论 主要是极值问题 及其在控制 通信 雷达 时间序列分析 信号处理等诸多学科中的应用 都与正交投影有密切联系 横看成岭侧成峰 一言以蔽之 这是认识现实世界的一种思维方式 一 正交补 Orthogonalcomplement 与投影定理 定义1设是数域上欧氏空间的两个子空间 向量 如果对任意 都有 则称与子空间正交 记为 如果对任意 都有 则称子空间与正交 记为 中所有与子空间正交的向量的集合也构成的子空间 称为的正交补 记为 即 欧氏空间的正交补是否存在呢 定理2设是数域上欧氏空间的子空间 则存在的唯一正交补 使得可以正交分解为 注意 正交分解是特殊的直和分解 证明 存在性 设是的一组标准正交基 对任意 令 则 且 故与中的每个向量都正交 所以 因为 故 又因此 从而 证明 唯一性 设都是的正交补 则对任意 有 因为 所以 从而 故 同理 因此 定义3设是数域上欧氏空间的子空间 向量 如果有使得则称是在上的正交投影 OrthogonalProjection 定理4 投影定理 设是数域上欧氏空间的子空间 则对任意 在上存在唯一的正交投影 二 正交投影的应用 定义5设是数域上欧氏空间的子空间 对给定的向量在子空间上的最佳逼近指的是满足下列条件的 定理6 最佳逼近定理 设是数域上欧氏空间的子空间 则对给定的 是在上的最佳逼近的充要条件是 即是在上的正交投影 证明 至少有一个向量 使得 必要性 设是在上的最佳逼近 但不正交于 则 令 则 并且 因为 所以 因此不是在上的最佳逼近 出现矛盾 证明 充分性 设且 则对任意的 根据勾股定理 有 因此是在上的最佳逼近 例7 不相容线性方程组的最小二乘解 对于不相容的线性方程组 由于该方程组无精确解 因此我们只好设法找出方程组在某种意义下的最优近似解 如果存在近似解 使得就称为方程组的最小二乘解 这种方法就称为最小二乘法 令 显然 因此求不相容方程组的最小二乘解的问题即为在中找出向量 使得向量到的距离比到子空间中其它向量的距离都短 即是向量在上的最佳逼近 根据最佳逼近定理 这样的最小二乘解满足 令 则 即 因此得法方程组 从高等数学的分析学眼光看 多元函数 的最小值满足条件 即 写成矩阵形式 则为 也就是法方程组或正规方程组 试用代数多项式曲线拟合下列数据 绘图发现这组数据的变化趋势接近于抛物线 故设所求代数多项式为 将这组数据代入线性方程组 法方程组为 解得 ex201 mx 1345678910 y 1054211234 p polyfit x y 2 polyfit计算与x y拟合的多项式 并按次数从高到低将多项式的系数保存在向量p中 参数值2表示多项式的次数plot x y b x polyval p x r polyal根据x值返回拟合多项式p的y值 首先想到的是泰勒展开式 取 时 绝对误差为 另一种思路是从自然基出发 应用正交化过程得到标准正交基 然后可得到正交多项式逼近 取 时 绝对误差为 例9 傅立叶级数的应用 非线性信号的线性逼近 例10 矩阵的值域与零空间之间的关系 齐次线性方程组显然等价于 这里 因此求方程组的解向量 就是求所有与向量组正交的向量 换言之 求齐次方程组的解空间就是求的正交补空间 定理11对任意 有 一般地 对于矩阵的值域与零空间 存在下列关系 证明 所以 同理可证 4 正交变换 鉴于正交的重要性 所以相应的正交变换显得尤为重要 Householder变换 即反射变换 和Givens变换 即旋转变换 是两种最重要的正交变换 它们的作用主要是在数值算法中构造正交基 在第一章指出 二维平面中的图形经过旋转变换或反射变换后只是位置改变了 形状和大小都没有改变 所有的长度 角度都保持不变 前面又指出 向量的长度和角度都可以由内积来计算 因此 变换前后的内积保持不变 即两向量的像的内积与原像的内积相等 由于二维平面是特殊的欧氏空间 因此这个想法自然也可以推广到一般的欧氏空间 定义1欧氏空间上的线性变换称为上的一个正交变换 如果保持中的内积不变 即对任意的 都有 根据定义 显然正交变换也保持欧氏空间中向量的长度 距离及向量间的夹角等几何属性不变 如图 显然有正交分解 例2再探HouseHolder变换 因此向量关于 与轴正交的直线 这里就是轴 对称的镜像向量的表达式为 类似地 可定义将向量变换为关于 与单位向量正交的维子空间 对称的向量的镜像变换 定义3设为单位向量 称矩阵为Householder矩阵 初等反射矩阵 对应的变换称为Householder变换 初等反射变换 定理4对任意 存在Householder矩阵 使得其中为标准单位向量 即可以通过Householder变换将向量反射到某个坐标轴上 Householder变换在矩阵计算中占有重要地位 这是因为存在Householder变换能将非零向量的后个分量变为零 证明 若 则取与正交的单位列向量 从而 若 令 注意到 从而 定理5设是欧氏空间上的一个线性变换 则下列命题是等价的 1 是正交变换 2 保持向量的范数不变 即 3 若是的一组标准正交基 则也是的标准正交基 4 在的任意一组标准正交基下的矩阵表示为正交矩阵 证明 若线性变换保持长度不变 即 展开上式并化简 即得 同样有 根据正交变换的定义显然成立 证明 因此 则 对任意 令 显然成立 证明 设在下的矩阵为 即 由于也是标准正交基 所以是两组标准正交基间的过渡矩阵 因此是正交矩阵 证明 设是正交矩阵 则 所以也是标准正交基 例6 Givens变换 将线性空间中的所有向量均绕原点顺时针旋转角的Givens变换就是一个正交变换 因为此变换的矩阵表示是正交矩阵 取 则 几何上表示什么意思 并且 类似地 线性空间中的任意向量均可先通过Givens变换 变换为 这里 显然 可以继续通过Givens变换 变换为 这里 一般形式的Givens矩阵为 第j列 第i列 定理7对任意 存在有限个Givens矩阵的乘积 使得其中为标准单位向量 即通过有限次Givens变换可以将向量旋转到某个坐标轴上 Givens变换在矩