《矩阵分析及其应用》PPT课件.ppt

第六章矩阵分析及其应用 虽然在微积分开端时期贝克莱将无穷小称为 上帝的幽灵 进而导致 第二次数学危机 直到柯西的 极限论 和戴德金等的 实数理论 的出现危机才算彻底解决 但微积分在近代社会的巨大作用我们早已深有体会 将微积分中的极限 导数 积分 级数等分析思想和方法应用于矩阵的研究 自然就在情理之中 1 矩阵序列与矩阵级数 微积分的基础是数列极限的收敛理论及其衍生出来的级数理论 矩阵可看成一个 超数 因此类比可得矩阵序列与矩阵级数 只要找到度量两个 超数 距离的适当工具 在矩阵里 这就是范数 尽管使用给定基下的分量和元素等也可以 但明显用范数记号简洁明晰 且有助于证明 一 矩阵序列的收敛性 定义1设有中的矩阵序列 这里 如果 则称此矩阵序列收敛 其极限为 记为 根据矩阵序列收敛性的定义 可证明下列性质 定理2中的矩阵序列分别收敛于 则 定理3中的矩阵系列分别收敛于 则 定理4中的矩阵序列收敛于 且所有和都可逆 则 注意定理中条件 所有和都可逆 必不可少 例如下面的不可逆 虽然可逆 且 用矩阵的范数理论来研究矩阵序列的收敛性是最常用 最简洁的方法 特别地 若 则的充要条件是 定理5中的矩阵序列收敛于的充要条件是对任意一种矩阵范数 都有 证明 所以 由范数的等价性 对于上任意一个范数 必存在正常数 使 由于向量是特殊的矩阵 因此我们有 推论1中的向量序列收敛于的充要条件是对任意一种向量范数 都有 联想到等比数列收敛当且仅当 类似地 我们有 最常见的矩阵序列是方阵的幂构成的矩阵序列 定理6中的矩阵是收敛矩阵 即 的充要条件是矩阵的谱半径小于1 即 证明 设矩阵的Jordan分解为 则 从而由定理3可知 这里规定时 由于谱半径不易计算 联系到谱半径不超过任何一种矩阵范数 实际常用范数来判断矩阵是否是收敛矩阵 只有很难找到这样的范数 才计算出矩阵的所有特征值 进而得到谱半径 定理7中的矩阵是收敛矩阵的充分条件是存在一种矩阵范数 使得 二 矩阵级数 定义8设有中的矩阵序列 矩阵级数指的是无穷和 称矩阵级数收敛 且其和为 如果其部分和序列收敛于 即 这是因为 显然 矩阵级数收敛时其通项是收敛矩阵 即 这个结果与数项级数一致 定义9中的矩阵级数称为绝对收敛的 如果数项级数 都绝对收敛 这里 定理10中的矩阵级数绝对收敛的充要条件是正项级数收敛 这里矩阵范数是任意的 同数项级数相吻合的是 判定矩阵级数是否绝对收敛可借助范数理论转化为判定正项级数的敛散性 证明 必要性 从而 若级数绝对收敛 则都收敛 故 所以正项级数收敛 根据范数的等价性 对任意矩阵范数 正项级数收敛 证明 充分性 若级数收敛 则由矩阵范数的等价性可知 正项级数收敛 故 所以都收敛 即绝对收敛 因此矩阵级数绝对收敛 定义11中的矩阵级数 称为矩阵的幂级数 这里 由前可知矩阵的幂级数是实变量的幂级数以及复变量的幂级数的推广 因此讨论矩阵幂级数的收敛性问题自然就与复变量的幂级数的收敛半径联系起来 定理12设幂级数的收敛半径为 则 当时幂级数收敛 当时幂级数发散 证明 设矩阵的Jordan分解为 则 从而 其中 这里规定时 绝对收敛 故矩阵幂级数绝对收敛 则当时幂级数 当时矩阵必有某个特征值 从而幂级数发散 因此矩阵幂级数发散 绝对收敛 故矩阵幂级数绝对收敛 最后讨论最特殊的诺伊曼 Neumann 级数 即 幂级数的收敛半径是 并且收敛于 所以我们通过类比可以得到 定理13上的诺伊曼 Neumann 级数收敛的充要条件是 并且诺伊曼 Neumann 级数收敛于 定理14对上满足的相容矩阵范数 如果 则有误差估计式 定理14的证明需要用到上一章的引理6 即 引理6对 若 则矩阵非奇异 且 证明 所以Neumann级数收敛 则 由于 由题知 两边取范数 并利用引理6 得 2 矩阵函数及其计算 矩阵函数在力学 控制理论及信号处理等学科中具有重要应用 类比普通函数 矩阵函数的特殊之处在于其自变量与因变量都是方阵 对应于矩阵函数的多种表示方式 幂级数 Jordan表示 多项式表示 积分表示等 定义矩阵函数的方式也很多 一 矩阵函数的定义及性质 定义1设一元函数可展开为收敛半径为的幂级数 即 矩阵的谱半径 则矩阵函数即为相应的矩阵幂级数 收敛时 的和 即 在高等数学和复变函数中 有幂级数展开式 相应地 我们有矩阵函数 以及含参数的矩阵函数 根据欧拉公式 可以推出 遗憾的是 指数运算规则一般不成立 例如 令 有 则 可以验证确实两两不等 那么什么条件下指数运算规则成立呢 定理2如果 那么 证明 而 推论设 则 二 矩阵函数的计算 由矩阵函数的定义 矩阵函数的计算转化为矩阵幂级数和的计算 主要就是矩阵幂的计算 首先联想到矩阵的对角化问题 即希望利用特征值分解来计算矩阵函数 由于对角矩阵的对角元就是矩阵的特征值 而相似矩阵就是相应的特征向量构成的矩阵 这样对任意矩阵 则可以使用Jordan分解 这两种方法的计算都比较复杂 因此最后我们给出待定系数法 特征值分解法 计算原理设可对角化矩阵的特征值分解为 则有 例3求矩阵函数和 其中 解 矩阵的特征值为 对应的特征向量为 对应的特征向量为 因此相似矩阵为 从而 利用幂级数求矩阵函数 要求相应的函数必须能够展开成收敛的幂级数 这个条件一般不容易满足 而根据特征值分解法 我们可以根据矩阵的谱即矩阵的特征值的集合来定义矩阵函数 这样就拓宽了矩阵函数的定义范围 尤其是对那些不能展开成收敛的幂级数的函数也可以定义出相应的矩阵函数 三 基于Jordan分解的矩阵函数的定义 设任意矩阵的Jordan分解为 则对于任意复系数多项式 有 其中 一般地 如果矩阵的最小多项式为 则对于任意复值函数 只要 有意义 我们就说函数在矩阵的谱上有定义 则定义任意复值函数的矩阵函数为 定义4设复值函数在矩阵的谱上有定义 矩阵有Jordan分解 其中 Jordan分解法 计算原理设任意矩阵的Jordan分解为 则有 其中 例5求矩阵函数和 其中 解 求得的Jordan分解为 其中 当时 则 当时 例6求矩阵函数 其中 解 求得的Jordan分解为 其中 例7求矩阵函数 其中 解 求得的Jordan分解为 其中 在定义4中 矩阵函数只与函数在上的值有关 这启发我们 如果能够求出一个尽可能简单的函数 比如复系数多项式 使得两者在上等值 那么便有 此就是著名的Hermite多项式插值问题 则存在唯一的复值多项式函数 使得 定理8设复值函数在矩阵的谱上有定义 矩阵有最小多项式 以及 待定系数法 计算原理设矩阵的特征多项式为 由带余除法 设有 确定出余式 再根据Cayley Hamilton定理 有 从而 则可由 例9求矩阵函数 其中 解 矩阵的特征多项式为 因此设 则 解得 因此 四 矩阵函数的最完美定义 不要求掌握 定义10设复值函数在闭曲线的内部解析 且包围了 则矩阵函数为 显然这是复变函数中Cauchy积分定理的矩阵形式 需要指出的是 数值软件Matlab中使用expm logm sqrtm等计算相应的矩阵函数 其中涉及到的算法主要分为特征值方法 特征值分解 Jordan分解 Schur分解等 和逼近方法 泰勒逼近 pade逼近等 考虑到计算复杂性及稳定性 实现时前者使用的是Schur分解法 后者是Pade逼近法 详见Golub VanLoan 矩阵计算 3 矩阵的微分与积分 实际使用时 矩阵函数与函数矩阵的微分 积分常常同时出现 研究矩阵函数和函数矩阵的微分 积分 这对研究微分方程组以及优化问题等都非常重要 其中尤为重要的是梯度分析的方法 张贤达在 矩阵分析及应用 中将之列为矩阵分析的五大分析方法之首 并有详细介绍 一 一元函数矩阵的微积分 定义1设有函数矩阵 称矩阵可微 如果其每个元素都是可微函数 且微分为 定义2设有函数矩阵 称矩阵的微分为满足下式的矩阵 联想到普通函数的微分也满足下式 定理3设和都是可微矩阵 则 这里为可微矩阵 遗憾的是 链氏法则对矩阵值函数并不成立 例如对矩阵多项式函数显然 上式中 要使法则成立 显然需要补充条件 如此 对多项式函数 才能成立链式法则 定义4设有函数矩阵 称矩阵二阶可微 如果其每个元素都是二阶可微函数 且二阶微分为 一般地 不难给出矩阵的高阶导数 定义5设有函数矩阵 称矩阵在上可积 如果其每个元素都在上可积 且积分为 容易验证矩阵积分具有下列性质 这里为常量矩阵 定理6设和都在上可积 则 定理7设在上连续 则成立微积分基本定理 定理8设在上连续 则成立牛顿 莱布尼兹公式 例9矩阵为任意常量方阵 证明 例10设矩阵 证明 因为矩阵的迹是线性函数 即 例10说明对函数矩阵A t 而言 求导和A t 的线性函数l A t 可以交换运算次序 即 二 函数对向量的微分 定义11设有多元函数 定义函数对的微分 即梯度 为向量 显然 梯度的各分量给出了标量函数在该分量上的变化率 从而指出了此函数的最大增长率 例12对双线性型 有 特别地 有 例13对二次型 有 特别地 当对称时 有 有 例14当对称时 对二次泛函 因此求二次泛函的极值问题转化为求方程组的解 即二次泛函的稳定 Stationary 点是可能的极值点 定义15设有多元函数 定义函数对的微分 即行梯度 为行向量 定义16行向量值函数对列向量的微分为Jacobi矩阵 行对列 将梯度推广到向量值函数 我们有 定义17列向量值函数对行向量的微分为Jacobi矩阵 列对行 特别地 当时 有Jacobi行列式 例18对 有 例19对 有 都是行对列 例20推广例13的结论 对 有 例21链式法则 例22 二重积分的坐标变换 直角坐标系下的二重积分 变成相应的极坐标下的二重积分 经过变换 定义23多元函数对列向量的二阶微分为Hessian矩阵 其Hessian矩阵为 例24当对称时 对二次泛函 如果矩阵还是正定的 并且存在 使得 则由可知是二次泛函的局部极小点 实际应用中经常要考虑诸如矩阵的迹 矩阵的行列式等矩阵标量函数与矩阵元素值变化之间的关系 比如扰动分析中某个矩阵元素值的变化对矩阵的迹的影响等 矩阵标量函数显然可理解为元的函数 即 因此有必要将梯度推广到矩阵标量函数 三 矩阵标量函数对矩阵的微分 定义25设有矩阵标量函数 函数对的微分为梯度矩阵 例27对双线性型 有 例26对矩阵的迹 有 因此 例28对矩阵乘积的迹 有 四 矩阵对矩阵的微分 定义28设矩阵值函数的元素都是矩阵标量函数 矩阵函数对的微分指的是矩阵 其中 例29已知 设 求 解 因为 所以 4 矩阵函数的应用 矩阵函数经常与函数矩阵 包括向量值函数及矩阵 联系在一起 而 线性化 是处理问题的一种思维方式 比如控制中的线性系统理论 两者的结晶最典型的就是线性微分方程组在线性系统中的应用 非线性问题 目前主要还是通过 线性化近似 来解决的 一 线性齐次微分方程组 齐次微分方程 的通解为 将推广到向量 将系数推广到对角矩阵以及块对角矩阵 结论仍然成立 此时有 对于任意系数矩阵 注意到Jordan分解 令 则方程组的最简解耦为 因此 从而 定理1线性常系数齐次微分方程组 的通解为 这里 是常数矩阵 证明由于 两边积分得 因此 例2求常系数线性齐次微分方程组 在下列初始条件下的解 解 方程组的矩阵形式为 这里 根据定理1 其解为 矩阵的Jordan分解为 这里 这时 因此所求微分方程组的解为 二 线性非齐次微分方程组 非齐次微分方程 的通解为 将推广到向量 将系数推广到任意矩阵 结论仍然成立 定理3线性常系数非齐次微分方程组 的通解为 这里 其他与定理1相同 两边积分得 即 证明用乘方程两边 并整理得 再用乘方程两边 并整理即得结果 例4求常系数线性非齐次微分方程组 满足初始条件的解 这里 解 矩阵的特征值分解为 这里 因此 因此所求微分方程组的解为 线性定常连续系统的状态方程为 其通解为 三 应用 线性定常系统的状态转移矩阵 这里第一项 零输入响应 是由初始状态引起的系统自由运动 第二项 零状态响应 是由控制输入所产生的受控运动 由于变换矩阵起着一种状态转移的作用 称为状态转移矩阵 显然它表征了从初始状态到当前状态的转移关系 而且从本质上看 无论是初始状态引起的运动 第一项 还是由输入引起的运动 第二项 都是一种状态转移 都可用状态转移矩阵来表示 实际上 根据定义可以证明 状态转移矩阵满足 以及 这与下列关系显然吻合 四 矩阵微分方程 很容易验证 矩阵微分方程 的解为 这里是未知函数矩阵 而且 可以成立Jacobi恒等式 因此 当为非奇异矩阵时 方程的解都是非奇异的 特别地 当时 方程的解称为的基本解矩阵 Jacobi恒等式的证明 注意到 这说明方程的解都可以用基本解矩阵来表示 即 令 则 那么基本解矩阵又如何表示呢 先退到常系数线性齐次微分方程组 它的解为 因此我们猜测 令 则 将展开成矩阵幂级数 又因为 因此只有当时 才有 并且在该条件下 方程的解为 根据矩阵微分方程理论 线性时变系统齐次状态方程 的通解应为 五 应用 线性时变系统的状态转移矩阵 这里基本解矩阵为下列方程的解 基本解矩阵仍然起到状态转移的效果 那么它是否还具有的性质呢 将方程的通解记为 则很容易验证此通解对初始条件是线性的 即 因此 线性无关当且仅当也线性无关 注意到 因此 这里矩阵满足方程 因此就是基本解矩阵 如果以方程的个线性无关解为列构成矩阵 那么容易验证 由此出发 显然也可以证明 对线性时变连续系统非齐次状态方程 类比可知 其通解应为 通解中 第一项 零输入响应 仍是由初始状态引起的系统自由运动 第二项 零状态响应 仍是由控制输入所产生的受控运动 前已提及 只有当时 线性时变系统的状态响应才具有上述封闭形式 但此条件一般不成立 因此这种统一的表示更具有理论意义 设 则 证明 因此 两边积分 得 对一个控制系统 存在kalman提出的两个基本问题 1 在有限时间内 控制作用能否使系统从初始状态转移到要求的状态 此即控制作用对状态变量的支配能力 状态的能控性问题 2 在有限时间内 能否通过对系统输出的测定来估计系统的初始状态 此即系统的输出量能否反映状态变量