SVD矩阵的奇异值分解.ppt

线性代数的几个基本概念,张剑湖 2010年7月,(一),引 言,数学的表述方式和抽象性产生了全面的升华 !,F,几何的抽象化,实用 直观,抽象,(a, b，c),按照现行的国际标准，线性代数是通过公理化、系统性表述的，具有很强的逻辑性、抽象性，是第二代数学模型.,通常的教学模式 概念相应定理公式例题求解,直觉性丧失！,向量表面上只是一列数，但是其实由于它的有序性， 所以除了这些数本身携带的信息之外，还可以在每个数的对应位置上携带信息. 线性空间中的任何一个对象，通过选取基和坐标的办法，都可以表达为向量的形式.,向量是什么？,向量是具有n个相互独立的性质（维度）的对象的表示,问 题,矩阵是什么？ 矩阵的乘法规则怎样定义？ 矩阵的相似是什么意思？ 特征值的本质是什么？,纯粹的数学理论描述、证明不能令人满意和信服 ！,一、线性空间和矩 阵的几个核心概念,基本定义: 存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就可以被称为空间.,空 间,为什么要用“空间”来称呼一些这样的集合呢？奇怪!,三维的空间 由很多（实际上是无穷多个）位置点组成； 这些点之间存在相对的关系； 可以在空间中定义长度、角度； 这个空间可以容纳运动.,这里我们所说的运动是从一个点到另一个点的跳跃（变换）,而不是微积分意义上的“连续”性的运动.,容纳运动是空间的本质特征 “空间”是容纳运动的一个对象 集合，而空间的运动由变换所规定.,矩阵 矩阵是什么？ 1. 矩阵只是一堆数，如果不对这堆数建立一些运算规则. 2. 矩阵是一列列向量，如果每一列向量列举了对同一个客观事物的多个方面的观察值.,3. 矩阵是一个图像，它的每一个元素代表相对位置的像素值. 4. 矩阵是一个线性变换，它可以将一些向量变换为另一些向量.,要回答“矩阵是什么”，取决于你从什么角度去看它.,矩阵与线性变换,在线性空间中，当选定一组基之后，不仅可以用一个向量来描述空间中的任何一个对象，而且可以用矩阵来描述该空间中的任何一个运动（变换）.也即对于任何一个线性变换，都能够用一个确定的矩阵来加以描述.,. 在线性空间中选定基之后，向量刻画对象，矩阵刻画对象的运动. 而使某个对象发生对应运动的方法，就是用代表那个运动的矩阵，乘以代表那个对象的向量.用矩阵与向量的乘法施加运动.,矩阵是线性空间中的线性变换的一个描述,线性变换不同于线性变换的一个描述,对于同一个线性变换，选定一组基，就可 以找到一个矩阵来描述这个线性变换；换一组 基，就得到一个不同的矩阵. 所有这些矩阵都是这同一个线性变换的描 述，但又不是线性变换本身.,同一个线性变换的矩阵具有性质： 若A和B是同一个线性变换的两个不同矩阵， 则一定存在非奇异矩阵P，使得,即同一个线性变换在不同的坐标系下表现为不同 的矩阵，但其本质相同，所以特征值相同.,相似矩阵，就是同一个线性变换的不同的描述矩阵. 或者说相似矩阵都是同一个线性变换的描述 .,线性变换可以用矩阵的形式呈现，也就是说，矩阵是形式，而变换 也就是各种映射才是本质， 而代数的重要任务之一就是研究各种数学结构之间的关系也就是映射.,维线性空间里的方阵 的 个 维向量如果线性无关，那么它们就可以成为度量 维线性空间的一组基，事实上就是一个坐标系体系.,矩阵与坐标系,矩阵描述了一个坐标系,变换,坐标,从变换的观点来看，对坐标系M施加R变换， 就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点来看，对坐标系M的每一个 基向量，把它在I坐标系中的坐标找出来,然后通 过R组成一个新的（坐标系）矩阵.,M,I,T,矩阵既是坐标系，又是变换.,数学定义： 矩阵就是由 行 列数 放在一起组成的数学对象,数学书上的语言是经过千锤百炼的。这种抽象的语言，精准的描述了人类对数学某些局部理解的精微. 这些描述的语言可能可以有更完善的改进，就像编写的程序有些地方的语句可以改得更巧妙更坚固一样.,数学容许我们每个人按自己的理解方式来理解, 这就看你怎样对它加工，使它明确、使它华丽、使它完美. 使它更易于理解和使用. 这个过程也就是一个人学懂数学的过程.,数无形时少直观, 形无数时难入微, 数形结合百般好, 隔离分家万事休. -华罗庚,将抽象思维形象化 将理论知识实用化,二、矩阵的四个基本子空间,记：,基本定义,Column space,n=5,Row space,m=3,r=2,设A的行阶梯形为,Notice,则存在可逆矩阵B使得,m=3 n=5 r=2,Pivot rows 1 and 2 Pivot columns 1 and 4,例1,Null space,有三个自由变量： 方程,有解：,方程组 中，若 不等于 0 且有解，则其解不会构成子空间，因为没 有0元素.,Left nullspace,Left nullspace?,设,由,例2,行基,(3,2,-1),(0,1,2),(1,0,3),N(A),例3,则,由,解得,则,显然,Row space,all ATy,Column space,all Ax,Nullspace,Ax=0,Left nullspace,ATy=0,C(AT),dim r,Rn,N(A),dim n-r,Rm,C(A) dim r,N(AT) dim m-r,互为正交补,AX=b有解 b N(AT),Rn,Row space,nullspace,Left nullspace,Action of on,Column space,例4,若,分解,得,三、矩阵的奇异值分解,应用领域 1.最优化问题； 特征值问题； 最小二乘问题； 广义逆矩阵问题等. 2.统计分析； 信号与图像处理； 系统理论和控制等.,矩阵的正交对角分解 若A是n阶实对称矩阵，则存在正交矩阵Q，使得 (1) 其中 为矩阵A的特征值，而Q的n个列向 量组成A的一个完备的标准正交特征向量系. 对于实的非对称矩阵A，不再有像式（1）的分解，但却存在两个正交矩阵P和Q，使 为对角矩阵，即有下面的正交对角分解定理.,定理 设 非奇异，则存在正交矩阵P和Q， 使得 (2) 其中 证 因为A非奇异，所以 为实对称正定矩阵，于是存 在正交矩阵Q使得， 其中 为 特征值 令 ,则有 或者 再令 ,于是有 即P为正交矩阵，且使 改写式(2)为 (3) 称式（3）为正交矩阵A的正交对角分解,引理： 1.设 则 是对称矩阵， 且其特征值是非负实数. 2. 3. 设 则 的充要条件是,定义 设 是秩为 的 实矩阵，,的特征值为,则称 为A的奇异值.,奇异值分解定理,设A是秩为,的,则存在 阶正交矩阵,实矩阵,与 阶正交矩阵,使得,其中,为矩阵A的全部奇异值.,证明 设实对称矩阵 的特征值为,则存在n阶正交矩阵 ，使得,将 分块为,其中 ， 分别是 的前 r 列与后 列.,并改写式为,则有,由的第一式可得,由的第二式可得,令 ，则 ，即 的r个列是两两正交的 单位向量.记,因此可将 扩充成 的标准正交基，记 增添的向量为 ，并构造矩阵 则 是m阶正交矩阵,且有 于是可得,称上式为矩阵A的奇异值分解.,在矩阵理论中，奇异值分解实际上是“对称矩阵正交相似于对角矩阵”的推广. 奇异值分解中 是 的特征向量，而 的列向量是 的特征向量，并且 与 的非零特征值完全相同. 但矩阵 的奇异值分解不惟一.,注意,数值秩,在没有误差时，奇异值分解可以确定矩阵的秩. 但是误差的存在使得确定变得非常困难. 例如，考虑矩阵,因为第三列是前两列的 和，所以 A 的秩是2. 如果不考虑到这个关系， 运用IEEE标准的双精度浮点计算模式， 用MATLAB命令SVD计算A 的奇异值：,format long e A=1/3,1/3,2/3;2/3,2/3,4/3;1/3,2/3,1;2/5,1/5,3/5;3/7,1/7,4/7； D= svd(A),计算结果为： D = 2.421457493421318e+000 3.406534035359026e-001 1.875146052457622e-016,因为有“三”个非零奇异值，所以A的秩 为“3”. 然而，注意到在IEEE双精度的标准下, 其中一个奇异值是微小的. 也许应该将它看作 零.因为这个原因，引人数值秩的概念.,如果矩阵 有 个“大”的奇异值，而其它都很“微小”，则称 的数值秩为 . 为了确定哪个奇异值是“微小”的，需要引人阈值或容忍度 .就MATLAB而言，可以把 设为阈值，大于这个阈值的奇异值的数目就是 A的数值秩，把小于这个阈值的奇异值看作零. 利用MATLAB的命令rank计算 的秩，它的结果是2，就是这个道理.,求矩阵,的奇异值分解,解:MATLAB程序为：,A=0,-1.6,0.6;0 ,1.2,0.8;0,0,0;0,0,0 U,S,V=svd(A),计算结果 A = 0 -1.6000 0.6000 0 1.2000 0.8000 0 0 0 0 0 0,U = 0.8000 0.6000 0 0 -0.6000 0.8000 0 0 0 0 1.0000 0 0 0 0 1.0000,S = 2.0000 0 0 0 1.0000 0 0 0 0 0 0 0 V = 0 0 1.0000 -1.0000 0.0000 0 0.0000 1.0000 0,奇异值分解的几何意义,研究将一个空间映射到不同空间，特别是 不同维数的空间时，例如超定或欠定方程组所 表示的情况，就需要用矩阵的奇异值来描述算 子对空间的作用了.,考察二维平面上的单位圆,在映射A下的变换过程,其中,MATLAB程序为：,A=sqrt(3)sqrt(2),sqrt(3)sqrt(2);-3sqrt(2),3sqrt(2); 1sqrt(2),1sqrt(2) U,S,V=svd(A),V是正交矩阵，表示二维空间的一个旋转,S 将平面上的圆变换到三 维空间坐标平面上的椭 圆,V是正交矩阵，表示二维空间的一个旋转,S 维 将 空 平 间 面 坐 上 标 的 平 圆 面 变 上 换 的 到 椭 三 圆,U是正交矩阵，表示三维空间的一个旋转,当A是方阵时，其奇异值的几何意义是: 若x是 维单位球面上的一点，则 是一个 维 椭球面上的点，其中椭球的 个半轴长正好是A的 个奇异值. 简单地说，在2维情况下，A将单位圆变成了椭圆，A的两个奇异值是椭圆的长半轴和短半轴.,设 A 是秩为 的 实矩阵， A的奇异值分解为： 即 ,且,奇异值分解的性质,则,（1） A的非零奇异值的个数等于它的秩r，即 （2） 是 的标准正交基. （3） 是 的标准正交基. （4） 是 的标准正交基. （5） 是 的标准正交基.,从上面的结论可以得到,同构,奇异值分解的特征,1.奇异值分解可以降维,A表示 个 维向量，可以通过奇异值分解表示成 个 维向量.若A的秩 远远小于 和 , 则通过奇异值分解可以降低A的维数.可以计算出，当 时，可以达到降维的目的，同时可以降低计算机对存贮器的要求.,2. 奇异值对矩阵的扰动不敏感,特征值对矩阵的扰动敏感. 在数学上可以证明，奇异值的变化不会超过相应矩阵的变化，即对任何的相同阶数的实矩阵A、B的按从大到小排列的奇异值 和 有,3. 奇异值的比例不变性,即 的奇异值是A的奇异值的 倍.,4.奇异值的旋转不变性.即若P是正交阵，PA的奇异值与A的奇异值相同.,奇异值的比例和旋转不变性特征在数字图象的旋转、镜像、平移、放大、缩小等几何变化方面有很好的应用.,5. 容易得到矩阵A的秩为 的一个最佳逼近矩阵. 奇异值的这个特征可以应用于信号的分解和重构，提取有用信息，消除信号噪声.,由矩阵A的奇异值分解 可见，A是矩阵 的加权和，其中权系数按递减排列：,矩阵的秩 逼近,好的矩阵 A，这一点在数字图像处理方面非常有用. 矩阵的秩k 逼近定义为 秩 逼近就精确等于A ，而秩1逼近的误差最大.,因此当舍去权系数小的一些项后，仍然能较,显然，权系数大的那些项对矩阵A的贡献大,在MATLAB中，秩 逼近的程序如下： clear A=2,7,9,-5,4;-9,-9,5,3,-2;-2,5,-1,-3,5;-4,9,0,9,-4, sumA=zeros(4,5); k=3 U,D,V=svd(A); for i=1:k sumA=sumA+ D(i,i)*U(:,i)*V(:,i); end sumA,或者 clear A=input(请输入矩阵A的值