矩阵的奇异值分解

1、2 矩阵的奇异值分解定义 设是秩为的复矩阵，的特征值为.则称为A的奇异值.易见，零矩阵的奇异值都是零，矩阵的奇异值的个数等于的列数，的非零奇异值的个数等于其秩.矩阵的奇异值具有如下性质：（1）为正规矩阵时，的奇异值是的特征值的模；（2）为半正定的Hermite矩阵时，的奇异值是的特征值；（3）若存在酉矩阵，矩阵，使，则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值.奇异值分解定理 设是秩为的复矩阵，则存在m阶酉矩阵与n阶酉矩阵，使得. 其中，为矩阵的全部非零奇异值.证明 设Hermite矩阵的n个特征值按大小排列为.则存在n阶酉矩阵，使得. 将分块为 ，其中，分别是的前r列与后列. 并改写式

2、为.则有. 由的第一式可得.由的第二式可得.令，则，即的r个列是两两正交的单位向量.记作，因此可将扩充成的标准正交基，记增添的向量为，并构造矩阵，则是m阶酉矩阵,且有 .于是可得.由式可得. 称式为矩阵的奇异值分解.值得注意的是：在奇异值分解中是的特征向量，而的列向量是的特征向量，并且与的非零特征值完全相同.但矩阵的奇异值分解不惟一.证明2 设Hermite矩阵的n个特征值按大小排列为.则存在n阶酉矩阵，使得. 将分块为，它的n个列是对应于特征值的标准正交的特征向量.为了得到酉矩阵U，首先考察中的向量组，由于当i不等于j时有所以向量组是中的正交向量组.又 ，所以 .令，则得到中的标准正交向量组

3、，把它扩充成为中的标准正交基，令则U是m阶酉矩阵.由已知及前面的推导可得，；，；从而 故有，即.例1 求矩阵的奇异值分解.解 的特征值为，对应的单位特征向量依次为.所以 .于是可得，.计算，则的奇异值分解为.在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是的r个非零特征值所对应的特征向量，将他们取为矩阵V1，则.酉矩阵U的列向量被称为A的左奇异向量，将U从前r列处分块为，由分块运算，有从而 .因此，有下列结果 （1）的列向量组是矩阵A的零空间的一组标准正交基； （2）的列向量组是矩阵A的列空间的一组标准正交基； （1）的列向量组是矩阵A的零空间正交补的一组标准正交基； （1

4、）的列向量组是矩阵A的列空间正交补的一组标准正交基.在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息. 更进一步，由于，可借助于奇异值分解，将A表示为归纳这一结果，有如下定理. 定理 设，A的非零奇异值为，是应于奇异值的左奇异向量，是应于奇异值的右奇异向量，则. 上式给出的形式被称为矩阵A的奇异值展开式，对一个，略去A的一些小的奇异值对应的项，去矩阵为.则是一个秩为k的mn矩阵.可以证明，是在所有秩为k的mn矩阵中，从Frobenius范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个mn阶像素矩阵

5、来储存，存储量mn是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值，奇异向量的分量，总计r（m+n+1）个数.取m=n=1000，r=100作一个比较，mn=1000000，r（m+n+1）=100（1000+1000+1）=200100.取A的奇异值展开式，存储量较A的元素情形减少了80%.另外，可取，用逼近A，能够达到既压缩图像的存储量，又保持图像不失真的目的.由矩阵的奇异值分解可得可见，是矩阵的加权和，其中权系数按递减排列.显然，权系数大的那些项对矩阵的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵，这一点在数字图像处理方面非常有用.矩阵的秩k逼近定义为秩r逼近就

6、精确等于，而秩1逼近的误差最大.矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven J.Leon 的线性代数.矩阵的奇异值分解与线性变换设A是一个秩为r的mn复矩阵，即，则由可以定义线性变换.设矩阵A有奇异值分解，则将矩阵的列向量组取作空间的标准正交基；则将矩阵的列向量组取作空间的标准正交基，则在所取的基下，线性变换对应的变换矩阵就是.设，在基下坐标向量为，.那么在线性变换下的像具有形式：.其中是A的非零奇异值，所以，的像在中基下的坐标是.从中可以看出，当时，在取定的基下，线性变换的作用是将原像坐标中的前r个分量分别乘以A的非零奇异值，后（n-r）分量化为零.如果原像坐标满足条件：，则像坐标满足条件：.在时，等式成立.因此，有如下定理.定理 设是mn实矩阵A的奇异值分解，则中的单位圆球面在线性变换下的像集合是：（1）若，则像集合是中的椭球面；（2）若，则像