版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、矩阵特征值分解与奇异值分解矩阵特征值分解与奇异值分解 我们知道,矩阵乘法对应了一个变换,是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换的过程中,原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量或某些向量只发生伸缩变换,不对这些向量产生旋转的效果,那么这些向量就称为这个矩阵的特征向量,伸缩的比例就是特征值。它其实对应的线性变换是下面的形式:因为这个矩阵M乘以一个向量(x,y)的结果是: 上面的矩阵是对称的,所以这个变换是一个对x,y轴的方向一个拉伸变换(每一个对角线上的元素将会对一个维度进行拉伸变换,当值1时,是拉长,当值1时时缩短),当矩阵不是对称的时候,假如说矩阵是下
2、面的样子: 它所描述的变换是下面的样子: 这其实是在平面上对一个轴进行的拉伸变换(如蓝色的箭头所示),在图中,蓝色的箭头是一个最主要的变化方向(变化方向可能有不止一个)。如果我们想要描述好一个变换,那我们就描述好这个变换主要的变化方向就好了。 如果说一个向量v是方阵A的特征向量,将一定可以表示成下面的形式: 这时候就被称为特征向量v对应的特征值,特征值分解是将一个矩阵分解成下面的形式: 其中Q是这个矩阵A的特征向量组成的矩阵,是一个对角阵,每一个对角线上的元素就是一个特征值。 分解得到的矩阵是一个对角阵,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述这个矩阵变化方向(从主要的
3、变化到次要的变化排列)。 也就是说矩阵A的信息可以由其特征值和特征向量表示。对于矩阵为高维的情况下,那么这个矩阵就是高维空间下的一个线性变换。可以想象,这个变换也同样有很多的变换方向,我们通过特征值分解得到的前N个特征向量,那么就对应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向,就可以近似这个矩阵(变换)。 总结一下,特征值分解可以得到特征值与特征向量,特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么。不过,特征值分解也有很多的局限,比如说变换的矩阵必须是方阵。 特征值分解是一个提取矩阵特征很不错的方法,但是它只是对方阵而言的,在现实的世界中,我们看到的大部分矩阵都
4、不是方阵,比如说有N个学生,每个学生有M科成绩,这样形成的一个N * M的矩阵就不可能是方阵,我们怎样才能描述这样普通的矩阵呢的重要特征呢?奇异值分解可以用来干这个事情,奇异值分解是一个能适用于任意的矩阵的一种分解的方法:分解形式:(矩阵论P114) 假设A是一个N * M的矩阵,那么得到的U是一个M * M的方阵(称为左奇异向量),是一个N * M的矩阵(除了对角线的元素都是0,对角线上的元素称为奇异值),V(V的转置)是一个N * N的矩阵(称为右奇异向量),从图片来反映几个相乘的矩阵的大小可得下面的图片。那么奇异值和特征值是怎么对应起来的呢?我们将一个矩阵A的转置 乘以 A,并将会得到一
5、个方程:我们利用这个方阵求特征值 i 以及特征向量组V这里得到的v,就是我们上面的右奇异向量。此外我们还可以得到: 这里的就是奇异值,u就是上面说的左奇异向量。根据定理:正规矩阵必酉相似与对角矩阵。可得:代入上式可得: 奇异值跟特征值类似,在矩阵中也是从大到小排列,而且的减少特别的快,在很多情况下,前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说,我们也可以用前r( r远小于m、n )个的奇异值来近似描述矩阵,即部分奇异值分解: 右边的三个矩阵相乘的结果将会是一个接近于A的矩阵,在这儿,r越接近于n,则相乘的结果越接近于A。 假设矩阵每一行表示一个样本,每一列表示一个
6、特征,用矩阵的语言来表示,将一个m * n的矩阵A的进行坐标轴的变化,P就是一个变换的矩阵从一个N维的空间变换到另一个N维的空间,在空间中就会进行一些类似于旋转、拉伸的变化。 将一个m * n的矩阵A变换成一个m * r的矩阵,这样就会使得本来有n个特征,变成了有r个特征了(r n),这r个其实就是对n个特征的一种提炼,我们就把这个称为特征的压缩。用数学语言表示就是: 用SVD实现上式: 在矩阵的两边同时乘上一个矩阵V,由于V是一个正交的矩阵,所以V转置乘以V得到单位阵I,所以可以化成后面的式子: 上面是将一个m * n 的矩阵压缩到一个m * r的矩阵,也就是对列进行压缩,如果我们想对行进行压缩(在PCA的观点下,对行进行压缩可以理解为,将一些相似的sample合并在一起,或者将一些没有太大价值的sample去掉)怎么办呢? 这样就从一个m行的矩阵压缩到一个r行的矩阵了,对SVD来说也是一样的,我们对SVD分解的式子两边乘以U的转置U: 即要得到下面的式子: 可以看出,
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年人教版七年级英语下册Unit 1复习题及答案
- 湖南省衡阳市部分学校2023-2024学年七年级下学期第一次月考数学试卷(含解析)
- 山东省济宁市北湖区2023-2024学年八年级下学期期中数学试题
- 展会现场活动策划方案
- 房地产-行业月报:基本面待修复行业进入政策窗口期
- 适用于新教材2024届高考物理一轮复习学案第二章相互作用实验三探究两个互成角度的力的合成规律粤教版
- 2024年台州市临海市《高等数学(一)》(专升本)高分冲刺试卷含解析
- 2024年保定市阜平县《高等数学(一)》(专升本)考前冲刺预测试卷含解析
- 2024年临漳县《高等数学(一)》(专升本)深度自测卷含解析
- 2022注册电气工程师供配电专业案例下午真题卷-1
- SYT 5874-2021 油井堵水效果评价方法-PDF解密
- 第13课资本主义世界殖民体系的建立与亚非拉民族独立运动【中职专用】《世界历史》(高教版2023基础模块)
- 2024年企业人力资源管理师四级习题:人力资源开发与管理
- 2024年济南历下区九年级中考数学二模考试试题(含答案)
- 2024年中国eVTOL产业(低空经济)发展报告
- MOOC 地下结构设计-中国矿业大学 中国大学慕课答案
- 三年级下册数学教案-8.3 小数加减丨苏教版
- GB/T 43738-2024工业互联网平台异构协议兼容适配要求
- 颌骨囊肿个案护理
- 高中新校区办学规划方案
- 《草船借箭》课本剧剧本-4篇
评论
0/150
提交评论